用于將注解添加到全光光場(chǎng)的方法和設(shè)備的制造方法
【專利說明】用于將注解添加到全光光場(chǎng)的方法和設(shè)備
【背景技術(shù)】
[0001] 本發(fā)明設(shè)及增強(qiáng)現(xiàn)實(shí)（augmentedreality)方法和設(shè)備，特別地設(shè)及用于將注解 添加到對(duì)應(yīng)于場(chǎng)景（scene)的數(shù)據(jù)的方法和各種設(shè)備。
[0002] 在手持便攜式裝置諸如智能手機(jī)、掌上型計(jì)算機(jī)、便攜式媒體播放器、個(gè)人數(shù)字助 理（PDA)裝置等等的發(fā)展中的快速進(jìn)步已導(dǎo)致包含設(shè)及圖像處理的新奇特征和應(yīng)用。比如 增強(qiáng)現(xiàn)實(shí)應(yīng)用是已知的，其中用戶將便攜式裝置指向場(chǎng)景例如風(fēng)景、建筑物、海報(bào)、或博物 館中的繪畫，并且顯示器將圖像與設(shè)及該場(chǎng)景的疊加的信息一起示出。該樣的信息能夠包 含；例如針對(duì)山和住所的名稱；人名；針對(duì)建筑物的歷史信息；和商業(yè)信息，諸如廣告，例如 餐館菜單。該樣的系統(tǒng)的示例在EP1246080中和在EP2207113中被描述。
[0003] 已知的是通過在無線通信網(wǎng)絡(luò)中的服務(wù)器將注解信息提供給便攜式裝置。包含帶 有服務(wù)器和便攜式裝置的通信網(wǎng)絡(luò)的注解系統(tǒng)W及注解方法也是已知的。
[0004] 許多注解方法包含將圖像諸如由帶有標(biāo)準(zhǔn)CCD或CMOS傳感器的標(biāo)準(zhǔn)針孔相機(jī)產(chǎn) 生的2D圖像或計(jì)算機(jī)生成的圖像與儲(chǔ)存在數(shù)據(jù)庫中的參考圖像的集合相比較的步驟。因 為實(shí)際查看角度和照明條件能夠關(guān)于儲(chǔ)存在數(shù)據(jù)庫中的圖像是不同的，所W比較算法的目 標(biāo)是去除該些參數(shù)的影響。
[0005] 比如，W02008134901描述其中使用與通信終端相關(guān)聯(lián)的數(shù)字相機(jī)拍攝第一圖像的 方法。與第一圖像相關(guān)的詢問數(shù)據(jù)經(jīng)由通信網(wǎng)絡(luò)被傳輸?shù)竭h(yuǎn)程識(shí)別服務(wù)器，在該遠(yuǎn)程識(shí)別 服務(wù)器處識(shí)別匹配參考圖像。通過用注解的圖像的至少部分代替第一圖像的部分，在通信 終端處生成和顯示增強(qiáng)圖像。用相機(jī)拍攝的第一圖像的增強(qiáng)發(fā)生在平面空間中并且僅處理 二維圖像和對(duì)象。
[0006] 光線信息，諸如在空間的每個(gè)點(diǎn)中的光線的方向，在傳統(tǒng)的圖像注解系統(tǒng)中被拋 棄。沒有光線信息的注解使注解的場(chǎng)景的現(xiàn)實(shí)視圖更困難。比如，捕捉或顯示在對(duì)象的表 面上的紋理要求光線信息。盡管每個(gè)對(duì)象在它的表面上具有不同的紋理，但是在當(dāng)前注解 系統(tǒng)中添加紋理信息是不可能的。該導(dǎo)致附著的注解實(shí)際不被集成在場(chǎng)景中。
[0007] 另外，增強(qiáng)現(xiàn)實(shí)應(yīng)用的快速增長(zhǎng)可能在未來引起注解的泛濫。比如在城市中的一 些場(chǎng)景含有與不同注解相關(guān)聯(lián)的許多元素，從而導(dǎo)致下述注解的圖像：該注解的圖像帶有 非常大數(shù)目的注解，該注解覆蓋背景圖像的大部分。在許多情況中，用戶僅對(duì)有限數(shù)目的那 些注解感興趣，并且另一些注解只會(huì)使人分屯、。因此，經(jīng)常將期望的是限制注解的數(shù)目并且 提供一種選擇應(yīng)該被顯示的注解的方式。
[0008] 此外，對(duì)于注解的場(chǎng)景查看而言計(jì)算開支是重要問題。將需要減少計(jì)算開支。
[0009] 因此本發(fā)明的目標(biāo)是解決或至少減輕現(xiàn)有增強(qiáng)現(xiàn)實(shí)系統(tǒng)的W上提及的問題。

【發(fā)明內(nèi)容】

[0010] 依據(jù)發(fā)明，該些目標(biāo)通過包括下述步驟的方法來實(shí)現(xiàn)： 用全光捕捉裝置檢索表示光場(chǎng)的數(shù)據(jù)； 執(zhí)行用于將捕捉的數(shù)據(jù)與對(duì)應(yīng)的參考數(shù)據(jù)匹配的程序代碼； 執(zhí)行用于檢索與所述參考數(shù)據(jù)的元素相關(guān)聯(lián)的在全光格式中的注解的程序代碼； 執(zhí)行用于從所述捕捉的數(shù)據(jù)和在全光格式中的所述注解生成注解的數(shù)據(jù)的程序代碼。
[0011] 發(fā)明也通過用于捕捉和注解對(duì)應(yīng)于場(chǎng)景的數(shù)據(jù)的設(shè)備來實(shí)現(xiàn)，所述設(shè)備包括： 全光捕捉裝置，用于捕捉表示光場(chǎng)的數(shù)據(jù)； 處理器； 顯不器； 程序代碼，當(dāng)執(zhí)行所述程序代碼時(shí)，用于引起所述處理器檢索與用所述全光捕捉裝置 捕捉的數(shù)據(jù)的元素相關(guān)聯(lián)的在全光格式中的至少一個(gè)注解，并且用于在所述顯示器上再現(xiàn) 從捕捉的數(shù)據(jù)生成的且包含所述至少一個(gè)注解的視圖。
[0012] 發(fā)明也提供用于確定注解的設(shè)備，所述設(shè)備包括： 處理器； 儲(chǔ)存器； 程序代碼，當(dāng)執(zhí)行所述程序代碼時(shí)，用于引起所述處理器接收表示光場(chǎng)的數(shù)據(jù)、將所述 數(shù)據(jù)與一個(gè)參考數(shù)據(jù)匹配、從所述儲(chǔ)存器確定與所述參考數(shù)據(jù)相關(guān)聯(lián)的在全光格式中的注 解并且將在全光格式中的所述注解或?qū)?yīng)于在全光格式中的注解的圖像的數(shù)據(jù)發(fā)送到遠(yuǎn) 程裝置。
[0013] 在全光格式中的注解的要求保護(hù)的添加允許在全光格式中在圖像中的注解的更 現(xiàn)實(shí)的集成；注解似乎是捕捉的場(chǎng)景的元素，而不僅是疊加在圖像之上的文本。在全光格式 中的注解(在本申請(qǐng)中也被稱為"全光注解"）含有比傳統(tǒng)的注解更完整的光場(chǎng)描述，包含如 何修改光線的信息。
[0014] 取決于在圖像的再現(xiàn)期間由用戶選擇的或比如基于他的興趣自動(dòng)選擇的焦距和/ 或視點(diǎn)，在全光格式中的注解提供也允許選擇應(yīng)該被顯示的注解。
[0015] 由于注解與捕捉的數(shù)據(jù)相比較處于相同的空間（即全光空間）中，所W減少針對(duì)注 解過程的計(jì)算開支。
[0016] 特別地，減少用于再現(xiàn)在人可理解的格式中的全光數(shù)據(jù)的計(jì)算開支。實(shí)際上，由于 在全光格式中的圖像和全光注解處于相同空間中，所W再現(xiàn)過程對(duì)兩者是等同的。在一個(gè) 實(shí)施例中，單個(gè)再現(xiàn)過程能夠被用于再現(xiàn)圖像和相關(guān)聯(lián)的注解。在該個(gè)情形中，針對(duì)全光再 現(xiàn)過程選擇的投影參數(shù)(諸如視點(diǎn)的改變、深度、焦點(diǎn)的選擇…）也應(yīng)用在全光注解上。比 如，當(dāng)改變?nèi)鈭D像的焦點(diǎn)或視點(diǎn)時(shí)，相同的變換能夠被用于在各種距離處顯示全光注解。 在另一個(gè)實(shí)施例中，將注解的效果應(yīng)用到捕捉的全光圖像，并且執(zhí)行修改的全光圖像的再 現(xiàn)。
[0017] 因此，全光注解，即在全光格式中的注解，提供顯示注解的現(xiàn)實(shí)方式、允許包含帶 有紋理的注解的更多類型的注解并且提高計(jì)算效率。
[0018] 不像傳統(tǒng)的注解，全光注解可W含有與由全光捕捉裝置捕捉的圖像一樣多的關(guān)于 光線的信息。因而，可能的是在捕捉的光場(chǎng)中直接合成注解，而沒有失去由到2D圖像上的 投影引起的光線信息。比如，注解能夠保留在注解的對(duì)象的表面上的光反射的特征，該用傳 統(tǒng)的注解系統(tǒng)是不可能的。在該個(gè)意義上，注解的視圖似乎更現(xiàn)實(shí)。
[0019] 對(duì)光線的直接修改能夠促進(jìn)計(jì)算，諸如從多個(gè)視點(diǎn)同時(shí)生成注解的場(chǎng)景。在注解 的場(chǎng)景生成的示例中，對(duì)場(chǎng)景的注解處理和其它額外處理諸如模糊或銳化W全光格式直接 應(yīng)用一次，而不是對(duì)每個(gè)視點(diǎn)在生成的2D圖像上附著注解并且應(yīng)用額外處理。因此，在全 光格式中直接合成全光圖像和全光注解可W導(dǎo)致減少計(jì)算開支。
[0020] 本發(fā)明也設(shè)及用于將注解附著到在全光格式中的參考圖像的方法，所述方法包 括： 用查看器呈現(xiàn)在全光格式中的所述參考圖像； 選擇注解； 用所述查看器選擇針對(duì)所述注解的位置和一個(gè)或多個(gè)方向，從所述一個(gè)或多個(gè)方向能 夠看到所述注解； 在存儲(chǔ)器中將所述位置和所述方向與在全光格式中的所述參考圖像和所述注解相關(guān) 聯(lián)。
[0021] 該個(gè)方法可W用合適的創(chuàng)作系統(tǒng)諸如合適的軟件應(yīng)用或網(wǎng)站來執(zhí)行。
【附圖說明】
[0022] 發(fā)明在對(duì)作為示例給出且由附圖圖解的實(shí)施例的描述的輔助下將被更好地理解， 在附圖中： 圖1示意性圖解用于捕捉表示帶有處于第一距離的對(duì)象的場(chǎng)景的光場(chǎng)的數(shù)據(jù)的全光 捕捉裝置。
[0023] 圖2示意性圖解用于捕捉表示帶有處于第二距離的對(duì)象的場(chǎng)景的光場(chǎng)的數(shù)據(jù)的 全光捕捉裝置。
[0024] 圖3示意性圖解用于捕捉表示帶有處于第=距離的對(duì)象的場(chǎng)景的光場(chǎng)的數(shù)據(jù)的 全光捕捉裝置。
[00巧]圖4示意性圖解包括一起體現(xiàn)發(fā)明的各種設(shè)備元件的系統(tǒng)。
[0026] 圖5A到5B示出從相同的全光數(shù)據(jù)再現(xiàn)的注解的視圖，其中在再現(xiàn)期間由用戶選 擇的視點(diǎn)在兩個(gè)視圖之間已改變，從而導(dǎo)致W不同方式再現(xiàn)的相同注解。
[0027] 圖6A到6B示出從相同的全光數(shù)據(jù)再現(xiàn)的注解的視圖，其中在再現(xiàn)期間由用戶選 擇的視點(diǎn)在兩個(gè)視圖之間已改變，從而導(dǎo)致使第一注解在第一視圖上成為可見的并且使第 二注解在第二視圖上成為可見的。
[0028] 圖7A到7B示出從相同的全光數(shù)據(jù)再現(xiàn)的注解的視圖，其中在再現(xiàn)期間由用戶選 擇的焦距在兩個(gè)視圖之間已改變，從而導(dǎo)致使第一注解在第一視圖上成為可見的并且使第 二注解在第二視圖上成為可見的。
[0029] 圖8是用于生成和再現(xiàn)帶有在全光格式中的注解的視圖的方法的框圖。
[0030] 圖9是用于當(dāng)查看者在視圖上選擇不同查看方向和/或不同焦距時(shí)修改注解的再 現(xiàn)的方法的框圖。
[0031] 圖10是用于將在全光格式中的注解與參考數(shù)據(jù)相關(guān)聯(lián)的方法的框圖。
[0032] 圖11是一系列全光圖像諸如由用戶在移動(dòng)中捕捉的視頻全光圖像或全光圖像的 連續(xù)注解的方法的框圖。
【具體實(shí)施方式】
[0033] 傳統(tǒng)的相機(jī)捕捉場(chǎng)景在傳感器上的2D投影，并且生成指示在每個(gè)具有或沒有顏 色的像素上的光的強(qiáng)度的數(shù)據(jù)。另一方面，照此已知的全光捕捉裝置捕捉表示光場(chǎng)的數(shù)據(jù)， 即不僅指示光的強(qiáng)度而且指示關(guān)于光場(chǎng)的包含光的方向的更完整的信息的矩陣。
[0034]完整的光場(chǎng)可W包括用于描述每個(gè)光線(或用于描述在給定位置處的光線）的多 達(dá)7個(gè)參數(shù)；3個(gè)針對(duì)位置，2個(gè)針對(duì)方向，1個(gè)針對(duì)波長(zhǎng)W及(在視頻的情形中）1個(gè)針對(duì)時(shí) 間。一些當(dāng)前的全光相機(jī)遞送全光數(shù)據(jù)，該全光數(shù)據(jù)包括；針對(duì)位置的2個(gè)參數(shù)、針對(duì)方向 的2個(gè)參數(shù)、W及針對(duì)波長(zhǎng)的1個(gè)參數(shù)。傳感器生成表示所謂的全光光場(chǎng)的全光數(shù)據(jù)，即至 少指示光線的位置和方向的矩陣。它表示由全光捕捉裝置生成的全光數(shù)據(jù)比由傳統(tǒng)2D相 機(jī)生成的傳統(tǒng)2D圖像數(shù)據(jù)含有關(guān)于光場(chǎng)的更多信息。
[00巧]至今，至少兩個(gè)公司Lytro和Raytrix提出能夠記錄該樣的全光光場(chǎng)的全光傳感 器。它們的兩款相機(jī)在設(shè)計(jì)方面稍微不同，但是主要思路是分解光的不同方向，該光被認(rèn)為 落在標(biāo)準(zhǔn)相機(jī)傳感器中的單個(gè)光位（photosite)(或像素）上。為了那個(gè)目標(biāo)，如在圖1上 圖