運(yùn)動(dòng)信息獲取裝置和運(yùn)動(dòng)信息獲取方法
【專利摘要】本發(fā)明涉及運(yùn)動(dòng)信息獲取裝置和運(yùn)動(dòng)信息獲取方法。一種運(yùn)動(dòng)信息獲取裝置，包括：照明設(shè)備，用第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光同時(shí)照射目標(biāo)，其中第一和第二強(qiáng)度調(diào)制光被用具有基本相同的波長(zhǎng)但不同的相位的參照信號(hào)進(jìn)行強(qiáng)度調(diào)制；圖像生成器，生成與第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光對(duì)應(yīng)的第一至第三圖像；以及運(yùn)動(dòng)信息獲取器，基于第一至第三圖像來(lái)獲取圖像中的運(yùn)動(dòng)信息。
【專利說(shuō)明】
運(yùn)動(dòng)信息獲取裝置和運(yùn)動(dòng)信息獲取方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及從圖像獲取運(yùn)動(dòng)信息的運(yùn)動(dòng)信息獲取裝置，并且更特別地設(shè)及從時(shí)間 相關(guān)圖像獲取運(yùn)動(dòng)信息的運(yùn)動(dòng)信息獲取裝置。
【背景技術(shù)】
[0002] 在獲取位于諸如光流(optical flow)之類的圖像中的運(yùn)動(dòng)信息的領(lǐng)域中，運(yùn)動(dòng)信 息典型地是從兩個(gè)連續(xù)捕獲的圖像之間的差異獲取的。在運(yùn)種方法的情況下，由于不能準(zhǔn) 確地獲取大的運(yùn)動(dòng)，所W通過(guò)執(zhí)行高速成像來(lái)減小圖像上的運(yùn)動(dòng)。但是，在執(zhí)行高速成像時(shí) 出現(xiàn)的問(wèn)題是需要存儲(chǔ)容量增加和高速處理。
[0003] 因此，已經(jīng)研究出通過(guò)獲取時(shí)間相關(guān)圖像來(lái)僅利用單次成像操作獲取運(yùn)動(dòng)信息的 技術(shù)。時(shí)間相關(guān)圖像是表示通過(guò)普通的成像獲得的圖像信號(hào)與預(yù)定的參照信號(hào)之間的時(shí)間 相關(guān)性的圖像。專利文獻(xiàn)1提議:相對(duì)于通過(guò)光電轉(zhuǎn)換獲得的電流提供參照信號(hào)，并且使用 在時(shí)間上對(duì)經(jīng)調(diào)制的電流求積分并輸出積分電流的圖像捕獲元件，W便獲取時(shí)間相關(guān)圖 像。但是，在該方法中使用的圖像捕獲元件在結(jié)構(gòu)上不同于典型地使用的圖像捕獲元件，并 且需要大的設(shè)計(jì)變化。因此，生產(chǎn)成本提高。
[0004] 專利文獻(xiàn)2提議了一種通過(guò)使用通用的圖像捕獲元件來(lái)獲取時(shí)間相關(guān)圖像的方 法。如在專利文獻(xiàn)2中所提議的，在獲取單個(gè)圖像時(shí)，根據(jù)參照信號(hào)來(lái)控制快口或光量調(diào)制 元件，并且對(duì)入射光量進(jìn)行調(diào)制。結(jié)果，可W通過(guò)使用通用的圖像捕獲元件來(lái)獲取表示與參 照信號(hào)的時(shí)間相關(guān)性的時(shí)間相關(guān)圖像。但是，在該方法的情況下，時(shí)間相關(guān)圖像是利用快口 或光量調(diào)制元件獲取的。因此，在同時(shí)獲取與多個(gè)參照信號(hào)的相關(guān)性時(shí)，需要通過(guò)時(shí)間劃分 (time division)來(lái)改變參照信號(hào)。所產(chǎn)生的問(wèn)題是參照信號(hào)的采樣數(shù)減少。另外，當(dāng)采樣 數(shù)增加時(shí)產(chǎn)生的問(wèn)題是:需要多個(gè)光量調(diào)制元件和圖像捕獲元件，并且裝置的尺寸增大。
[0005] 專利文獻(xiàn)3提議了運(yùn)樣一種方法:在該方法中，用在對(duì)于每個(gè)波長(zhǎng)均不同的頻率處 已被幅度調(diào)制的光照射目標(biāo)，并且提取出與調(diào)制頻率對(duì)應(yīng)的分量，W便在不使用復(fù)雜的光 譜儀的情況下在單個(gè)測(cè)量循環(huán)中用不同波長(zhǎng)的光線實(shí)現(xiàn)光譜測(cè)量。專利文獻(xiàn)3的目的是獲 取光譜信息，并且未考慮獲取用于運(yùn)動(dòng)信息獲取的時(shí)間相關(guān)圖像。
[0006] 專利文獻(xiàn)1:日本專利No.5441204
[0007] 專利文獻(xiàn)2:日本專利申請(qǐng)公開(kāi)No.2013-62582 [000引專利文獻(xiàn)3:日本專利申請(qǐng)公開(kāi)No.2004-101478

【發(fā)明內(nèi)容】

[0009] 鑒于W上所述，本發(fā)明的一個(gè)目的是提供能夠利用簡(jiǎn)單的裝置配置來(lái)獲取高質(zhì)量 的時(shí)間相關(guān)圖像和運(yùn)動(dòng)信息的技術(shù)。
[0010] 根據(jù)本發(fā)明的第一方面的運(yùn)動(dòng)信息獲取裝置包括：
[0011] -種運(yùn)動(dòng)信息獲取裝置，其特征在于，包括：
[0012] 照明設(shè)備，被配置為用第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光來(lái)同時(shí)照 射目標(biāo)，其中第一強(qiáng)度調(diào)制光具有第一中屯、波長(zhǎng)并且被用第一參照信號(hào)進(jìn)行強(qiáng)度調(diào)制，第 二強(qiáng)度調(diào)制光具有第二中屯、波長(zhǎng)并且被用具有與第一參照信號(hào)基本上相同波長(zhǎng)但不同相 位的第二參照信號(hào)進(jìn)行強(qiáng)度調(diào)制，并且恒定照射光具有第=中屯、波長(zhǎng)和恒定強(qiáng)度；圖像生 成器，被配置為生成與第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光對(duì)應(yīng)的第一至第= 圖像；W及運(yùn)動(dòng)信息獲取器，被配置為基于由圖像生成器生成的第一至第=圖像來(lái)獲取圖 像中的運(yùn)動(dòng)信息。
[0013] 根據(jù)本發(fā)明另一方面的運(yùn)動(dòng)信息獲取方法是由運(yùn)動(dòng)信息獲取裝置執(zhí)行的運(yùn)動(dòng)信 息獲取方法，該方法包括：照明步驟，用于用第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射 光同時(shí)照射目標(biāo)，其中第一強(qiáng)度調(diào)制光具有第一中屯、波長(zhǎng)并且被用第一參照信號(hào)進(jìn)行強(qiáng)度 調(diào)制，第二強(qiáng)度調(diào)制光具有第二中屯、波長(zhǎng)并且被用具有與第一參照信號(hào)基本上相同波長(zhǎng)但 不同相位的第二參照信號(hào)進(jìn)行強(qiáng)度調(diào)制，并且恒定照射光具有第=中屯、波長(zhǎng)和恒定強(qiáng)度； 圖像生成步驟，用于在用第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光照射目標(biāo)的同時(shí) 執(zhí)行成像，并且生成與第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光對(duì)應(yīng)的第一至第= 圖像；W及運(yùn)動(dòng)信息獲取步驟，用于基于在圖像生成步驟中生成的第一至第=圖像來(lái)獲取 圖像中的運(yùn)動(dòng)信息。
[0014] 根據(jù)本發(fā)明，可W獲取高質(zhì)量的時(shí)間相關(guān)圖像，并且可W利用簡(jiǎn)單的裝置配置來(lái) 從那些時(shí)間相關(guān)圖像獲取高質(zhì)量的運(yùn)動(dòng)信息。
[0015] 參照附圖閱讀對(duì)示例性實(shí)施例的W下描述，本發(fā)明的更多特征將清楚。
【附圖說(shuō)明】
[0016] 圖1是根據(jù)實(shí)施例1的圖像捕獲設(shè)備的系統(tǒng)配置；
[0017] 圖2是例示了運(yùn)動(dòng)信息獲取的流程的流程圖；
[001引圖3A至3C例示了實(shí)施例1中的照射光的光譜分布；
[0019]圖4A和4B例示了參照信號(hào)和照射光強(qiáng)度；
[0020] 圖5A至5C例示了實(shí)施例1中的圖像捕獲元件；
[0021] 圖6A至6C例示了實(shí)施例2中的照射光和圖像捕獲元件的光譜分布；
[0022] 圖7A和7B例示了實(shí)施例3中的照射光的光譜分布和圖像捕獲元件；
[0023] 圖8是例示了實(shí)施例3中的運(yùn)動(dòng)信息獲取的流程的流程圖；W及
[0024] 圖9A至9D例示了實(shí)施例4中的照射光的光譜分布和圖像捕獲元件。
【具體實(shí)施方式】
[0025] <對(duì)時(shí)間相關(guān)圖像和運(yùn)動(dòng)信息獲取原理的說(shuō)明〉
[0026] 在說(shuō)明本發(fā)明的實(shí)施例之前，對(duì)時(shí)間相關(guān)圖像和用于從時(shí)間相關(guān)圖像獲取運(yùn)動(dòng)信 息(運(yùn)動(dòng)向量、光流)的方法進(jìn)行說(shuō)明。
[0027] [時(shí)間相關(guān)圖像]
[0028] 時(shí)間相關(guān)圖像是通過(guò)把由圖像捕獲元件將經(jīng)過(guò)圖像捕獲光學(xué)系統(tǒng)的入射光從光 轉(zhuǎn)換成電荷而生成為亮度信號(hào)的通常圖像與從外部提供的并隨時(shí)間改變的參照信號(hào)相關(guān) 聯(lián)而獲得的圖像。換句話說(shuō)，當(dāng)像素 Q J)中的圖像捕獲元件的輸出由fi, ^t)表示、參照信 號(hào)由g(t)表示并且一帖時(shí)間由T表示時(shí)，時(shí)間相關(guān)圖像Ii,^t)由W下表達(dá)式表示。運(yùn)是一帖 時(shí)間內(nèi)的像素值與隨時(shí)間改變的參照信號(hào)的相關(guān)值。
[0029] [數(shù)學(xué)表達(dá)式1]
[0030] 1;腳二 (1)
[0031] 表達(dá)式1表示其中參照信號(hào)作為模擬信號(hào)被提供的情況。當(dāng)參照信號(hào)作為數(shù)字信 號(hào)被提供時(shí)，使用離散表示。下面給出表達(dá)式1的離散表示。
[0032] [數(shù)學(xué)表達(dá)式2]
[0033] li.j(n)二;SIT=O fi.j(n)g〇〇 ( 2)
[0034] 換句話說(shuō)，時(shí)間相關(guān)圖像可W通過(guò)使在離散定時(shí)n At取得的圖像捕獲元件的輸出 fi, J與參照信號(hào)值g相乘并求總和來(lái)獲得，其中離散定時(shí)n At是通過(guò)進(jìn)一步將一帖時(shí)間T除 Wm來(lái)獲得的并且按細(xì)間隔A t隔開(kāi)。當(dāng)通過(guò)將一帖時(shí)間劃分成細(xì)間隔來(lái)捕獲圖像時(shí)所獲得 的每一帖被當(dāng)作子帖，并且n是子帖的編號(hào)。
[0035] 在上文中說(shuō)明了在用圖像捕獲元件對(duì)入射光進(jìn)行光電轉(zhuǎn)換之后取得與參照信號(hào) 的相關(guān)的情況，但是也可W通過(guò)根據(jù)參照信號(hào)按時(shí)間控制入射光強(qiáng)度來(lái)輸出類似的時(shí)間相 關(guān)圖像。
[0036] [對(duì)運(yùn)動(dòng)向量(光流)獲取的說(shuō)明]
[0037] 在下文中對(duì)用于通過(guò)使用上述時(shí)間相關(guān)圖像來(lái)計(jì)算運(yùn)動(dòng)向量的方法進(jìn)行說(shuō)明。
[0038] 當(dāng)圖像中的點(diǎn)（x，y)在定時(shí)t的亮度值為f(x，y，t)并假設(shè)在細(xì)間隔At內(nèi)不變時(shí)， W下表達(dá)式有效。
[0039] [數(shù)學(xué)表達(dá)式3]
[0040] f(x,y,t)=f(x+A t,y+A t,t+A t) (3)
[0041] 當(dāng)表達(dá)式3經(jīng)過(guò)泰勒(Taylor)展開(kāi)，并且二階和更高階的項(xiàng)被忽略時(shí)，W下表達(dá)式 有效。
[0042] [數(shù)學(xué)表達(dá)式4]
[0043]
(4)
[0044] 在運(yùn)里，Vx、Vy是運(yùn)動(dòng)向量V在點(diǎn)（X，y)的X和y分量。
[0045] 表達(dá)式4被稱為光流約束方程，并且可W通過(guò)求解運(yùn)個(gè)方程來(lái)計(jì)算運(yùn)動(dòng)向量V。本 文的問(wèn)題在于用于獲取表達(dá)式4中的偏微分項(xiàng)（按時(shí)間微分）的方法。該部分偏微分項(xiàng)通常 是通過(guò)求得兩帖之間的圖像差異來(lái)計(jì)算的，但是用運(yùn)種方法難W準(zhǔn)確地確定大的運(yùn)動(dòng)。
[0046] 讓我們考慮在某個(gè)時(shí)間T上曝光的具有明暗值(shading value)f(x,y,t)的圖像。 當(dāng)在時(shí)間T上對(duì)表達(dá)式4進(jìn)行積分時(shí)，獲得W下表達(dá)式。
[0047] [數(shù)學(xué)表達(dá)式引
巧）
[0049] 然后，讓我們考慮在曝光期間取COS(COt)、sin( cot)作為參照信號(hào)的時(shí)間相關(guān)圖 像。當(dāng)考慮通過(guò)組合用運(yùn)兩個(gè)參照信號(hào)獲取的時(shí)間相關(guān)圖像所獲得的相關(guān)圖像I(x，y)時(shí)， 相關(guān)圖像I(x，y)可W由W下表達(dá)式表示。
[0050] [數(shù)學(xué)表達(dá)式6]
[0化1 ] (6)
[0052] 表達(dá)式5和表達(dá)式6中最終變換出的方程包括在定時(shí)T/2和定時(shí)-T/2的亮度值f(x， y，t)之間的差。運(yùn)個(gè)差實(shí)際上無(wú)法計(jì)算，因?yàn)樵诙〞r(shí)T/2和-T/2的圖像是未知的。但是，當(dāng)CO T =化(n為整數(shù))時(shí)，W下表達(dá)式有效。
[0053] [數(shù)學(xué)表達(dá)式7]
[0054] ei"T/2 = e_i"T/2 = (-i)n (7)
[0055] 換句話說(shuō)，當(dāng)在曝光期間提供具有整數(shù)周期的正弦波時(shí)，表達(dá)式5和表達(dá)式6中的 微分項(xiàng)，除了其符號(hào)之外，變得彼此相等，并且W下表達(dá)式有效。
[0化6] 「數(shù)學(xué)表達(dá)式引
[0化7]
(8)
[0058] 表達(dá)式8是復(fù)數(shù)方程，并且關(guān)于兩個(gè)未知數(shù)Vx、Vy可W獲得實(shí)部方程和虛部方程。 可W通過(guò)求解運(yùn)些方程來(lái)獲取運(yùn)動(dòng)向量V。
[0059] 另外，表達(dá)式8是由普通強(qiáng)度圖像Io和具有余弦波和正弦波作為參照信號(hào)的時(shí)間 相關(guān)圖像I構(gòu)成的。換句話說(shuō)，當(dāng)在一帖中的單個(gè)圖像捕獲循環(huán)內(nèi)可W同時(shí)獲取強(qiáng)度圖像Io 和用正弦波獲得的時(shí)間相關(guān)圖像I時(shí)，可W在不通過(guò)兩帖圖像之間的差異的近似的情況下 獲取速度向量V。
[0060] 在上文的說(shuō)明中，為了簡(jiǎn)化，假設(shè)參照信號(hào)是正弦波(余弦波和正弦波），但是也可 W通過(guò)取具有不同相位的基本相同形狀的周期性信號(hào)作為參照信號(hào)來(lái)W與上文所述相同 的方式計(jì)算速度向量。
[0061] (第一實(shí)施例）
[0062] 如上所述，時(shí)間相關(guān)圖像被獲得作為參照信號(hào)與從圖像捕獲元件獲得的信號(hào)的相 關(guān)。例如，在日本專利申請(qǐng)公開(kāi)No. 2013-62582中，通過(guò)根據(jù)參照信號(hào)控制快口或光學(xué)調(diào)制 元件來(lái)調(diào)制入射到圖像捕獲元件上的光量。在本發(fā)明的實(shí)施例中，通過(guò)使用W上提到的正 弦參照信號(hào)作為調(diào)制信號(hào)，并且根據(jù)參照信號(hào)調(diào)制落到目標(biāo)上的照射光的強(qiáng)度來(lái)調(diào)制入射 到圖像捕獲元件上的光量。在本實(shí)施例中，運(yùn)樣獲取時(shí)間相關(guān)圖像，并且基于該時(shí)間相關(guān)圖 像來(lái)獲取目標(biāo)的運(yùn)動(dòng)信息。
[00創(chuàng) < 系統(tǒng)配置〉
[0064] 圖1是根據(jù)本發(fā)明的第一實(shí)施例的圖像捕獲設(shè)備的系統(tǒng)配置。圖像捕獲設(shè)備1具有 照明設(shè)備10、照射控制單元11、圖像捕獲光學(xué)系統(tǒng)12、圖像捕獲元件13、成像控制單元14、圖 像處理單元15、存儲(chǔ)器16、運(yùn)動(dòng)計(jì)算單元17、輸入單元18、顯示單元19和存儲(chǔ)單元20。
[0065] 由諸如Lm)或激光器之類的能夠輸出具有窄帶光譜的光的光源構(gòu)成的照明設(shè)備10 被配置為能夠輸出多個(gè)光譜。光譜的中屯、波長(zhǎng)不受特別限制，但優(yōu)選的是使用從紫外區(qū)域 到紅外區(qū)域的波長(zhǎng)帶。在本實(shí)施例中，照明設(shè)備10輸出具有彼此接近的=個(gè)不同中屯、波長(zhǎng)入 O至A2的光譜。
[0066] 對(duì)于照明設(shè)備10中的照射光源，照射控制單元11根據(jù)事先存儲(chǔ)的參照信號(hào)或者由 輸入設(shè)備(圖中未繪出)輸入的參照信號(hào)來(lái)針對(duì)每個(gè)光譜獨(dú)立地控制強(qiáng)度的調(diào)制。
[0067] 圖像捕獲光學(xué)系統(tǒng)12由多個(gè)透鏡構(gòu)成并且形成入射光在圖像捕獲元件13的圖像 表面上的圖像。圖像捕獲光學(xué)系統(tǒng)12是焦點(diǎn)可變的光學(xué)系統(tǒng)，并且可W通過(guò)成像控制單元 14的自動(dòng)聚焦功能來(lái)執(zhí)行自動(dòng)聚焦。自動(dòng)聚焦系統(tǒng)可W是被動(dòng)的或主動(dòng)的。
[0068] 圖像捕獲元件13具有CCD或CMOS,并且被配置為能夠同時(shí)獲取具有不同中屯、波長(zhǎng) 的圖像。為了獲取具有不同中屯、波長(zhǎng)的圖像，圖像捕獲元件13可W具有多個(gè)不同的濾色器 或者可W被配置為通過(guò)使用衍射來(lái)分離波長(zhǎng)。它還可W被配置為具有與不同波長(zhǎng)對(duì)應(yīng)的多 個(gè)圖像捕獲元件，即，作為S板式（three-plate)圖像捕獲元件。圖像捕獲元件13被配置為 能夠獲取至少W下光譜:與從照明設(shè)備10的照射光源福射的具有中屯、波長(zhǎng)M)至A2的光譜對(duì) 應(yīng)的光譜、W及不包括來(lái)自照明設(shè)備10的照射光的具有中屯、波長(zhǎng)A3的光譜。
[0069] 成像控制單元14執(zhí)行對(duì)整個(gè)成像過(guò)程的控制，即，對(duì)聚焦和曝光的控制W及對(duì)照 射和圖像捕獲的定時(shí)控制。
[0070] 圖像處理單元15處理從圖像捕獲元件13輸出的信號(hào)。更具體而言，圖像處理單元 執(zhí)行諸如模擬信號(hào)的A/D轉(zhuǎn)換、噪聲去除、去馬賽克、亮度信號(hào)轉(zhuǎn)換、像差校正、白平衡調(diào)整 和色彩校正之類的通常處理、W及與照射光源波長(zhǎng)對(duì)應(yīng)的校正處理。稍后將提供對(duì)校正處 理的詳細(xì)說(shuō)明。從圖像處理單元15輸出的數(shù)字圖像數(shù)據(jù)臨時(shí)存儲(chǔ)在存儲(chǔ)器16中，然后經(jīng)受 期望的處理，例如，顯示在顯示單元19上和存儲(chǔ)(保存)在存儲(chǔ)單元20中。
[0071] 運(yùn)動(dòng)計(jì)算單元17通過(guò)使用由圖像處理單元15生成的并存儲(chǔ)在存儲(chǔ)器16中的多個(gè) 圖像來(lái)獲取圖像中的目標(biāo)的運(yùn)動(dòng)信息。通過(guò)組合目標(biāo)的運(yùn)動(dòng)信息與圖像捕獲設(shè)備在圖像捕 獲期間的運(yùn)動(dòng)信息來(lái)獲得圖像中的目標(biāo)的運(yùn)動(dòng)信息。因此，可W通過(guò)使用加速度傳感器等 來(lái)單獨(dú)獲取圖像捕獲設(shè)備的運(yùn)動(dòng)信息，并且可W輸出通過(guò)減去圖像捕獲設(shè)備的運(yùn)動(dòng)信息而 獲得的目標(biāo)的運(yùn)動(dòng)信息。也可W通過(guò)捕獲靜止目標(biāo)的圖像來(lái)獲取并輸出圖像捕獲設(shè)備的運(yùn) 動(dòng)信息。所輸出的結(jié)果臨時(shí)存儲(chǔ)在存儲(chǔ)器16中，然后經(jīng)受期望的處理，例如，顯示在顯示單 元19上和存儲(chǔ)(保存)在存儲(chǔ)單元20中。
[0072] 輸入單元18是由用戶操作的并用來(lái)向圖像捕獲設(shè)備1輸入信息或更改設(shè)置的接 口。例如，可W使用撥號(hào)盤(pán)、按鈕、開(kāi)關(guān)或觸摸面板。
[0073] 顯示單元19是由液晶顯示器或有機(jī)化顯示器配置成的顯示裝置。顯示單元19被用 于確認(rèn)成像期間的構(gòu)圖（composition)、瀏覽所捕獲并存儲(chǔ)的圖像、W及顯示各種設(shè)置屏幕 和消息信息。
[0074] 存儲(chǔ)單元20是存儲(chǔ)所產(chǎn)生的圖像數(shù)據(jù)或者要由圖像捕獲設(shè)備1使用的參數(shù)數(shù)據(jù)的 非易失性存儲(chǔ)介質(zhì)。優(yōu)選的是使用可W高速讀取的高容量存儲(chǔ)介質(zhì)作為存儲(chǔ)單元20。例如， 可W有利地使用閃存。
[0075] <用于同時(shí)獲取與多個(gè)參照信號(hào)有關(guān)的時(shí)間相關(guān)圖像的方法〉
[0076] 在下文中將參照?qǐng)D2更詳細(xì)地說(shuō)明由圖像捕獲設(shè)備1執(zhí)行的從時(shí)間相關(guān)圖像成像 到運(yùn)動(dòng)信息獲取的操作序列，圖2是例示了從成像起的處理流程的流程圖。
[0077] 當(dāng)用戶操作輸入單元18 W開(kāi)始成像時(shí)，成像控制單元14執(zhí)行自動(dòng)聚焦(AF)或自動(dòng) 曝光(AE)控制，并且確定焦點(diǎn)位置和光圈(F數(shù)）（步驟S11)。然后，照射控制單元11基于用成 像控制單元14獲得的成像條件來(lái)關(guān)于焦點(diǎn)位置確定照明設(shè)備10的光的最大強(qiáng)度（步驟 S12)。優(yōu)選的是焦點(diǎn)位置(到目標(biāo)的距離)越遠(yuǎn)，則照明設(shè)備10的光的最大強(qiáng)度越大，但是最 大強(qiáng)度也可W是事先設(shè)置的值，而不管焦點(diǎn)位置如何。
[0078] 在下文中說(shuō)明用于照明設(shè)備10中的照射光源的條件。通過(guò)根據(jù)參照信號(hào)來(lái)改變照 射強(qiáng)度而獲取的時(shí)間相關(guān)圖像由照射光的強(qiáng)度化）、環(huán)境光的光譜分布化U、目標(biāo)的光譜反 射率(R)、圖像捕獲元件上的濾色器的透射率(T) W及圖像捕獲元件的靈敏度(S)確定。目標(biāo) 在成像期間的光譜反射率和環(huán)境光的光譜分布一般是未知的。因此，當(dāng)使用不同波長(zhǎng)的光 源執(zhí)行照射時(shí)，即使照射光的最大強(qiáng)度相同，所獲得的圖像的強(qiáng)度也不恒定。換句話說(shuō)，即 使通過(guò)其中多個(gè)光源的最大強(qiáng)度相匹配的強(qiáng)度調(diào)制來(lái)執(zhí)行照射，也不可能獲取對(duì)于具有相 同的最大強(qiáng)度值的參照信號(hào)的時(shí)間相關(guān)圖像。
[0079] 為了解決運(yùn)個(gè)問(wèn)題，在本實(shí)施例中，使用具有窄波長(zhǎng)范圍的光譜來(lái)執(zhí)行成像。在連 續(xù)波長(zhǎng)的情況下，通常可W發(fā)現(xiàn)目標(biāo)的光譜反射率連續(xù)地變化，并且突然變化是罕見(jiàn)的。在 圖3A中，目標(biāo)的光譜反射率的示例被表示為從紫外福射至近紅外福射。在圖3A中，注意力集 中在特定的窄波長(zhǎng)區(qū)域(M)至A3)，并且在該波長(zhǎng)區(qū)域中，目標(biāo)的光譜反射率可W假設(shè)為基 本上恒定?？蒞通過(guò)進(jìn)一步將該波長(zhǎng)區(qū)域劃分成具有中屯、波長(zhǎng)^八1、\2八3的更窄的光譜 來(lái)獲取圖像。在運(yùn)種情況下，可W分開(kāi)獲取不同波長(zhǎng)的圖像，同時(shí)使得可W基本上忽略由光 譜反射率引起的強(qiáng)度變化的影響。同樣，當(dāng)環(huán)境光的光譜分布也在窄波長(zhǎng)區(qū)域中時(shí)，可W假 設(shè)相同的強(qiáng)度，并且環(huán)境光的影響也可W認(rèn)為是恒定的。
[0080] 照射光源的中屯、波長(zhǎng)和光譜分布W及濾色器的中屯、波長(zhǎng)和光譜分布被設(shè)置在窄 帶中，使得W上提到的條件可W滿足。圖3A中的多條點(diǎn)線指示被圖像捕獲設(shè)備1用于成像的 中屯、波長(zhǎng)(M)至A3)。更具體而言，中屯、波長(zhǎng)AO至A2是由照明設(shè)備10的多個(gè)照射光源發(fā)出的 光線的中屯、波長(zhǎng)，并且中屯、波長(zhǎng)AO至A3是由圖像捕獲元件13獲取的光的中屯、波長(zhǎng)。另外，圖 3B例示了照射光源在AO至A2波長(zhǎng)區(qū)域內(nèi)的光譜分布W及圖像捕獲元件的濾色器在A3波長(zhǎng) 區(qū)域內(nèi)的光譜分布的示例。由于A3是用于測(cè)量環(huán)境光的光譜，所W在該光譜中不從照明設(shè) 備10發(fā)出照射光。另外，由于濾色器在M)至A2波長(zhǎng)區(qū)域內(nèi)的光譜分布與照射光源的光譜分 布基本上相同，因此它們?cè)趫D3B中被省略了。
[0081] 隨著運(yùn)四個(gè)光譜的中屯、波長(zhǎng)之間的距離減小，目標(biāo)的光譜反射率和環(huán)境光的光譜 分布的波動(dòng)減小，并且可W獲取高度準(zhǔn)確的時(shí)間相關(guān)圖像。另外，隨著光譜寬度減小并且光 譜的相互重疊區(qū)域的尺寸減小，其它光譜的影響可W降低。至于相鄰光譜的中屯、波長(zhǎng)之間 的距離與光譜寬度之間的關(guān)系，如圖3C中所繪出的，優(yōu)選的是使中屯、波長(zhǎng)之間的距離大于 通過(guò)將一個(gè)光譜的半峰半寬化alf width at half maximum)與另一個(gè)光譜的半峰半寬相 加而獲得的距離。
[0082] 當(dāng)使用激光器作為光源時(shí)，光譜寬度可W是幾納米，并且多個(gè)照射光源的波長(zhǎng)可 W被設(shè)置在十幾納米的范圍內(nèi)。同時(shí)，當(dāng)使用Lm)作為照射光源時(shí)，光譜寬度難W減小至幾 納米。因此，優(yōu)選的是中屯、波長(zhǎng)之間的距離在50nm內(nèi)，并且光譜的半峰半寬也在50nm內(nèi)。當(dāng) 一個(gè)照射光源的光譜的半峰半寬由WAi表示，而另一個(gè)照射光源的光譜的半峰半寬由WAj表 示時(shí)，相鄰中屯、波長(zhǎng)之間的距離CW可W由W下表達(dá)式表示。
[0083] [數(shù)學(xué)表達(dá)式9]
[0084]
(9)
[0085] 照明設(shè)備10只福射具有中屯、波長(zhǎng)AO至A2的S個(gè)光譜，但是，當(dāng)中屯、波長(zhǎng)或光譜寬 度被確定時(shí)，假設(shè)A3光譜也被福射，優(yōu)選的是A3光譜的發(fā)射也被假設(shè)并且在該四個(gè)光譜當(dāng) 中W上提到的條件得W滿足。
[0086] 在步驟S13中，照射控制單元11根據(jù)在步驟Sll中獲得的成像條件來(lái)確定曝光期間 的參照信號(hào)周期和參照信號(hào)頻率，并且通過(guò)使用所確定的參照信號(hào)來(lái)用對(duì)于照明設(shè)備10的 照射光源的每個(gè)波長(zhǎng)不同的強(qiáng)度調(diào)制執(zhí)行照射。
[0087] 在照射控制單元11中使用的參照信號(hào)用來(lái)確立與目標(biāo)的明暗的相關(guān)性，并且隨時(shí) 間改變的任何信號(hào)都可W輸入。諸如圖4A中所繪出的相位偏離90°的兩個(gè)正弦波信號(hào)(余弦 波信號(hào)和正弦波信號(hào)）表示參照信號(hào)的示例。也可使用諸如矩形波和銀齒波信號(hào)之類的周 期信號(hào)。被同時(shí)使用的不同參照信號(hào)在信號(hào)的相位、頻率和時(shí)段中的至少一個(gè)上不同，并且 優(yōu)選的是使用相同類型的波形。
[0088] 在本實(shí)施例中，照射控制單元11福射通過(guò)用余弦波和正弦波對(duì)AO和A2照射光源進(jìn) 行強(qiáng)度調(diào)制所獲得的強(qiáng)度調(diào)制光。在照射控制單元11中，M照射光源福射未經(jīng)強(qiáng)度調(diào)制的 具有恒定值輸出的恒定照射光。圖4B示出了兩個(gè)強(qiáng)度調(diào)制光線的強(qiáng)度La〇、La2W及恒定照射 光的強(qiáng)度Lai。運(yùn)些光強(qiáng)度可W具體地W W下方式表示。
[0089] [數(shù)學(xué)表達(dá)式10]
[0090]
(10)
[0091] 在運(yùn)里，Lo是恒定數(shù)值，CO是參照信號(hào)的角頻率。在下文中描述用于確定參照信號(hào) 的角頻率O的方法。由于角頻率和頻率彼此僅相差一個(gè)恒定因子，所W角頻率將在下文中 被簡(jiǎn)稱為頻率。
[0092] 當(dāng)多個(gè)照射光源的強(qiáng)度相同時(shí)，期望正弦波的最大幅度和恒定輸出具有相同的 值，但是也可W通過(guò)使用輸出的差異來(lái)校正下面描述的所獲取的圖像。另外，在上述示例 中，AO和A2的最小幅度為零，但是最小幅度可W大于零。
[0093] 還期望兩個(gè)正弦參照信號(hào)之間的相位差是90%但±30°內(nèi)的相位偏移也是允許 的。因此，兩個(gè)參照信號(hào)的相位差可W在90° ±30° (60° (含60°)至120° (含120°))內(nèi)。但是， 隨著相位差從90°偏移，運(yùn)動(dòng)信息獲取的精度降低。因此，優(yōu)選的是兩個(gè)正弦波之間的相位 差為± 10° (80° (含80°)至100° (含100°))。兩個(gè)正弦波的頻率CO最優(yōu)地是相同的，但也可W 不同。當(dāng)頻率不同時(shí)，期望在曝光開(kāi)始時(shí)兩個(gè)正弦波的相位差與在曝光結(jié)束時(shí)兩個(gè)正弦波 的相位差之間的變化可W被抑制到±30° (-30° (含-30°)至30° (含30°))內(nèi)。由于運(yùn)動(dòng)信息 獲取的精度隨著在曝光期間相位差的變化的增大而減小，因此更優(yōu)選的是在曝光開(kāi)始時(shí)兩 個(gè)正弦波的相位差與在曝光結(jié)束時(shí)兩個(gè)正弦波的相位差之間的變化為±10°或更小(-10° (含-10°)至10° (含10° ))。因此，當(dāng)兩個(gè)頻率由CO 1、CO 2表示并且曝光時(shí)段由T表示時(shí)，優(yōu)選 的是滿足條件I ? 1-?21 X T含10° (或者30°)。順便說(shuō)一下，優(yōu)選的是在曝光時(shí)段內(nèi)兩個(gè)正弦 波的相位差在90° ±30° (60° (含60° )至120° (含120° ))內(nèi)，更優(yōu)選地在90° ±10° (80° (含 80°)至100° (含100°))內(nèi)。最優(yōu)選的是在曝光時(shí)段內(nèi)兩個(gè)正弦波的相位差始終為90°。
[0094]照射控制單元11可W被配置為用參照信號(hào)輸入單元(未在圖中繪出）從外部輸入 參照信號(hào)。也可W在照射控制單元11中的存儲(chǔ)器或存儲(chǔ)單元20中存儲(chǔ)已事先確定的參照信 號(hào)值，使得照射控制單元11可W讀取并使用運(yùn)些值。照射控制單元11還可W保持函數(shù)及其 系數(shù)，W生成并使用信號(hào)值。
[00%]在下文中描述用于確定參照信號(hào)頻率《的方法。照射控制單元11調(diào)整參照信號(hào)頻 率，使得包括在由步驟Sll中的曝光控制確定的曝光時(shí)間段中的參照信號(hào)的周期為整數(shù)。由 此，照射控制單元11按W下方式設(shè)置參照信號(hào)頻率《。
[0096] 「敬舉親巧式11]
[0097]
(11)
[0098] 在運(yùn)里，T是曝光時(shí)間段。另外，n是整數(shù)并且與曝光期間的正弦波的頻率對(duì)應(yīng)。
[0099] 照射控制單元11可W使用已事先存儲(chǔ)在存儲(chǔ)單元20中的值作為n值，或者可W使 用由用戶選擇的值。另外，照射控制單元11可W確定整數(shù)n，使得CO被限制在事先存儲(chǔ)的或 從用戶獲取的范圍內(nèi)。
[0100] 同時(shí)，成像控制單元14還可W改變快口速度(曝光時(shí)間段T)和光圈值并且執(zhí)行成 像W便確保正確的曝光，使得曝光期間的參照信號(hào)的頻率《 W及曝光中所包括的參照信號(hào) 的周期n滿足預(yù)定的條件。
[0101 ]在獲取執(zhí)行快速運(yùn)動(dòng)的目標(biāo)的運(yùn)動(dòng)時(shí)，相比于獲取執(zhí)行慢速運(yùn)動(dòng)的目標(biāo)的運(yùn)動(dòng)的 情況，增大調(diào)制頻率《是有利的。例如，由用戶從輸入單元獲取的目標(biāo)的速度可W從輸入單 元18輸入，并且照射控制單元11可W根據(jù)所輸入的目標(biāo)的速度來(lái)確定整數(shù)n。由于可W事先 了解目標(biāo)的速度與適當(dāng)?shù)恼{(diào)制頻率之間的關(guān)系，所W照射控制單元11可W將整數(shù)n確定為 接近于目標(biāo)的速度對(duì)應(yīng)的適當(dāng)?shù)恼{(diào)制頻率。
[0102] 在步驟S14中，成像控制單元14執(zhí)行成像過(guò)程。更具體而言，在該過(guò)程中，照射控制 單元11基于來(lái)自成像控制單元14的信號(hào)開(kāi)始兩個(gè)強(qiáng)度調(diào)制照射光線與恒定照射光的發(fā)出， 并且同時(shí)，打開(kāi)快口（未在圖中繪出）并且執(zhí)行曝光。由照明設(shè)備10發(fā)出的光被目標(biāo)反射，并 且通過(guò)圖像捕獲光學(xué)系統(tǒng)12在圖像捕獲元件13上形成圖像?？炜冢ㄎ丛趫D中繪出）由機(jī)械快 口或電子快口配置而成。
[0103] 成像控制單元14控制照射控制單元11和圖像捕獲單元13,使得對(duì)照射的調(diào)制在曝 光開(kāi)始定時(shí)處開(kāi)始，并且曝光結(jié)束W包括具有整數(shù)周期的照射調(diào)制。可替代地，可W由照射 控制單元11事先實(shí)現(xiàn)調(diào)制照射，并且可W通過(guò)控制曝光時(shí)間來(lái)執(zhí)行成像，使得在曝光時(shí)間 中包括具有整數(shù)周期的調(diào)制。在執(zhí)行對(duì)動(dòng)態(tài)圖像的成像時(shí)，參照信號(hào)的頻率由照射控制單 元11確定，使得在預(yù)定的單個(gè)帖時(shí)間中執(zhí)行具有整數(shù)周期的調(diào)制，并且調(diào)制照射連續(xù)地并 與曝光同步地實(shí)現(xiàn)。
[0104] 在下文中描述圖像捕獲元件13的配置。如圖5A中所繪出的，圖像捕獲元件13具有 至少四個(gè)濾色器，運(yùn)些濾色器具有與構(gòu)成照明設(shè)備10的多個(gè)照射光源的波長(zhǎng)帶M)至A2和用 于環(huán)境光測(cè)量的波長(zhǎng)帶A3對(duì)應(yīng)的預(yù)定光譜分布。在圖像捕獲元件13中，如圖5A中所繪出的， 具有四個(gè)濾色器的四個(gè)像素 W2行2列布置，并且各自由四個(gè)像素構(gòu)成的像素組被二維地布 置。每個(gè)濾色器的中屯、波長(zhǎng)和光譜分布需要與照射光的光譜分布基本相同，例如，諸如圖3B 中所繪出的。運(yùn)種圖像捕獲元件13使得可W獲取與兩個(gè)強(qiáng)度調(diào)制光線和恒定照射光對(duì)應(yīng)的 圖像W及用于環(huán)境光測(cè)量的圖像(環(huán)境光圖像）。圖像捕獲元件13中波長(zhǎng)的分離不僅可W用 濾色器執(zhí)行，而且還可W通過(guò)使用衍射來(lái)執(zhí)行。另外，也可W使用其中在一個(gè)圖像捕獲元件 上設(shè)置透射多個(gè)不同波長(zhǎng)的濾色器的配置，W及其中使用多個(gè)圖像捕獲元件并且布置用于 每個(gè)圖像捕獲元件的透射不同波長(zhǎng)的濾色器的配置。
[0105] 照射光源的光譜和圖像捕獲元件的濾色器的光譜并不總是需要相同。也可W使用 其中照射光源和濾色器的波長(zhǎng)特性偏移W便進(jìn)一步減少波長(zhǎng)的重疊的配置。例如，如圖5B 中所繪出的通過(guò)使照射光源和濾色器的中屯、波長(zhǎng)偏移來(lái)進(jìn)一步減少光譜重疊的區(qū)域的設(shè) 計(jì)也是有效的。此外，如圖5C中所繪出的，通過(guò)將照射光源和濾色器的光譜中的任何一個(gè)配 置為具有更窄帶的光譜特性并且匹配中屯、波長(zhǎng)，也可W減少重疊的區(qū)域。
[0106] 當(dāng)快口關(guān)閉時(shí)，成像控制單元14從圖像捕獲元件13讀取圖像并將圖像傳送到圖像 處理單元15。圖像處理單元15接收由圖像捕獲元件13獲取的圖像的信號(hào)值的輸入并且針對(duì) 濾色器的每個(gè)波長(zhǎng)執(zhí)行圖像生成(步驟S15)。在圖像生成處理的過(guò)程中，圖像處理單元15還 基于照射光源的每個(gè)波長(zhǎng)的強(qiáng)度差異、圖像捕獲元件上的濾色器之間的透射率差異W及圖 像捕獲元件中對(duì)于每個(gè)波長(zhǎng)的靈敏度差異來(lái)執(zhí)行校正。圖像處理單元15還通過(guò)使用從其中 不執(zhí)行照射的波長(zhǎng)帶(A3)的像素獲得的像素值來(lái)校正從目標(biāo)反射的環(huán)境光的影響。也可W 在生成每個(gè)波長(zhǎng)的圖像之前針對(duì)每個(gè)像素執(zhí)行校正處理。校正后的圖像臨時(shí)存儲(chǔ)在存儲(chǔ)器 16中，如果必要的話，顯示在顯示單元19上和存儲(chǔ)在存儲(chǔ)單元20中。
[0107] 在下文中對(duì)上述校正處理進(jìn)行更詳細(xì)的說(shuō)明。在校正處理中，需要考慮環(huán)境光 化L)、目標(biāo)的反射率(R)、照射光源強(qiáng)度化）、濾色器透射率(T)和圖像捕獲元件靈敏度(S)， 并且需要消除由此造成的信號(hào)強(qiáng)度的波動(dòng)。在波長(zhǎng)M)處，不隨時(shí)間改變的環(huán)境光由EL(W) 表示，運(yùn)動(dòng)的目標(biāo)的光譜反射率由R(M),t)表示，照射光的強(qiáng)度由L(M),t)表示，濾色器的透 射率由T(AO)表示，并且圖像捕獲元件的靈敏度由S(AO)表示。如在表達(dá)式10中所指示的，在 波長(zhǎng)M)處的強(qiáng)度調(diào)制光的強(qiáng)度L(M), t)為0. SXLoX (l+cos( COt))。像素 Q J)中的圖像的 亮度值Iao (i，j，AO)由W下表達(dá)式表示。
[010引[數(shù)學(xué)表達(dá)式12]
[0109]
(12)
[0110] 除了由強(qiáng)度調(diào)制光的反射確定的亮度值，亮度值山〇(1^'，^))還包括由環(huán)境光的反 射確定的亮度值。經(jīng)反射的照射光不被包括在具有不執(zhí)行照射的波長(zhǎng)A3的圖像(環(huán)境光圖 像）中。因此，可W基于環(huán)境光圖像來(lái)除去由環(huán)境光確定的亮度值。具有波長(zhǎng)A3的環(huán)境光圖 像的亮度值IA3 (i，j，A3)由W下表達(dá)式表示。
[011U [數(shù)學(xué)表達(dá)式13]
[0112]
(.13).
[0113] 另外，在恒定照射光發(fā)出的波長(zhǎng)Al處的圖像的亮度值,Al)由W下表達(dá)式表 示。在運(yùn)種情況下，如由表達(dá)式10所指示的，照射強(qiáng)度L(Al，t)=L(Al)=Lo。
[0114] [數(shù)學(xué)表達(dá)式14]
[0115]
(14)
[0116] 同樣，在波長(zhǎng)A2處的圖像亮度值山2(1^'，^2)由W下表達(dá)式表示。如在表達(dá)式10中 所指示的，照射光源在波長(zhǎng)處的強(qiáng)度L(A2，t)為0.5 X Lq X (l+sin( O t))。
[0117]........
[011引 （I則
[0119] 圖像處理單元15通過(guò)使用所述四個(gè)圖像山0至lA3來(lái)校正環(huán)境光的影響和波長(zhǎng)的影 響。首先，由波長(zhǎng)的差異引起的濾色器的透射率T的差異W及圖像捕獲元件的靈敏度S的差 異被校正。由波長(zhǎng)引起的濾色器的透射率T的差異W及圖像捕獲元件的靈敏度S的差異可W 事先通過(guò)測(cè)量來(lái)確定。因此其值被測(cè)量，用于與參照波長(zhǎng)處的值匹配的校正系數(shù)被存儲(chǔ)，并 且圖像處理單元15通過(guò)使用校正系數(shù)來(lái)執(zhí)行規(guī)范化。例如，執(zhí)行恒定值照射的光源波長(zhǎng)入1 被取為參照，并且執(zhí)行校正，使得在M)處的透射率T(M)K照射光強(qiáng)度L(AO)和圖像捕獲元件 靈敏度S(AO)的乘積匹配在Al處的乘積T(A1化(Al)S(Al)。當(dāng)波長(zhǎng)彼此接近并且濾色器的透 射率T和圖像捕獲元件的靈敏度S可W被認(rèn)為恒定時(shí)，或者當(dāng)運(yùn)動(dòng)信息的計(jì)算精度可W降低 時(shí)，運(yùn)種校正處理可W省略。
[0120] 然后，未知的、在測(cè)量期間每個(gè)波長(zhǎng)處的環(huán)境光強(qiáng)度化W及目標(biāo)在每個(gè)波長(zhǎng)處的 反射率R被校正。在運(yùn)種情況下，當(dāng)波長(zhǎng)AO和A3處于窄波長(zhǎng)帶中時(shí)，未知的、目標(biāo)在每個(gè)波長(zhǎng) 處的反射率RW及每個(gè)波長(zhǎng)處的環(huán)境光強(qiáng)度化可W被假設(shè)是恒定的。在運(yùn)種假設(shè)下，在不執(zhí) 行照射的情況下捕獲的圖像IA3表示利用環(huán)境光的照射化和目標(biāo)的反射率R。因此，通過(guò)從已 執(zhí)行照射的波長(zhǎng)處的圖像Ia〇、Iai、Ia2減去不執(zhí)行照射的波長(zhǎng)處的環(huán)境光圖像IA3,可W獲得 從中除去環(huán)境光的影響的圖像Ia〇'、Iai'、Ia2'。
[0121] 校正后的圖像山1'表示通過(guò)從中除去環(huán)境光的恒定照射而獲得的圖像，校正后的 圖像山0'表示與余弦波的時(shí)間相關(guān)圖像，并且校正后的圖像IA2'表示與正弦波的時(shí)間相關(guān) 圖像。實(shí)際上，在波長(zhǎng)M)和A2處的照射強(qiáng)度可W如由表達(dá)式10指示的那樣確定。因此，需要 執(zhí)行W下計(jì)算來(lái)獲取cos( Ot)和Sin( Ot)的時(shí)間相關(guān)圖像。
[0122] [數(shù)學(xué)表達(dá)式16]
[0123]
'(1.技）
[0124] 在上文所說(shuō)明的示例中，照射光的最大值在所有的波長(zhǎng)處是恒定的并且都等于 Lo，但是當(dāng)照射強(qiáng)度對(duì)于每個(gè)波長(zhǎng)不同時(shí)，需要在運(yùn)個(gè)階段執(zhí)行規(guī)范化。
[0125] 表達(dá)式8中的普通的強(qiáng)度圖像Io(x，y)對(duì)應(yīng)于上面提到的lAi"。表達(dá)式8中的時(shí)間相 關(guān)圖像I(x，y)對(duì)應(yīng)于Ia〇"-Ha2"。
[0126] 在參照信號(hào)到波長(zhǎng)帶的優(yōu)選分配中，由恒定值參照信號(hào)確定的照射的波長(zhǎng)帶被取 為中屯、，并且在其中執(zhí)行調(diào)制照射的波長(zhǎng)帶被布置在該中屯、的較短波長(zhǎng)側(cè)和較長(zhǎng)波長(zhǎng)側(cè)。 在上述示例中，優(yōu)選的是Wai<A2。另一種有利的方法是取其中不執(zhí)行照射的波長(zhǎng)帶和恒 定值照射的波長(zhǎng)帶作為中屯、，并且把在其中執(zhí)行調(diào)制照射的波長(zhǎng)帶布置在該中屯、的較短波 長(zhǎng)側(cè)和較長(zhǎng)波長(zhǎng)側(cè)。在上述示例中，優(yōu)選的是MKAl<A2且MKA3<A2。
[0127] 然后，通過(guò)使用存儲(chǔ)在存儲(chǔ)器16中的強(qiáng)度圖像Il和時(shí)間相關(guān)圖像10、12,在運(yùn)動(dòng)計(jì) 算單元17通過(guò)計(jì)算表達(dá)式8獲取運(yùn)動(dòng)信息(步驟S16)。在執(zhí)行表達(dá)式8的計(jì)算時(shí)，可W只使用 單個(gè)像素的值，但是考慮到穩(wěn)定性，優(yōu)選的是使用區(qū)域中與所關(guān)屯、的像素接近的像素的值 來(lái)計(jì)算預(yù)定的最小二乘解。所獲取的運(yùn)動(dòng)信息經(jīng)受期望的處理，例如，保存在存儲(chǔ)單元20 中，或者與另一應(yīng)用一起使用。
[0128] 如在上文中所述，通過(guò)在多個(gè)照射光源的光譜與由圖像捕獲元件獲取的圖像的光 譜之間建立對(duì)應(yīng)性并且通過(guò)使光譜寬度變窄來(lái)使中屯、波長(zhǎng)彼此接近，可W減小由目標(biāo)的光 譜反射率和環(huán)境光的光譜分布引起的所捕獲圖像的強(qiáng)度變化。結(jié)果，利用單個(gè)成像操作可 W同時(shí)獲得其中參照信號(hào)的最大幅度相匹配的時(shí)間相關(guān)圖像，而無(wú)需測(cè)量環(huán)境光的光譜分 布或目標(biāo)的光譜反射率。另外，通過(guò)使用所獲取的時(shí)間相關(guān)圖像，可W執(zhí)行無(wú)需對(duì)兩個(gè)帖之 間的差異進(jìn)行近似的高精度、高分辨率的運(yùn)動(dòng)矢量獲取計(jì)算。
[0129] 由本實(shí)施例的配置證明的效果是:可W僅僅通過(guò)改變?yōu)V色器和修改照射來(lái)同時(shí)獲 取與多個(gè)參照信號(hào)時(shí)間相關(guān)的圖像，而無(wú)需對(duì)常規(guī)的圖像捕獲元件進(jìn)行顯著的電路修改， 并且可W降低圖像捕獲設(shè)備的成本。
[0130] 另一個(gè)效果是:與通過(guò)使用單個(gè)圖像捕獲元件利用快口或光強(qiáng)度調(diào)制器同時(shí)獲取 與多個(gè)參照信號(hào)時(shí)間相關(guān)的圖像時(shí)相比，可W在不減少參照信號(hào)的采樣數(shù)的情況下獲取時(shí) 間相關(guān)圖像。
[0131] (第二實(shí)施例）
[0132] 在下文中描述本發(fā)明的第二實(shí)施例。第二實(shí)施例與第一實(shí)施例的區(qū)別在于照射光 源的中屯、波長(zhǎng)被分開(kāi)設(shè)置。在運(yùn)種情況下，對(duì)于環(huán)境光強(qiáng)度與目標(biāo)的光譜反射率在任何波 長(zhǎng)處都相同的假設(shè)變?yōu)闊o(wú)效。因此，在本實(shí)施例中，第一實(shí)施例的配置被改變?yōu)槭沟卯?dāng)照射 光源的中屯、波長(zhǎng)被分開(kāi)設(shè)置時(shí)，仍然可W獲取參照信號(hào)的最大幅度相匹配的時(shí)間相關(guān)圖 像。由于圖像捕獲設(shè)備1的配置基本上與第一實(shí)施例中的相同，所W在W下說(shuō)明中相同的部 件被分配相同的附圖標(biāo)記。在下文中主要說(shuō)明與第一實(shí)施例的區(qū)別。
[0133] 本實(shí)施例中的照明設(shè)備10與第一實(shí)施例中的照明設(shè)備10的相似之處在于它福射 具有中屯、波長(zhǎng)AO至A2的光譜，但區(qū)別在于中屯、波長(zhǎng)之間的距離比第一實(shí)施例中的大，并且 等于或大于50nm。除中屯、波長(zhǎng)之間的距離不同之外，照射光與第一實(shí)施例中相同。
[0134] 當(dāng)照射光的中屯、波長(zhǎng)被運(yùn)樣設(shè)置成分開(kāi)較遠(yuǎn)時(shí)，在每個(gè)帶中環(huán)境光的光譜分布 化L)和目標(biāo)的光譜反射率(R)也可能顯著不同。結(jié)果，即使在圖像處理單元15中校正了由照 射光源的波長(zhǎng)引起的強(qiáng)度化)的差異、濾色器的透射率(T)的差異W及在圖像捕獲元件由波 長(zhǎng)引起的靈敏度(S)的差異，時(shí)間相關(guān)圖像的強(qiáng)度也取決于波長(zhǎng)帶而大大不同。因此，環(huán)境 光的光譜分布化U的影響和目標(biāo)的光譜反射率(R)的影響需要得到校正。
[0135] 由于該原因，設(shè)置在圖像捕獲元件13中的濾色器的類型改變。在本實(shí)施例中，獲取 與照明設(shè)備10的每個(gè)照射光對(duì)應(yīng)的圖像，并且還獲取不包含與每個(gè)照射光的波長(zhǎng)接近的波 長(zhǎng)處的照射光的影響的圖像(環(huán)境光圖像）。因此，具有與照明設(shè)備10的光源的中屯、波長(zhǎng)基 本相同的中屯、波長(zhǎng)AO至A2的光譜的濾色器和具有與光源設(shè)備的中屯、波長(zhǎng)接近的中屯、波長(zhǎng)入 0 '至A2 '的相似光譜的濾色器成對(duì)地布置在圖像捕獲元件13中。在圖6A中示出了具體的濾 色器的光譜示例。圖像捕獲元件13具有設(shè)有濾色器的像素，其中濾色器具有圖6A中繪出的 中屯、波長(zhǎng)AO至A2和A0'至A2'的六種類型的光譜。具有中屯、波長(zhǎng)A0、A1、A2的濾色器的光譜基 本上與照明設(shè)備10的光源設(shè)備的光譜相同。具有中屯、波長(zhǎng)、A2'的光譜在具有中屯、 波長(zhǎng)M)、A1、A2的光譜之間設(shè)置，W滿足表達(dá)式9的條件。目標(biāo)在不同照射光源的光譜中的光 譜反射率可W顯著不同，但是，在構(gòu)成一對(duì)的濾色器的光譜之間，目標(biāo)的光譜反射率可W被 認(rèn)為基本相同。
[0136] 圖6B和6C示出了濾色器在圖像捕獲元件13上的布置示例。在圖6B所繪出的示例 中，構(gòu)成一對(duì)的、具有接近的中屯、波長(zhǎng)的濾色器在水平方向上相鄰地布置，而具有不同中屯、 頻率的濾色器對(duì)在垂直方向上周期性地布置。在圖6C所繪出的示例中，構(gòu)成一對(duì)的濾色器 在垂直方向上相鄰地布置，而具有不同中屯、頻率的濾色器對(duì)在水平方向上周期性地布置。 優(yōu)選的是構(gòu)成每一對(duì)的濾色器相鄰地布置，如在圖6B和6C中所繪出的，但是濾色器的運(yùn)種 布置次序不是限制性的。
[0137] 在下文中描述由圖像處理單元15實(shí)現(xiàn)的用于生成時(shí)間相關(guān)圖像的方法。在運(yùn)種情 況下，圖像處理單元15 W類似于第一實(shí)施例的方式校正由波長(zhǎng)引起的各種參數(shù)之間的差 異，但具體的處理內(nèi)容與第一實(shí)施例的不同。
[0138] 首先，圖像處理單元15在構(gòu)成對(duì)的波長(zhǎng)處的圖像中校正由波長(zhǎng)的差異引起的圖像 捕獲元件上的濾色器的透射率T的差異，并且還校正圖像捕獲元件中對(duì)于每個(gè)波長(zhǎng)的靈敏 度S的差異。在運(yùn)種情況下，當(dāng)構(gòu)成對(duì)的波長(zhǎng)足夠小時(shí)，可W假設(shè)在其參數(shù)之間沒(méi)有差異并 且省略該處理。然后，圖像處理單元15在構(gòu)成對(duì)的濾色器之間從具有已執(zhí)行照射的中屯、波 長(zhǎng)入0至A2的時(shí)間相關(guān)圖像減去具有不執(zhí)行照射的中屯、波長(zhǎng)A0'至A2'的圖像。結(jié)果，可W除 去由環(huán)境光的光譜分布化產(chǎn)生的影響，并且獲得只包含由照射光L產(chǎn)生的影響的S個(gè)圖像。 由于那些照射光圖像的波長(zhǎng)帶彼此顯著不同，所W目標(biāo)的光譜反射率R、照射光源的強(qiáng)度L、 濾色器的透射率T和圖像捕獲元件的靈敏度S顯著不同。因此，圖像處理單元15然后通過(guò)使 用已事先測(cè)量的照射光源的強(qiáng)度L、濾色器的透射率T和圖像捕獲元件的靈敏度S來(lái)執(zhí)行校 正，使得相同的亮度值由相同強(qiáng)度的信號(hào)調(diào)制。
[0139] 在運(yùn)種情況下，目標(biāo)的光譜反射率R的影響仍未校正。為了校正它，使用利用具有 中屯、波長(zhǎng)A0'至A2'的環(huán)境光獲得的圖像。首先，在環(huán)境光圖像中校正濾色器的透射率T和圖 像捕獲元件的靈敏度S。結(jié)果，殘留在環(huán)境光圖像中的差異變成環(huán)境光的光譜分布EL和目標(biāo) 的光譜反射率R的影響。在運(yùn)種情況下，從校正后的圖像計(jì)算白平衡。白平衡表示環(huán)境光的 光譜分布，并且通過(guò)使用白平衡校正圖像來(lái)計(jì)算目標(biāo)的光譜反射率R?？蒞通過(guò)使用從環(huán)境 光圖像確定的光譜反射率R來(lái)校正照射光圖像中目標(biāo)的光譜反射率。
[0140] 上述校正處理使得可W獲得用恒定照射獲得的圖像、與余弦波的時(shí)間相關(guān)圖像、 W及與正弦波的時(shí)間相關(guān)圖像。W與第一實(shí)施例中相同的方式從運(yùn)些圖像計(jì)算運(yùn)動(dòng)信息。
[0141] 在本實(shí)施例中，優(yōu)選的是當(dāng)獲取普通的彩色圖像時(shí)具有=個(gè)不同光譜的照射光源 的中屯、波長(zhǎng)被設(shè)置為接近RGB濾色器的中屯、波長(zhǎng)。R濾色器的中屯、波長(zhǎng)一般在從580nm至 650nm的范圍內(nèi)，G濾色器的中屯、波長(zhǎng)一般在從500nm至580nm的范圍內(nèi)，而B(niǎo)濾色器的中屯、波 長(zhǎng)一般在從43化m至50化m的范圍內(nèi)。針對(duì)RGB濾色器的每個(gè)帶來(lái)分開(kāi)設(shè)置照射光源的S個(gè) 光譜。在本實(shí)施例中，具有與相應(yīng)照射光源的中屯、波長(zhǎng)接近的中屯、波長(zhǎng)的濾色器成對(duì)地布 置在圖像捕獲元件上。因此，用不執(zhí)行照射的S個(gè)波長(zhǎng)獲得的圖像對(duì)應(yīng)于相應(yīng)的RGB彩色平 面圖像，濾色器的光譜窄，并且顏色再現(xiàn)性低，但是RGB彩色圖像可W被同時(shí)獲取。關(guān)于在恒 定照射下捕獲的顏色(波長(zhǎng)），通過(guò)考慮其中用具有一對(duì)波長(zhǎng)的濾色器獲得的兩個(gè)圖像組合 為單個(gè)彩色平面圖像的圖像，可W擴(kuò)展波長(zhǎng)帶并且提高顏色再現(xiàn)的精度。
[0142] 在運(yùn)種情況下，RGB彩色圖像已經(jīng)被考慮作為彩色圖像的示例，但是在用諸如互補(bǔ) 濾色器之類的其它濾色器獲得的彩色圖像的情況下，也可W使用上述過(guò)程。
[0143] 如上文所指示的，通過(guò)增加圖像捕獲元件13中濾色器的類型的數(shù)量，即使照射光 源的中屯、波長(zhǎng)被分開(kāi)設(shè)置，也可W降低目標(biāo)的光譜反射率的影響和環(huán)境光的光譜分布的影 響，并且能獲取時(shí)間相關(guān)圖像。
[0144] 另外，也可W通過(guò)針對(duì)紅色區(qū)域、綠色區(qū)域和藍(lán)色區(qū)域分別布置照射光源的中屯、 波長(zhǎng)和在圖像捕獲元件上構(gòu)成對(duì)的濾色器的中屯、波長(zhǎng)來(lái)同時(shí)獲取RGB彩色圖像。此外，當(dāng)不 執(zhí)行調(diào)制照射時(shí)，可W通過(guò)組合具有接近光譜的一對(duì)濾色器來(lái)放大濾色器的帶寬度，并且 當(dāng)執(zhí)行調(diào)制照射時(shí)，可W獲取具有高顏色再現(xiàn)性的彩色圖像。
[0145] (第=實(shí)施例）
[0146] 在下文中描述本發(fā)明的第=實(shí)施例。第=實(shí)施例與第一實(shí)施例的區(qū)別在于照射光 源的中屯、波長(zhǎng)被分開(kāi)設(shè)置。本實(shí)施例與第二實(shí)施例的區(qū)別在于成像被執(zhí)行多次，使得即使 照射光源的中屯、波長(zhǎng)被分開(kāi)設(shè)置，也可W獲取與參照信號(hào)的最大幅度匹配的時(shí)間相關(guān)圖 像。由于在本實(shí)施例中圖像捕獲設(shè)備1的配置與第一實(shí)施例中的基本相同，所W在下面的說(shuō) 明中相同的部件被分配相同的附圖標(biāo)記。下文中主要說(shuō)明與第一實(shí)施例的區(qū)別。
[0147] 下文中首先描述與照明設(shè)備10中的照射光源的中屯、波長(zhǎng)和光譜有關(guān)的差異。照明 設(shè)備10發(fā)出具有=個(gè)中屯、波長(zhǎng)的光線，并且執(zhí)行照射光強(qiáng)度的余弦調(diào)制、正弦調(diào)制和不調(diào) 制的特征與第一和第二實(shí)施例中的相同。W與第二實(shí)施例中相同的方式，照射光源的中屯、 波長(zhǎng)被設(shè)置為彼此隔開(kāi)50nm或更多的波長(zhǎng)帶。更優(yōu)選的是，運(yùn)S個(gè)中屯、波長(zhǎng)被布置為接近 RGB的中屯、波長(zhǎng)。在本實(shí)施例中，光譜沒(méi)必要像第一和第二實(shí)施例中那樣是窄帶。但是，布置 優(yōu)選為使得彼此相鄰W便滿足表達(dá)式9的中屯、波長(zhǎng)之間的距離大于相應(yīng)光譜的半峰半寬之 和（圖7A)。另外，圖像捕獲元件13可W被配置為具有光譜對(duì)應(yīng)于照射光源的光譜的濾色器， 并且例如，可W使用諸如圖7B中所繪出的拜耳(Bayer)布置。當(dāng)使用使得覆蓋RGB區(qū)域的光 譜時(shí)，在避免重疊的同時(shí)，本實(shí)施例的圖像捕獲元件13可W獲取顏色再現(xiàn)性比第二實(shí)施例 中顏色再現(xiàn)性高的彩色圖像。
[0148] 利用本實(shí)施例的配置，由于目標(biāo)的光譜反射率和照射光的光譜分布的影響，不能 通過(guò)單個(gè)成像操作來(lái)獲取規(guī)范化的時(shí)間相關(guān)圖像。因此，成像被執(zhí)行兩次，即，在用參照信 號(hào)調(diào)制的照射下和不進(jìn)行照射。
[0149] 在圖8中呈現(xiàn)了成像的流程圖。從步驟S21至步驟S24的處理與第一實(shí)施例中的相 同。然后，在步驟S25中，在沒(méi)有照射的情況下執(zhí)行成像。沒(méi)有照射的成像也可W在有照射的 成像之前執(zhí)行，并且運(yùn)些成像操作的次序不受限制。通過(guò)成像獲得的圖像從圖像捕獲元件 13讀取并且臨時(shí)存儲(chǔ)在存儲(chǔ)器16中。
[0150] 然后，處理前進(jìn)到步驟S26,并且圖像處理單元15生成時(shí)間相關(guān)圖像。通過(guò)沒(méi)有照 射的成像獲得的圖像包括關(guān)于環(huán)境光的光譜分布和目標(biāo)的光譜反射率的信息。在相同波長(zhǎng) 的圖像中，可W通過(guò)從通過(guò)有照射的成像獲得的時(shí)間相關(guān)圖像中減去通過(guò)沒(méi)有照射的成像 獲得的圖像來(lái)除去環(huán)境光和光譜反射率的影響。通過(guò)沒(méi)有照射的成像獲得的圖像可W作為 彩色圖像保存在存儲(chǔ)單元20中。
[0151] 在圖像處理單元15中被校正的時(shí)間相關(guān)圖像存儲(chǔ)在存儲(chǔ)器16中，然后從運(yùn)動(dòng)計(jì)算 單元17讀取并經(jīng)受運(yùn)動(dòng)信息獲取處理(步驟S27)。所生成的運(yùn)動(dòng)信息存儲(chǔ)在存儲(chǔ)單元20中。
[0152] 利用本實(shí)施例的配置，可W減輕對(duì)照射光源和圖像捕獲元件13上的濾色器的光譜 寬度的限制。例如，通過(guò)如圖7A中所繪出的那樣劃分成寬波長(zhǎng)區(qū)域并設(shè)置照射光源的中屯、 波長(zhǎng)，當(dāng)在沒(méi)有調(diào)制照射的情況下執(zhí)行成像時(shí)，可W獲取顏色再現(xiàn)性比第二種實(shí)施例中的 顏色再現(xiàn)性高的彩色圖像。因此，可W用單個(gè)圖像捕獲設(shè)備來(lái)獲取時(shí)間相關(guān)圖像和彩色圖 像。
[0153] (第四實(shí)施例）
[0154] 在下文中描述本發(fā)明的第四實(shí)施例。本實(shí)施例與第一實(shí)施例的相似之處在于:使 用具有位于窄波長(zhǎng)范圍中的中屯、波長(zhǎng)M)至A2的照射光線和具有中屯、波長(zhǎng)AO至A3的四個(gè)濾 色器來(lái)執(zhí)行成像。但是，本實(shí)施例與第一實(shí)施例的區(qū)別在于所有中屯、波長(zhǎng)都被設(shè)置在不可 見(jiàn)范圍內(nèi)。與第一實(shí)施例的另一區(qū)別是：由于照射光線的中屯、波長(zhǎng)被設(shè)置在不可見(jiàn)范圍內(nèi)， 所W用于獲取通常圖像的RGB濾色器被布置在圖像捕獲元件上。由于本實(shí)施例中的圖像捕 獲設(shè)備1的配置與第一實(shí)施例中的基本相同，所W在下面的說(shuō)明中相同的部件被分配相同 的標(biāo)號(hào)。下文中主要說(shuō)明與第一實(shí)施例的區(qū)別。
[0155] 在本實(shí)施例中，照明設(shè)備10的多個(gè)照射光源的所有中屯、波長(zhǎng)帶都被設(shè)置在不可見(jiàn) 范圍內(nèi)。特別優(yōu)選的是，運(yùn)些波長(zhǎng)是從750皿至1.4WI1的近紅外（IR)波長(zhǎng)。至于運(yùn)些照射光源 的光譜，優(yōu)選的是W與第一實(shí)施例中相同的方式使光譜的重疊小并且中屯、波長(zhǎng)彼此接近， 并且中屯、波長(zhǎng)之間的距離與光譜寬度被選擇為滿足表達(dá)式9。
[0156] 如圖9A中所繪出的，圖像捕獲元件13具有:具有其中對(duì)應(yīng)于照射光源的中屯、波長(zhǎng) (入0至A3)在近紅外區(qū)域中的窄光譜的濾色器、W及具有在可見(jiàn)區(qū)域中的RGB光譜的濾色器。 濾色器的配置為使得，如圖9B中所繪出的，由具有拜耳布置的4個(gè)像素構(gòu)成的RGB濾光器和 由具有中屯、波長(zhǎng)AO至A3的4個(gè)像素構(gòu)成的IR濾光器交替地布置。結(jié)果，可W W高分辨率獲取 RGB彩色圖像和近紅外的時(shí)間相關(guān)圖像運(yùn)兩者。
[0157] 但是，沒(méi)有必要使RGB濾光器和IR濾光器的比率相同。例如，如圖9C中所繪出的，通 過(guò)相對(duì)于IR濾光器的數(shù)量來(lái)增加所布置的RGB濾光器的數(shù)量，可W獲得用于W高分辨率獲 取RGB彩色圖像的濾光器布置?？商娲兀鐖D9D中所繪出的，可W相反地相對(duì)于RGB濾光器 的數(shù)量來(lái)增加 IR濾光器的數(shù)量，W獲得用于W高分辨率獲取時(shí)間相關(guān)圖像的濾光器布置。 RGB濾光器和IR濾光器的中屯、波長(zhǎng)的布置W及濾光器的數(shù)量的比率不限于圖9B至9D中所繪 出的那些。
[0158] 在上文中，用于通過(guò)在圖像捕獲元件的平面內(nèi)分成多個(gè)波長(zhǎng)帶來(lái)獲取圖像的方法 被說(shuō)明作為用于同時(shí)獲取可見(jiàn)光和近紅外福射的方法，但是使用在圖像捕獲元件的深度方 向上的分離的方法、時(shí)分方法和具有多個(gè)圖像捕獲元件的配置也可W被使用。
[0159] 當(dāng)在圖像捕獲元件的深度方向上執(zhí)行分離時(shí)，例如，通過(guò)在厚度方向上彼此分離 地堆疊執(zhí)行可見(jiàn)波長(zhǎng)的光電轉(zhuǎn)換的層和執(zhí)行紅外波長(zhǎng)的光電轉(zhuǎn)換的層，可W同時(shí)獲取可見(jiàn) 光和近紅外福射。在運(yùn)種情況下獲得的效果是:相比于在平面內(nèi)布置有多個(gè)濾光器的情況， 防止了分辨率的下降。
[0160] 利用時(shí)分方法，通過(guò)切換可見(jiàn)光截止濾光器和紅外截止濾光器來(lái)執(zhí)行成像，可見(jiàn) 波長(zhǎng)和紅外波長(zhǎng)被分別獲取。在運(yùn)種情況下獲得的效果是:相比于在平面內(nèi)布置有多個(gè)濾 光器的情況，防止了分辨率的下降。
[0161] 當(dāng)使用多個(gè)圖像捕獲元件時(shí)，針對(duì)每個(gè)波長(zhǎng)的光分別用單獨(dú)的圖像捕獲元件獲取 圖像。在運(yùn)種情況下，可W針對(duì)每個(gè)波長(zhǎng)執(zhí)行高分辨率的成像，但圖像捕獲元件的數(shù)量增加 并且設(shè)備的尺寸增大。因此，優(yōu)選的是兩個(gè)圖像捕獲元件被分別用于可見(jiàn)和近紅外范圍，W 獲取相應(yīng)波長(zhǎng)帶內(nèi)的圖像。
[0162] 利用本實(shí)施例的配置獲得的效果是:可W通過(guò)使用不可見(jiàn)范圍中的時(shí)間相關(guān)圖像 來(lái)獲取運(yùn)動(dòng)信息，并且，同時(shí)可W獲取普通的RGB彩色圖像。
[0163] 在本文所說(shuō)明的示例中，其中照射光線的中屯、波長(zhǎng)被布置在窄波長(zhǎng)帶內(nèi)的第一實(shí) 施例被修改，并且，中屯、波長(zhǎng)被設(shè)置在不可見(jiàn)區(qū)域中，同時(shí)維持運(yùn)個(gè)條件。但是，在第二實(shí)施 例中，照射光線也可W被設(shè)置到不可見(jiàn)區(qū)域中，其中照射光線的中屯、波長(zhǎng)彼此分開(kāi)布置。另 夕h在本文說(shuō)明的例子中，照射光線的中屯、波長(zhǎng)被設(shè)置到近紅外區(qū)域，但是照射光線的中屯、 波長(zhǎng)也可W被設(shè)置到紫外線區(qū)域(例如，200nm至380nm)。
[0164] (第五實(shí)施例）
[0165] 在下文中說(shuō)明本發(fā)明的第五實(shí)施例。在第五實(shí)施例中，要獲取的時(shí)間相關(guān)圖像的 數(shù)量不同。由于圖像捕獲設(shè)備1的配置與第一實(shí)施例中的相同，所W下面的說(shuō)明使用相同的 附圖標(biāo)記。
[0166] 在本實(shí)施例中，照明設(shè)備10中的照射光源的波長(zhǎng)的數(shù)量比第一實(shí)施例中多兩個(gè)波 長(zhǎng)。附加的照射光源的中屯、波長(zhǎng)由M和A5表示。所輸入的參照信號(hào)的數(shù)量也增加兩個(gè)。W與 第一實(shí)施例相同的方式，兩個(gè)附加的參照信號(hào)是正弦波和余弦波，但頻率不同。例如，參照 信號(hào)sin(2?t)和cos(2?t)被輸入。結(jié)果，可W獲取在更寬范圍內(nèi)的運(yùn)動(dòng)的信息。兩個(gè)調(diào)制 頻率的比率不要求是1:2,而可W使用任何比率。但是，由于任何調(diào)制信號(hào)都需要在曝光期 間只包括整數(shù)波長(zhǎng)，所W優(yōu)選的是兩個(gè)調(diào)制頻率的最小公倍數(shù)不是很大。
[0167] 圖像捕獲元件13被配置為附加地具有與兩個(gè)附加照射光源M、A5對(duì)應(yīng)的濾色器。 利用與M、A5對(duì)應(yīng)的濾色器獲得的圖像分別被當(dāng)作由sin(2?t)和cos(2?t)確定的時(shí)間相 關(guān)圖像Ia4、Ia5。在圖像處理單元15中，使用在沒(méi)有照射的情況下獲得的圖像山3來(lái)校正在恒 定值照射下獲得的強(qiáng)度圖像Iai和時(shí)間相關(guān)圖像Ia〇、Ia2、Ia4、Ia5。
[0168] 在運(yùn)動(dòng)計(jì)算單元17中，運(yùn)動(dòng)信息獲取處理被執(zhí)行兩次。第一次運(yùn)動(dòng)信息獲取處理 使用強(qiáng)度圖像Iai和時(shí)間相關(guān)性的圖像Ia〇、Ia2,并且第二次運(yùn)動(dòng)信息獲取處理使用強(qiáng)度圖像 和時(shí)間相關(guān)圖像Ia4、Ia5。運(yùn)動(dòng)計(jì)算單元17還對(duì)在各個(gè)對(duì)應(yīng)像素位置獲取的兩種類型的運(yùn) 動(dòng)信息進(jìn)行比較，并且對(duì)于每個(gè)像素選擇具有較大運(yùn)動(dòng)的運(yùn)動(dòng)信息作為該像素中的運(yùn)動(dòng)信 息。結(jié)果，從不同調(diào)制頻率獲得的運(yùn)動(dòng)信息可W組合起來(lái)。組合的運(yùn)動(dòng)信息存儲(chǔ)在存儲(chǔ)單元 20中。
[0169] 利用本實(shí)施例的構(gòu)造，可W同時(shí)獲取利用通過(guò)兩個(gè)相位和兩個(gè)頻率的組合形成的 參照信號(hào)而獲得的時(shí)間相關(guān)圖像。另外，通過(guò)使用由不同頻率的一對(duì)正弦波和余弦波形成 的參照信號(hào)而獲得的效果是使得可W獲取不同的運(yùn)動(dòng)量并且可W獲取在更寬范圍內(nèi)的運(yùn) 動(dòng)的f胃息。
[0170] (其它實(shí)施例）
[0171] 本發(fā)明的實(shí)施例也可W由讀出并執(zhí)行記錄在存儲(chǔ)介質(zhì)(其也可W被更完整地稱為 "非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)"）上的計(jì)算機(jī)可執(zhí)行指令(例如，一個(gè)或多個(gè)程序）W執(zhí)行 上述實(shí)施例中的一個(gè)或多個(gè)實(shí)施例的功能和/或包括用于執(zhí)行上述實(shí)施例中的一個(gè)或多個(gè) 實(shí)施例的功能的一個(gè)或多個(gè)電路(例如，專用集成電路(ASIC))的系統(tǒng)或裝置的計(jì)算機(jī)實(shí) 現(xiàn)，并且可W通過(guò)由系統(tǒng)或裝置的計(jì)算機(jī)通過(guò)例如從存儲(chǔ)介質(zhì)中讀出并執(zhí)行計(jì)算機(jī)可執(zhí)行 指令W執(zhí)行上述實(shí)施例中的一個(gè)或多個(gè)實(shí)施例的功能和/或控制一個(gè)或多個(gè)電路執(zhí)行上述 實(shí)施例中的一個(gè)或多個(gè)實(shí)施例的功能而執(zhí)行的方法來(lái)實(shí)現(xiàn)。計(jì)算機(jī)可W包括一個(gè)或多個(gè)處 理器(例如，中央處理單元(CPU)、微處理單元(MPU))并且可W包括分開(kāi)的計(jì)算機(jī)或分開(kāi)的 處理器的網(wǎng)絡(luò)W讀出和執(zhí)行計(jì)算機(jī)可執(zhí)行指令。計(jì)算機(jī)可執(zhí)行指令可W從例如網(wǎng)絡(luò)或存儲(chǔ) 介質(zhì)中提供給計(jì)算機(jī)。存儲(chǔ)介質(zhì)可W包括例如硬盤(pán)、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器 (ROM)、分布式計(jì)算系統(tǒng)的存儲(chǔ)設(shè)備、光盤(pán)(諸如壓縮盤(pán)(CD)、數(shù)字多功能盤(pán)(DVD)或藍(lán)光盤(pán) (BD)?)、閃存設(shè)備、存儲(chǔ)卡等中的一種或多種。
[0172] 其它實(shí)施例
[0173] 本發(fā)明的實(shí)施例還可W通過(guò)如下的方法來(lái)實(shí)現(xiàn)，即，通過(guò)網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì) 將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中 央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。
[0174] 雖然已經(jīng)參照示例性實(shí)施例描述了本發(fā)明，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公開(kāi) 的示例性實(shí)施例。所附權(quán)利要求的范圍應(yīng)被賦予最寬泛的解釋，W便涵蓋所有運(yùn)種修改和 等同的結(jié)構(gòu)及功能。
【主權(quán)項(xiàng)】
1. 一種運(yùn)動(dòng)信息獲取裝置，其特征在于，包括： 照明設(shè)備（10)，被配置為用第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光來(lái)同時(shí)照 射目標(biāo)，其中第一強(qiáng)度調(diào)制光具有第一中心波長(zhǎng)(λ〇)并且被用第一參照信號(hào)進(jìn)行強(qiáng)度調(diào) 制，第二強(qiáng)度調(diào)制光具有第二中心波長(zhǎng)(λ2)并且被用具有與第一參照信號(hào)基本上相同的波 長(zhǎng)但不同的相位的第二參照信號(hào)進(jìn)行強(qiáng)度調(diào)制，并且恒定照射光具有第三中心波長(zhǎng)(λ?)和 恒定強(qiáng)度； 圖像生成器（15)，被配置為生成與第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光對(duì) 應(yīng)的第一至第三圖像；以及 運(yùn)動(dòng)信息獲取器（17)，被配置為基于由圖像生成器生成的第一至第三圖像來(lái)獲取圖像 中的運(yùn)動(dòng)信息。2. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)信息獲取裝置，其中 第一參照信號(hào)和第二參照信號(hào)是具有基本相同的頻率并且在曝光開(kāi)始時(shí)具有60°至 120°的相位差的兩個(gè)正弦波，并且曝光開(kāi)始時(shí)的相位差與曝光結(jié)束時(shí)的相位差之間的變化 是-30°至30°。3. 根據(jù)權(quán)利要求1或2所述的運(yùn)動(dòng)信息獲取裝置，其中 照明設(shè)備調(diào)整第一參照信號(hào)和第二參照信號(hào)的頻率，使得在曝光時(shí)間段中所包括的第 一參照信號(hào)和第二參照信號(hào)的周期是整數(shù)。4. 根據(jù)權(quán)利要求1或2所述的運(yùn)動(dòng)信息獲取裝置，其中 照明設(shè)備調(diào)整曝光時(shí)間段，使得在曝光時(shí)間段中所包括的第一參照信號(hào)和第二參照信 號(hào)的周期是整數(shù)。5. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)信息獲取裝置，其中 照明設(shè)備根據(jù)目標(biāo)的速度來(lái)確定第一參照信號(hào)和第二參照信號(hào)的頻率。6. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)信息獲取裝置，其中 圖像生成器還生成環(huán)境光圖像，該環(huán)境光圖像是不包括來(lái)自照明設(shè)備的照射光的圖 像;并且 運(yùn)動(dòng)信息獲取器從第一至第三圖像和環(huán)境光圖像獲取運(yùn)動(dòng)信息。7. 根據(jù)權(quán)利要求6所述的運(yùn)動(dòng)信息獲取裝置，其中 圖像生成器生成與具有第四中心波長(zhǎng)(λ3)和預(yù)定光譜分布的環(huán)境光對(duì)應(yīng)的環(huán)境光圖 像;并且 第一至第四中心波長(zhǎng)中的相鄰中心波長(zhǎng)之間的距離在50nm內(nèi)。8. 根據(jù)權(quán)利要求6所述的運(yùn)動(dòng)信息獲取裝置，其中 第一至第三中心波長(zhǎng)中的相鄰中心波長(zhǎng)之間的距離大于50nm;并且 圖像生成器獲取與第一至第三環(huán)境光線對(duì)應(yīng)的三個(gè)環(huán)境光圖像，所述第一至第三環(huán)境 光線各自具有離相應(yīng)的第一至第三中心波長(zhǎng)在50nm內(nèi)的中心波長(zhǎng)(λ〇 '，λ2 '，λΓ )和預(yù)定的 光譜分布。9. 根據(jù)權(quán)利要求8所述的運(yùn)動(dòng)信息獲取裝置，其中 相對(duì)于第一強(qiáng)度調(diào)制光和第一環(huán)境光、第二強(qiáng)度調(diào)制光和第二環(huán)境光以及恒定照射光 和第三環(huán)境光的每個(gè)組合的中心波長(zhǎng)之間的距離大于一個(gè)光的光譜分布的半峰半寬和另 一個(gè)光的光譜分布的半峰半寬之和。10. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)信息獲取裝置，其中 第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光的光譜分布全都在不可見(jiàn)范圍中。11. 根據(jù)權(quán)利要求10所述的運(yùn)動(dòng)信息獲取裝置，其中 第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光的光譜分布全都在從750nm至1.4μπι的 范圍中。12. 根據(jù)權(quán)利要求10或11所述的運(yùn)動(dòng)信息獲取裝置，還包括： 圖像捕獲元件（13)，包括與第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光對(duì)應(yīng)的濾 色器以及用于獲取彩色圖像的濾色器。13. 根據(jù)權(quán)利要求1所述的運(yùn)動(dòng)信息獲取裝置，其中 照明設(shè)備還發(fā)出第三強(qiáng)度調(diào)制光和第四強(qiáng)度調(diào)制光，其中第三強(qiáng)度調(diào)制光具有第五中 心波長(zhǎng)并且被用第三參照信號(hào)進(jìn)行強(qiáng)度調(diào)制，第四強(qiáng)度調(diào)制光具有第六中心波長(zhǎng)并且被用 具有與第三參照信號(hào)基本上相同的波長(zhǎng)但不同的相位的第四參照信號(hào)進(jìn)行強(qiáng)度調(diào)制； 第三和第四參照信號(hào)的頻率與第一和第二參照信號(hào)的頻率不同； 圖像生成器還生成與第三強(qiáng)度調(diào)制光和第四強(qiáng)度調(diào)制光對(duì)應(yīng)的第四和第五圖像;并且 運(yùn)動(dòng)信息獲取器基于由圖像生成器生成的第一至第五圖像來(lái)獲取圖像中的運(yùn)動(dòng)信息。14. 一種由運(yùn)動(dòng)信息獲取裝置執(zhí)行的運(yùn)動(dòng)信息獲取方法，其特征在于，該方法包括： 照明步驟，用于用第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光同時(shí)照射目標(biāo)，其中 第一強(qiáng)度調(diào)制光具有第一中心波長(zhǎng)并且被用第一參照信號(hào)進(jìn)行強(qiáng)度調(diào)制，第二強(qiáng)度調(diào)制光 具有第二中心波長(zhǎng)并且被用具有與第一參照信號(hào)基本上相同的波長(zhǎng)但不同的相位的第二 參照信號(hào)進(jìn)行強(qiáng)度調(diào)制，并且恒定照射光具有第三中心波長(zhǎng)和恒定強(qiáng)度； 圖像生成步驟，用于在用第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光照射目標(biāo)的 同時(shí)執(zhí)行成像，并且生成與第一強(qiáng)度調(diào)制光、第二強(qiáng)度調(diào)制光和恒定照射光對(duì)應(yīng)的第一至 第三圖像；以及 運(yùn)動(dòng)信息獲取步驟，用于基于在圖像生成步驟中生成的第一至第三圖像來(lái)獲取圖像中 的運(yùn)動(dòng)信息。
【文檔編號(hào)】G06T1/00GK105956989SQ201610121558
【公開(kāi)日】2016年9月21日
【申請(qǐng)日】2016年3月4日
【發(fā)明人】小松知
【申請(qǐng)人】佳能株式會(huì)社