一種基于多鏡頭多傳感器的全景相機標定裝置的制造方法
【專利摘要】本實用新型公開了一種基于多鏡頭多傳感器的全景相機標定裝置，涉及全景攝像領域，包括全景攝像模塊、電機驅(qū)動模塊、圖像處理模塊和圖像顯示模塊，全景攝像模塊包括支架、設置在支架上的多個鏡頭組和與多個傳感器組，每個鏡頭組對應一個傳感器組，鏡頭組中的每個鏡頭對應傳感器組中的一個傳感器，并且與該傳感器相連；每個鏡頭組包括n個鏡頭，1≤n≤100，其中各個鏡頭組中鏡頭的位置排列相同，位于各個鏡頭組中同一個位置的鏡頭組成一個成像組，在每個成像組中，任意兩個相鄰的鏡頭在成像時有重疊區(qū)域。本實用新型可以克服目前全景相機標定對場景有較高要求的缺點，可以在較小的場景中對相機進行標定，并且可以借助標定靶，保證找到足夠的特征點的同時，大大降低匹配算法的復雜度。
【專利說明】
一種基于多鏡頭多傳感器的全景相機標定裝置
技術(shù)領域
[0001]本實用新型公開了一種全景相機標定裝置，特別是一種基于多鏡頭多傳感器的全景相機標定裝置。
【背景技術(shù)】
[0002]采用全景拼接方式構(gòu)建的拼接式全景攝像機，可以對場景同時實現(xiàn)大視場和高分辨率的拍攝。但是全景攝像機在投入使用之前需要進行標定，以估計攝像機內(nèi)參、外參，確定各鏡頭間、以及空間物體表面某點在圖像上的位置相互關系。公開號CN103533266的專利公開了一種名為垂直方向?qū)捯曈虻?60度拼接式全景攝像機的技術(shù)方案，它包括若干個相同的豎直排列的圖像傳感器，傳感器的型號、數(shù)量和相對位置根據(jù)全景拼接應用對視場大小的需求確定。它還提供了基于所述全景攝像機的標定方法和拼接方法，通過進行標定，將各路圖像投影在同一平面上;再利用動態(tài)規(guī)劃方法和梯度域融合方法完成全景圖像的拼接。使用該專利的全景攝像機進行標定時，對標定場景有較高要求，首先標定區(qū)域要求空間比較充裕，其次要求標定場景擁有足夠的特征點，再次對匹配算法的優(yōu)越性也有較高要求。目前常用的標定裝置，一般要求標定區(qū)域是以最小標定距離為半徑的圓，通常最小標定距離大于10米，本實用新型公開的全景相機標定裝置降低了對標定區(qū)域大小的要求，且保證能夠找到足夠的特征點，并減輕了算法的復雜度。

【發(fā)明內(nèi)容】

[0003]本實用新型公開了一種基于多鏡頭多傳感器的全景相機標定裝置，可以克服目前全景相機標定對場景有較高要求的缺點，可以在較小的場景中對相機進行標定，并且可以借助標定靶，保證找到足夠的特征點的同時，大大降低匹配算法的復雜度。
[0004]本實用新型公開了一種基于多鏡頭多傳感器的全景相機標定裝置，包括全景攝像模塊、電機驅(qū)動模塊、圖像處理模塊和圖像顯示模塊，全景攝像模塊包括支架、設置在支架上的多個鏡頭組和與多個傳感器組，每個鏡頭組對應一個傳感器組，鏡頭組中的每個鏡頭對應傳感器組中的一個傳感器，并且與該傳感器相連；
[0005]每個鏡頭組包括η個鏡頭，I100，其中各鏡頭組中鏡頭位置的排列方向、距離相同，位于每個鏡頭組中同一位置的鏡頭組成一個成像組，在每個成像組中，任意兩個相鄰的鏡頭在成像時有重疊區(qū)域，同一個成像組的各個鏡頭參數(shù)相同；
[0006]全景攝像組連接電機驅(qū)動模塊，圖像處理模塊連接全景攝像模塊，圖像顯示模塊連接圖像處理模塊，電機驅(qū)動模塊驅(qū)動支架平移和旋轉(zhuǎn)，可以調(diào)整鏡頭方向，保證獲取足夠的特征點，減小標定所需要的區(qū)域大小。
[0007]優(yōu)選的，全景攝像機模塊設置為球面狀態(tài)，支架為球面支架，每個鏡頭都設置在球面支架的外側(cè)面，沿球面半徑方向朝向球面的外側(cè)，球面支架的球心和鏡頭中心點的連線與鏡頭光軸所成角度小于等于5°。設置為球面狀態(tài)的全景攝像機模塊，適用于720°的全景拍攝，可以取到所有角度的圖像。
[0008]優(yōu)選的，全景攝像機模塊設置為柱面狀態(tài)，支架為圓柱面支架，每個鏡頭都設置在圓柱面支架的側(cè)面，沿圓柱側(cè)面半徑方向朝向圓柱面的外側(cè)，且處于同一柱面高度，位于該高度的圓柱面支架橫截面圓心和鏡頭中心點的連線與鏡頭光軸所成角度小于等于5°。設置為柱面狀態(tài)的全景攝像模塊，適用于360°的全景拍攝，可以取到全景相機四周的圖像。
[0009]優(yōu)選的，全景攝像機組設置為矩陣形態(tài)，支架為平面支架，每個都設于平面鏡頭架的一側(cè)，鏡頭方向朝向平面的同一側(cè)。設置為矩陣形態(tài)的全景攝像機模塊，適用于面對一個方向的全景拍攝。
[0010]優(yōu)選的，每組鏡頭包括兩個鏡頭，組成兩個成像組，分別模擬人體左眼和右眼成像，經(jīng)過圖像處理模塊的處理，形成3D立體圖像。
[0011]優(yōu)選的，每組鏡頭包括多個鏡頭，組成多個成像組，每個成像組獨立成像，經(jīng)過圖像處理模塊的處理，可以將每個成像組形成的圖像進行疊加，根據(jù)每個成像組鏡頭的設置，進而獲得3D圖像或熱成像圖像等。
[0012]優(yōu)選的，成像組中，至少一組全部由普通光學鏡頭組成，保證標定可以順利進行。
[0013]優(yōu)選的，成像組包括兩個分別模擬人體左眼和右眼的成像的成像組，將圖像疊加后獲得3D立體圖。
[0014]優(yōu)選的，鏡頭與支架轉(zhuǎn)動連接，可以根據(jù)需要獨立調(diào)整每個鏡頭在當前位置的角度。
[0015]優(yōu)選的，圖像處理模塊為芯片或計算機;芯片安裝在全景攝像模塊的支架處，與傳感器連接，進一步減小整個裝置的體積，處理后將圖像輸出到外部圖像顯示模塊。當使用計算機作為圖像處理模塊時，使用計算機軟件進行處理，計算機外接于傳感器。
[0016]優(yōu)選的，全景相機標定裝置還包括標定靶，標定靶的圖案設置為黑白相間的棋盤格，棋盤格上設有定位標志。使用標定靶，可以保證標定時能夠找到足夠數(shù)量的、分布均勻的、足夠精度且基本處于同一景深的特征點，而不受標定所處現(xiàn)實場景的影響。
[0017]優(yōu)選的，全景相機標定裝置包括多塊標定靶，多塊標定靶圖案可以不完全一致，設置多塊標定革G，可以進一步提尚標定的成功率，并減少標定裝置轉(zhuǎn)動幅度。
[0018]本實用新型的有益效果是:大大減少標定場景空間，將最小標定距離減小到I?2米之間，并且能確保每組相鄰圖像的重疊區(qū)域都能找到足夠數(shù)量的、分布均勻的、足夠精度的、基本處于同一景深的特征點，而不受標定所處現(xiàn)實場景的影響。另外，由于標定靶的存在，不需很復雜的特征點匹配算法就可以基本保證全部特征點匹配正確。標定過程應是全自動的，無須人工干預。
【附圖說明】
[0019]圖1為本裝置標定狀態(tài)的示意圖；
[0020]圖2為柱面狀態(tài)全景攝像機模塊的示意圖；
[0021 ]圖3為球面狀態(tài)全景攝像機模塊的示意圖；
[0022]圖4為矩陣狀態(tài)全景攝像機模塊的示意圖；
[0023]圖5為本發(fā)明第一種標定靶的示意圖；
[0024]圖6為本發(fā)明第二種標定靶的示意圖。
【具體實施方式】
[0025]下面結(jié)合附圖對本發(fā)明的【具體實施方式】作進一步說明:
[0026]本實用新型公開了一種基于多鏡頭多傳感器的全景相機標定裝置，可以克服目前全景相機標定對場景有較高要求的缺點，可以在較小的場景中對相機進行標定，并且可以借助標定靶，保證找到足夠的特征點的同時，大大降低匹配算法的復雜度。
[0027]如圖1所示，本實用新型公開了一種基于多鏡頭多傳感器的全景相機標定裝置，包括全景攝像模塊1、電機驅(qū)動模塊2、圖像顯示模塊3，圖像處理模塊4和標定靶5。全景攝像模塊I包括支架11、設置在支架上的多個鏡頭組12和與多個傳感器組13，每個鏡頭組12對應一個傳感器組13，鏡頭組中的每個鏡頭對應傳感器組中的一個傳感器，并且與該傳感器相連；
[0028]如圖1和圖2所示，每個鏡頭組包括兩個鏡頭，每個攝像頭對應一個傳感器，如圖2中第一個鏡頭組包括121a和121b兩個鏡頭，分別對應傳感器131a和131b，第二個鏡頭組包括122a和122b兩個鏡頭，分別對應傳感器132a和132b。每個鏡頭組中鏡頭的位置排列相同，每個鏡頭組中位于同一個位置的鏡頭組成一個成像組，即121a與122a屬于一個成像組，121b與122b屬于一個成像組。在每個成像組中，每兩個相鄰的鏡頭在成像時有重疊區(qū)域，SP121a與122a成像區(qū)域有重疊，121b與122b成像區(qū)域有重疊。
[0029]全景攝像組I連接電機驅(qū)動模塊2，圖像處理模塊4連接全景攝像模塊I，圖像顯示模塊3連接圖像處理模塊4，電機驅(qū)動模塊驅(qū)動支架11平移和旋轉(zhuǎn)。
[0030]進行標定時，第一步，電機驅(qū)動模塊驅(qū)動全景攝像模塊支架調(diào)整位置和角度，使每個鏡頭都基本正對標定靶進行一次拍攝，根據(jù)每次轉(zhuǎn)動后全景攝像模塊的姿態(tài)角，即每次采集到的圖像，完成畸變校正圖像采集工作;第二步，調(diào)整全景攝像機模塊支架，進行兩兩相鄰鏡頭對靶工作，使每兩個相鄰鏡頭的角平分線基本正對標定靶，且標定靶上的定位點處于兩個鏡頭可視范圍的重疊區(qū)域，根據(jù)每次采集的圖像及全景攝像模塊的姿態(tài)角，完成全局調(diào)整優(yōu)化。
[0031]如圖2所示，在本發(fā)明的一個實施例中，全景攝像機模塊設置為柱面狀態(tài)，柱面形態(tài)指支架11設置為圓柱面，每個鏡頭都設置在所述圓柱面支架的側(cè)面，沿圓柱側(cè)面半徑方向朝向球面的外側(cè)，且處于同一柱面高度，鏡頭光軸與圓柱側(cè)面半徑所成角度小于等于5°，設置為柱面狀態(tài)的全景攝像機模塊，適用于360°的全景拍攝，可以取到全景相機四周的圖像。
[0032]如圖3所示，在本發(fā)明的一個實施例中，全景攝像機模塊設置為球面狀態(tài)，球面形態(tài)指支架11設置為球面，每個鏡頭組12都設置在所述球面支架的外側(cè)面，沿球面半徑方向朝向球面的外側(cè)，鏡頭光軸與球面半徑所成角度小于等于5°，設置為球面狀態(tài)的全景攝像機模塊，適用于720°的全景拍攝，可以取到所有角度的圖像，每個鏡頭組12對應一個傳感器組13。
[0033]如圖4所示，在本發(fā)明的一個實施例中，全景攝像機組設置為矩陣形態(tài)，矩陣形態(tài)指支架11設置為平面，每個鏡頭組12都設于平面鏡頭架的一側(cè)，鏡頭方向朝向平面的同一側(cè)，設置為矩陣形態(tài)的全景攝像機模塊，適用于面對一個方向的全景拍攝，每個鏡頭組12對應一個傳感器組13。
[0034]在本實用新型的一個實施例中，每組鏡頭包括一個鏡頭，全景攝像模塊形成一個成像組。
[0035]在本實用新型的一個實施例中，每組鏡頭包括兩個鏡頭，分別模擬形成人體左眼和右眼視場，經(jīng)過圖像處理模塊的處理，將兩個鏡頭采集的圖像疊加，獲得3D立體圖像。
[0036]在本實用新型的一個實施例中，全景攝像模塊還包括一個由紅外熱傳感鏡頭組成的成像組，經(jīng)過圖像處理模塊的處理，獲得熱成像圖像。
[0037]在本實用新型的一個實施例中，每組鏡頭包括多個鏡頭，每組鏡頭中鏡頭的位置排列相同，每組鏡頭中位于同一個位置的鏡頭組成一個成像組，在成像組中，每兩個相鄰的鏡頭在成像時有重疊區(qū)域；當每組鏡頭包括多個鏡頭時，鏡頭包括普通成像鏡頭和紅外熱成像鏡頭，分別形成普通成像組和紅外成像組，每個成像組獨立成像，經(jīng)過圖像處理模塊的處理，可以將每個成像組形成的圖像進行疊加，獲得熱成像圖像。
[0038]在本實用新型設置的一個或多個成像組中，至少一組全部由普通成像鏡頭組成，保證標定可以順利進行。
[0039]在本實用新型的一個實施例中，鏡頭與支架轉(zhuǎn)動連接，可以根據(jù)需要獨立調(diào)整每個鏡頭在當前位置的角度。
[0040]在本實用新型的一個實施例中，圖像處理模塊為芯片或計算機;芯片安裝在全景攝像模塊的支架處，與圖像采集模塊和電機驅(qū)動模塊連接，進一步減小整個裝置的體積，處理后將圖像輸出到外部圖像顯示模塊。當使用計算機作為圖像處理模塊時，使用計算機軟件進行處理，計算機外接于圖像采集模塊。
[0041]如圖1所示，在本實用新型的一個實施例中，全景相機標定裝置還包括標定靶5，標定靶5的圖案設置為黑白相間的棋盤格，棋盤格上設有定位標志51。使用標定靶，可以保證標定時能夠找到足夠數(shù)量的、分布均勻的、足夠精度且基本處于同一景深的特征點，而不受標定所處現(xiàn)實場景的影響。
[0042]如圖5和圖6所示，在本實用新型的一個實施例中，全景相機標定裝置包括多塊標定靶，多塊標定靶圖案可以不完全一致，但是都包括一個定位標志51，設置多塊標定靶，可以進一步提尚標定的成功率，并減少標定裝置轉(zhuǎn)動幅度。
[0043]根據(jù)上述說明書的揭示和教導，本發(fā)明所屬領域的技術(shù)人員還可以對上述實施方式進行變更和修改。因此，本發(fā)明并不局限于上面揭示和描述的【具體實施方式】，對發(fā)明的一些修改和變更也應當落入本發(fā)明的權(quán)利要求的保護范圍內(nèi)。此外，盡管本說明書中使用了一些特定的術(shù)語，但這些術(shù)語只是為了方便說明，并不對本實用新型構(gòu)成任何限制。
【主權(quán)項】
1.一種基于多鏡頭多傳感器的全景相機標定裝置，包括全景攝像模塊、驅(qū)動模塊、圖像處理模塊和圖像顯示模塊，其特征在于:所述全景攝像模塊包括支架、設置在支架上的多個鏡頭組和與多個傳感器組，每個鏡頭組對應一個傳感器組，鏡頭組中的每個鏡頭對應傳感器組中的一個傳感器，并且與該傳感器相連； 每個鏡頭組包括η個鏡頭，I < n < 100，其中各鏡頭組中鏡頭位置的排列方向、距離相同，位于每個鏡頭組中同一位置的鏡頭組成一個成像組，在每個成像組中，任意兩個相鄰的鏡頭在成像時有重疊區(qū)域，同一個成像組的各個鏡頭參數(shù)相同； 所述圖像處理模塊連接全景攝像模塊，圖像顯示模塊連接圖像處理模塊，驅(qū)動模塊連接支架，并驅(qū)動支架平移和旋轉(zhuǎn)。2.根據(jù)權(quán)利要求1所述的基于多鏡頭多傳感器的全景相機標定裝置，其特征在于:所述全景攝像機模塊設置為球面狀態(tài)，所述支架為球面支架，每個鏡頭都設置在所述球面支架的外側(cè)面，沿球面半徑方向朝向球面的外側(cè)，球面支架的球心和鏡頭中心點的連線與鏡頭光軸所成角度小于等于5°。3.根據(jù)權(quán)利要求1所述的基于多鏡頭多傳感器的全景相機標定裝置，其特征在于:所述全景攝像機模塊設置為柱面狀態(tài)，支架為圓柱面支架，每個鏡頭都設置在所述圓柱面支架的側(cè)面，沿圓柱側(cè)面半徑方向朝向圓柱面的外側(cè)，且處于同一柱面高度，位于該高度的圓柱面支架橫截面圓心和鏡頭中心點的連線與鏡頭光軸所成角度小于等于5°。4.根據(jù)權(quán)利要求1所述的基于多鏡頭多傳感器的全景相機標定裝置，其特征在于:所述全景攝像機組設置為矩陣形態(tài)，支架為平面支架，每個都設于平面鏡頭架的一側(cè)，鏡頭方向朝向平面的同一側(cè)。5.根據(jù)權(quán)利要求1-4任一項所述的基于多鏡頭多傳感器的全景相機標定裝置，其特征在于:所述鏡頭組，每個鏡頭組包括兩個鏡頭，分別模擬人體左眼和右眼成像。6.根據(jù)權(quán)利要求1-4任一項所述的基于多鏡頭多傳感器的全景相機標定裝置，其特征在于:所述成像組中，至少一組全部由普通光學鏡頭組成。7.根據(jù)權(quán)利要求1-4任一項所述的基于多鏡頭多傳感器的全景相機標定裝置，其特征在于:所述鏡頭與支架轉(zhuǎn)動連接。8.根據(jù)權(quán)利要求1-4任一項所述的基于多鏡頭多傳感器的全景相機標定裝置，其特征在于:所述圖像處理模塊為芯片或計算機;芯片安裝在所述全景攝像模塊的支架處，與傳感器連接，計算機外接于傳感器。9.根據(jù)權(quán)利要求1-4任一項所述的基于多鏡頭多傳感器的全景相機標定裝置，其特征在于:還包括一塊或多塊獨立配置的標定靶，標定靶的圖案設置為黑白相間的棋盤格，棋盤格上設有定位標志。
【文檔編號】G06T7/00GK205563716SQ201620261397
【公開日】2016年9月7日
【申請日】2016年3月30日
【發(fā)明人】于燕斌, 張燕生, 黃權(quán)興
【申請人】廣州市盛光微電子有限公司