一種基于兩類膨脹的立體影像密集匹配方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及立體影像密集匹配技術(shù)領(lǐng)域，特別設(shè)及一種采用兩類膨脹策略進(jìn)行立 體影像密集匹配的方法及系統(tǒng)。
【背景技術(shù)】
[0002] 立體影像密集匹配是計(jì)算視覺和攝影測量領(lǐng)域的一個基礎(chǔ)和關(guān)鍵問題。密集匹配 的概念最早在攝影測量領(lǐng)域提出，用于解決數(shù)字航空攝影測量自動化測圖的問題。密集匹 配也是計(jì)算機(jī)視覺領(lǐng)域的關(guān)鍵問題，關(guān)系到3D模型建立、機(jī)器人導(dǎo)航和操作及在計(jì)算機(jī)中 形成混合實(shí)景動作等。
[0003] 立體密集匹配的目標(biāo)是從二維影像中重建=維場景模型。通過對場景不同視點(diǎn) 下的兩幅影像建立匹配對應(yīng)關(guān)系，W恢復(fù)場景的=維信息，其關(guān)鍵的問題是如何利用影像 匹配獲取可靠同名點(diǎn)，因此影像匹配的本質(zhì)是在不同影像上量測或者獲取同名點(diǎn)或同名特 征。運(yùn)種從二維影像中重建=維場景本身就是病態(tài)問題，紋理不顯著區(qū)域W及視差不連續(xù) 的誤匹配問題一直難W全面得到解決。為取得更好的匹配結(jié)果，需要合理納入更多的先驗(yàn) 條件約束。比如，基于區(qū)域灰度的匹配方法，匹配過程中利用影像局部信息改善窗口匹配， 同時利用金字塔分層匹配策略等提高匹配穩(wěn)定性和正確率。然而運(yùn)種方法往往需要較大的 匹配窗口，匹配結(jié)果難W保證對影像局部細(xì)節(jié)的恢復(fù)。還有一些方法把影像分割作為約束， 但卻對于圖像分割結(jié)果有很強(qiáng)的依賴性?？傊?，傳統(tǒng)的密集匹配方法往往直接用各種約束 條件減小視差捜索范圍，因此對于先驗(yàn)條件的依賴性過強(qiáng)，要求先驗(yàn)條件有較高的精度，否 則容易產(chǎn)生誤匹配。
[0004] 近年來出現(xiàn)一些通過改進(jìn)代價積聚方法來實(shí)現(xiàn)匹配的方法，例如采用自適應(yīng)代價 積聚方法改善局部窗口匹配方法，采用多尺度代價積聚方法解決重復(fù)紋理的匹配問題，采 用半全局代價積聚方法解決視差不連續(xù)的匹配問題。運(yùn)些方法的共同點(diǎn)都是在代價矩陣中 實(shí)現(xiàn)各自的約束，但由于納入的約束不夠充分，因此難W較全面地解決誤匹配問題。此外運(yùn) 些采用半全局代價積聚的方法計(jì)算量非常巨大，在效率上無法滿足當(dāng)前測繪生產(chǎn)需求，更 滿足不了實(shí)時性需求。
[0005] 特別需要指出的是，當(dāng)前的影像匹配方法，大多數(shù)都依賴于"攝影的幾何條件"，如 "核線約束"條件等，因此當(dāng)攝影機(jī)的崎變差較大時，影像匹配就會受到影響。同時，對當(dāng)前 大多數(shù)影像匹配方法而言，當(dāng)攝影的幾何條件不同（如面陣、線陳）、成像機(jī)理的不同（如 光學(xué)成像均為"角度成像"，而雷達(dá)圖像則是"距離成像"）時，不能做到自動適應(yīng)。而本發(fā) 明與成像幾何、成像機(jī)理無關(guān)，只要兩幅圖像存在"視差"，就能實(shí)現(xiàn)匹配運(yùn)算，確定同名點(diǎn)。 實(shí)質(zhì)上，它更接近于"人的立體觀察"。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明主要針對現(xiàn)有技術(shù)所存在的對于先驗(yàn)條件約束依賴性過強(qiáng)問題（即容易 產(chǎn)生誤匹配）和效率不高問題，提出了一種W少量近似同名點(diǎn)為種子點(diǎn)，采用兩類膨脹策 略，對影像上所有特征點(diǎn)進(jìn)行擴(kuò)張式匹配，可w有效解決紋理不顯著w及視差不連續(xù)區(qū)域 的誤匹配問題。
[0007] 本發(fā)明技術(shù)方案提供一種基于兩類膨脹的立體影像密集匹配方法，包括W下步 驟：
[0008] 步驟1，取一幅影像作為基準(zhǔn)影像，按照預(yù)設(shè)間隔對局部影像進(jìn)行顯著特征提取， 形成待匹配特征點(diǎn)的集合；
[0009] 步驟2,對基準(zhǔn)影像和待匹配影像構(gòu)成的影像對進(jìn)行粗略匹配獲取同名種子點(diǎn)，作 為初始的已知點(diǎn)，形成初始的已知點(diǎn)集合；
[0010] 步驟3,基于基準(zhǔn)影像，W當(dāng)前的已知點(diǎn)集合中各已知點(diǎn)分別進(jìn)行第一類膨脹，在 第一類膨脹中捜索待匹配特征點(diǎn)；
[0011] 步驟4,基于基準(zhǔn)影像，對步驟3中得找到的每個待匹配特征點(diǎn)分別進(jìn)行第二類膨 脹，在第二類膨脹中查找該待匹配特征點(diǎn)周圍距離最近的若干已知點(diǎn)，通過找到的所有已 知點(diǎn)進(jìn)行距離加權(quán)平均，計(jì)算出待匹配點(diǎn)特征點(diǎn)在待匹配影像上的同名點(diǎn)的初始位置，并 根據(jù)找到的所有已知點(diǎn)確定捜索范圍，
[0012] 設(shè)基準(zhǔn)影像上某待匹配特征點(diǎn)坐標(biāo)為p(Xp，yp)，在第二類膨脹中查找到的所有已 知點(diǎn)數(shù)為N，得到所有的已知點(diǎn)對的集合為Q，所述距離加權(quán)平均的定義如下，
[0013]
[0014] 其中，P'（V，y。,）表示待匹配特征點(diǎn)p(Xp，yp)在待匹配影像上的可能匹配點(diǎn)坐標(biāo)， Wp' 〇V，yp〇為待匹配點(diǎn)特征點(diǎn)在待匹配影像上的同名點(diǎn)的初始位置；
[001引(如)，9'壯/',，-iV,))表示集合Q中的一個已知點(diǎn)對，(和("V-\化，乂,',)) 表示集合Q中的一個已知點(diǎn)對，i，j= 1，2, 3...，N;
[001引
r表示P(V心和如'V>V)之間的距離；
[0017] 步驟5,基于基準(zhǔn)影像和待匹配影像，根據(jù)步驟4所得待匹配特征點(diǎn)在待匹配影像 上的同名點(diǎn)的初始位置W及捜索范圍進(jìn)行灰度匹配，包括將基準(zhǔn)影像和待匹配影像分別作 為影像對的左右影像，W待匹配特征點(diǎn)及其同名點(diǎn)的初始位置為中屯、分別對影像對的左右 影像建立多級金字塔影像塊，然后在金字塔頂層影像上進(jìn)行灰度相關(guān)匹配，根據(jù)初始位置 W及捜索范圍獲取待匹配影像上的同名點(diǎn)，然后按金字塔級數(shù)逐級向下傳遞匹配，最后回 到原始影像，獲得待匹配特征點(diǎn)在待匹配影像上的同名點(diǎn)的坐標(biāo)及相關(guān)系數(shù)；
[001引步驟6,對當(dāng)前的已知點(diǎn)集合中各已知點(diǎn)，分別根據(jù)步驟5所得匹配結(jié)果進(jìn)行統(tǒng) 計(jì)，包括統(tǒng)計(jì)一個已知點(diǎn)本次迭代中進(jìn)行第一類膨脹找到的所有待匹配特征點(diǎn)中，匹配所 得相關(guān)系數(shù)低于預(yù)設(shè)系數(shù)闊值的待匹配特征點(diǎn)占所有待匹配特征點(diǎn)的比率，當(dāng)該比例于預(yù) 設(shè)比率闊值則將此已知點(diǎn)從當(dāng)前的已知點(diǎn)集合中剔除；
[001引步驟7,對當(dāng)前的已知點(diǎn)集合中剩余的各已知點(diǎn)，根據(jù)步驟5所得匹配結(jié)果，當(dāng)有 待匹配特征點(diǎn)的匹配所得相關(guān)系數(shù)大于等于預(yù)設(shè)系數(shù)闊值，作為新增的已知點(diǎn)，加入到已 知點(diǎn)集合中；判斷本次迭代新增的已知點(diǎn)總數(shù)是否小于預(yù)設(shè)的數(shù)量闊值，若否則返回步驟 3,若是則結(jié)束流程，當(dāng)前的已知點(diǎn)集合即最后的密集匹配結(jié)果。
[0020] 而且，第一類膨脹和第二類膨脹所使用的膨脹算法的定義如下，
[0021]
[002引其中，
[0023] X表示初始元素集合X中的初始元素，
[0024] B□表示對元素的八鄰域增長操作；
[0025]D00表示結(jié)果元素集合。
[0026] 而且，步驟3中，在對當(dāng)前的已知點(diǎn)集合中某已知點(diǎn)進(jìn)行第一類膨脹時，若該已知 點(diǎn)的捜索范圍已經(jīng)到了捜索邊界，貝峭b過該點(diǎn)不進(jìn)行膨脹。
[0027] 而且，步驟5中，灰度相關(guān)匹配采用左右匹配窗口灰度的標(biāo)準(zhǔn)化的協(xié)方差作為相 關(guān)系數(shù)，根據(jù)如下公式計(jì)算，
[0028]
[002引其中，
[0030] U，V分別表示左右影像上待計(jì)算相關(guān)系數(shù)的兩個點(diǎn)；
[0031] R(u, V )表示U, V兩點(diǎn)的相關(guān)系數(shù)；
[0032]M，N表示計(jì)算相關(guān)系數(shù)的左右匹配窗口的寬、高；
[003引表示左右匹配窗口里面像素的灰度值；
[0034] 表示左右匹配窗口的灰度均值。
[0035] 本發(fā)明相應(yīng)提供一種基于兩類膨脹的立體影像密集匹配系統(tǒng)，包括W下模塊：
[0036] 待匹配特征點(diǎn)捜索模塊，用于取一幅影像作為基準(zhǔn)影像，按照預(yù)設(shè)間隔對局部影 像進(jìn)行顯著特征提取，形成待匹配特征點(diǎn)的集合；
[0037] 種子點(diǎn)提取模塊，用于對基準(zhǔn)影像和待匹配影像構(gòu)成的影像對進(jìn)行粗略匹配獲取 同名種子點(diǎn)，作為初始的已知點(diǎn)，形成初始的已知點(diǎn)集合；
[0038] 第一類膨脹模塊，用于基于基準(zhǔn)影像，W當(dāng)前的已知點(diǎn)集合中各已知點(diǎn)分別進(jìn)行 第一類膨脹，在第一類膨脹中捜索待匹配特征點(diǎn)；
[0039] 第二類膨脹模塊，用于基于基準(zhǔn)影像，對第一類膨脹模塊中得找到的每個待匹配 特征點(diǎn)分別進(jìn)行第二類膨脹，在第二類膨脹中查找該待匹配特征點(diǎn)周圍距離最近的若干已 知點(diǎn)，通過找到的所有已知點(diǎn)進(jìn)行距離加權(quán)平均，計(jì)算出待匹配點(diǎn)特征點(diǎn)在待匹配影像上 的同名點(diǎn)的初始位置，并根據(jù)找到的所有已知點(diǎn)確定捜索范圍，
[0040] 設(shè)基準(zhǔn)影像上某待匹配特征點(diǎn)坐標(biāo)為p(Xp，yp)，在第二類膨脹中查找到的所有已 知點(diǎn)數(shù)為N，得到所有的已知點(diǎn)對的集合為Q，所述距離加權(quán)平均的定義如下，
[0041]
[004引其中，
[004引P'（v，yp0表示待匹配特征點(diǎn)p(Xp，yp)在待匹配影像上的可能匹配點(diǎn)坐標(biāo)，W P' 0V，yp0為待匹配點(diǎn)特征點(diǎn)在待匹配影像上的同名點(diǎn)的初始位置；
[0044](如.V從化>)表示集合Q中的一個已知點(diǎn)化(g/.v義 表示集合Q中的一個已知點(diǎn)對，i，j= 1，2, 3...，N;
[004引
，表示P(Vyp)和9如4，-V,,)之間的距離；
[0046] 灰度匹配模塊，用于基于基準(zhǔn)影像和待匹配影像，根據(jù)第