一種基于顯著目標的紅外與可見光圖像融合方法
【技術領域】
[0001] 本發(fā)明涉及一種多源圖像融合技術領域，特別是一種基于顯著目標的紅外與可見 光圖像多層次融合方法。
【背景技術】
[0002] 圖像融合（Image Fusion)是指將多分辨率或多介質(zhì)圖像數(shù)據(jù)通過空間配準和圖 像信息互補產(chǎn)生新的圖像的綜合分析技術。與單一傳感器圖像相比，融合圖像能最大限度 的利用各源圖像的信息，提高分辨率和清晰度，增加圖像目標感知的靈敏度、感知距離和精 度、抗干擾能力等，從而減少目標感知的不完全性和不確定性，提高對目標四部的準確率和 場景解釋能力。圖像融合通用的流程如圖所示。首先，對多幅源圖像進行一些預處理操作， 如濾除噪聲等；其次，對圖像進行時空配準，即將它們映射到同一個時空坐標系中，以確保 它們時空位置的一致性；再次，對配準后的圖像采用相應的方法進行處理；最后，根據(jù)一定 的融合規(guī)則進行融合處理得到融合圖像。
[0003] 光電和紅外探測傳感器是預警機和無人機等戰(zhàn)術偵察平臺最為常見的兩種載荷。 可見光成像在波段〇. 4~I. 0 μ m，其特點是分辨率高，隱蔽性好，可獲得豐富的對比度、顏 色和形狀信息，但受環(huán)境照度影響，不能夜間工作，無偽裝識別能力。紅外成像在波段8~ 14 μ m(長紅外波段）和3~5 μ m(中紅外波段），其特點是具有一定穿透煙、霧、雪等的能 力，隱蔽性好，成像分辨率較高，探測距離一般在幾千米到十幾千米之間，但受氣候影響，作 用距離較遠時圖像不夠穩(wěn)定。當目標本身各部位溫度變化較大或者背景熱輻射特性較弱 時，紅外圖像包含的目標或背景的細節(jié)信息較少，而可見光圖像則可包含豐富的細節(jié)信息； 然而，在光線較暗或有煙、云、霧壞境中，可見光圖像質(zhì)量較差，紅外圖像中的目標卻依然清 晰可辨。將可見光圖像與紅外圖像進行融合處理，可以克服環(huán)境噪聲對目標探測的影響，全 面掌握目標的形狀和細節(jié)特征，而且不受環(huán)境光照影響，能夠全天候使用，對提高偵察平臺 探測和圖像情報分析研判系統(tǒng)性能具有重要意義。
[0004] 美國防部在不同時期制定的關鍵戰(zhàn)術計劃中，有相當一部分的任務涉及到多源圖 像融合方面。在海灣戰(zhàn)爭中發(fā)揮良好作戰(zhàn)性能的"LANTIAN"吊艙就是一種可將前視紅外、 激光測距、可見光攝像機等多種傳感器信息疊加顯示的圖像融合系統(tǒng)。美國TI公司于1995 年從美國夜視和電子傳感器管理局（NVESD)獲得了將紅外與三代微光圖像融合設計集成 到先進直升機（AHP)傳感器系統(tǒng)的合同，信號處理功能由TMS320C30DSP完成。2003年，美 國國防部提出"軍事轉(zhuǎn)型中的橫向融合（Transformational about Horizontal Fusion)" 白皮書，注重橫向融合尤其是數(shù)據(jù)融合，目的是加強系統(tǒng)的橫向互通能力特別是數(shù)據(jù)融合 能力。2006年，美國防部辦公廳（OSD)發(fā)布了要在未來幾年內(nèi)進行驗證的年度技術項目列 表，以推動這些領域的快速發(fā)展。
[0005] 國內(nèi)在多源圖像融合的工作集中于算法研究，包括利用DT-CWT變換、小波多尺度 采樣、區(qū)域分割等方法研究多源圖像融合。已有的系統(tǒng)技術大多局限于對同一場景的不同 時相或其不同顏色通道的圖像像素的簡單疊加或取舍運算。

【發(fā)明內(nèi)容】

[0006] 發(fā)明目的：本發(fā)明所要解決的技術問題是針對現(xiàn)有紅外圖像與可見光圖像融合方 法中存在的不足，提供一種基于顯著目標的紅外與可見光圖像融合方法。
[0007] 為了解決上述技術問題，本發(fā)明公開了一種基于顯著目標的紅外與可見光圖像融 合方法，包括以下步驟：
[0008] 步驟1，對給定同一場景包含若干（一個以上）目標的紅外圖像和可見光圖像，分 別建立紅外和可見光圖像的多尺度空間表示；
[0009] 步驟2,在圖像非線性尺度空間表示基礎上，利用視覺注意計算模型計算紅外和可 見光圖像的視覺注意顯著圖。
[0010] 步驟3,在紅外和可見光圖像視覺注意顯著圖基礎上，利用返回抑制機制分別選擇 出紅外和可見光圖像中的顯著目標區(qū)域，并計算整個場景中的所有顯著目標區(qū)域。
[0011] 步驟4,對紅外圖像和可見光圖像進行配準操作，對顯著目標區(qū)域采用像素級融合 算法進行融合處理，對非顯著目標區(qū)域，采用特征級融合算法進行融合處理。
[0012] 步驟5,綜合顯著目標區(qū)域融合結(jié)果和非顯著區(qū)域融合結(jié)果，生成全場景的紅外圖 像和可見光圖像融合圖像。
[0013] 本發(fā)明步驟1包括利用非線性尺度空間的方法建立紅外和可見光圖像的多尺度 空間表示；紅外圖像和可見光圖像的多尺度空間表示分別為 ：
[0014] L: I (X1, y) Xtf I (X y1;t )，其中，其中L為尺度空間變換，X1表示紅外圖像 I中的橫坐標，yi表示紅外圖像I中的縱坐標，t i表示紅外圖像多尺度空間的尺度因子。 1^(&，72)父心一￥(12,7 2鄺2)，其中，其中1^為尺度空間變換，&表示可見光圖像￥中的橫 坐標，7 2表示可見光圖像V中的縱坐標，t2表示可見光圖像多尺度空間的尺度因子。
[0015] 對于紅外圖像：I (X1, y1;t D = I (X1, y1;0)*g(x y1;t D，紅外圖像尺度函數(shù)
【主權(quán)項】
1. 一種基于顯著目標的紅外與可見光圖像融合方法，其特征在于，包括以下步驟： 步驟1，對給定同一場景包含若干目標的紅外圖像和可見光圖像，分別建立紅外圖像和 可見光圖像的多尺度空間表示； 步驟2,在圖像非線性尺度空間表示基礎上，建立紅外圖像和可見光圖像的視覺注意計 算模型，計算紅外圖像和可見光圖像的視覺注意顯著圖； 步驟3,在紅外圖像和可見光圖像視覺注意顯著圖基礎上，利用返回抑制機制分別選擇 出紅外圖像和可見光圖像中的顯著目標區(qū)域，并計算整個場景中的所有顯著目標區(qū)域； 步驟4,對紅外圖像和可見光圖像進行配準操作，對顯著目標區(qū)域采用像素級融合算法 進行融合處理，對非顯著目標區(qū)域，采用特征級融合算法進行融合處理； 步驟5,綜合顯著目標區(qū)域融合結(jié)果和非顯著區(qū)域融合結(jié)果，生成全場景的紅外圖像和 可見光圖像融合圖像。
2. 根據(jù)權(quán)利要求1所述的一種基于顯著目標的紅外與可見光圖像融合方法，其特征在 于，步驟1中，紅外圖像和可見光圖像的多尺度空間表示分別為： L:I(Xpy) I(xy1;t)，其中，其中L為尺度空間變換，Xi表示紅外圖像I中的 橫坐標，yi表示紅外圖像I中的縱坐標，ti表示紅外圖像多尺度空間的尺度因子；