專利名稱：基于低頻相關(guān)性分析的全色圖像與多光譜圖像融合方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于低頻相關(guān)性分析的全色與多光譜圖像融合方法，屬于圖像融 合領(lǐng)域。
背景技術(shù)：
遙感影像數(shù)據(jù)種類越來越多，不同傳感器、不同波段與不同時(shí)相數(shù)據(jù)如何進(jìn)行優(yōu) 勢(shì)互補(bǔ)和有機(jī)結(jié)合是廣泛關(guān)注的問題。遙感圖像融合很好地解決了這個(gè)問題，它是指不同 圖像在經(jīng)過空間配準(zhǔn)之后，按照一定的原則與算法進(jìn)行整合，結(jié)合互補(bǔ)信息形成新的影像 數(shù)據(jù)。全色圖像具有較高的空間分辨率，多光譜圖像保存著不同波段的光譜信息。大量研 究工作表明，把全色圖像和多光譜圖像融合起來，在保持原光譜信息的前提下提高多光譜 圖像的空間分辨率，有利于提高多光譜遙感影像的信息分析和提取能力。多數(shù)學(xué)者認(rèn)為現(xiàn)有全色與多光譜圖像融合算法主要分為兩大類分量替換法 (Component-substitution Method)禾口多尺度分析法(Multi-resolution Analysis)。如 IHS、PCA、Gram-Schmidt變換法等屬于分量替換法，它們的共同特點(diǎn)是利用某種變換方法 將多光譜影像變換成不同分量，然后將全色圖像替代某一分量，再進(jìn)行反變換得到融合結(jié) 果。由于全色圖像具有較高的空間分辨率，反變換得到的多光譜融合圖像也具有相同的空 間分辨率。如，IHS算法是將多光譜圖像進(jìn)行IHS變換，得到I、H和S三個(gè)分量，然后用高分 辨率全色圖像代替I分量，最后進(jìn)行IHS反變換得到融合圖像。但是這種簡(jiǎn)單的“變換_替 換-反變換”方法容易破壞源多光譜圖像的光譜信息，特別是當(dāng)全色圖像波段范圍與多光譜 圖像波段范圍相差較大時(shí)尤為嚴(yán)重。多尺度分析法是指對(duì)待融合的影像數(shù)據(jù)進(jìn)行多尺度分解，然后再重構(gòu)的融合技 術(shù)，如離散小波變換法(DWT)、高通濾波法(HPF)等。對(duì)于多光譜圖像，一般認(rèn)為低頻部分 保存著圖像光譜信息，高頻部分體現(xiàn)的是圖像的紋理細(xì)節(jié)信息?；谶@種原理，多尺度分析 法的目的是融合多光譜波段低頻光譜信息和全色波段高頻幾何信息，從而生成高空間分辨 率的多光譜圖像。多尺度分析法的研究主要集中在兩方面多尺度分解方法和高低頻信息 融合策略。經(jīng)常采用小波變換進(jìn)行多尺度分解，要求其具有平移不變性，以避免微小的平移 變化造成小波系數(shù)突變。常用的是具有近似平移不變性，較為容易實(shí)現(xiàn)的“(Strous”小波 (ATff)。其他的分解方法還有廣義拉普拉斯金字塔(GLP)、Curvelet變換、Contourlet變 換等。多尺度分析法往往在保持光譜信息上表現(xiàn)較好，但是在增強(qiáng)空間分辨率上效果不 佳，主要原因在于沒有找到合適的高低頻信息融合策略。國(guó)外學(xué)者較早地提出了高低頻融 合的ARSIS思想，即通過有選擇性地注入高頻幾何結(jié)構(gòu)信息來增強(qiáng)多光譜圖像的空間分辨 率。這種“高頻信息注入”思想的目的是，使多光譜圖像合理地接受和融合全色波段的高頻 信息，從而使高空間分辨率融合圖像在物理上具有較高的真實(shí)性，相當(dāng)于高空間分辨率多 光譜成像傳感器的實(shí)際拍攝效果?；谶@種思想，提出了一些高頻信息注入模型和方法，如 RWM,SDMXBD模型及其各種改進(jìn)版本，以及基于MMSE、遺傳算法、Kalman濾波的模型參數(shù)估計(jì)和優(yōu)化方法。它們的基本思想是，在低尺度上構(gòu)造高頻信息注入模型并估計(jì)模型參數(shù)，然 后利用這些估計(jì)的模型在高頻段執(zhí)行信息注入。這些模型在一定程度上提升了多尺度分析 法的融合效果。盡管如此，多尺度分析法還是很難在“保持光譜信息”和“合理提高空間分辨率”上 都達(dá)到理想效果。近些年來，基于分量替換和多尺度分析優(yōu)缺點(diǎn)互補(bǔ)的原則也提出了不少 混合型的融合算法，如DWT-IHS、FFT-IHS、DWT-PCA等。但是，融合過程中缺乏對(duì)數(shù)據(jù)的詳細(xì) 分析，在很大程度上限制了這些方法的融合性能。

發(fā)明內(nèi)容
現(xiàn)有全色圖像與多光譜圖像融合技術(shù)難以在“保持光譜信息”和“合理提高空間分 辨率上”都達(dá)到很好的效果。為此，本發(fā)明基于低頻相關(guān)性分析的全色圖像與多光譜圖像融 合方法的目的是通過利用低頻全色圖像與多光譜圖像的相關(guān)性分析，使全色圖像的空間幾 何信息與多光譜圖像的光譜信息合理融合，在保持光譜信息的基礎(chǔ)上最大限度地提高空間 分辨率。為實(shí)現(xiàn)所述的目的，本發(fā)明提供一種基于低頻相關(guān)性分析的全色圖像與多光譜圖 像融合方法，所采用的技術(shù)方案包含以下步驟步驟Sl 利用低通濾波器對(duì)輸入的全色圖像P進(jìn)行低通濾波，得到低頻全色圖像 P = A:*戶，其中k為濾波核；步驟S2 使用計(jì)算機(jī)中的相關(guān)性分析模塊對(duì)低頻全色圖像和輸入的多光譜圖像 進(jìn)行相關(guān)性分析，計(jì)算并得到低頻全色圖像與多光譜圖像每一區(qū)域處的相關(guān)系數(shù)；步驟S3 根據(jù)多光譜圖像與低頻全色圖像的亮度比值關(guān)系，對(duì)全色圖像進(jìn)行匹 配更新得到新全色圖像，并對(duì)匹配更新后的新全色圖像進(jìn)行計(jì)算，得到新全色圖像的梯度 場(chǎng)；步驟S4 以新全色圖像梯度場(chǎng)作為待求融合圖像的空間幾何信息約束，同時(shí)使所 述融合圖像的低頻部分充分接近于多光譜圖像，得到光譜信息約束，利用這兩種約束并結(jié) 合使用相關(guān)性分析模塊得到的相關(guān)系數(shù)構(gòu)造融合能量泛函E(I)；步驟S5 使用梯度下降法最小化融合能量泛函，求解能量泛函最小化時(shí)的融合圖 像I。本發(fā)明方法與現(xiàn)有融合方法相比較，具有以下突出特點(diǎn)和優(yōu)點(diǎn)(1)以匹配更新后的全色圖像梯度場(chǎng)來表示空間幾何信息，具有簡(jiǎn)單、準(zhǔn)確、直接 的優(yōu)點(diǎn)，便于在融合過程中弓丨入空間幾何信息約束。(2)充分考慮和分析了融合數(shù)據(jù)的特點(diǎn)。對(duì)低頻全色圖像與多光譜圖像數(shù)據(jù)進(jìn)行 了相關(guān)性分析，根據(jù)不同的相關(guān)性來調(diào)整空間幾何信息與光譜信息的約束關(guān)系，能夠在保 持光譜信息的前提下，最大限度地提高空間分辨率。(3)保持光譜信息和提高空間分辨率是全色與多光譜圖像融合的兩大目標(biāo)，本發(fā) 明方法在融合能量泛函中顯式地表達(dá)出了這兩個(gè)融合目標(biāo)，并給出了解決目標(biāo)間矛盾關(guān)系 的方法，最后通過引入一個(gè)總的調(diào)節(jié)參數(shù)，調(diào)整融合結(jié)果中空間幾何信息和光譜信息的相 對(duì)含量，可以滿足不同的融合需求，便于人機(jī)交互，具有很高的實(shí)用價(jià)值。


圖1為本發(fā)明方法的融合流程2(a)為輸入的全色圖像圖2 (b)為輸入的多光譜圖像圖2(c)為IHS方法融合圖像圖2 (d)為DWT方法融合圖像圖2(e)為本發(fā)明方法融合圖像圖2 (f)為實(shí)際的高分辨率多光譜圖像圖3為不同融合方法的客觀評(píng)價(jià)指標(biāo)比較
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照 附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。本發(fā)明首先在融合時(shí)引入了空間幾何信息約束和光譜信息約束；以匹配更新后的 全色圖像梯度場(chǎng)表示圖像的空間幾何信息，使融合圖像具有類似的幾何結(jié)構(gòu)；基于“圖像低 頻部分體現(xiàn)光譜信息”這一思想，引入了光譜信息約束，使融合圖像的低頻部分與原多光譜 圖像吻合。使用這兩種約束構(gòu)造融合能量泛函，能量泛函值越小表示越接近既定的融合目 標(biāo)。為了更好地整合兩種約束關(guān)系，使全色圖像的空間幾何信息與多光譜圖像的光譜 信息合理融合，首先對(duì)低頻全色圖像和多光譜圖像進(jìn)行相關(guān)性分析，得出每一圖像區(qū)域的 相關(guān)系數(shù)。相關(guān)系數(shù)高，表明可以加大該區(qū)域空間幾何信息約束力度，進(jìn)一步提高空間分辨 率，同時(shí)不會(huì)引起光譜失真；相關(guān)系數(shù)低時(shí)，表明該區(qū)域不宜從全色圖像引入過多的幾何結(jié) 構(gòu)，否則容易引起光譜畸變，此時(shí)應(yīng)相對(duì)地加大光譜信息約束力度。為了便于對(duì)圖像整體的 空間幾何信息與光譜信息相對(duì)含量進(jìn)行統(tǒng)一調(diào)整，加入了一個(gè)調(diào)節(jié)參數(shù)，可以滿足不同的 融合需求，也便于人機(jī)交互。圖1是本發(fā)明的融合流程圖。圖2(a)與圖2(b)是本實(shí)例輸入的全色和多光譜圖 像。全色圖像空間分辨率為0.7m，多光譜圖像具有3個(gè)波段，空間分辨率為2. Sm。上述圖 像已經(jīng)過精確的配準(zhǔn)預(yù)處理。本實(shí)例將多光譜圖像中的各波段分別與全色圖像進(jìn)行融合處理，利用計(jì)算機(jī)實(shí)現(xiàn) 低頻全色圖像與多光譜圖像的相關(guān)性分析，具體步驟如下(1)利用低通濾波器對(duì)輸入的全色圖像P進(jìn)行低通濾波，得到低頻全色圖像 P = k*P，其中k為濾波核。(2)使用計(jì)算機(jī)中的相關(guān)性分析模塊對(duì)低頻全色圖像戶與多光譜圖像S進(jìn)行相關(guān) 性分析，計(jì)算并得到低頻全色圖像與多光譜圖像每一區(qū)域處的相關(guān)系數(shù)P為

式中，…表示低頻全色圖像ρ中，以(X，y)為中心的區(qū)域內(nèi)的像元值， [S1, S2, -,Sn]表示在多光譜圖像S中，以(x，y)為中心的同樣大小區(qū)域內(nèi)的像元值。
(3)根據(jù)多光譜圖像S與低頻全色圖像尹的亮度比值關(guān)系，對(duì)全色圖像P進(jìn)行匹配 更新得到新全色圖像，得到全色圖像P與多光譜圖像S相匹配的新全色圖像P'P' = J P ‘對(duì)新全色圖像P'進(jìn)行計(jì)算，得到新全色圖像P'的梯度場(chǎng)
\dPldx'VP'= ‘ ，
_dP'/dy_(4)以新全色圖像的梯度場(chǎng)VP'作為待求融合圖像I的空間幾何信息約束，同時(shí)使 所述融合圖像的低頻部分k*I與多光譜圖像S盡量保持一致，得到光譜信息約束，利用這兩 種約束并結(jié)合得到的相關(guān)系數(shù)P構(gòu)造能量泛函，所述構(gòu)造融合能量泛函的步驟包括定義相關(guān)系數(shù)P的單調(diào)下降函數(shù)f(·)，利用相關(guān)系數(shù)P構(gòu)造函數(shù)C(x，y)= f(p (x,y))作為光譜信息約束項(xiàng)權(quán)重系數(shù)，構(gòu)造融合能量泛函E (I)如下 E(I) = I J|v/-VPf dxdy + β l\C-(k*I-Sfdxdy，
Ω Ωα Ω式中，C為光譜信息約束項(xiàng)的權(quán)重系數(shù)，由式C(x，y) =f(p (χ, y))定義，其中函 數(shù)f ( ·)單調(diào)下降；β為可調(diào)參數(shù)，用來調(diào)節(jié)融合結(jié)果中空間幾何信息與光譜信息相對(duì)含 量，通過利用幾何光譜信息調(diào)節(jié)模塊實(shí)現(xiàn)對(duì)β的調(diào)節(jié)，▽/為待求融合圖像I的梯度場(chǎng)，▽廣 為新全色圖像P'的梯度場(chǎng)。(5)使用梯度下降法最小化融合能量泛函，求解得到能量泛函最小化時(shí)的融合圖 像I。能量泛函E(I)的一階變分為δ E(I) = 2(ΔΡ' - Δ I)+2 β [C (k*I_S) ] *k'，式中，k' (x，y) = k(_x，_y)。第i步迭代過程為Ii+1 = Ii+α · δ Ε,其中，α為固定迭代步長(zhǎng)。取初始迭代圖像IQ = S+(P_k*P)，當(dāng)兩次迭代間的變 化足夠小時(shí)，即停止迭代計(jì)算，得到融合結(jié)果。下面對(duì)該實(shí)例中的其他技術(shù)細(xì)節(jié)問題作詳細(xì)說明(1)所述的相關(guān)性分析模塊采用的是數(shù)字信號(hào)相關(guān)性分析技術(shù)，在計(jì)算機(jī)中構(gòu)建 專用的相關(guān)性分析模塊，計(jì)算輸入信號(hào)間的局部相關(guān)系數(shù)。在對(duì)輸入的低頻全色圖像與 多光譜圖像進(jìn)行相關(guān)性分析時(shí)，需要設(shè)置相關(guān)性分析區(qū)域的窗口大小，適宜的窗口大小為 3 15個(gè)像元，本實(shí)例中取為7。(2)在對(duì)全色圖像P進(jìn)行匹配更新中，為防止S/戶過大，使新全色圖像P'超出圖像 動(dòng)態(tài)范圍，需要對(duì)5/戶的最大值進(jìn)行限制。本實(shí)例中，其值被限制為不能大于3，即當(dāng)S/聲大 于3時(shí)，其值被置為3。(3)在構(gòu)造融合能量泛函的步驟中，β為可調(diào)參數(shù)，C為根據(jù)相關(guān)性分析得到的光 譜信息約束的相對(duì)權(quán)重系數(shù)，具體表示為C(x，y) = f(P (x，y))。其中，f(·)應(yīng)為單調(diào)下 降函數(shù)，表示隨著相關(guān)系數(shù)P (X，y)的提高，空間幾何約束相對(duì)加強(qiáng)，光譜約束相對(duì)減弱。 本實(shí)例中，取f( ·)為線性函數(shù)f(P) = 2. 01-2 P，同時(shí)令β的取值區(qū)間為W，100]，具 體實(shí)施時(shí)β取值定為80。(4)為減少求取融合圖像時(shí)的迭代次數(shù)，加快計(jì)算速度，取初始迭代圖像Ici =S+(P-k*P)。I。相當(dāng)于利用高通濾波融合法(HPF)得到的融合結(jié)果，以它作為初始迭代圖像 可以有效減少迭代次數(shù)，提高計(jì)算速度。本實(shí)例中，將迭代次數(shù)設(shè)置為30即可。(5)低通濾波核k大多數(shù)情況下可以根據(jù)傳感器特性給定，也可以通過估計(jì)得到。 本實(shí)例中采用高斯函數(shù)近似，對(duì)于全色與多光譜圖像空間分辨率相差4倍的情況，高斯函 數(shù)的標(biāo)準(zhǔn)偏差通?？扇?. 5。圖2(a)示出輸入的全色圖像；圖2(b)示出輸入的多光譜圖像；圖2 (c)、圖2 (d) 分別是IHS，DffT方法的融合結(jié)果，圖2(e)是本發(fā)明方法的融合結(jié)果，圖2 (f)是真實(shí)的高 分辨率多光譜圖像。從目視效果來看，本發(fā)明方法的融合結(jié)果與圖2(f)的實(shí)際高分辨率多 光譜圖像最為接近。圖2(c)的融合圖像在色彩上發(fā)生了較大的改變，表明IHS方法光譜失 真比較嚴(yán)重；圖2(d)的融合圖像光譜扭曲要小些，但在很多局部區(qū)域也產(chǎn)生了明顯的色彩 變化，且不如圖2(e)和實(shí)際圖像清晰。其中，圖2(f)中用圓圈框出的屋頂、小車等幾個(gè)局 部區(qū)域?qū)Ρ让黠@。圖3列出了與實(shí)際圖像比較得到的幾個(gè)客觀統(tǒng)計(jì)數(shù)據(jù)，用來評(píng)價(jià)各算法 的融合效果。其中，指標(biāo)CC表示與真實(shí)數(shù)據(jù)的相關(guān)系數(shù)，RMSE表示與真實(shí)數(shù)據(jù)的均方根誤 差。從客觀評(píng)價(jià)指標(biāo)來看，本發(fā)明方法的融合效果也遠(yuǎn)優(yōu)于其他方法，在保持光譜信息和提 高空間分辨率方面都表現(xiàn)出良好的性能。以上所述，僅為本發(fā)明中的具體實(shí)施方式
，但本發(fā)明的保護(hù)范圍并不局限于此，任 何熟悉該技術(shù)的人在本發(fā)明所揭露的技術(shù)范圍內(nèi)，可理解想到的變換或替換，都應(yīng)涵蓋在 本發(fā)明的權(quán)利要求書的保護(hù)范圍之內(nèi)。
權(quán)利要求
一種基于低頻相關(guān)性分析的全色圖像與多光譜圖像融合方法，其特征在于，利用計(jì)算機(jī)實(shí)現(xiàn)低頻相關(guān)性分析的全色圖像與多光譜圖像融合，采用如下步驟步驟S1利用低通濾波器對(duì)輸入的全色圖像P進(jìn)行低通濾波，得到低頻全色圖像其中k為濾波核；步驟S2使用計(jì)算機(jī)中的相關(guān)性分析模塊對(duì)低頻全色圖像和輸入的多光譜圖像進(jìn)行相關(guān)性分析，計(jì)算并得到低頻全色圖像與多光譜圖像每一區(qū)域處的相關(guān)系數(shù)；步驟S3根據(jù)多光譜圖像與低頻全色圖像的亮度比值關(guān)系，對(duì)全色圖像進(jìn)行匹配更新得到新全色圖像，并對(duì)匹配更新后的新全色圖像進(jìn)行計(jì)算，得到新全色圖像的梯度場(chǎng)；步驟S4以新全色圖像的梯度場(chǎng)作為待求融合圖像I的空間幾何信息約束，同時(shí)使所述融合圖像的低頻部分充分接近于多光譜圖像，得到光譜信息約束，利用這兩種約束并結(jié)合使用相關(guān)性分析模塊得到的相關(guān)系數(shù)構(gòu)造融合能量泛函E(I)；步驟S5使用梯度下降法最小化融合能量泛函，求解得到能量泛函最小化時(shí)的融合圖像I。FSA00000264769500011.tif
2.根據(jù)權(quán)利要求1所述的基于低頻相關(guān)性分析的全色圖像與多光譜圖像融合方法，其 特征在于，所述計(jì)算低頻全色圖像與多光譜圖像每一區(qū)域處的相關(guān)系數(shù)P表示為 式中，[月Λ·..,巧]表示在低頻全色圖像尹中，以(χ，y)為中心的區(qū)域內(nèi)的像元值；[S1, S2,…，SJ表示在多光譜圖像S中，以(x，y)為中心的同樣大小區(qū)域內(nèi)的像元值。
3.根據(jù)權(quán)利要求1所述的基于低頻相關(guān)性分析的全色圖像與多光譜圖像融合方法，其 特征在于，所述新全色圖像P'的梯度場(chǎng)▽廣為 ，其中新全色圖像廣P,式中 是低頻全色圖像。
4.根據(jù)權(quán)利要求1所述的基于低頻相關(guān)性分析的全色圖像與多光譜圖像融合方法，其 特征在于，所述構(gòu)造融合能量泛函的步驟包括定義相關(guān)系數(shù)P的單調(diào)下降函數(shù)f(·)，利用相關(guān)性分析結(jié)果構(gòu)造函數(shù)C(x，y)= f(p (x,y))作為光譜信息約束項(xiàng)權(quán)重系數(shù)，構(gòu)造融合能量泛函E(I)如下 式中，β為可調(diào)參數(shù)，用來調(diào)節(jié)融合結(jié)果中空間幾何信息與光譜信息相對(duì)含量，C為光 譜信息約束項(xiàng)的權(quán)重系數(shù)，▽/為待求融合圖像I的梯度場(chǎng)，νρι為新全色圖像P'的梯度場(chǎng)。
全文摘要
本發(fā)明是一種基于低頻相關(guān)性分析的全色圖像與多光譜圖像融合方法，利用匹配更新后的全色圖像的梯度場(chǎng)作為圖像空間幾何信息表達(dá)，形成對(duì)高分辨率融合圖像的空間幾何信息約束；同時(shí)引入光譜信息約束，使高分辨率融合圖像的低頻部分與原多光譜圖像吻合；通過對(duì)低頻全色圖像與多光譜圖像的相關(guān)性分析，自動(dòng)確定兩種約束之間的比重關(guān)系，從而保證空間幾何信息與光譜信息在不同的圖像區(qū)域合理融合；最后，在兩種約束間加入一個(gè)可調(diào)參數(shù)，可對(duì)融合結(jié)果中的幾何與光譜信息相對(duì)含量進(jìn)行調(diào)節(jié)。本發(fā)明的融合效果優(yōu)于當(dāng)前流行的IHS，PCA，DWT等算法，并且?guī)缀涡畔⑴c光譜信息相對(duì)含量可自由調(diào)節(jié)，提高了本方法的實(shí)用性。
文檔編號(hào)G06T5/50GK101930604SQ20101027806
公開日2010年12月29日 申請(qǐng)日期2010年9月8日 優(yōu)先權(quán)日2010年9月8日
發(fā)明者周志強(qiáng), 彭思龍 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所