專利名稱：基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像質(zhì)量評(píng)價(jià)技術(shù)，特別是一種基于像素空間相關(guān)性的圖像融合 效果實(shí)時(shí)評(píng)價(jià)方法及其裝置。
二
背景技術(shù)：
圖像融合是指綜合兩個(gè)或多個(gè)源圖像的信息，以獲取對(duì)同一場(chǎng)景更為精確、更為 全面、更為可靠的圖像描述。融合處理的目的在于依據(jù)不同譜段圖像特征，取長(zhǎng)補(bǔ)短, 優(yōu)化圖像質(zhì)量，來(lái)改善圖像的清晰度，進(jìn)而提高目標(biāo)的發(fā)現(xiàn)與識(shí)別概率?，F(xiàn)有的圖像 融合效果評(píng)價(jià)方法主要采用信息熵、交叉熵、平均互信息、均方根誤差、峰值信噪比 等指標(biāo)，以及現(xiàn)場(chǎng)實(shí)測(cè)目標(biāo)探測(cè)與識(shí)別概率的主觀評(píng)價(jià)方法。信息熵能夠給出圖像平 均信息量的多少，但并不能說(shuō)明融合圖像在圖像清晰度方面的改善；同樣交叉熵、互 信息、均方根誤差、峰值信噪比的指標(biāo)也只是給出了融合圖像對(duì)于參考圖像(標(biāo)準(zhǔn)圖 像)的逼近程度，均不能反映融合圖像的清晰程度。而主觀評(píng)價(jià)為了保證在統(tǒng)計(jì)上有 意義，參加評(píng)分的觀察者至少應(yīng)有20名，而且評(píng)價(jià)結(jié)果往往受圖像類型、試驗(yàn)環(huán)境等 影響。
在對(duì)融合圖像的空間分辨率評(píng)價(jià)方面，新加坡NanyangTechnological University的 V. Buntilov， T. Bretschneider發(fā)表"A Fusion Evaluation Approach with Region Relating Objective Function for Multispectral Image Sharpening"的文章中提出一種"基于區(qū)別客
觀預(yù)期的區(qū)域類型和實(shí)際融合結(jié)果的區(qū)域類型的融合圖像空間質(zhì)量評(píng)價(jià)"方法(2005 IEEE International Geoscience and Remote Sensing Symposium, volume 4， page 2830-2833)。該方法根據(jù)源圖的"梯度圖像"的梯度門(mén)限值分別將源圖分為三種不同 類型的區(qū)域，然后根據(jù)源圖中的相同位置像素點(diǎn)所屬的融合區(qū)域類型將像素點(diǎn)分為九 種預(yù)期的區(qū)域類型；融合圖像也根據(jù)"梯度圖像"的梯度門(mén)限值分為三種不同類型的 區(qū)域，根據(jù)與源圖中的相同位置像素點(diǎn)所屬的融合區(qū)域類型比較的結(jié)果將像素點(diǎn)分為 九種實(shí)際的區(qū)域類型；最后統(tǒng)計(jì)融合結(jié)果圖中的像素點(diǎn)所屬的實(shí)際區(qū)域類型和預(yù)期的 區(qū)域類型的區(qū)別來(lái)評(píng)價(jià)融合結(jié)果的圖像空間質(zhì)量。該方法在產(chǎn)生"梯度圖像"時(shí)需要
經(jīng)過(guò)直方圖均衡和邊緣檢測(cè)，邊緣檢測(cè)算子的選擇會(huì)影響到"梯度圖像"的質(zhì)量；在 根據(jù)梯度門(mén)限值對(duì)"梯度圖像"的像素點(diǎn)進(jìn)行分類時(shí)，梯度值門(mén)限的選取也需要根據(jù) 不同的圖像類型進(jìn)行調(diào)整，實(shí)用性比較差；同時(shí)該方法在使用時(shí)要求參與融合的源圖 要具有較強(qiáng)的相關(guān)性。
三

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種能夠有效地實(shí)時(shí)評(píng)價(jià)融合系統(tǒng)在不同場(chǎng)景工作時(shí)，融 合圖像在清晰度方面相對(duì)于源圖改善情況的基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí) 評(píng)價(jià)方法及其裝置。
實(shí)現(xiàn)本發(fā)明目的的技術(shù)解決方案為 一種基于像素空間相關(guān)性的圖像融合效果實(shí) 時(shí)評(píng)價(jià)方法，包括以下步驟
1.1參與圖像融合效果評(píng)價(jià)的視頻信號(hào)由攝像機(jī)的輸出端連接到視頻輸入端，完成
視頻信號(hào)的輸入，并同時(shí)輸入多路信號(hào)，輸入的信號(hào)為PAL制或NTSC制的標(biāo)準(zhǔn)視頻
信號(hào)；
1.2經(jīng)過(guò)視頻輸入端的視頻信號(hào)由視頻采集部分分別轉(zhuǎn)化為數(shù)字圖像信號(hào)，即將標(biāo) 準(zhǔn)的PAL制或NTSC制視頻信號(hào)分別轉(zhuǎn)換為數(shù)字色差信號(hào)，其輸出格式為ITU-R BT.656,并將數(shù)字色差信號(hào)按幀存儲(chǔ)；
1.3將每幀數(shù)字色差信號(hào)中的亮度信號(hào)經(jīng)過(guò)圖像預(yù)處理，即采用多幀累加平均的圖 像平滑方法來(lái)改善融合圖像的效果；
1.4經(jīng)過(guò)平滑后的多路亮度圖像進(jìn)行圖像融合，融合方法采用灰度調(diào)制方法；
1.5平滑后的多路亮度圖像數(shù)據(jù)以及融合圖像經(jīng)過(guò)灰度共生矩陣快速求取得到每 路亮度圖像對(duì)應(yīng)的灰度共生矩陣，灰度共生矩陣記錄各種灰度數(shù)組的出現(xiàn)個(gè)數(shù)；
1.6在任一灰度級(jí)確定的情況下，由灰度共生矩陣計(jì)算另一灰度級(jí)散布的標(biāo)準(zhǔn)偏 差，并對(duì)標(biāo)準(zhǔn)偏差求平均值；
1.7將多個(gè)灰度共生矩陣的標(biāo)準(zhǔn)偏差平均值輸入到評(píng)價(jià)結(jié)果顯示部分，由評(píng)價(jià)結(jié)果 顯示部分計(jì)算出改善因子的值，并將結(jié)果疊加到融合圖像上；
1.8帶有顯示結(jié)果的融合圖像由評(píng)價(jià)結(jié)果顯示部分調(diào)整為標(biāo)準(zhǔn)的ITU-R BT.656格 式，由視頻編碼器編碼成標(biāo)準(zhǔn)視頻信號(hào)輸出到結(jié)果顯示器。
本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)方法釆用灰度共生矩陣的快 速求取法來(lái)融合圖像，即首先建立256*256字節(jié)的存儲(chǔ)空間用來(lái)存儲(chǔ)灰度共生矩陣， 當(dāng)圖像文件準(zhǔn)備好后取出對(duì)應(yīng)圖像左上角位置當(dāng)前像素的灰度值，然后計(jì)算對(duì)偶像素 點(diǎn)的位置并取出對(duì)偶像素點(diǎn)的灰度值，在灰度共生矩陣中當(dāng)前像素灰度值、對(duì)偶像素 灰度值對(duì)應(yīng)的位置中存儲(chǔ)的數(shù)值加1，接著判斷對(duì)偶像素的位置是否到了圖像文件的末 尾；如果不是文件尾，則把當(dāng)前像素點(diǎn)的位置右移，繼續(xù)計(jì)算，如果已經(jīng)到達(dá)圖像文 件的末尾，則結(jié)束運(yùn)算。
一種實(shí)現(xiàn)上述的基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)方法的裝置，包括 視頻輸入端、評(píng)價(jià)結(jié)果顯示器，視頻輸入端連接圖像融合效果評(píng)估板中的視頻采集模 塊，在該圖像融合效果評(píng)估板中，該視頻采集模塊連接灰度共生矩陣求取模塊，該灰 度共生矩陣求取模塊連接標(biāo)準(zhǔn)偏差求取模塊，該標(biāo)準(zhǔn)偏差求取模塊連接評(píng)價(jià)結(jié)果顯示 模塊，所述的視頻采集模塊、灰度共生矩陣求取模塊、標(biāo)準(zhǔn)偏差求取模塊和評(píng)價(jià)結(jié)果 顯示模塊分別與數(shù)據(jù)存儲(chǔ)模塊相連，該評(píng)價(jià)結(jié)果顯示模塊連接圖像融合效果評(píng)估板之 外的視頻輸出端，該視頻輸出端連接評(píng)價(jià)結(jié)果顯示器；評(píng)價(jià)控制鍵盤(pán)分別連接圖像融 合效果評(píng)估板中的視頻采集模塊、灰度共生矩陣求取模塊和評(píng)價(jià)結(jié)果顯示模塊。
本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置，在圖像融合效果評(píng)估 板中加入圖像預(yù)處理模塊和融合模塊，該圖像預(yù)處理模塊分別連接視頻采集模塊和融 合模塊，該融合模塊連接灰度共生矩陣求取模塊，所述的圖像預(yù)處理模塊與融合模塊 分別連接數(shù)據(jù)存儲(chǔ)模塊和評(píng)價(jià)控制鍵盤(pán)連接。
本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置的圖像融合效果評(píng)估板 為四片視頻解碼器分別與數(shù)字信號(hào)處理芯片的四個(gè)視頻端口相連，且與數(shù)字信號(hào)處理 芯片的控制總線相連，該數(shù)字信號(hào)處理芯片的擴(kuò)展數(shù)據(jù)總線分別與串口控制、SDRAM 與FLASH相連；該數(shù)字信號(hào)處理芯片具有能夠進(jìn)行圖像預(yù)處理、融合計(jì)算、灰度共生 矩陣的求取、標(biāo)準(zhǔn)偏差的求取、評(píng)價(jià)結(jié)果的顯示數(shù)據(jù)計(jì)算的CPU，該CPU和數(shù)據(jù)存儲(chǔ) 模塊之間的數(shù)據(jù)交換由外部存儲(chǔ)器接口數(shù)據(jù)總線來(lái)完成，評(píng)價(jià)控制鍵盤(pán)通過(guò)串行口和 圖像融合效果評(píng)估板之間進(jìn)行數(shù)據(jù)交換。
本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點(diǎn)為(1)能夠從圖像清晰度的角度評(píng)價(jià)融合
圖像相對(duì)于源圖的改善程度；(2)可以進(jìn)行實(shí)時(shí)的融合圖像效果評(píng)價(jià)，根據(jù)場(chǎng)景的變 化及時(shí)給出評(píng)價(jià)結(jié)果；(3)能夠?qū)⑴c融合的不同波段的視頻圖像進(jìn)行融合圖像的評(píng) 價(jià)，不限制源圖之間的相關(guān)性；(4)評(píng)價(jià)算法硬件實(shí)現(xiàn)效率高，且不需要參考標(biāo)準(zhǔn)圖 像。
四


圖1是本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)方法中灰度共生矩陣 的快速求取法的流程圖。
圖2是本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置的結(jié)構(gòu)示意圖。
圖3是本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置中圖像融合效果 評(píng)估板實(shí)例的結(jié)構(gòu)圖。
圖4是采用本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置對(duì)微光圖像 和紫外圖像進(jìn)行融合效果評(píng)價(jià)時(shí)輸入的微光圖像。
圖5是采用本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置對(duì)微光圖像 和紫外圖像進(jìn)行融合效果評(píng)價(jià)時(shí)輸入的紫外圖像。
圖6是采用本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置對(duì)微光圖像 和紫外圖像進(jìn)行融合效果評(píng)價(jià)時(shí)得到的融合圖像。
圖7是采用本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置對(duì)微光圖像 和紫外圖像進(jìn)行融合效果評(píng)價(jià)時(shí)得到的評(píng)價(jià)結(jié)果。
五
具體實(shí)施例方式
下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)方法，包括以下步驟-1.1參與圖像融合效果評(píng)價(jià)的視頻信號(hào)由攝像機(jī)的輸出端連接到視頻輸入端，完成 視頻信號(hào)的輸入，并同時(shí)輸入多路信號(hào)，如輸入的視頻信號(hào)1和視頻信號(hào)2是圖4、圖 5所示的微光信號(hào)、紫外信號(hào)，該微光信號(hào)、紫外信號(hào)為PAL制或NTSC制的標(biāo)準(zhǔn)視 頻信號(hào)。
1.2經(jīng)過(guò)視頻輸入端的視頻信號(hào)由視頻采集部分分別轉(zhuǎn)化為數(shù)字圖像信號(hào)，即將標(biāo)
準(zhǔn)的PAL制或NTSC制視頻信號(hào)分別轉(zhuǎn)換為數(shù)字色差信號(hào)，其輸出格式為ITU-R BT.656,并將數(shù)字色差信號(hào)按幀存儲(chǔ)。
1.3將每幀數(shù)字色差信號(hào)中的亮度信號(hào)經(jīng)過(guò)圖像預(yù)處理，即采用多幀累加平均的圖 像平滑方法來(lái)改善融合圖像的效果。
1.4經(jīng)過(guò)平滑后的多路亮度圖像進(jìn)行圖像融合，融合方法采用灰度調(diào)制方法，融合 后的圖像如圖6所示。
1.5平滑后的多路亮度圖像數(shù)據(jù)以及融合圖像經(jīng)過(guò)灰度共生矩陣快速求取得到每 路亮度圖像對(duì)應(yīng)的灰度共生矩陣，灰度共生矩陣記錄間距確定的一對(duì)相鄰像素(m, n) 與(m， n+l)構(gòu)成的像素偶，在整幅圖像中，它們?cè)诨叶葦?shù)組[<^，(72]上的出現(xiàn)頻度，灰度 共生矩陣表征為//2D:
<formula>formula see original document page 8</formula>
一般說(shuō)來(lái)，由灰度共生矩陣表征的圖像二維直方圖的形象外貌大致是沿著(GbG2) 平面的45°斜線分布，它能清楚地定量表征圖像中相鄰像素間灰度級(jí)的相關(guān)程度，而 相鄰像素灰度空間相關(guān)度，恰好是圖像清晰度的一種統(tǒng)計(jì)表征。相關(guān)性差(清晰度好) 的圖像，散布范圍寬；相關(guān)性強(qiáng)(清晰度差)的圖像散布范圍窄。
結(jié)合圖l，其中采用灰度共生矩陣的快速求取法來(lái)融合圖像，即首先建立256*256 字節(jié)的存儲(chǔ)空間用來(lái)存儲(chǔ)灰度共生矩陣，當(dāng)圖像文件準(zhǔn)備好后取出對(duì)應(yīng)圖像左上角位 置當(dāng)前像素的灰度值，然后計(jì)算對(duì)偶像素點(diǎn)的位置并取出對(duì)偶像素點(diǎn)的灰度值，在灰 度共生矩陣中當(dāng)前像素灰度值、對(duì)偶像素灰度值對(duì)應(yīng)的位置中存儲(chǔ)的數(shù)值加1，接著判 斷對(duì)偶像素的位置是否到了圖像文件的末尾；如果不是文件尾，則把當(dāng)前像素點(diǎn)的位 置右移，繼續(xù)計(jì)算，如果已經(jīng)到達(dá)圖像文件的末尾，則結(jié)束運(yùn)算。
1.6在任一灰度級(jí)確定的情況下，由灰度共生矩陣計(jì)算另一灰度級(jí)散布的標(biāo)準(zhǔn)偏 差，并對(duì)標(biāo)準(zhǔn)偏差求平均值。即對(duì)不同的/(/=1,/=2......)，獲得/^2D后，求得在由灰度
共生矩陣表征的圖像二維直方圖的灰度數(shù)組[G,G2]中，任一灰度級(jí)G,確定的情況下，
另一灰度級(jí)G2散布的標(biāo)準(zhǔn)偏差(T:<formula>formula see original document page 9</formula>最終得到可以用來(lái)表征圖像相鄰像素間相關(guān)度的函數(shù)(如選擇標(biāo)準(zhǔn)偏差的平均
值)
<formula>formula see original document page 9</formula>式中/表示像素偶之間的距離。
在采用此裝置對(duì)微光圖像和紫外圖像進(jìn)行融合效果評(píng)價(jià)時(shí)，微光圖像標(biāo)準(zhǔn)偏差的 平均值為11.297，紫外圖像標(biāo)準(zhǔn)偏差的平均值為13.8，融合圖像標(biāo)準(zhǔn)偏差的平均值為 21.84。
1.7將多個(gè)灰度共生矩陣的標(biāo)準(zhǔn)偏差平均值輸入到評(píng)價(jià)結(jié)果顯示部分，由評(píng)價(jià)結(jié)果 顯示部分計(jì)算出改善因子的值，并將結(jié)果疊加到融合圖像上。
融合改善因子Z (力定義為
<formula>formula see original document page 9</formula>
式中ff/KO表示融合圖像的相關(guān)度函數(shù)，"5(/)表示源圖像的相關(guān)度函數(shù)。通過(guò)上式運(yùn)算得
到的融合改善因子為融合/視頻信號(hào)1=1.933;融合/視頻信號(hào)2=1.583。
其中對(duì)圖像融合效果的評(píng)估算法，采用像素空間相關(guān)法。評(píng)價(jià)圖像融合效果的像 素空間相關(guān)法，利用灰度共生矩陣二維直方圖進(jìn)行統(tǒng)計(jì)指標(biāo)的判別，從而實(shí)現(xiàn)判定融 合像質(zhì)改善水平的評(píng)價(jià)技術(shù)。
1.8帶有顯示結(jié)果的融合圖像由評(píng)價(jià)結(jié)果顯示部分調(diào)整為標(biāo)準(zhǔn)的ITU-RBT.656格 式，由視頻編碼器編碼成標(biāo)準(zhǔn)視頻信號(hào)輸出到結(jié)果顯示器，顯示結(jié)果如圖7所示。
結(jié)合圖2，本發(fā)明的實(shí)現(xiàn)上述基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)方法的 裝置，包括視頻輸入端、評(píng)價(jià)結(jié)果顯示器，當(dāng)輸入視頻信號(hào)中存在融合視頻時(shí)，視頻
輸入端連接圖像融合效果評(píng)估板中的視頻采集模塊，圖像融合效果評(píng)估板完成視頻圖 像的采集、灰度共生矩陣的求取、標(biāo)準(zhǔn)偏差的求取、評(píng)價(jià)結(jié)果的顯示以及數(shù)據(jù)存儲(chǔ)的 工作，即在該圖像融合效果評(píng)估板中，該視頻采集模塊連接灰度共生矩陣求取模塊， 該灰度共生矩陣求取模塊連接標(biāo)準(zhǔn)偏差求取模塊，該標(biāo)準(zhǔn)偏差求取模塊連接評(píng)價(jià)結(jié)果 顯示模塊，所述的視頻采集模塊、灰度共生矩陣求取模塊、標(biāo)準(zhǔn)偏差求取模塊和評(píng)價(jià) 結(jié)果顯示模塊分別與數(shù)據(jù)存儲(chǔ)模塊相連，該評(píng)價(jià)結(jié)果顯示模塊連接圖像融合效果評(píng)估 板之外的視頻輸出端，該視頻輸出端連接評(píng)價(jià)結(jié)果顯示器，該評(píng)價(jià)結(jié)果顯示器用于輸 出評(píng)價(jià)結(jié)果，包括融合視頻及源圖的改善因子。評(píng)價(jià)控制鍵盤(pán)分別連接圖像融合效果 評(píng)估板中的視頻采集模塊、灰度共生矩陣求取模塊和評(píng)價(jià)結(jié)果顯示模塊。所述的評(píng)價(jià) 控制鍵盤(pán)根據(jù)視頻信號(hào)輸入情況，控制圖像預(yù)處理及融合模塊的工作；控制灰度共生 矩陣求取的參數(shù)設(shè)置，以及評(píng)價(jià)結(jié)果顯示的時(shí)間選取。
當(dāng)輸入視頻信號(hào)中不存在融合視頻時(shí)，在評(píng)價(jià)控制鍵盤(pán)的作用下，圖像融合效果 評(píng)估板完成視頻圖像的采集、視頻信號(hào)的預(yù)處理、圖像融合計(jì)算、灰度共生矩陣的求 取、標(biāo)準(zhǔn)偏差的求取、評(píng)價(jià)結(jié)果的顯示以及數(shù)據(jù)存儲(chǔ)的工作。與視頻信號(hào)融合的融合 視頻信號(hào)由圖像融合效果評(píng)估板中的融合模塊計(jì)算得到，即在上述圖像融合效果評(píng)估 板中加入圖像預(yù)處理模塊和融合模塊，該圖像預(yù)處理模塊分別連接視頻采集模塊和融 合模塊，該融合模塊連接灰度共生矩陣求取模塊，所述的圖像預(yù)處理模塊與融合模塊 分別連接數(shù)據(jù)存儲(chǔ)模塊和評(píng)價(jià)控制鍵盤(pán)連接。
結(jié)合圖2和圖3，基于數(shù)字信號(hào)處理芯片(如TMS320DM642)而設(shè)計(jì)圖像融合效 果評(píng)估板。視頻圖像釆集模塊采用四片視頻解碼器(如SAA7111)，將NTSC、 PAL視 頻信號(hào)轉(zhuǎn)換成數(shù)字色差信號(hào)，其輸出格式為ITU-RBT.656。視頻解碼器的配置是通過(guò) 數(shù)字信號(hào)處理芯片的控制總線來(lái)完成，數(shù)據(jù)存儲(chǔ)模塊采用4Mx64位的SDRAM;程序 存儲(chǔ)器采用4Mx8位的FLASH。評(píng)價(jià)結(jié)果顯示模塊中的視頻數(shù)據(jù)輸出采用視頻編碼器 (如THS8134),它支持PAL與NTSC格式的視頻編碼，其輸入為BT.656格式的數(shù)字 視頻，它的配置也是通過(guò)控制總線來(lái)完成的。圖像預(yù)處理、融合計(jì)算、灰度共生矩陣 的求取、標(biāo)準(zhǔn)偏差的求取、評(píng)價(jià)結(jié)果的顯示數(shù)據(jù)的計(jì)算由數(shù)字信號(hào)處理芯片的CPU來(lái) 完成，CPU和數(shù)據(jù)存儲(chǔ)模塊之間的數(shù)據(jù)交換由外部存儲(chǔ)器接口數(shù)據(jù)總線來(lái)完成。評(píng)價(jià)
控制鍵盤(pán)通過(guò)串行口和圖像融合效果評(píng)估板之間進(jìn)行數(shù)據(jù)交換。各部分的工作過(guò)程如 下
1、 裝置各部分上電以后，數(shù)字信號(hào)處理芯片首先進(jìn)行初始化，包括程序的引導(dǎo)和 地址分配以及由控制總線配置視頻解碼器及視頻編碼器等；
2、 解碼后的數(shù)字圖像信號(hào)分別經(jīng)數(shù)字信號(hào)處理芯片的視頻輸入端在數(shù)據(jù)總線的控 制下存儲(chǔ)于SDRAM中；
3、 數(shù)字信號(hào)處理芯片按幀從SDRAM中讀取輸入數(shù)字信號(hào)，根據(jù)評(píng)價(jià)控制鍵盤(pán)的 輸入對(duì)每幀圖像分別求取灰度共生矩陣，將求取結(jié)果存儲(chǔ)于SDRAM中；
4、 數(shù)字信號(hào)處理芯片對(duì)每幀圖像的灰度共生矩陣結(jié)果進(jìn)行標(biāo)準(zhǔn)偏差值的求取并將 求取結(jié)果綜合為顯示數(shù)字視頻信號(hào)；
5、 響應(yīng)評(píng)價(jià)控制鍵盤(pán)的顯示信號(hào)，將該時(shí)的評(píng)價(jià)結(jié)果數(shù)字視頻信號(hào)以及融合結(jié)果 信號(hào)經(jīng)視頻編碼器編碼，準(zhǔn)備輸出顯示結(jié)果。
本發(fā)明基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置的工作流程詳述如下-參與融合的視頻信號(hào)及融合結(jié)果視頻信號(hào)經(jīng)由視頻輸入端連接到圖像融合效果評(píng)估板 的視頻圖像采集模塊，將視頻信號(hào)轉(zhuǎn)變?yōu)閿?shù)字圖像信號(hào)之后按幀存儲(chǔ)于數(shù)據(jù)存儲(chǔ)模塊; 灰度共生矩陣求取模塊根據(jù)控制鍵盤(pán)設(shè)定的像素偶距離求取數(shù)據(jù)存儲(chǔ)模塊中數(shù)字圖像 信號(hào)的灰度統(tǒng)計(jì)結(jié)果，并將結(jié)果存儲(chǔ)于數(shù)據(jù)存儲(chǔ)模塊的特定區(qū)域；標(biāo)準(zhǔn)偏差求取模塊 讀取數(shù)據(jù)存儲(chǔ)模塊的灰度共生矩陣結(jié)果，計(jì)算出所有灰度級(jí)G,確定的情況下，另一灰 度級(jí)G2散布的標(biāo)準(zhǔn)偏差，并存儲(chǔ)于數(shù)據(jù)存儲(chǔ)模塊的特定區(qū)域；評(píng)價(jià)結(jié)果顯示模塊根據(jù) 控制鍵盤(pán)，確定需要顯示的數(shù)據(jù)，并且將數(shù)據(jù)轉(zhuǎn)換為適合顯示的視頻信號(hào)以及融合圖 像，經(jīng)由輸出端送到評(píng)價(jià)結(jié)果顯示器進(jìn)行評(píng)價(jià)結(jié)果輸出；當(dāng)輸入視頻信號(hào)中不存在融 合視頻信號(hào)時(shí)，在評(píng)價(jià)控制鍵盤(pán)的控制下，選擇裝置中的融合算法來(lái)求取融合視頻信 號(hào)，由求取的融合視頻信號(hào)代替輸入融合視頻信號(hào)完成后續(xù)處理。
權(quán)利要求
1、一種基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)方法，包括以下步驟1.1參與圖像融合效果評(píng)價(jià)的視頻信號(hào)由攝像機(jī)的輸出端連接到視頻輸入端，完成視頻信號(hào)的輸入，并同時(shí)輸入多路信號(hào)，輸入的信號(hào)為PAL制或NTSC制的標(biāo)準(zhǔn)視頻信號(hào)；1.2經(jīng)過(guò)視頻輸入端的視頻信號(hào)由視頻采集部分分別轉(zhuǎn)化為數(shù)字圖像信號(hào)，即將標(biāo)準(zhǔn)的PAL制或NTSC制視頻信號(hào)分別轉(zhuǎn)換為數(shù)字色差信號(hào)，其輸出格式為ITU-RBT.656，并將數(shù)字色差信號(hào)按幀存儲(chǔ)；1.3將每幀數(shù)字色差信號(hào)中的亮度信號(hào)經(jīng)過(guò)圖像預(yù)處理，即采用多幀累加平均的圖像平滑方法來(lái)改善融合圖像的效果；1.4經(jīng)過(guò)平滑后的多路亮度圖像進(jìn)行圖像融合，融合方法采用灰度調(diào)制方法；1.5平滑后的多路亮度圖像數(shù)據(jù)以及融合圖像經(jīng)過(guò)灰度共生矩陣快速求取得到每路亮度圖像對(duì)應(yīng)的灰度共生矩陣，灰度共生矩陣記錄各種灰度數(shù)組的出現(xiàn)個(gè)數(shù)；1.6在任一灰度級(jí)確定的情況下，由灰度共生矩陣計(jì)算另一灰度級(jí)散布的標(biāo)準(zhǔn)偏差，并對(duì)標(biāo)準(zhǔn)偏差求平均值；1.7將多個(gè)灰度共生矩陣的標(biāo)準(zhǔn)偏差平均值輸入到評(píng)價(jià)結(jié)果顯示部分，由評(píng)價(jià)結(jié)果顯示部分計(jì)算出改善因子的值，并將結(jié)果疊加到融合圖像上；1.8帶有顯示結(jié)果的融合圖像由評(píng)價(jià)結(jié)果顯示部分調(diào)整為標(biāo)準(zhǔn)的ITU-R BT.656格式，由視頻編碼器編碼成標(biāo)準(zhǔn)視頻信號(hào)輸出到結(jié)果顯示器。
2、 根據(jù)權(quán)利要求1所述的基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)方法，其 特征在于采用灰度共生矩陣的快速求取法來(lái)融合圖像，即首先建立256*256字節(jié)的 存儲(chǔ)空間用來(lái)存儲(chǔ)灰度共生矩陣，當(dāng)圖像文件準(zhǔn)備好后取出對(duì)應(yīng)圖像左上角位置當(dāng)前 像素的灰度值，然后計(jì)算對(duì)偶像素點(diǎn)的位置并取出對(duì)偶像素點(diǎn)的灰度值，在灰度共生 矩陣中當(dāng)前像素灰度值、對(duì)偶像素灰度值對(duì)應(yīng)的位置中存儲(chǔ)的數(shù)值加1，接著判斷對(duì)偶 像素的位置是否到了圖像文件的末尾；如果不是文件尾，則把當(dāng)前像素點(diǎn)的位置右移， 繼續(xù)計(jì)算，如果己經(jīng)到達(dá)圖像文件的末尾，則結(jié)束運(yùn)算。
3、 一種實(shí)現(xiàn)權(quán)利要求1或2所述的基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)方法的裝置，包括視頻輸入端、評(píng)價(jià)結(jié)果顯示器，其特征在于視頻輸入端連接圖像 融合效果評(píng)估板中的視頻采集模塊，在該圖像融合效果評(píng)估板中，該視頻采集模塊連 接灰度共生矩陣求取模塊，該灰度共生矩陣求取模塊連接標(biāo)準(zhǔn)偏差求取模塊，該標(biāo)準(zhǔn) 偏差求取模塊連接評(píng)價(jià)結(jié)果顯示模塊，所述的視頻采集模塊、灰度共生矩陣求取模塊、 標(biāo)準(zhǔn)偏差求取模塊和評(píng)價(jià)結(jié)果顯示模塊分別與數(shù)據(jù)存儲(chǔ)模塊相連，該評(píng)價(jià)結(jié)果顯示模 塊連接圖像融合效果評(píng)估板之外的視頻輸出端，該視頻輸出端連接評(píng)價(jià)結(jié)果顯示器； 評(píng)價(jià)控制鍵盤(pán)分別連接圖像融合效果評(píng)估板中的視頻采集模塊、灰度共生矩陣求取模 塊和評(píng)價(jià)結(jié)果顯示模塊。
4、 根據(jù)權(quán)利要求3所述的基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置，其 特征在于在圖像融合效果評(píng)估板中加入圖像預(yù)處理模塊和融合模塊，該圖像預(yù)處理 模塊分別連接視頻采集模塊和融合模塊，該融合模塊連接灰度共生矩陣求取模塊，所 述的圖像預(yù)處理模塊與融合模塊分別連接數(shù)據(jù)存儲(chǔ)模塊和評(píng)價(jià)控制鍵盤(pán)連接。
5、 根據(jù)權(quán)利要求3所述的基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)裝置，其 特征在于圖像融合效果評(píng)估板為四片視頻解碼器分別與數(shù)字信號(hào)處理芯片的四個(gè)視 頻端口相連，且與數(shù)字信號(hào)處理芯片的控制總線相連，該數(shù)字信號(hào)處理芯片的擴(kuò)展數(shù) 據(jù)總線分別與串口控制、SDRAM與FLASH相連；該數(shù)字信號(hào)處理芯片具有能夠進(jìn)行 圖像預(yù)處理、融合計(jì)算、灰度共生矩陣的求取、標(biāo)準(zhǔn)偏差的求取、評(píng)價(jià)結(jié)果的顯示數(shù) 據(jù)計(jì)算的CPU，該CPU和數(shù)據(jù)存儲(chǔ)模塊之間的數(shù)據(jù)交換由外部存儲(chǔ)器接口數(shù)據(jù)總線來(lái) 完成，評(píng)價(jià)控制鍵盤(pán)通過(guò)串行口和圖像融合效果評(píng)估板之間進(jìn)行數(shù)據(jù)交換。
全文摘要
本發(fā)明公開(kāi)了一種基于像素空間相關(guān)性的圖像融合效果實(shí)時(shí)評(píng)價(jià)方法及其裝置。本評(píng)價(jià)方法是參與融合的視頻信號(hào)和融合視頻信號(hào)經(jīng)視頻輸入端將視頻信號(hào)輸入到圖像融合效果評(píng)估板，在評(píng)價(jià)控制鍵盤(pán)的作用下，圖像融合效果評(píng)估板完成視頻圖像的采集、視頻信號(hào)的預(yù)處理、圖像融合計(jì)算、灰度共生矩陣的求取、標(biāo)準(zhǔn)偏差的求取、評(píng)價(jià)結(jié)果的顯示以及數(shù)據(jù)存儲(chǔ)的工作，并經(jīng)由輸出端在評(píng)價(jià)結(jié)果顯示器上顯示。本評(píng)價(jià)裝置為依次相連的視頻輸入端、圖像融合效果評(píng)估板、評(píng)價(jià)控制鍵盤(pán)和視頻輸出端以及評(píng)價(jià)結(jié)果顯示器。本發(fā)明能夠從圖像清晰度的角度評(píng)價(jià)融合圖像相對(duì)于源圖的改善；可以進(jìn)行實(shí)時(shí)的融合圖像質(zhì)量評(píng)價(jià)，根據(jù)場(chǎng)景的變化及時(shí)給出評(píng)價(jià)結(jié)果。
文檔編號(hào)H04N5/202GK101115131SQ20061004083
公開(kāi)日2008年1月30日 申請(qǐng)日期2006年7月28日 優(yōu)先權(quán)日2006年7月28日
發(fā)明者毅 張, 闖 張, 張保民, 柏連發(fā), 錢(qián)惟賢, 錢(qián) 陳, 顧國(guó)華 申請(qǐng)人:南京理工大學(xué)