紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法
【專利摘要】本發(fā)明公開了一種紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法，從規(guī)避碰撞物的角度，解決了夜間汽車暈光現(xiàn)象引起的交通安全問題，其實(shí)現(xiàn)包括有：采集夜間道路紅外圖像和可見光圖像；以紅外圖像為準(zhǔn)，做圖像配準(zhǔn)；分別對(duì)紅外和可見光圖像增強(qiáng)處理；提取增強(qiáng)后可見光圖像的亮度信號(hào)分量Y和兩個(gè)色度信號(hào)分量U和V；Y和增強(qiáng)后紅外圖像小波融合得到新的亮度信號(hào)分量Y′；Y′與U和V做YUV反變換得到最終的彩色融合圖像。本發(fā)明在配準(zhǔn)后增加了圖像增強(qiáng)處理，并對(duì)其參數(shù)進(jìn)行優(yōu)化，在消除暈光的同時(shí)，對(duì)融合后圖像的亮度和暗處細(xì)節(jié)信息有較大的保留和提升。本發(fā)明能夠有效規(guī)避因暈光引起的碰撞問題。適用于汽車抗暈光領(lǐng)域。
【專利說明】
紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于汽車抗暈光技術(shù)領(lǐng)域，主要設(shè)及一種利用圖像數(shù)據(jù)增強(qiáng)及融合技術(shù)對(duì) 紅外熱像儀與普通可見光攝像機(jī)同步采集的圖像進(jìn)行融合，具體是一種紅外與可見光圖像 融合的汽車抗暈光視頻圖像處理方法，用于夜間行駛汽車的抗暈光領(lǐng)域。
【背景技術(shù)】
[0002] 駕駛員燈光使用習(xí)慣對(duì)夜間道路車輛行駛安全有很大影響，遠(yuǎn)光燈的不正確使用 會(huì)使對(duì)向來車的駕駛員受暈光干擾造成視覺盲區(qū)，無(wú)法看清兩車間的行人W及前車兩側(cè)和 后方的事物，極易誘發(fā)交通事故?？箷灩獾姆椒ㄖ饕形锢砀駬跆幚怼④囕d圖像傳感器改進(jìn) 和視頻圖像處理=個(gè)方向。物理格擋是較為傳統(tǒng)和原始的方法，例如在雙向車道中間設(shè)置 植物隔離帶或者隔光板，該類方法效果較好，但受城建規(guī)劃、經(jīng)濟(jì)條件等因素影響，目前一 般只應(yīng)用于新建城市主干道和高速公路。改進(jìn)圖像傳感器可W部分消除暈光效果，如中國(guó) 專利《抗暈光面陣CCD圖像傳感器》，專利號(hào)為化200710018244.2，公開了 一種可W單獨(dú)控制 每個(gè)像素點(diǎn)積分時(shí)長(zhǎng)的面陣CCD傳感器消除暈光的方法，提升了圖像抗暈光的整體效果，但 實(shí)現(xiàn)難度較大。隨著忍片技術(shù)和視頻處理技術(shù)的進(jìn)步，各種各樣的抗暈光視頻圖像處理技 術(shù)不斷出現(xiàn)，基于視頻圖像處理的抗暈光技術(shù)克服了物理格擋的弊端，但不同的視頻圖像 處理方法之間仍有較大的差別和不足。目前視頻圖像處理的抗暈光技術(shù)主要有紅外抗暈光 技術(shù)、視頻圖像融合抗暈光技術(shù)等。紅外抗暈光技術(shù)是采用紅外熱成像儀采集前方道路的 紅外圖像達(dá)到消除暈光的目的，例如德國(guó)汽車制造商在奔馳S500L等高檔轎車上配備了紅 外夜視系統(tǒng)，來解決暈光干擾問題。利用紅外熱成像技術(shù)檢測(cè)物體熱福射的紅外線特定波 段信號(hào)，并轉(zhuǎn)換成可供人眼視覺分辨的圖像，其波長(zhǎng)在0.75WI1到500WI1之間，采集信號(hào)時(shí)不 受波長(zhǎng)在0.4WI1到0.75WI1之間的可見光影響，而暈光又集中在可見光波長(zhǎng)范圍內(nèi)，因此加裝 紅外熱相儀能完全消除暈光現(xiàn)象，但其存在顏色單一，圖像重要細(xì)節(jié)信息如:車牌號(hào)、車身 顏色、交通信號(hào)燈顏色等無(wú)法獲取的問題。視頻融合抗暈光技術(shù)結(jié)合紅外圖像完全消除暈 光的特點(diǎn)和可見光圖像圖像信息豐富的特點(diǎn)，采用把紅外圖像和可見光圖像融合的方法來 達(dá)到消除暈光的目的，本發(fā)明的工作前期著眼于暈光的消除，也采用了此類融合方式，其中 《基于YUV與小波變換的可見光與紅外圖像融合》W及《基于可見光和紅外圖像融合的汽車 抗暈光方法》中，都采用紅外圖像和可見光圖像融合的方式來消除暈光，但由于特殊的夜間 道路環(huán)境，可見光圖像也存在圖像畫面整體較暗，肉眼可識(shí)別的圖像信息較少的不足。另 夕h通過對(duì)夜間暈光引起的交通安全事故分析發(fā)現(xiàn)，事故多發(fā)生在駕駛?cè)藛T避讓對(duì)向車輛 過程中，碰撞的物體多為對(duì)向車輛周圍陰暗處的車輛、行人等。因此，如果不能提高圖像暗 處細(xì)節(jié)信息，而僅僅依賴于提高消除暈光的效果，并不能完全有效地避免交通安全事故的 發(fā)生。
[0003] 本發(fā)明項(xiàng)目組對(duì)國(guó)內(nèi)外專利文獻(xiàn)和公開發(fā)表的期刊論文檢索，尚未發(fā)現(xiàn)與本發(fā)明 密切相關(guān)和一樣的報(bào)道或文獻(xiàn)。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于針對(duì)現(xiàn)有圖像融合抗暈光技術(shù)存在融合后圖像亮度低，暗處細(xì) 節(jié)信息缺失的缺點(diǎn)，提供一種在消除暈光的同時(shí)，能夠提高圖像亮度和增強(qiáng)圖像暗處信息 的紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法。
[0005] 本發(fā)明是一種紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法，其特征在 于，紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法包括有W下步驟：
[0006] 步驟1車載紅外熱相儀和普通可見光攝像機(jī)采集到對(duì)應(yīng)于同一時(shí)間空間的夜間道 路紅外圖像和可見光圖像；
[0007] 步驟2W紅外圖像為參考圖像，對(duì)兩幅圖像進(jìn)行圖像配準(zhǔn)，得到在時(shí)間和空間上一 致性更高的紅外圖像和可見光圖像；
[0008] 步驟3通過MSRCR圖像增強(qiáng)算法對(duì)配準(zhǔn)后的可見光圖像進(jìn)行增強(qiáng)處理，得到亮度更 高、圖像信息更豐富的可見光圖像；
[0009] 步驟4通過MSR圖像增強(qiáng)算法對(duì)紅外圖像進(jìn)行增強(qiáng)處理，得到對(duì)比度更高的紅外圖 像；
[0010] 步驟5對(duì)增強(qiáng)后的可見光圖像進(jìn)行YUV正變換提取出亮度信號(hào)分量Y和兩個(gè)色度信 號(hào)分量U和V;
[0011] 步驟6把亮度信號(hào)分量Y和增強(qiáng)后的紅外圖像進(jìn)行小波融合得到新的消除了暈光 的亮度信號(hào)分量r;
[0012] 步驟7對(duì)新的亮度信號(hào)分量r，色度信號(hào)分量U和V進(jìn)行YUV反變換得到最終的融合 圖像，完成對(duì)夜間道路圖像的抗暈光處理，輸出消除了暈光、增強(qiáng)了暗處細(xì)節(jié)信息的彩色融 合圖像。
[0013] 本發(fā)明的思路在于各數(shù)據(jù)處理模塊的先后順序、整體數(shù)據(jù)處理步驟及參數(shù)設(shè)定取 值固定。
[0014] 與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)優(yōu)勢(shì)：
[0015] (1)本發(fā)明采用圖像增強(qiáng)算法與圖像融合算法相結(jié)合的方式，先增強(qiáng)再融合，優(yōu)點(diǎn) 在于從消除暈光和避免實(shí)際碰撞情況發(fā)生兩個(gè)角度來解決夜間行車暈光引起的安全問題。 圖像融合可W消除暈光，讓駕駛?cè)藛T不再受到強(qiáng)光干擾。圖像增強(qiáng)提高了圖像質(zhì)量，讓夜晚 采集到的圖像中的暗處信息變得容易觀察，使駕駛?cè)藛T能夠?qū)β窙r進(jìn)行判斷，做出正確的 行車路線選擇。運(yùn)是汽車抗暈光領(lǐng)域其他視頻圖像融合處理技術(shù)所不具備的
[0016] (2)本發(fā)明采用MSRCR圖像增強(qiáng)算法對(duì)夜間道路的可見光圖像進(jìn)行增強(qiáng)，顯著提高 了可見光圖像的亮度，豐富了暗處細(xì)節(jié)信息。
[0017] (3)本發(fā)明采用MSR圖像增強(qiáng)算法對(duì)紅外圖像進(jìn)行增強(qiáng)，顯著提高了紅外圖像的對(duì) 比度和亮度，提高了融合后圖像的對(duì)比度和亮度。
[0018] (4)本發(fā)明采用的增強(qiáng)算法中各參數(shù)針對(duì)不同的圖像特點(diǎn)有不同的取值，本發(fā)明 所確定的針對(duì)夜間道路圖像增強(qiáng)的優(yōu)選取值，在數(shù)據(jù)處理復(fù)雜度和性能取得了理想效果， 其中尺度C的個(gè)數(shù)和值的選取在圖像的細(xì)節(jié)信息和整體視覺效果之間取得了理想權(quán)衡，權(quán) 重系數(shù)值的分配有效凸顯了圖像中的暗處細(xì)節(jié)信息。
【附圖說明】：
[0019] 圖1是本發(fā)明的流程框圖；
[0020] 圖2是針對(duì)實(shí)際路況獲取的紅外圖像；
[0021] 圖3是針對(duì)實(shí)際路況獲取的可見光圖像；
[0022] 圖4是配準(zhǔn)后的可見光圖像；
[0023] 圖5是增強(qiáng)后的可見光圖像；
[0024] 圖6是增強(qiáng)后的紅外圖像；
[0025] 圖7是可見光亮度信號(hào)分量與紅外圖像融合后的新的亮度信號(hào)分量；
[0026] 圖8是最終輸出的消除了暈光的融合圖像。
【具體實(shí)施方式】：
[0027] 下面結(jié)合附圖對(duì)本發(fā)明作詳細(xì)說明。
[0028] 實(shí)施例1
[0029] 通過對(duì)夜間暈光引起的交通安全事故分析發(fā)現(xiàn)，事故多發(fā)生在駕駛?cè)藛T避讓對(duì)向 車輛過程中，碰撞的物體多為前車周圍陰暗處的車輛、行人等。因此，如果不能提高圖像暗 處細(xì)節(jié)信息，而僅僅依賴于提高消除暈光的效果，并不能完全有效地避免交通安全事故的 發(fā)生。
[0030] 針對(duì)上述現(xiàn)狀，本發(fā)明提出了一種紅外與可見光圖像融合的汽車抗暈光視頻圖像 處理方法，見圖1，紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法包括有W下步 驟：
[0031] 步驟1車載紅外熱相儀和普通可見光攝像機(jī)采集到對(duì)應(yīng)于同一時(shí)間空間的夜間道 路紅外圖像和可見光圖像；
[0032] 步驟2W紅外圖像為參考圖像，對(duì)兩幅圖像進(jìn)行圖像配準(zhǔn)，得到在時(shí)間和空間上一 致性更高的紅外圖像和可見光圖像；
[0033] 步驟3通過MSRCR圖像增強(qiáng)算法對(duì)配準(zhǔn)后的可見光圖像進(jìn)行增強(qiáng)處理，得到亮度更 高、圖像信息更豐富的可見光圖像；
[0034] 步驟4通過MSR圖像增強(qiáng)算法對(duì)紅外圖像進(jìn)行增強(qiáng)處理，得到對(duì)比度更高的紅外圖 像；
[0035] 步驟5再對(duì)增強(qiáng)后的可見光圖像進(jìn)行YUV正變換提取出亮度信號(hào)分量Y和兩個(gè)色度 信號(hào)分量U和V。
[0036] 步驟6把亮度信號(hào)分量Y和增強(qiáng)后的紅外圖像進(jìn)行小波融合得到新的消除了暈光 的亮度信號(hào)分量r。
[0037] 本發(fā)明將采集到的夜間道路紅外圖像和帶有暈光的可見光圖像，首先進(jìn)行了圖像 增強(qiáng)，然后進(jìn)行了圖像融合，提高了融合后圖像的對(duì)比度和亮度。
[0038] 步驟7對(duì)新的亮度信號(hào)分量r，色度信號(hào)分量U和V進(jìn)行YUV反變換得到最終的融合 圖像，完成對(duì)夜間道路圖像的抗暈光處理，輸出的融合圖像有效消除了暈光并增強(qiáng)了暗處 細(xì)節(jié)信息。
[0039] 本發(fā)明在處理的過程中各數(shù)據(jù)處理模塊的先后順序、整體數(shù)據(jù)處理步驟及參數(shù)取 值固定等保證了本發(fā)明消除暈光的效果W及對(duì)暗處細(xì)節(jié)信息的顯示。
[0040]本發(fā)明采用圖像融合與圖像增強(qiáng)算法結(jié)合的方式。利用紅外圖像沒有暈光和可見 光圖像圖像信息豐富、更適用于人眼觀察的優(yōu)點(diǎn)，將兩種圖像進(jìn)行融合，消除了暈光;對(duì)采 集到的夜間道路的可見光圖像進(jìn)行圖像增強(qiáng)可W提高圖像亮度，豐富了圖像的暗處細(xì)節(jié)信 息，讓駕駛?cè)藛T在受到暈光干擾時(shí)可W提前觀察前車兩側(cè)事物，避免在避讓的過程中發(fā)生 碰撞。對(duì)紅外圖像的增強(qiáng)提高了原紅外圖像的對(duì)比度，有效減輕了融合后圖像模糊的現(xiàn)象。 圖像融合與圖像增強(qiáng)相結(jié)合，有效消除了暈光，并提高了圖像亮度、豐富了圖像暗處細(xì)節(jié)信 息。
[0041 ] 實(shí)施例2
[0042] 紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法同實(shí)施例1，其中，步驟3 中所述通過MSRCR圖像增強(qiáng)算法對(duì)可見光圖像進(jìn)行增強(qiáng)處理，包括有如下處理步驟：
[0043] 3.1根據(jù)下式，確定高斯環(huán)繞函數(shù)計(jì)算出相應(yīng)的高斯模板，選取各模板對(duì)應(yīng)的尺度 C；
[0044] F(x,y)=]i ? exp((-(x^+y^)^)/C^)&//F(x,y)dxdy= 1 (I)
[0045] 式中：F(x，y)表示所選用的高斯環(huán)繞函數(shù)模型；（x，y)表示像素點(diǎn)的坐標(biāo);ii表示對(duì) 應(yīng)通道的歸一化常數(shù);C表示F(x，y)的尺度常數(shù)，尺度C越大，圖像的動(dòng)態(tài)范圍壓縮越大，與 之對(duì)應(yīng)的圖像細(xì)節(jié)越突出，尺度C越小，與之對(duì)應(yīng)的圖像整體效果越好，顏色越自然。
[0046] 3.2根據(jù)下式，計(jì)算巧巾尺度C下得到結(jié)果的加權(quán)平均，確定各尺度對(duì)應(yīng)的權(quán)重系數(shù) W的值；
[0047]
(2)
[004引式中：RMSRi(x，y)是不帶色彩恢復(fù)的增強(qiáng)輸出；N表示增強(qiáng)算法所采用的尺度數(shù);Wn 是與F(x，y)對(duì)應(yīng)的權(quán)重系數(shù);Ii(x，y)為第i個(gè)顏色通道的像素點(diǎn)，iGR，G，B。本發(fā)明中的3 種尺度值是指C在特定區(qū)間的小、中、大取值。
[00例 3.3根據(jù)下式，計(jì)算彩色恢復(fù)因子。
[(K)加 ]
(3)
[0051] 式中：Ci(x，y)表示與此增強(qiáng)算法對(duì)應(yīng)的彩色恢復(fù)因子，i表示其顏色通道;0表示 的是增益常數(shù);a為受控制的非線性強(qiáng)度系數(shù)。
[0052] 3.4根據(jù)下式，將彩色恢復(fù)因子代入，得到增強(qiáng)后的可見光圖像。
[0化3]
(4)
[0054] 式中：RMSRCRi(x，y)是帶顏色恢復(fù)的MSRCR增強(qiáng)算法的輸出，用于對(duì)可見光圖像的增 強(qiáng)。
[0055] 本發(fā)明采用MSRCR圖像增強(qiáng)算法對(duì)采集到的夜間道路環(huán)境下的可見光圖像的處 理，可W提高夜間圖像的亮度，豐富圖像的暗處細(xì)節(jié)信息，使原本不易被察覺的前車兩側(cè)的 車輛、行人等暗處清晰變得可見，讓駕駛?cè)藛T在受到暈光干擾時(shí)可W提前觀察前車兩側(cè)事 物，避免在避讓的過程中發(fā)生碰撞。
[0056] 實(shí)施例3
[0057] 紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法同實(shí)施例1-2,其中步驟4 中所述通過MSR圖像增強(qiáng)算法對(duì)紅外圖像進(jìn)行增強(qiáng)處理，包括有如下處理步驟：
[0058] 4.1根據(jù)下式，確定高斯環(huán)繞函數(shù)計(jì)算出相應(yīng)的高斯模板，選取各模板對(duì)應(yīng)的尺度 數(shù)C;
[0059] F(x,y)=y ? exp((-(x^V)^)/C^)&//F(x,y)dxdy= 1 (I)
[0060] 4.2根據(jù)下式，將紅外圖像類比成可見光圖像的一個(gè)顏色通道，計(jì)算3種尺度下得 到結(jié)果的加權(quán)平均，權(quán)重系數(shù)W的值，并根據(jù)各權(quán)值獲得增強(qiáng)后的紅外圖像；
[0061 ]
(勺）
[0062] 式中：RmsrU, y)是不帶色彩恢復(fù)的增強(qiáng)輸出；N表示增強(qiáng)算法所采用的尺度數(shù);Wn 是與F(x，y)對(duì)應(yīng)的權(quán)重系數(shù);I(x，y)為像素點(diǎn)。
[0063] 本發(fā)明采用MSR增強(qiáng)算法對(duì)夜間道路環(huán)境下的紅外圖像進(jìn)行處理，提高了紅外圖 像的對(duì)比度和亮度，使其紋理信息更明顯，在與可見光圖像融合后，圖像更清晰，亮度更高。
[0064] 實(shí)施例4
[0065] 紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法同實(shí)施例1 -3。
[0066] 圖像增強(qiáng)的參數(shù)設(shè)置包括有：
[0067] 尺度個(gè)數(shù)N = 3，表示選取3個(gè)尺度;各個(gè)尺度對(duì)應(yīng)的尺度數(shù)C在[1，249]范圍內(nèi)小、 中、大各取一個(gè)值，其中小值在[5,20]之間，中值在[100,130]之間，大值在[220,249]之間； 與小、中、大尺度數(shù)C對(duì)應(yīng)的權(quán)重系數(shù)W分別為〇.3〇、〇.35、〇.35;增益常數(shù)0取值在[45,55]之 間；非線性強(qiáng)度系數(shù)a取值在[115,125]之間。本發(fā)明增強(qiáng)算法中的各參數(shù)在W上范圍內(nèi)取 值能夠得到較好的增強(qiáng)效果?；蛘哒f，本發(fā)明中采用上述參數(shù)的優(yōu)選取值，可見光圖像和紅 外圖像的增強(qiáng)效果最為理想。
[0068] 下面給出一個(gè)完整的處理過程，對(duì)本發(fā)明做進(jìn)一步說明。
[0069] 實(shí)施例5
[0070] 紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法同實(shí)施例1 -4。
[0071] 本發(fā)明紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法，包括有圖像配 準(zhǔn)、圖像增強(qiáng)、YUV正變換、小波融合及YUV反變換。車載紅外熱相儀和普通可見光攝像機(jī)采 集到對(duì)應(yīng)于同一時(shí)間空間的夜間道路紅外圖像，見圖2, W及可見光圖像，見圖3。本發(fā)明中 W紅外圖像為參考圖像，對(duì)兩幅圖像進(jìn)行圖像配準(zhǔn)，得到在時(shí)間和空間上一致性更高的紅 外圖像和可見光圖像，見圖4。通過圖像增強(qiáng)算法對(duì)兩幅圖像分別進(jìn)行增強(qiáng)處理，得到亮度 更高、圖像暗處細(xì)節(jié)信息更豐富的可見光圖像，見圖5和對(duì)比度更高的紅外圖像，見圖6。再 對(duì)增強(qiáng)后的可見光圖像進(jìn)行YUV正變換提取出亮度信號(hào)分量Y和兩個(gè)色度信號(hào)分量U和V，然 后把亮度信號(hào)分量Y和增強(qiáng)后的紅外圖像進(jìn)行小波融合得到消除了暈光的亮度信號(hào)分量 ，見圖7。最后對(duì)新的亮度信號(hào)分量r，色度信號(hào)分量U和V進(jìn)行YUV反變換得到最終的融合 圖像，見圖8,從圖8可見，經(jīng)本發(fā)明處理后不僅有效消除了暈光，而且還增強(qiáng)了圖像中暗處 的細(xì)節(jié)信息。
[0072] 太發(fā)巧奸外圖像臺(tái)前化井:圖像的圖像配準(zhǔn)模型如下；
[0073]
(6)
[0074] 可見光圖像中的各像素點(diǎn)（XI'，yi'）經(jīng)過仿射變換后對(duì)應(yīng)紅外圖像中的點(diǎn)（XI， yi);k，0分別是兩幅圖像的比例系數(shù)和旋轉(zhuǎn)因子；Ax、Ay對(duì)應(yīng)圖像在兩個(gè)坐標(biāo)軸上的平移 量。k，0和Ax、Ay就是圖像進(jìn)行配準(zhǔn)的參數(shù)，當(dāng)運(yùn)幾個(gè)參數(shù)取值合適時(shí)，紅外圖像和可見光 圖像剛好相互匹配。在本發(fā)明中，紅外圖像為參考圖像，選擇可見光圖像為待配準(zhǔn)圖像，選 擇四組對(duì)稱點(diǎn)進(jìn)行配準(zhǔn)。提取兩幅圖像的特征點(diǎn)，通過特征點(diǎn)求出兩幅圖像之間的變換參 數(shù)。使用變換參數(shù)對(duì)待配準(zhǔn)圖像坐空間變換，再重采樣，完成兩幅圖像空間上的配準(zhǔn)，配準(zhǔn) 后的圖像如圖4所示。
[0075] 配準(zhǔn)后，對(duì)針外與可化化閣像A別講行增強(qiáng)，增強(qiáng)公式如下：
[0076] 間
[0077] (1)
[007引 （4)
[0079] 巧
[0080] 式中，RMSRi(x，y)是不帶色彩恢復(fù)的MSR增強(qiáng)算法的輸出，紅外圖像可W類比成可 見光圖像的一個(gè)顏色通道;RMSRCRi(x，y)是帶顏色恢復(fù)的MSRCR增強(qiáng)算法的輸出，用于對(duì)可見 光圖像的增強(qiáng)；Ii(x，y)為第i個(gè)顏色通道的像素點(diǎn)，iGR，G，B;N表示增強(qiáng)算法所采用的尺 度個(gè)數(shù);F(x，y)表示所選用的高斯環(huán)繞函數(shù)模型，Wn是與之對(duì)應(yīng)的權(quán)重系數(shù);CiU, y)表示與 此增強(qiáng)算法對(duì)應(yīng)的彩色恢復(fù)因子，i是其顏色通道;e表示的是增益常數(shù);Cl為受控制的非線 性強(qiáng)度系數(shù)；
[0081] MSRCR算法是把多個(gè)固定尺度的色彩通道進(jìn)行線性加權(quán)綜合來提高增強(qiáng)，在增強(qiáng) 過程中，圖像可能增加噪聲，而造成圖像局部細(xì)節(jié)色彩失真，不能顯示出物體的真正顏色效 果。針對(duì)運(yùn)一不足，引進(jìn)色彩恢復(fù)因子Ci(x，y)，從而把相對(duì)暗區(qū)域的信息突顯出來W達(dá)到 消除圖像色彩失真的缺陷。本發(fā)明在增強(qiáng)算法各參數(shù)取值范圍內(nèi)進(jìn)一步優(yōu)化給出如下最佳 參數(shù)，各參數(shù)取值如表1所示。最終就可得到增強(qiáng)后的可見光圖像，見圖5,與紅外圖像，見圖 6。
[0082] 表1增強(qiáng)算法參數(shù)表
[0083]
[0084] 現(xiàn)有的抗暈光的技術(shù)方案并不是很多，本發(fā)明前期也做過夜間道路暈光消除的研 究，但是在消除暈光的過程中，圖像亮度低，圖像中的暗處細(xì)節(jié)信息變得難W觀察，影響了 駕駛?cè)藛T對(duì)路況的判斷。
[0085] 本發(fā)明在處理的過程中，?？卺槍?duì)現(xiàn)有的視頻融合算法處理后亮度低、暗處信息 不易獲取的不足，對(duì)可見光圖像和紅外圖像進(jìn)行了增強(qiáng)，豐富了暗處的信息。
[0086] 在YUV色彩空間中，每一個(gè)像素點(diǎn)有一個(gè)亮度信號(hào)分量Y，和兩個(gè)色度信號(hào)分量U和 V。增強(qiáng)后的可見光圖像需要進(jìn)行YUV正變換，YUV空間模型與RGB相互轉(zhuǎn)化的公式各系數(shù)是 固定的，如下所示：
[0087] (7)
[0088] R進(jìn)行小波分解，分解公式如下：
[0089] 焊）
[0090] 上式中h()，g()分別表示低通濾波器系數(shù)和高通濾波器系數(shù)，Ck-i(m，n)為待分解 圖像，Ck，泣f，和df為源圖像的低頻、水平高頻、垂直高頻和對(duì)角高頻分量，（i，j)為分 解出的像素點(diǎn)坐標(biāo)。圖像分解后，圖像的輪廓、邊緣等信息一般存在與高頻分量中，其他與 源圖像較為接近的信息一般存在于低頻分量中。
[0091 ]分解后的可見光圖像與紅外圖像小波融合過程如公式下：
[0092]
[0093] (10)
[0094] 式中化為亮度分量的低頻分量；I化為紅外圖像的低頻分量;Yh為亮度分量的高頻 分量；IRh為紅外圖像的高頻分量。首先把可見光圖像亮度分量Y的低頻分量與紅外圖像的 低頻分量進(jìn)行加權(quán)平均，相應(yīng)的權(quán)值Wi、W2都取0.5,把可見光圖像亮度分量Y的高頻分量和 紅外圖像的高頻分量進(jìn)行絕對(duì)值取大處理，然后對(duì)新的低頻分量和高頻分量進(jìn)行小波逆變 換處理，逆變換的過程為將上一步得到的低頻和高頻分量對(duì)應(yīng)的Ck,或"，<'和rff與鏡像濾 波器h()，g〇分別卷積，進(jìn)行行列重構(gòu)，每?jī)闪泻蛢尚兄貥?gòu)時(shí)進(jìn)行補(bǔ)零采樣，小波逆變換公 式如下：
[0095]
}
[0096] 即可得到可見光圖像的亮度信號(hào)分量Y與紅外圖像經(jīng)小波變換融合后的新的亮度 信號(hào)分量r，見圖7。最后對(duì)r、U、V進(jìn)行YUV反變換，YUV轉(zhuǎn)化到RGB表達(dá)式下：
[0097]
(12)
[0098] 運(yùn)樣就得到最終的紅外與可見光融合后的圖像，見圖8。實(shí)現(xiàn)了有效地抗暈光且保 留了暗處的景物信息，對(duì)于整個(gè)路況反映更加真實(shí)，為駕駛?cè)藛T在夜間會(huì)車時(shí)提供了更開 闊的視野和更清晰的路況影像，讓駕駛?cè)藛T有更多的時(shí)間確定最佳行駛路線。
[0099] 本發(fā)明的圖像配準(zhǔn)采用的仿射變換算法只需要確定紅外熱相儀和可見光攝像機(jī) 所采集到圖像之間的比例系數(shù)和旋轉(zhuǎn)因子，進(jìn)行平移和放大，計(jì)算量少，配準(zhǔn)效果好，可W 實(shí)現(xiàn)紅外圖像與可見光圖像空間上的配準(zhǔn)。
[0100] 本發(fā)明采用的多尺度MSRCR增強(qiáng)算法對(duì)夜間道路下的可見光圖像進(jìn)行增強(qiáng)，在道 路照明不是很理想的情況下，車輛周圍的圖像往往難W看清，通過運(yùn)種方式增強(qiáng)后可W明 顯提高背景環(huán)境的亮度和對(duì)比度。對(duì)紅外圖像進(jìn)行MSR增強(qiáng)后，圖像輪廓更加分明，對(duì)比度 提高。對(duì)夜晚采集到圖像的視覺增強(qiáng)，更易于人眼觀察。
[0101] 本發(fā)明的圖像融合采用YUV變換和小波融合結(jié)合的方式，結(jié)構(gòu)簡(jiǎn)單，可見光圖像由 RGB格式轉(zhuǎn)化成YUV格式，并且只用Y分量與紅外圖像進(jìn)行小波融合，提高了整體的處理速 度，實(shí)時(shí)性更高。
[0102] 本發(fā)明簡(jiǎn)單實(shí)用，只需加載紅外圖像與可見光圖像兩路圖像，按照表1中設(shè)置好各 參數(shù)，即可得到融合圖像，過程中不需要手動(dòng)調(diào)節(jié)參數(shù)。
[0103] 本發(fā)明的抗暈光技術(shù)效果也可W通過仿真來驗(yàn)證
[0104] 實(shí)施例6
[0105] 紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法同實(shí)施例1-5,本例給出 一個(gè)具體仿真的實(shí)例。
[0106] 仿真條件:WindowsS操作系統(tǒng)、MATLAB軟件。
[0107] 當(dāng)紅外熱相儀和普通可見光攝像機(jī)采集到圖像數(shù)據(jù)后，經(jīng)配準(zhǔn)、增強(qiáng)、YUV變換、小 波融合、YUV反變換后得到紅外與可見光融合的圖像，本發(fā)明運(yùn)用仿射變換、圖像增強(qiáng)、YUV 變換、小波融合，W特定的順序和參數(shù)設(shè)置來對(duì)紅外圖像和可見光圖像進(jìn)行處理，得到消除 暈光并增強(qiáng)暗處信息的圖像，具體的的步驟是：
[0108] -.圖像采集:紅外熱相儀和普通可見光攝像機(jī)采集到同一對(duì)象的視頻圖像，并選 取同一時(shí)刻的紅外圖像，見圖2和可見光圖像，見圖3。
[0109] 二.圖像配準(zhǔn)：
[0110] (1)通過imread函數(shù)打開可見光圖像和紅外圖像的原始圖像。
[0111] (2)通過cpselect函數(shù)從可見光圖像和紅外圖像中選取4個(gè)特征點(diǎn)，并存入在b_ f e曰化的和i_f e曰ture中。
[0112] (3)通過cp2tform函數(shù)算出變換參數(shù)。
[0113] (4)通過inrtransform函數(shù)，單獨(dú)對(duì)可見光圖像根據(jù)上步求得的參數(shù)進(jìn)行空間位置 的變換。
[0114] 圖像增強(qiáng)，本發(fā)明針對(duì)可見光圖像和紅外圖像的處理方式不同：
[0115] (1)將配準(zhǔn)后的可見光圖像分解為R、G、B運(yùn)=幅圖像，依次將其數(shù)據(jù)類型轉(zhuǎn)化為 double型。根據(jù)公式（1)，確定高斯環(huán)繞函數(shù)計(jì)算出相應(yīng)的高斯模板，選取尺度C的值。
[0116] (2)根據(jù)公式(2)，計(jì)算巧巾尺度下得到結(jié)果的加權(quán)平均，權(quán)重系數(shù)W的值。
[0117] (3)根據(jù)公式(3)，計(jì)算彩色恢復(fù)因子，代入公式(4)，得到RmsrcriU, y)。
[0118] (4)對(duì)可見光圖像的R、G、B運(yùn)3個(gè)通道的圖像分別進(jìn)行第S步，對(duì)紅外圖像只需要 第一步和第二步的相應(yīng)處理，最后整合成完整的增強(qiáng)圖像，其中圖5是可見光圖像增強(qiáng)，圖6 是紅外圖像增強(qiáng)。
[0119] 四.YUV正變換:按照公式(7)，使用巧b2yuv函數(shù)把增強(qiáng)后的RGB格式可見光圖像轉(zhuǎn) 換為YUV格式。
[0120] 五.小波融合：
[0121] (I)對(duì)Y信號(hào)分量和紅外圖像使用wavedec函數(shù)進(jìn)行小波變換分解，選定小波基，確 定分解層數(shù)。
[0122] (2)對(duì)分解后的紅外與Y信號(hào)分量按照公式(9)、（10)所示對(duì)低頻分量進(jìn)行加權(quán)平 均，對(duì)高頻分量進(jìn)行絕對(duì)值取大。
[0123] (3)按照公式（11)使用waverec2函數(shù)進(jìn)行小波融合，得到新的可見光亮度分量r， 見圖7。
[0124] 六.YUV逆變換：按照公式（12)，使用yuv2rgb函數(shù)把YUV格式的圖像轉(zhuǎn)化成RGB格 式。
[0125] 屯.得到紅外圖像與可見光圖像的融合圖像，見圖8,從圖中可W看出，與原可見光 圖像相比，融合后的圖像暈光基本被消除，圖像亮度得到明顯提升，車輛兩側(cè)的道路W及后 方的路口、建筑物等信息清晰可見，從避免實(shí)際碰撞發(fā)生的角度解決了夜間行車時(shí)的暈光 問題。
[0126] 通過人眼視覺從圖8中已經(jīng)可W明顯看到本發(fā)明對(duì)暈光的消除W及對(duì)暗處信息的 保留取得了理想的效果，對(duì)向行駛的車輛信息W及車輛周圍的路況信息都清晰明了，為了 客觀分析圖像處理效果，將融合后圖像與原可見光圖像進(jìn)行客觀對(duì)比，如下表所示。
[0127] 表2融合結(jié)果對(duì)比
[012 引
[0129] 從表2中的客觀數(shù)據(jù)也可W看出，與據(jù)閣像相比，采用本發(fā)明賭值提高了 19.7 %， 表明融合后的圖像包含信息更多；均值提高了 22.3%，表明融合后的圖像亮度明顯提高;平 均梯度提高了 46.5%，表明圖像清晰度更高;標(biāo)準(zhǔn)差提高了 14.8%，表明圖像紋理信息更 高。通過增強(qiáng)算法對(duì)融合前圖像質(zhì)量進(jìn)行提升，很好的解決了圖像融合后畫面亮度低，暗處 信息不明顯的缺點(diǎn)。
[0130] 實(shí)施例7
[0131] 紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法同實(shí)施例1-6,仿真條件 同實(shí)施例6。
[0132] 本發(fā)明的實(shí)現(xiàn)方案是:通過紅外熱相儀與普通可見光攝像機(jī)采集到視頻圖像，其 中紅外圖像見圖2,可見光圖像見圖3。啟動(dòng)MA化AB，使用imread函數(shù)讀取兩幅圖像，使用 cpselect函數(shù)從兩幅圖像中選取4個(gè)特征點(diǎn)，保存在base_points和i噸ut_points中，使用 cp2tfo;rm函數(shù)通過獲得的特征點(diǎn)W及所用變換類型求出變換參數(shù)，使用inrtransform函數(shù) 對(duì)待配準(zhǔn)圖像應(yīng)用變換參數(shù)進(jìn)行變換，base_points和input_points分別為參考圖像紅外 圖像和待配準(zhǔn)可見光圖像所對(duì)應(yīng)的特征點(diǎn)。4對(duì)控制點(diǎn)為：
[0133] base_points = [284,189；379,184；489,289；548,392],
[0134] i噸ut-points = [269，159;379，155;550，296;588，417]，
[0135] 得到可見光圖像的配準(zhǔn)圖像。將配準(zhǔn)后的圖像分解為R、G、B運(yùn)=幅圖像，依次將其 數(shù)據(jù)類型轉(zhuǎn)化為double型。按照表1中各參數(shù)設(shè)定，根據(jù)公式(9)，確定高斯環(huán)繞函數(shù)計(jì)算出 相應(yīng)的高斯模板，選取尺度C的值為10,120,240。利用公式(2)，計(jì)算巧巾尺度下得到結(jié)果的 加權(quán)平均，權(quán)重系數(shù)W的值分別取0.30,0.35,0.35。利用公式(3)，計(jì)算彩色恢復(fù)因子，代入 公式(4)，得到3?51^〇^^，7)。對(duì)1?、6、8運(yùn)3個(gè)通道分別進(jìn)行如上增強(qiáng)，最后整合成完整的增強(qiáng) 圖像，改變了夜間可見光圖像畫面昏暗的缺點(diǎn)，紅外圖像的細(xì)節(jié)也得到了很大提高。按照公 式(7)，使用rgb巧UV函數(shù)把增強(qiáng)后的RGB格式可見光圖像進(jìn)行YUV格式轉(zhuǎn)化。對(duì)Y信號(hào)分量和 紅外圖像使用wavedec函數(shù)進(jìn)行小波變換分解，選定小波基化2,兩層分解。對(duì)分解后的紅外 與Y信號(hào)分量的低頻分量進(jìn)行加權(quán)平均，權(quán)值取0.5和0.5,對(duì)高頻分量進(jìn)行絕對(duì)值取大。使 用waverec2函數(shù)進(jìn)行小波融合，得到新的可見光亮度信號(hào)分量r。按照公式（12)，使用 yuv化gb函數(shù)把YUV格式的圖像轉(zhuǎn)化成RGB格式。得到紅外圖像與可見光圖像的融合圖像。如 圖8所示，可見汽車遠(yuǎn)光燈暈光基本消除，圖像信息比可見光圖像信息豐富，比紅外圖像細(xì) 節(jié)輪廓更分明。
[0136] 本發(fā)明經(jīng)過大量的實(shí)驗(yàn)對(duì)比，針對(duì)夜間道路圖像的特點(diǎn)，對(duì)圖像增強(qiáng)過程中各參 數(shù)的取值進(jìn)行了優(yōu)選設(shè)定，在數(shù)據(jù)處理復(fù)雜度和性能上取得了理想效果，尺度C的個(gè)數(shù)和值 的選取在圖像的細(xì)節(jié)信息和整體視覺效果之間取得了理想權(quán)衡，權(quán)重系數(shù)值的分配有效凸 顯了圖像中的暗處細(xì)節(jié)信息。
[0137] 本發(fā)明的特點(diǎn)
[0138] 綜上所述，針對(duì)夜間汽車暈光現(xiàn)象引起的交通安全問題，本發(fā)明從規(guī)避碰撞物的 角度出發(fā)，設(shè)計(jì)了一種基于紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法，W提 高夜間駕駛安全性，該方法由圖像配準(zhǔn)、圖像增強(qiáng)、YUV正變換、小波融合及YUV反變換構(gòu)成。 其中圖像配準(zhǔn)采用基于仿射變換的方式。圖像增強(qiáng)采用基于Retinex理論的增強(qiáng)算法，通過 對(duì)可見光圖像做MSRCR圖像增強(qiáng)和紅外圖像做MSR圖像增強(qiáng)，解決了夜間可見光圖像亮度 低，暗處信息不易獲取的問題，并提高了紅外圖像對(duì)比度;通過YUV與小波變換結(jié)合的方式 對(duì)增強(qiáng)后的可見光圖像和紅外圖像進(jìn)行融合，消除了暈光現(xiàn)象。該視頻圖像數(shù)據(jù)處理方法 結(jié)構(gòu)新穎，把圖像增強(qiáng)引入抗暈光領(lǐng)域，與圖像融合方法相結(jié)合，不僅能有效消除暈光，還 對(duì)融合后圖像的亮度和暗處細(xì)節(jié)信息有較大提升，從規(guī)避碰撞的角度解決了夜間汽車暈光 引起的交通安全問題。本發(fā)明適用于汽車抗暈光領(lǐng)域。
【主權(quán)項(xiàng)】
1. 一種紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法，其特征在于，紅外與 可見光圖像融合的汽車抗暈光視頻圖像處理方法包括有以下步驟： 步驟1車載紅外熱相儀和可見光攝像機(jī)采集到對(duì)應(yīng)于同一時(shí)間空間的夜間道路紅外圖 像和可見光圖像； 步驟2以紅外圖像為參考圖像，對(duì)兩幅圖像進(jìn)行圖像配準(zhǔn)，得到在時(shí)間和空間上一致性 更高的紅外圖像和可見光圖像； 步驟3通過MSRCR圖像增強(qiáng)算法對(duì)配準(zhǔn)后的可見光圖像進(jìn)行增強(qiáng)處理，得到亮度更高、 圖像信息更豐富的可見光圖像； 步驟4通過MSR圖像增強(qiáng)算法對(duì)紅外圖像進(jìn)行增強(qiáng)處理，得到對(duì)比度更高的紅外圖像； 步驟5對(duì)增強(qiáng)后的可見光圖像進(jìn)行YUV正變換提取出亮度信號(hào)分量Y和兩個(gè)色度信號(hào)分 量I^PV; 步驟6把亮度信號(hào)分量Y和增強(qiáng)后的紅外圖像進(jìn)行小波融合得到新的消除了暈光的亮 度信號(hào)分量Y7 ; 步驟7對(duì)新的亮度信號(hào)分量Y'，色度信號(hào)分量U和V進(jìn)行YUV反變換得到最終的融合圖 像，完成對(duì)夜間道路圖像的抗暈光處理，輸出消除了暈光、增強(qiáng)了暗處細(xì)節(jié)信息的彩色融合 圖像。2. 根據(jù)權(quán)利要求1所述的紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法，其 特征在于，步驟3中所述通過MSRCR圖像增強(qiáng)算法對(duì)配準(zhǔn)后的可見光圖像進(jìn)行增強(qiáng)處理，包 括有如下處理步驟： 3.1根據(jù)下式，確定高斯環(huán)繞函數(shù)計(jì)算出相應(yīng)的高斯模板，選取各模板對(duì)應(yīng)的尺度C;式中：F(x，y)表示所選用的高斯環(huán)繞函數(shù)模型；（x，y)表示像素點(diǎn)的坐標(biāo);μ表示對(duì)應(yīng)通 道的歸一化常數(shù);C表示F(x，y)的尺度常數(shù)，尺度C越大，圖像的動(dòng)態(tài)范圍壓縮越大，與之對(duì) 應(yīng)的圖像細(xì)節(jié)越突出，尺度C越小，與之對(duì)應(yīng)的圖像整體效果越好，顏色越自然。 3.2根據(jù)下式，計(jì)算3種尺度下得到結(jié)果的加權(quán)平均，確定各尺度對(duì)應(yīng)的權(quán)重系數(shù)W的 值；式中：RMSRl(x，y)是不帶色彩恢復(fù)的增強(qiáng)輸出；N表示增強(qiáng)算法所采用的尺度個(gè)數(shù);1"是 與F(x，y)對(duì)應(yīng)的權(quán)重系數(shù);Ii(x，y)為第i個(gè)顏色通道的像素點(diǎn)坐標(biāo)，ieR，G，B。 3.3根據(jù)下式，計(jì)算彩色恢復(fù)因子：式中=C1(Xd)表示與此增強(qiáng)算法對(duì)應(yīng)的彩色恢復(fù)因子，i表示顏色通道;β表示的是增益 常數(shù);α為受控制的非線性強(qiáng)度系數(shù)。 3.4將彩色恢復(fù)因子代入下式，得到增強(qiáng)后的可見光圖像：式中：RMSRCRl(x，y)是帶顏色恢復(fù)的MSRCR增強(qiáng)算法的輸出，用于對(duì)可見光圖像的增強(qiáng)。3. 根據(jù)權(quán)利要求1所述的紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法，其 特征在于，將步驟4中所述通過MSR圖像增強(qiáng)算法對(duì)紅外圖像進(jìn)行增強(qiáng)處理，包括有如下處 理步驟： 4.1同樣根據(jù)高斯環(huán)繞函數(shù)計(jì)算出相應(yīng)的高斯模板，選取各模板對(duì)應(yīng)的尺度數(shù)C;4.2根據(jù)下式，將紅外圖像類比成可見光圖像的一個(gè)顏色通道，計(jì)算3種尺度下得到結(jié) 果的加權(quán)平均，權(quán)重系數(shù)W的值，并根據(jù)各權(quán)值獲得增強(qiáng)后的紅外圖像；式中：RMSR(x，y)是不帶色彩恢復(fù)的增強(qiáng)輸出；N表示增強(qiáng)算法所采用的尺度數(shù);Wn是與F (X，y)對(duì)應(yīng)的權(quán)重系數(shù);Kx，y)為像素點(diǎn)坐標(biāo)。4. 根據(jù)權(quán)利要求2或3所述的紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法， 其特征在于，圖像增強(qiáng)的參數(shù)設(shè)置包括有： 尺度個(gè)數(shù)N = 3，表示選取3個(gè)尺度;各個(gè)尺度對(duì)應(yīng)的尺度數(shù)C在[1，249 ]范圍內(nèi)小、中、大 各取一個(gè)值，其中小值在[5,20]之間，中值在[100,130]之間，大值在[220,249]之間；與小、 中、大尺度C對(duì)應(yīng)的權(quán)重系數(shù)W分別為〇.3〇、〇.35、〇.35;增益常數(shù)0取值在[45,55]之間；非線 性強(qiáng)度系數(shù)α取值在[115，125]之間，增強(qiáng)算法中的各參數(shù)在以上范圍內(nèi)取值能夠得到較好 的增強(qiáng)效果。5. 根據(jù)權(quán)利要求4所述的紅外與可見光圖像融合的汽車抗暈光視頻圖像處理方法，其 特征在于，增強(qiáng)算法中參數(shù)的優(yōu)選取值為： 尺度個(gè)數(shù)N = 3;較小尺度值C1 = 10;中間尺度值C2 = 120;較大尺度值C2 = 240;非線性強(qiáng) 度系數(shù)α = 120;增益常數(shù)β = 50;較小尺度值C1對(duì)應(yīng)的權(quán)重系數(shù)1 = 0.30;中間尺度值C2對(duì)應(yīng) 的權(quán)重系數(shù)W2 = O. 35;較大尺度值C2對(duì)應(yīng)的權(quán)重系數(shù)11 = 0.35。
【文檔編號(hào)】G06T3/00GK106023129SQ201610363585
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月26日
【發(fā)明人】郭全民, 董亮, 田英俠, 鞏兆偉, 周蕓, 李曉玲, 鄭少鋒
【申請(qǐng)人】西安工業(yè)大學(xué)