對距離自適應(yīng)的紅外與可見光視頻融合方法及融合系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及對距離自適應(yīng)的紅外與可見光視頻融合方法及融合系統(tǒng)。
【背景技術(shù)】
[0002]隨著紅外熱成像技術(shù)的不斷發(fā)展，以及其非接觸性測溫的優(yōu)點，紅外熱成像技術(shù)已經(jīng)逐步被應(yīng)用到醫(yī)療、軍事、安防、安全生產(chǎn)等領(lǐng)域，然而，由于紅外熱成像的特點，其呈現(xiàn)的畫面的細(xì)節(jié)沒有可見光清晰，因此人們?yōu)榱双@得更多的數(shù)據(jù)信息，開始嘗試將紅外熱成像與可見光圖像進(jìn)行融合，將兩者所包含的信息融合在一起，以實現(xiàn)對監(jiān)控環(huán)境全方位的監(jiān)控。然而，目前的融合算法都需要提前知道攝像機(jī)和成像目標(biāo)之間的距離參數(shù)，將距離參數(shù)加入到融合算法中，計算融合結(jié)果，如果距離測量不準(zhǔn)確，會導(dǎo)致融合后的兩幅圖像錯位，影響融合效果，因此，融合算法的使用具有很大的局限性。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于提供一種對距離的具有自適應(yīng)性、提高融合算法精度、增加融合后圖像的溫度警示效果的對距離自適應(yīng)的紅外與可見光視頻融合方法及融合系統(tǒng)。
[0004]本發(fā)明對距離自適應(yīng)的紅外與可見光視頻融合方法，在執(zhí)行紅外與可見光視頻融合之前，對紅外熱成像攝像機(jī)和可見光攝像機(jī)做標(biāo)定，獲取兩個攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)；在完成標(biāo)定后，進(jìn)行紅外與可見光視頻融合包括以下步驟:
[0005]S1，視頻處理模塊初始化虛擬標(biāo)定棋盤格的參數(shù)，包括虛擬標(biāo)定棋盤格的格數(shù)和大??；
[0006]S2，所述視頻處理模塊接收激光測距模塊實時返回的距離參數(shù)、可見光圖像和紅外熱成像圖像，所述視頻處理模塊利用所述距離參數(shù)映射虛擬標(biāo)定棋盤格，將虛擬標(biāo)定棋盤格的角點映射到待融合的可見光圖像和紅外熱成像圖像上，以角點為參考點，計算單應(yīng)矩陣；
[0007]S3，所述視頻處理模塊剔除所述紅外熱成像圖像上溫度低于預(yù)先設(shè)置的溫度閾值的部分，得到圖像一；利用所述單應(yīng)矩陣將所述可見光圖像變換為紅外熱成像攝像機(jī)視角的圖像，得到圖像二，最后將圖像一和圖像二疊加作為融合后的圖像。
[0008]優(yōu)選地，對紅外熱成像攝像機(jī)和可見光攝像機(jī)做標(biāo)定時采用張正友攝像機(jī)標(biāo)定法。
[0009]優(yōu)選地，還包括步驟S4，所述視頻處理模塊將融合后的圖像通過jpeg壓縮算法壓縮成jpeg格式的圖像，最后將壓縮后的融合圖像通過網(wǎng)絡(luò)接口模塊發(fā)送出去。
[0010]本發(fā)明對距離自適應(yīng)的紅外與可見光視頻融合系統(tǒng)包括:
[0011]激光測距模塊，所述激光測距模塊通過串口自動實時發(fā)送距離參數(shù)給視頻處理模塊；
[0012]可見光攝像機(jī)，所述可見光攝像機(jī)輸出可見光圖像給所述視頻處理模塊；
[0013]紅外熱成像攝像機(jī)，所述外紅熱成像攝像機(jī)輸出紅外熱成像圖像給所述視頻處理模塊；
[0014]所述視頻處理模塊接收激光測距模塊實時返回的距離參數(shù)、可見光圖像和紅外熱成像圖像，所述視頻處理模塊利用所述距離參數(shù)映射虛擬標(biāo)定棋盤格，將虛擬標(biāo)定棋盤格的角點映射到待融合的可見光圖像和紅外熱成像圖像上，以角點為參考點，計算單應(yīng)矩陣；所述視頻處理模塊剔除所述紅外熱成像圖像上溫度低于預(yù)先設(shè)置的溫度閾值的部分，得到圖像一；利用所述單應(yīng)矩陣將所述可見光圖像變換為紅外熱成像攝像機(jī)視角的圖像，得到圖像二，最后將圖像一和圖像二疊加作為融合后的圖像。
[0015]優(yōu)選地，所述視頻處理模塊將融合后的圖像通過jpeg壓縮算法壓縮成jpeg格式的圖像，最后將壓縮后的融合圖像通過網(wǎng)絡(luò)接口模塊發(fā)送出去。
[0016]優(yōu)選地，所述融合系統(tǒng)采用Ρ0Ε方式供電。
[0017]本發(fā)明對距離自適應(yīng)的紅外與可見光視頻融合方法及融合系統(tǒng)有益效果如下:
[0018]1)激光測距模塊對成像目標(biāo)做距離測量，將測量后的結(jié)果實時返回給視頻處理模塊，視頻處理模塊根據(jù)激光測距模塊反饋回的距離參數(shù)，自動調(diào)整圖像融合時所必須的成像距離參數(shù)，使整個系統(tǒng)具有了對距離的自適應(yīng)性，打破了目前圖像融合算法對距離的限制，擴(kuò)展了系統(tǒng)的應(yīng)用范圍。目前融合系統(tǒng)只能應(yīng)用在攝像機(jī)與監(jiān)控目標(biāo)都固定不變的場景，而本發(fā)明具有了對距離的自適應(yīng)性，因此紅外熱成像攝像機(jī)和可見光攝像機(jī)可以自由調(diào)節(jié)角度，監(jiān)控目標(biāo)也可以自由移動，不影響融合效果。
[0019]2)由于采用了激光測距模塊，其測距誤差為2mm，模塊通信速率高達(dá)115K，滿足了系統(tǒng)的實時性要求，進(jìn)一步提高了融合算法的精度，改善了融合效果。
[0020]3)本發(fā)明在融合過程中，通過預(yù)先設(shè)定的溫度閾值，對紅外熱成像圖像進(jìn)行了預(yù)處理，濾除了圖像的低溫部分，突出了圖像的高溫部分，增加了融合后圖像的溫度警示效果。該溫度閾值可以修改，在不同的溫度場景，可以實現(xiàn)不同的融合效果。
[0021]下面結(jié)合附圖對本發(fā)明的對距離自適應(yīng)的紅外與可見光視頻融合系統(tǒng)作進(jìn)一步詳細(xì)說明。
【附圖說明】
[0022]圖1為視頻處理模塊初始化虛擬標(biāo)定棋盤格參數(shù)的流程圖；
[0023]圖2為視頻處理模塊獲取單應(yīng)矩陣流程圖；
[0024]圖3為視頻處理模塊疊加可見光圖像和紅外熱成像圖像流程圖；
[0025]圖4為本發(fā)明對距離自適應(yīng)的紅外與可見光視頻融合系統(tǒng)框圖。
【具體實施方式】
[0026]參見圖1，本發(fā)明對距離自適應(yīng)的紅外與可見光視頻融合方法，在執(zhí)行紅外與可見光視頻融合之前，對紅外熱成像攝像機(jī)和可見光攝像機(jī)做標(biāo)定，可以采用張正友攝像機(jī)標(biāo)定法來獲取兩個攝像機(jī)的內(nèi)部參數(shù)和外部參數(shù)；在完成標(biāo)定后，進(jìn)行紅外與可見光視頻融合包括以下步驟(以下涉及的函數(shù)均為OpenCV中的庫函數(shù)):
[0027](1)參見圖1，視頻處理模塊初始化虛擬標(biāo)定棋盤格的參數(shù)，調(diào)用函數(shù):
[0028]boolhomography::Init(cv::Size boardSize，double tanTheta，stringintrinsicFN， string extrinsicFN， string rmapFN， intthres = 0)；
[0029]完成初始化。該函數(shù)的前兩個參數(shù)都用來控制虛擬標(biāo)定棋盤格的格數(shù)和大小，其中，第二個參數(shù)越大，則棋盤越大，后面三個文件名都是標(biāo)定過程存儲的結(jié)果，最后一個參數(shù)為溫度的限制，若為0，則禁用，速度會有大幅提升。
[0030](2)視頻處理模塊接收激光測距模塊實時返回的距離參數(shù)、可見光圖像和紅外熱成像圖像，視頻處理模塊利用距離參數(shù)映射虛擬標(biāo)定棋盤格，將虛擬標(biāo)定棋盤格的角點映射到待融合的可見光圖像和紅外熱成像圖像上，以角點為參考點，計算單應(yīng)矩陣。
[0031]調(diào)用函數(shù):
[0032]cv::Mat homography::getHomography(double distance)；
[0