本技術(shù)涉及圖像融合，特別涉及一種橋梁圖像融合方法及設(shè)備。

背景技術(shù)：

1、橋梁是我國運(yùn)輸基礎(chǔ)設(shè)施中的關(guān)鍵組成部分，是交通運(yùn)輸系統(tǒng)的重要節(jié)點(diǎn)和樞紐工程，是國民社會經(jīng)濟(jì)發(fā)展的重要保障。在橋梁建造和維護(hù)的過程中，橋梁裂縫是橋梁智能化建造、養(yǎng)護(hù)和修復(fù)的關(guān)鍵。在橋梁建造和使用期間，對橋梁進(jìn)行定期維護(hù)，在橋梁病害發(fā)展的初期能夠及時發(fā)現(xiàn)并采取有效的維護(hù)和修復(fù)措施，是保障橋梁安全運(yùn)營、延長橋梁壽命周期、節(jié)省橋梁養(yǎng)護(hù)費(fèi)用的重要途徑。

2、然而，大多數(shù)現(xiàn)有研究技術(shù)主要是基于單模態(tài)下的可見光圖像對橋梁裂縫進(jìn)行分析測量。但是在現(xiàn)實(shí)場景中，可見光圖像會受到像天氣、光照、遮擋等復(fù)雜環(huán)境的影響，導(dǎo)致可見光裂縫圖像難以發(fā)揮其作用，例如圖像光線不足、層次不足或出現(xiàn)反射或閃光導(dǎo)致圖像模糊、細(xì)節(jié)丟失，降低了圖像的質(zhì)量和可用性，為橋梁裂縫的修復(fù)帶來了困難。相比之下，紅外圖像穿透性強(qiáng)、具有熱成像能力且能減少反射干擾，使其不受天氣和照明等環(huán)境條件的影響，并能彌補(bǔ)可見光圖像的不足。因此將可見光和紅外進(jìn)行特征融合，有助于增強(qiáng)復(fù)雜環(huán)境下橋梁裂縫圖像的質(zhì)量，以便獲取更多有效的信息?，F(xiàn)有的融合方法，大多數(shù)都直接從可見光圖像和紅外圖像中直接提取相應(yīng)模態(tài)信息，再直接將這些模態(tài)信息進(jìn)行相加或者拼接，并沒有完全實(shí)現(xiàn)不同模態(tài)信息之間的動態(tài)融合。由此可見，現(xiàn)有的圖像融合方法存在圖像融合的準(zhǔn)確性低的問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種橋梁圖像融合方法及設(shè)備，可以解決圖像融合的準(zhǔn)確性低的問題。

2、第一方面，本技術(shù)實(shí)施例提供了一種橋梁圖像融合方法，該圖像融合方法包括：

3、獲取目標(biāo)橋梁表面的可見光圖像和紅外圖像；

4、對可見光圖像進(jìn)行分解，得到可見光結(jié)構(gòu)層圖像和可見光紋理層圖像，并對紅外圖像進(jìn)行分解，得到紅外結(jié)構(gòu)層圖像和紅外紋理層圖像；

5、獲取可見光圖像的低分辨率可見光圖像，利用低分辨率可見光圖像對可見光圖像進(jìn)行增強(qiáng)，得到增強(qiáng)可見光圖像，并獲取紅外圖像的低分辨率紅外圖像，利用低分辨率紅外圖像對紅外圖像進(jìn)行增強(qiáng)，得到增強(qiáng)紅外圖像；

6、利用傅里葉變換對增強(qiáng)可見光圖像進(jìn)行優(yōu)化，得到優(yōu)化可見光圖像，并對增強(qiáng)紅外圖像進(jìn)行二值化，得到優(yōu)化紅外圖像；

7、利用多個專家模型對優(yōu)化可見光圖像、可見光結(jié)構(gòu)層圖像、優(yōu)化紅外圖像和紅外結(jié)構(gòu)層圖像進(jìn)行融合，得到最終結(jié)構(gòu)層圖像，并利用多個專家模型對優(yōu)化可見光圖像、可見光紋理層圖像、優(yōu)化紅外圖像和紅外紋理層圖像進(jìn)行融合，得到最終紋理層圖像；

8、將最終結(jié)構(gòu)層圖像和最終紋理層圖像進(jìn)行相加，得到目標(biāo)橋梁表面的融合圖像；

9、提取融合圖像的邊緣信息，并基于邊緣信息對融合圖像進(jìn)行銳化，得到目標(biāo)橋梁表面的最終圖像。

10、可選的，對可見光圖像進(jìn)行分解，得到可見光結(jié)構(gòu)層圖像和可見光紋理層圖像，包括：

11、通過公式：

12、

13、獲取可見光結(jié)構(gòu)層圖像；

14、其中，表示相對全變分運(yùn)算，表示可見光圖像，表示正則化參數(shù)，表示很小的正數(shù)，表示可見光結(jié)構(gòu)層圖像在像素位置處的像素值，表示可見光圖像在像素位置處的像素值，和分別表示可見光結(jié)構(gòu)層圖像在像素位置處的水平梯度和垂直梯度，和分別表示可見光圖像在像素位置處的水平梯度范數(shù)和垂直梯度范數(shù)；

15、通過公式：

16、

17、獲取可見光紋理層圖像；

18、對紅外圖像進(jìn)行分解，得到紅外結(jié)構(gòu)層圖像和紅外紋理層圖像，包括：通過公式：

19、

20、獲取紅外結(jié)構(gòu)層圖像；

21、其中，表示相對全變分運(yùn)算，表示紅外圖像，表示正則化參數(shù)，表示很小的正數(shù)，表示紅外結(jié)構(gòu)層圖像在像素位置處的像素值，表示紅外圖像在像素位置處的像素值，和分別表示紅外結(jié)構(gòu)層圖像在像素位置處的水平梯度和垂直梯度，和分別表示紅外圖像在像素位置處的水平梯度范數(shù)和垂直梯度范數(shù)；

22、通過公式：

23、

24、獲取紅外紋理層圖像。

25、可選的，利用低分辨率可見光圖像對可見光圖像進(jìn)行增強(qiáng)，得到增強(qiáng)可見光圖像，包括：

26、將可見光圖像劃分為多個可見光圖像塊，并將低分辨率可見光圖像劃分為多個低分辨率可見光圖像塊；

27、利用所有可見光圖像塊和所有低分辨率可見光圖像塊構(gòu)建可見光的稀疏字典優(yōu)化函數(shù)，并對可見光的稀疏字典優(yōu)化函數(shù)進(jìn)行最小化求解，得到可見光的高分辨率字典和可見光的低分辨率字典；

28、根據(jù)可見光的高分辨率字典和可見光的低分辨率字典獲取多個重建高分辨率可見光圖像塊；

29、將所有重建高分辨率可見光圖像塊進(jìn)行拼接，得到初步高分辨率可見光圖像，并對初步高分辨率可見光圖像進(jìn)行優(yōu)化，得到增強(qiáng)可見光圖像。

30、可選的，可見光的稀疏字典優(yōu)化函數(shù)為：

31、?；

32、其中，表示可見光的高分辨率字典，表示可見光的低分辨率字典，表示稀疏表示矩陣，表示第個可見光圖像塊，表示第個低分辨率可見光圖像塊，表示第個可見光圖像塊的稀疏表示向量，，表示可見光圖像塊和低分辨率可見光圖像塊的數(shù)量；

33、根據(jù)可見光的高分辨率字典和可見光的低分辨率字典獲取多個重建高分辨率可見光圖像塊，包括：

34、通過公式：

35、?；

36、獲取第個重建高分辨率可見光圖像塊；

37、其中，表示第個可見光圖像塊的稀疏表示：

38、

39、其中，表示第個低分辨率可見光圖像塊，表示邊緣信息矩陣；

40、對初步高分辨率可見光圖像進(jìn)行優(yōu)化，得到增強(qiáng)可見光圖像，包括：

41、通過公式：

42、

43、獲取增強(qiáng)可見光圖像；

44、其中，表示優(yōu)化過程中的高分辨率可見光圖像，表示初步高分辨率可見光圖像。

45、可選的，利用傅里葉變換對增強(qiáng)可見光圖像進(jìn)行優(yōu)化，得到優(yōu)化可見光圖像，包括：

46、通過公式：

47、?；

48、?；

49、?；

50、獲取優(yōu)化可見光圖像；

51、其中，表示增強(qiáng)可見光圖像的寬度，表示增強(qiáng)可見光圖像的長度，和表示圖像的頻率域坐標(biāo)，表示頻域中的濾波結(jié)果，和表示圖像的空間坐標(biāo)，表示虛數(shù)單位，表示常數(shù)，表示傅里葉變換后得到的增強(qiáng)可見光圖像在頻域的表示，表示高通濾波器的掩膜函數(shù)，表示增強(qiáng)可見光圖像。

52、可選的，對增強(qiáng)紅外圖像進(jìn)行二值化，得到優(yōu)化紅外圖像，包括：

53、通過公式：

54、

55、?；

56、獲取優(yōu)化紅外圖像；

57、其中，表示像素溫度二值化結(jié)果，表示增強(qiáng)紅外圖像，表示增強(qiáng)紅外圖像中橫坐標(biāo)為，縱坐標(biāo)為的像素的溫度值，表示溫度閾值。

58、可選的，利用多個專家模型對優(yōu)化可見光圖像、可見光結(jié)構(gòu)層圖像、優(yōu)化紅外圖像和紅外結(jié)構(gòu)層圖像進(jìn)行融合，得到最終結(jié)構(gòu)層圖像，包括：

59、將優(yōu)化可見光圖像與可見光結(jié)構(gòu)層圖像相乘，得到可見光融合結(jié)構(gòu)層圖像；

60、將優(yōu)化紅外圖像與紅外結(jié)構(gòu)層圖像相乘，得到紅外融合結(jié)構(gòu)層圖像；

61、將可見光融合結(jié)構(gòu)層圖像與紅外融合結(jié)構(gòu)層圖像拼接，并展開為一維向量，得到拼接結(jié)構(gòu)層向量；

62、利用拼接結(jié)構(gòu)層向量計算每個專家模型的權(quán)重；

63、根據(jù)所有專家模型的權(quán)重、可見光融合結(jié)構(gòu)層圖像、紅外融合結(jié)構(gòu)層圖像，利用所有專家模型獲取最終結(jié)構(gòu)層圖像。

64、可選的，利用拼接結(jié)構(gòu)層向量計算每個專家模型的權(quán)重，包括：

65、通過公式：

66、

67、

68、計算第個專家模型的權(quán)重；

69、其中，表示第個專家模型的得分，表示拼接結(jié)構(gòu)層向量，表示門控網(wǎng)絡(luò)的權(quán)重矩陣，表示噪聲權(quán)重矩陣，表示標(biāo)準(zhǔn)正態(tài)分布隨機(jī)數(shù)，表示將中的值從大到小排序后，保留中的前個值，，表示專家模型的數(shù)量；

70、根據(jù)所有專家模型的權(quán)重、可見光融合結(jié)構(gòu)層圖像、紅外融合結(jié)構(gòu)層圖像，利用所有專家模型獲取最終結(jié)構(gòu)層圖像，包括：

71、通過公式：

72、

73、獲取最終結(jié)構(gòu)層圖像；

74、其中，表示第個專家模型的權(quán)重，表示第個專家模型的輸出，表示可見光融合結(jié)構(gòu)層圖像，表示第個專家模型的權(quán)重，表示第個專家模型的輸出，表示紅外融合結(jié)構(gòu)層圖像。

75、可選的，基于邊緣信息對融合圖像進(jìn)行銳化，得到目標(biāo)橋梁表面的最終圖像，包括：

76、通過公式：

77、

78、

79、獲取最終圖像；

80、其中，表示融合圖像的所有像素的插值權(quán)重，表示常數(shù)，表示融合圖像的邊緣信息，表示融合圖像中橫坐標(biāo)為縱坐標(biāo)為的像素的插值權(quán)重，表示融合圖像中橫坐標(biāo)為縱坐標(biāo)為的像素的插值權(quán)重，表示融合圖像中橫坐標(biāo)為縱坐標(biāo)為的像素的插值權(quán)重，表示融合圖像中橫坐標(biāo)為縱坐標(biāo)為的像素的插值權(quán)重，表示融合圖像中橫坐標(biāo)為縱坐標(biāo)為的像素的像素值，表示融合圖像中橫坐標(biāo)為縱坐標(biāo)為的像素的像素值，表示融合圖像中橫坐標(biāo)為縱坐標(biāo)為的像素的像素值，表示融合圖像中橫坐標(biāo)為縱坐標(biāo)為的像素的像素值，表示橫軸上的相對距離，表示縱軸上的相對距離：

81、

82、

83、

84、

85、

86、其中，表示縮放圖像中像素的橫坐標(biāo)，，表示縮放圖像的寬度，，表示融合圖像的寬度，表示縮放圖像中像素的縱坐標(biāo)，，表示縮放圖像的高度，，表示融合圖像的高度，表示縮放比例，表示第一個插值點(diǎn)的橫坐標(biāo)，表示第一個插值點(diǎn)的縱坐標(biāo)，表示第二個插值點(diǎn)的橫坐標(biāo)，表示第二個插值點(diǎn)的縱坐標(biāo)。

87、第二方面，本技術(shù)實(shí)施例提供了一種橋梁圖像融合裝置，包括：

88、獲取模塊，獲取目標(biāo)橋梁表面的可見光圖像和紅外圖像；

89、分解模塊，對可見光圖像進(jìn)行分解，得到可見光結(jié)構(gòu)層圖像和可見光紋理層圖像，并對紅外圖像進(jìn)行分解，得到紅外結(jié)構(gòu)層圖像和紅外紋理層圖像；

90、增強(qiáng)模塊，獲取可見光圖像的低分辨率可見光圖像，利用低分辨率可見光圖像對可見光圖像進(jìn)行增強(qiáng)，得到增強(qiáng)可見光圖像，并獲取紅外圖像的低分辨率紅外圖像，利用低分辨率紅外圖像對紅外圖像進(jìn)行增強(qiáng)，得到增強(qiáng)紅外圖像；

91、優(yōu)化模塊，利用傅里葉變換對增強(qiáng)可見光圖像進(jìn)行優(yōu)化，得到優(yōu)化可見光圖像，并對增強(qiáng)紅外圖像進(jìn)行二值化，得到優(yōu)化紅外圖像；

92、融合模塊，利用多個專家模型對優(yōu)化可見光圖像、可見光結(jié)構(gòu)層圖像、優(yōu)化紅外圖像和紅外結(jié)構(gòu)層圖像進(jìn)行融合，得到最終結(jié)構(gòu)層圖像，并利用多個專家模型對優(yōu)化可見光圖像、可見光紋理層圖像、優(yōu)化紅外圖像和紅外紋理層圖像進(jìn)行融合，得到最終紋理層圖像；

93、相加模塊，將最終結(jié)構(gòu)層圖像和最終紋理層圖像進(jìn)行相加，得到目標(biāo)橋梁表面的融合圖像；

94、銳化模塊，提取融合圖像的邊緣信息，并基于邊緣信息對融合圖像進(jìn)行銳化，得到目標(biāo)橋梁表面的最終圖像。

95、第三方面，本技術(shù)實(shí)施例提供了一種終端設(shè)備，包括存儲器、處理器以及存儲在存儲器中并可在處理器上運(yùn)行的計算機(jī)程序，該處理器執(zhí)行上述計算機(jī)程序時實(shí)現(xiàn)上述的橋梁圖像融合方法。

96、第四方面，本技術(shù)實(shí)施例提供了一種計算機(jī)可讀存儲介質(zhì)，該計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，該計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述的橋梁圖像融合方法。

97、本技術(shù)的上述方案有如下的有益效果：

98、在本技術(shù)的實(shí)施例中，通過獲取目標(biāo)橋梁表面的可見光圖像和紅外圖像，然后對可見光圖像進(jìn)行分解，得到可見光結(jié)構(gòu)層圖像和可見光紋理層圖像，并對紅外圖像進(jìn)行分解，得到紅外結(jié)構(gòu)層圖像和紅外紋理層圖像，再獲取可見光圖像的低分辨率可見光圖像，利用低分辨率可見光圖像對可見光圖像進(jìn)行增強(qiáng)，得到增強(qiáng)可見光圖像，并獲取紅外圖像的低分辨率紅外圖像，利用低分辨率紅外圖像對紅外圖像進(jìn)行增強(qiáng)，得到增強(qiáng)紅外圖像，然后利用傅里葉變換對增強(qiáng)可見光圖像進(jìn)行優(yōu)化，得到優(yōu)化可見光圖像，并對增強(qiáng)紅外圖像進(jìn)行二值化，得到優(yōu)化紅外圖像，再利用多個專家模型對優(yōu)化可見光圖像、可見光結(jié)構(gòu)層圖像、優(yōu)化紅外圖像和紅外結(jié)構(gòu)層圖像進(jìn)行融合，得到最終結(jié)構(gòu)層圖像，并利用多個專家模型對優(yōu)化可見光圖像、可見光紋理層圖像、優(yōu)化紅外圖像和紅外紋理層圖像進(jìn)行融合，得到最終紋理層圖像，然后將最終結(jié)構(gòu)層圖像和最終紋理層圖像進(jìn)行相加，得到目標(biāo)橋梁表面的融合圖像，最后提取融合圖像的邊緣信息，并基于邊緣信息對融合圖像進(jìn)行銳化，得到目標(biāo)橋梁表面的最終圖像。其中，對可見光圖像和紅外圖像進(jìn)行增強(qiáng)和優(yōu)化，能夠提高可見光圖像和紅外圖像中信息的清晰度和準(zhǔn)確性，基于準(zhǔn)確性高的可見光圖像和紅外圖像，利用專家模型分別針對結(jié)構(gòu)層圖像和紋理層圖像進(jìn)行融合，使得結(jié)構(gòu)層圖像和紋理層圖像中所包含的可見光圖像與紅外圖像的相關(guān)信息的準(zhǔn)確性提高，同時，基于邊緣信息對融合圖像進(jìn)行銳化，提高了融合圖像中圖形邊緣的清晰度和連續(xù)性，進(jìn)而提高圖像融合的準(zhǔn)確性。

99、本技術(shù)的其它有益效果將在隨后的具體實(shí)施方式部分予以詳細(xì)說明。