本發(fā)明涉及圖像檢測(cè)，具體地指基于顯著特征引導(dǎo)的無人機(jī)遙感火焰檢測(cè)方法。

背景技術(shù)：

1、近年來，氣候變化引起的氣溫上升和降水減少加劇了森林水分蒸發(fā)，增加了干旱程度，顯著提高了全球森林火災(zāi)的頻率和強(qiáng)度。這些火災(zāi)對(duì)環(huán)境、生態(tài)系統(tǒng)、經(jīng)濟(jì)和人類社會(huì)產(chǎn)生了深遠(yuǎn)的負(fù)面影響。因此，準(zhǔn)確檢測(cè)火焰并采取措施防止進(jìn)一步蔓延至關(guān)重要。隨著無人機(jī)技術(shù)和計(jì)算機(jī)視覺領(lǐng)域的快速發(fā)展，研究人員已經(jīng)開始探索火災(zāi)監(jiān)測(cè)技術(shù)的新方向(通過應(yīng)用目標(biāo)檢測(cè)處理無人機(jī)捕捉的圖像)。這項(xiàng)技術(shù)為森林火災(zāi)監(jiān)測(cè)的應(yīng)用提供了關(guān)鍵的技術(shù)支持，并在學(xué)術(shù)界和工業(yè)界廣受關(guān)注。

2、在遙感檢測(cè)的初期階段，大部分的技術(shù)都是基于先驗(yàn)知識(shí)來估計(jì)傳輸圖和全球大氣光等關(guān)鍵參數(shù)，然后再應(yīng)用大氣散射模型來達(dá)到圖像去噪和數(shù)據(jù)增強(qiáng)的效果。隨著研究者們對(duì)此方法的不斷深入探索，雖然看到了明顯的技術(shù)進(jìn)步，但由于依賴人為設(shè)定的先驗(yàn)知識(shí)，這種無約束的方法有時(shí)會(huì)導(dǎo)致參數(shù)估計(jì)的不準(zhǔn)確性，進(jìn)而影響了數(shù)據(jù)增強(qiáng)后的效果，從而可能降低模型檢測(cè)的整體表現(xiàn)。

3、隨著深度學(xué)習(xí)的發(fā)展，越來越多的研究者通過設(shè)計(jì)端到端的遙感檢測(cè)網(wǎng)絡(luò)，直接輸入經(jīng)過一些增強(qiáng)后的圖片輸入到網(wǎng)絡(luò)，經(jīng)過網(wǎng)絡(luò)編解碼層實(shí)現(xiàn)檢測(cè)任務(wù)。由于遙感圖像相對(duì)于自然圖像存在諸如：大氣扭曲、云遮擋、光照變化等復(fù)雜不穩(wěn)定性，有限的計(jì)算資源條件下，端到端模型難以自適應(yīng)挖掘數(shù)據(jù)中的顯性和隱性信息，檢測(cè)效果往往不佳。因此，如何讓模型在復(fù)雜數(shù)據(jù)中更有效地挖掘特征信息一直是研究者關(guān)注的焦點(diǎn)。

4、近期，隨著提示工程研究方向的火熱，不同領(lǐng)域的研究者開始探究如何利用簡(jiǎn)單的特征作為提示信息來引導(dǎo)模型學(xué)習(xí)困難特征。例如：jun?wan團(tuán)隊(duì)發(fā)表的《precisefacial?landmark?detection?by?referenceheatmap?transformer》，該論文提出了一種新的參考熱圖變壓器(reference?heatmap?transformer)通過不同面部圖片之間的相似性來利用參考熱力圖信息將相應(yīng)的地標(biāo)熱圖從一張圖中的面部變換到另外一個(gè)圖片中的面部一伙的更加準(zhǔn)確的面部地標(biāo)檢測(cè)。該論文以一種新穎的方式，通過已知面部特征作為提示來引導(dǎo)網(wǎng)絡(luò)更精準(zhǔn)的檢測(cè)其他圖片的的面部地標(biāo)信息。然而，在復(fù)雜的遙感場(chǎng)景的圖片中，一般待檢測(cè)目標(biāo)存在尺度差異大，目標(biāo)小，背景復(fù)雜等難點(diǎn)，導(dǎo)致這種利用特征引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)煙霧下隱蔽的火焰目標(biāo)的設(shè)計(jì)仍然是一個(gè)具有挑戰(zhàn)性的問題。

5、最近，隨著提示工程研究方向的興起，不同領(lǐng)域的研究者開始探索如何利用簡(jiǎn)單特征作為線索來指導(dǎo)模型學(xué)習(xí)難以捕捉的特征。例如，jun?wan團(tuán)隊(duì)在《precise?faciallandmark?detection?by?reference?heatmap?transformer》一文中提出了一種全新的參考熱圖變換器(reference?heatmap?transformer)，通過比較不同面部圖像之間的相似性，利用參考熱圖信息將一個(gè)圖像中的面部地標(biāo)熱圖精確地轉(zhuǎn)移到另一個(gè)圖像的面部，實(shí)現(xiàn)更準(zhǔn)確的面部地標(biāo)檢測(cè)。該研究以創(chuàng)新的方式利用已知面部特征作為線索，引導(dǎo)網(wǎng)絡(luò)準(zhǔn)確檢測(cè)其他圖像的面部地標(biāo)信息。然而，在復(fù)雜的遙感場(chǎng)景中，待檢測(cè)目標(biāo)常存在尺度差異大、目標(biāo)小、背景復(fù)雜等挑戰(zhàn)，這導(dǎo)致通過圖像間的有效特征信息來引導(dǎo)網(wǎng)絡(luò)準(zhǔn)確檢測(cè)火焰目標(biāo)效率較低，因此設(shè)計(jì)一種利用特征引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)煙霧下隱藏火焰目標(biāo)仍然是具有挑戰(zhàn)性的問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是解決真實(shí)場(chǎng)景中受到煙霧遮擋的火焰目標(biāo)準(zhǔn)確檢測(cè)的問題，提出了基于顯著特征引導(dǎo)的無人機(jī)遙感火焰檢測(cè)方法，包括以下步驟：

2、s1、構(gòu)建特征提取的編碼分支，其中一個(gè)分支在rgb色彩模式下提取火焰的特征表達(dá)，另一個(gè)分支在hsv色彩模式下提取火焰的特征表達(dá)；

3、s2、通過協(xié)同感知調(diào)控模塊和拼接操作，將經(jīng)過步驟s2得到的不同編碼分支的特征進(jìn)行整合；

4、s3、通過特征金字塔模塊，對(duì)步驟s3中整合后的特征進(jìn)行處理，以提取不同大小的特征圖所包含的不同目標(biāo)特征信息；

5、s4、對(duì)由步驟s3獲得的特征信息進(jìn)行特征映射，特征映射用于實(shí)現(xiàn)圖片中火焰目標(biāo)的檢測(cè)，通過以上步驟構(gòu)建火焰檢測(cè)模型；

6、s5、獲取目標(biāo)火焰場(chǎng)景；

7、s6、將所獲取的目標(biāo)火焰場(chǎng)景輸入火焰檢測(cè)模型進(jìn)行圖像處理。

8、優(yōu)選的方案中，步驟s5中，利用遙控?zé)o人機(jī)拍攝目標(biāo)森林地區(qū)的人工點(diǎn)燃的火焰場(chǎng)景，并對(duì)拍攝影像進(jìn)行處理，識(shí)別出包含火焰目標(biāo)的圖像，用標(biāo)注框標(biāo)注火焰，并記錄實(shí)例類別信息和標(biāo)注框的位置信息及尺寸信息，進(jìn)行保存。

9、優(yōu)選的方案中，步驟s6中，將火焰場(chǎng)景圖像送入火焰檢測(cè)模型中，經(jīng)過兩個(gè)不同編碼分支學(xué)習(xí)得到有效特征表示后，將有效特征表示進(jìn)行整合處理，然后將整合處理后的結(jié)果用于目標(biāo)檢測(cè)，并通過優(yōu)化器進(jìn)行反向傳播以更新網(wǎng)絡(luò)參數(shù)，訓(xùn)練火焰檢測(cè)模型。

10、優(yōu)選的方案中，火焰檢測(cè)模型具體結(jié)構(gòu)為：

11、輸入圖片rgb→起始卷積塊stem→第一特征提取模塊c3→第二特征提取模塊c3→第三特征提取模塊c3→第四特征提取模塊c3；

12、輸入圖片rgb→色彩模式轉(zhuǎn)換器→輸入圖片hsv→漸進(jìn)式模板生成器ptg→多視角引導(dǎo)模塊mgm→第一conv層→bn層→relu層；

13、第四特征提取模塊c3的輸出，relu的輸出→協(xié)同感知調(diào)控模塊cpmm；

14、協(xié)同感知調(diào)控模塊→sppf模塊；

15、sppf模塊→第一特征金字塔的特征融合層；

16、第一特征金字塔的特征融合層，第三特征提取模塊c3→第二特征金字塔的特征融合層；

17、第二特征金字塔的特征融合層，第二特征提取模塊c3→第三特征金字塔的特征融合層；

18、第三特征金字塔的特征融合層→第四特征金字塔的特征融合層；

19、第四特征金字塔的特征融合層，第二特征金字塔的特征融合層→第五特征金字塔的特征融合層；

20、第五特征金字塔的特征融合層，第一特征金字塔的特征融合層→第六特征金字塔的特征融合層；

21、第四特征金字塔的特征融合層→第一耦合檢測(cè)頭；

22、第五特征金字塔的特征融合層→第二耦合檢測(cè)頭；

23、第六特征金字塔的特征融合層→第三耦合檢測(cè)頭。

24、優(yōu)選的方案中，漸進(jìn)式模板生成器ptg、多視角引導(dǎo)模塊、第一conv模塊、bn層、第一relu層、協(xié)同感知調(diào)控模塊cpmm構(gòu)成強(qiáng)顯著性特征引導(dǎo)子網(wǎng)絡(luò)(strong?saliencyfeatures?guided?subnetworks)；強(qiáng)顯著性特征引導(dǎo)子網(wǎng)絡(luò)具體如下：

25、漸進(jìn)式模板生成器ptg→第一多視角引導(dǎo)模塊mgm-f；

26、漸進(jìn)式模板生成器ptg→第二多視角引導(dǎo)模塊mgm-c；

27、第一多視角引導(dǎo)模塊mgm-f的輸出與第二多視角引導(dǎo)模塊mgm-c的輸出通過concat操作融合→第一conv模塊；

28、第一conv模塊→bn層→第一relu層→協(xié)同感知調(diào)控模塊cpmm。

29、優(yōu)選的方案中，漸進(jìn)式模板生成器ptg的結(jié)構(gòu)具體如下：

30、紅色閾值限定器→高斯濾波器→normalconvolution，dilatedconvolution→normalconvolution和dilatedconvolution輸出通過concat操作融合→第二conv模塊→多視角引導(dǎo)模塊；

31、紅色閾值限定器的輸入端用于輸入圖片hsv。

32、優(yōu)選的方案中，多視角引導(dǎo)模塊mgm的核心引導(dǎo)模塊，第一多視角引導(dǎo)模塊mgm-f的結(jié)構(gòu)為：

33、漸進(jìn)式模板生成器ptg的輸出→第一分組卷積映射組；

34、漸進(jìn)式模板生成器ptg的輸出→第二分組卷積映射組；

35、漸進(jìn)式模板生成器ptg的輸出→第三分組卷積映射組；

36、第二分組卷積映射組的輸出向量q，第三分組卷積映射組的輸出向量k→特征相似混淆矩陣→softmax函數(shù)；

37、第一分組卷積映射組的輸出向量v和softmax函數(shù)的輸出張量矩陣→元素相乘操作。

38、優(yōu)選的方案中，多視角引導(dǎo)模塊mgm的核心引導(dǎo)模塊，第二多視角引導(dǎo)模塊mgm-c的結(jié)構(gòu)為：

39、漸進(jìn)式模板生成器ptg的輸出→第三conv模塊；

40、第三conv模塊→第四conv模塊，第五conv模塊；

41、第四conv模塊的輸出和第五conv模塊的輸出相乘→第二relu函數(shù)；

42、第二relu函數(shù)的輸出和漸進(jìn)式模板生成器ptg的輸出相乘→第六conv模塊。

43、優(yōu)選的方案中，協(xié)同感知調(diào)控模塊cpmm的結(jié)構(gòu)為：

44、第四特征提取模塊c3的輸出特征(rgb分支的輸出特征)→第六conv模塊；

45、relu層的的輸出特征(hsv分支的輸出特征)→第七conv模塊；

46、第六conv模塊的輸出和第七conv模塊的輸出通過concat操作融合→add操作→第一融合特征圖→自適應(yīng)平均池化操作→第一特征向量→線性映射層，線性映射層→concat操作→第二特征向量→softmax函數(shù)操作；

47、softmax函數(shù)操作的輸出和(第六conv模塊的輸出與第七conv模塊的輸出進(jìn)行拼接所獲得的輸出)→對(duì)應(yīng)元素進(jìn)行相乘操作→特征圖→add操作→第二融合特征圖。

48、優(yōu)選的方案中，漸進(jìn)式模板生成器ptg，采用了紅色閾值限定器進(jìn)行處理，紅色閾值限定器的限定區(qū)間公式化如下：

49、

50、公式中的r、g、b分別代表紅色、綠色、藍(lán)色，三個(gè)值的范圍在[0,1]，mmax表示最大值，mmin表示最小值，h表示色相，s表示飽和度，v代表明亮度。其中紅色閾值下限mmin設(shè)定為[0,110,110],紅色閾值設(shè)定上限mmax為[14,255,255]。

51、優(yōu)選的方案中，第一多視角引導(dǎo)模塊mgm-f結(jié)構(gòu)的數(shù)據(jù)流采用的公式如下所示：

52、

53、將按照4x4的大小劃分局部窗口，然后查詢向量(q)、鍵向量(k)和值向量(v)是通過分組卷積操作生成，分別表示為qg、kg和vg，qg用來衡量輸入序列中每個(gè)元素與qg本身的關(guān)聯(lián)程度，從而決定了對(duì)不同部分的關(guān)注程度；kg用來幫助確定對(duì)于給定的qg，哪些元素是最相關(guān)的。通過計(jì)算qg與kg之間的相似性，可以得到用于加權(quán)的數(shù)值向量；vg是自注意力機(jī)制中的輸入信息的表示，其與qg和kg一起被用來計(jì)算自注意力權(quán)重，從而形成最終的輸出表示。convgi，表示分組卷積操作，該符號(hào)中的i＝1,2,3；表示三組不同的分組卷積操作。請(qǐng)注意，為淺層特征，為了降低計(jì)算復(fù)雜度和參數(shù)量，將傳統(tǒng)的線性映射層替換為分組卷積；其中，這里的d表示查詢/鍵的維度，b表示相對(duì)位置編碼；在計(jì)算相關(guān)性之前，每個(gè)局部窗口都采用歸一化操作，然后通過建立不同窗口之間相關(guān)性的矩陣；特征關(guān)聯(lián)圖能夠建立不同局部窗口區(qū)域的相似性關(guān)聯(lián)，起到從空間層面上強(qiáng)顯著火焰目標(biāo)區(qū)域引導(dǎo)其他區(qū)域疑似火焰區(qū)域的作用，增強(qiáng)高度相關(guān)的特征聯(lián)系，釋放較不相關(guān)的特征聯(lián)系；

54、第二多視角引導(dǎo)模塊mgm-c結(jié)構(gòu)的數(shù)據(jù)流利用的公式如下所示：

55、

56、其中，c表示1x1卷積層，和分別表示采用三層的常規(guī)卷積組和空洞卷積組操作。不同類型的卷積組結(jié)合能夠激活對(duì)局部更多像素的感知，組合不同尺度信息下的特征，以學(xué)習(xí)更有效的火焰目標(biāo)幾何細(xì)節(jié)的約束。

57、優(yōu)選的方案中，協(xié)同感知調(diào)控模塊cpmm結(jié)構(gòu)的數(shù)據(jù)流用以下公式表示：

58、

59、其中分別表示在hsv模式和rgb模式下的待融合特征，fgap是自適應(yīng)空間平均池化操作，f1和f2是線性層，兩者存在的目的保留兩個(gè)色彩分支重要的通道信息減小數(shù)據(jù)的計(jì)算成本。不同色彩模式下特征圖通道具有不同的重要性，采用特征描述符β，實(shí)現(xiàn)自適應(yīng)色彩模式下的特征校準(zhǔn)。cpmm旨在利用兩種色彩模式分支之間的共性關(guān)聯(lián)(即通道關(guān)聯(lián)性)，以促進(jìn)不同色彩模式下特征的聚合，并提高特征聚合的可控性和解釋性。該模塊能夠自適應(yīng)地融合來自不同色彩分支的學(xué)習(xí)到的特征，從而使模型能夠更好地感知圖像中待檢測(cè)的火焰的多級(jí)特征。

60、本發(fā)明具有以下有益效果：

61、1)本發(fā)明的漸進(jìn)式模板生成器，通過火焰獨(dú)特的先驗(yàn)知識(shí)和多尺度卷積操作，學(xué)習(xí)感興趣區(qū)域內(nèi)的幾何特征來實(shí)現(xiàn)強(qiáng)顯著火焰特征的表示，通過梯度更新確保構(gòu)建的特征對(duì)象具備可靠性。這種漸進(jìn)式的受約束的設(shè)計(jì)方法確保構(gòu)建的火焰目標(biāo)的特征是顯著性的且是穩(wěn)定可靠的；

62、2)本發(fā)明的多角度引導(dǎo)模塊，能夠根據(jù)漸進(jìn)式模板生成器構(gòu)建的可靠的火焰特征模板，在區(qū)域語義信息和局部幾何信息隱式建立顯著和非顯著火焰特征之間的屬性相關(guān)性，增強(qiáng)幾何約束和上下文信息，以獲得更具辨別力的表示，并提高網(wǎng)絡(luò)對(duì)煙霧中火焰特征的感知能力。mgm-c和mgm-f兩個(gè)核心的交互促進(jìn)了區(qū)域語義信息和局部幾何細(xì)節(jié)的整合，有助于網(wǎng)絡(luò)獲取具有判別性的細(xì)節(jié)特征和局部區(qū)域特征，從而在探索隱蔽火焰特征的過程中取得幫助；

63、3)協(xié)作感知調(diào)制模塊利用兩種顏色模式對(duì)應(yīng)分支之間的共享相關(guān)性，以促進(jìn)不同顏色模式下特征的聚合，增強(qiáng)特征聚合的可控性和可解釋性。該模塊具有自適應(yīng)融合來自不同顏色分支獲取的特征的能力，從而使模型能夠在圖像中感知多層次的火焰特征。在該模塊的調(diào)制下，網(wǎng)絡(luò)能夠?qū)﹄p支路編碼的特征進(jìn)行自適應(yīng)融合，從而明顯提高網(wǎng)絡(luò)在火焰檢測(cè)精度上的表現(xiàn)，尤其針對(duì)煙霧下的火焰目標(biāo)。