日韩成人黄色,透逼一级毛片,狠狠躁天天躁中文字幕,久久久久久亚洲精品不卡,在线看国产美女毛片2019,黄片www.www,一级黄色毛a视频直播

基于正則化掩膜自動(dòng)編碼器的半監(jiān)督高光譜圖像分類方法

文檔序號(hào):39729091發(fā)布日期:2024-10-22 13:33閱讀:6來源:國(guó)知局
基于正則化掩膜自動(dòng)編碼器的半監(jiān)督高光譜圖像分類方法

本發(fā)明屬于高光譜遙感圖像分類,尤其涉及基于正則化掩膜自動(dòng)編碼器的半監(jiān)督高光譜圖像分類方法。


背景技術(shù):

1、高光譜圖像具有豐富的光譜空間信息。作為一項(xiàng)基本任務(wù),高光譜圖像分類在農(nóng)業(yè)監(jiān)測(cè)、礦產(chǎn)勘查、環(huán)境監(jiān)測(cè)等領(lǐng)域發(fā)揮著不可替代的作用。深度學(xué)習(xí)技術(shù)的快速發(fā)展為高光譜圖像分類提供源源不斷的新的技術(shù)支持。然而,眾所周知,深度模型是數(shù)據(jù)饑餓的,而樣本的標(biāo)注工作又是非常耗時(shí)耗力的,因此,在有標(biāo)簽樣本數(shù)量有限的情況下,開發(fā)有效且高效的半監(jiān)督分類模型以充分利用大量的無標(biāo)簽樣本來獲得令人滿意的分類結(jié)果是十分必要的。

2、現(xiàn)有的基于深度神經(jīng)網(wǎng)絡(luò)的半監(jiān)督分類方法主要包括:基于自動(dòng)編碼器的、基于偽標(biāo)簽的、基于圖的以及基于生成式對(duì)抗網(wǎng)絡(luò)的方法等。然而,這些方法或多或少都存在著不足之處:基于自動(dòng)編碼器的半監(jiān)督分類方法無法自主學(xué)習(xí)可判別的表示;基于偽標(biāo)簽的半監(jiān)督分類方法無法保證偽標(biāo)簽的準(zhǔn)確性且無法評(píng)估被賦予偽標(biāo)簽的樣本對(duì)于模型性能的改善所做出的貢獻(xiàn)度;基于圖的半監(jiān)督分類方法無法避免不確定性對(duì)圖的構(gòu)建的影響;基于生成式對(duì)抗網(wǎng)絡(luò)的半監(jiān)督分類方法往往受到模式崩潰所帶來的困擾。

3、近來,國(guó)內(nèi)外學(xué)者將掩膜自動(dòng)編碼器(maskedauto-encoder,mae)應(yīng)用到半監(jiān)督高光譜圖像分類任務(wù)中,且獲得了高精度的分類結(jié)果。mae是一種自監(jiān)督表示學(xué)習(xí)模型,不僅花費(fèi)的預(yù)訓(xùn)練時(shí)間少,也具有十分優(yōu)秀的可調(diào)優(yōu)性。目前,大多數(shù)對(duì)于mae的改進(jìn)的工作還只停留在應(yīng)用層面,有必要從工作原理上,基于mae設(shè)計(jì)一個(gè)更魯棒,表示學(xué)習(xí)能力更強(qiáng)的半監(jiān)督分類模型,以對(duì)高光譜圖像進(jìn)行有效的分類。


技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問題,本發(fā)明提出了一種基于正則化掩膜自動(dòng)編碼器的半監(jiān)督高光譜圖像分類方法,以解決上述現(xiàn)有技術(shù)存在的問題。

2、為實(shí)現(xiàn)上述目的,本發(fā)明提供了基于正則化掩膜自動(dòng)編碼器的半監(jiān)督高光譜圖像分類方法,包括:

3、獲取原始高光譜圖像,基于原始高光譜圖像,得到原始預(yù)訓(xùn)練樣本;

4、對(duì)所述原始預(yù)訓(xùn)練樣本進(jìn)行不同尺度網(wǎng)格的劃分,得到第一圖像塊及第二圖像塊,其中所述第一圖像塊的尺寸小于第二圖像塊;

5、對(duì)所述第一圖像塊進(jìn)行處理并隨機(jī)掩膜,得到預(yù)編碼圖像塊嵌入和被掩膜圖像塊嵌入;

6、構(gòu)建正則化掩膜自動(dòng)編碼器,其中正則化掩膜自動(dòng)編碼器包括編碼器、解碼器及induced?transformer結(jié)構(gòu);

7、通過編碼器對(duì)預(yù)編碼圖像塊嵌入進(jìn)行編碼,得到編碼特征,基于編碼特征,通過induced?transformer對(duì)第二圖像塊進(jìn)行重構(gòu),得到誘導(dǎo)重建結(jié)果;

8、基于編碼特征,通過解碼器對(duì)所述被掩膜圖像塊嵌入進(jìn)行重構(gòu),得到掩膜重建結(jié)果;

9、根據(jù)誘導(dǎo)重建結(jié)果及掩膜重建結(jié)果對(duì)正則化掩膜自動(dòng)編碼器進(jìn)行損失函數(shù)計(jì)算,得到損失值,根據(jù)所述損失值對(duì)所述正則化掩膜自動(dòng)編碼器進(jìn)行優(yōu)化,得到預(yù)訓(xùn)練好的正則化掩膜自動(dòng)編碼器;

10、對(duì)預(yù)訓(xùn)練好的正則化掩膜自動(dòng)編碼器的編碼器后添加用于全連接層,通過有標(biāo)簽樣本對(duì)添加全連接層的解碼器進(jìn)行訓(xùn)練調(diào)優(yōu),得到分類模型;

11、獲取待分類高光譜圖像,通過分類模型對(duì)待分類高光譜圖像進(jìn)行分類,得到高光譜圖像分類結(jié)果。

12、可選的,原始預(yù)訓(xùn)練樣本的獲取過程包括:

13、通過主成分分析法對(duì)原始高光譜圖像進(jìn)行降維,得到原始預(yù)訓(xùn)練樣本。

14、可選的,對(duì)所述第一圖像塊進(jìn)行處理的過程包括:

15、通過卷積層對(duì)所述第一圖像塊進(jìn)行處理,生成第一圖像塊的塊嵌入,其中所述塊嵌入中添加有固定的位置嵌入以提供空間位置信息。

16、可選的,通過75%的掩膜率對(duì)第一圖像塊進(jìn)行隨機(jī)掩膜。

17、可選的,通過編碼器對(duì)預(yù)編碼圖像塊本進(jìn)行編碼的過程為:

18、x′=layernorm(encoder(x)),

19、其中,表示被保留下來的6個(gè)較小圖像塊的嵌入,表示vit編碼器的輸出嵌入,其中encoder()表示進(jìn)行解碼器處理,layernorm表示歸一化處理。

20、可選的,所述inducedtransformer結(jié)構(gòu)包括依次連接的多頭注意力模塊、歸一化層及多層感知機(jī),所述多層感知機(jī)輸出為第二圖像塊嵌入,所述多頭注意力層的輸入為編碼特征和歸一化處理的誘導(dǎo)嵌入,所述誘導(dǎo)嵌入為:

21、h=i.repeat(n,9,1)+p1

22、其中,令i表示可訓(xùn)練的誘導(dǎo)令牌,p1表示inducedtransformer結(jié)構(gòu)中的固定的位置嵌入,repeat()表示對(duì)張量的重復(fù)操作,h表示第二圖像塊的嵌入特征。

23、可選的,在正則化掩膜自動(dòng)編碼器中,編碼器為vit編碼器使用12個(gè)vit塊,編碼器中每個(gè)vit塊使用8頭注意力,解碼器為vit解碼器使用8個(gè)vit塊,解碼器中每個(gè)8個(gè)vit塊使用8頭注意力。

24、可選的,所述損失函數(shù)為:

25、l=lmr+lir

26、其中,lmr表示掩膜重建損失,lir表示誘導(dǎo)重建損失也稱作正則化損失,lmr計(jì)算的是掩膜重建結(jié)果與被掩膜圖像塊之間的均方誤差,lir計(jì)算的是誘導(dǎo)重建結(jié)構(gòu)與第二圖像塊之間的均方誤差。

27、可選的,通過adam優(yōu)化器對(duì)所述正則化掩膜自動(dòng)編碼器進(jìn)行優(yōu)化。

28、與現(xiàn)有技術(shù)相比,本發(fā)明具有如下優(yōu)點(diǎn)和技術(shù)效果:

29、本發(fā)明設(shè)計(jì)一個(gè)基于正則化掩膜自動(dòng)編碼器(regularized?masked?auto-encoder,rmae)的半監(jiān)督高光譜圖像分類方法,該方法使用大量的無標(biāo)簽樣本(也稱作預(yù)訓(xùn)練樣本)對(duì)整個(gè)rmae模型預(yù)訓(xùn)練400個(gè)輪次,預(yù)訓(xùn)練完成后在vit編碼器后添加兩個(gè)用于完成分類任務(wù)的全連接層,并使用少量的有標(biāo)簽樣本對(duì)vit編碼器的最后一個(gè)block和兩個(gè)全連接層進(jìn)行調(diào)優(yōu),調(diào)優(yōu)完成后獲得最終的分類結(jié)果。

30、本發(fā)明所設(shè)計(jì)的用于高光譜圖像半監(jiān)督分類的正則化掩膜自動(dòng)編碼器能夠自主學(xué)習(xí)高度可判別的表示并獲得令人滿意的分類結(jié)果。



技術(shù)特征:

1.基于正則化掩膜自動(dòng)編碼器的半監(jiān)督高光譜圖像分類方法,其特征在于,包括:

2.根據(jù)權(quán)利要求1所述的方法,其特征在于,

3.根據(jù)權(quán)利要求1所述的方法,其特征在于,

4.根據(jù)權(quán)利要求1所述的方法,其特征在于,

5.根據(jù)權(quán)利要求1所述的方法,其特征在于,

6.根據(jù)權(quán)利要求1所述的方法,其特征在于,

7.根據(jù)權(quán)利要求1所述的方法,其特征在于,

8.根據(jù)權(quán)利要求1所述的方法,其特征在于,

9.根據(jù)權(quán)利要求1所述的方法,其特征在于,


技術(shù)總結(jié)
本發(fā)明公開了基于正則化掩膜自動(dòng)編碼器的半監(jiān)督高光譜圖像分類方法,包括:獲取原始高光譜圖像,基于原始高光譜圖像,得到原始預(yù)訓(xùn)練樣本;對(duì)所述原始預(yù)訓(xùn)練樣本進(jìn)行不同尺度網(wǎng)格的劃分,得到第一圖像塊及第二圖像塊,通過正則化掩膜自動(dòng)編碼器對(duì)第一圖像塊及第二圖像塊對(duì)進(jìn)行重構(gòu),并根據(jù)重構(gòu)結(jié)果對(duì)正則化掩膜自動(dòng)編碼器,得到預(yù)訓(xùn)練好的正則化掩膜自動(dòng)編碼器;對(duì)預(yù)訓(xùn)練好的正則化掩膜自動(dòng)編碼器的編碼器后添加用于全連接層,通過有標(biāo)簽樣本對(duì)添加全連接層的解碼器進(jìn)行訓(xùn)練調(diào)優(yōu),得到分類模型,通過分類模型對(duì)待分類高光譜圖像進(jìn)行分類,得到高光譜圖像分類結(jié)果,本發(fā)明能夠從大量無標(biāo)簽樣本中學(xué)習(xí)到可判別的模式并獲得高性能的分類結(jié)果。

技術(shù)研發(fā)人員:王立國(guó),王恒,劉丹鳳,劉海濤
受保護(hù)的技術(shù)使用者:大連民族大學(xué)
技術(shù)研發(fā)日:
技術(shù)公布日:2024/10/21
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1