本發(fā)明屬于腦電信號處理與模式識別領(lǐng)域，具體為一種基于cnn與transformer的多尺度時空特征提取用于腦電情感識別的分類方法。

背景技術(shù)：

1、此部分的陳述僅僅提供與本公開有關(guān)的背景技術(shù)信息，并且這些陳述可能構(gòu)成現(xiàn)有技術(shù)。在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題。

2、情感是人在某種環(huán)境下基于主觀經(jīng)驗對事物的一種心理狀態(tài)和情感反應。作為大腦的高級功能，情感深刻影響著我們的學習、工作與生活，因此情感分析至關(guān)重要。1997年，情感計算(ac)概念被麻省理工學院的picard教授提出，這一創(chuàng)新使情感研究不再局限于傳統(tǒng)領(lǐng)域，而是向計算機賦予分類人類情感的能力，以推動更自然的人機交互。

3、腦機接口是一種聯(lián)系人與外界環(huán)境的獨立于人腦神經(jīng)通路和肌肉的信息交流通道。它的主要信號是由腦神經(jīng)活動產(chǎn)生的腦電波組成的生物電信號。在生物醫(yī)學領(lǐng)域，記錄腦電信號的神經(jīng)成像方式主要包括皮質(zhì)電圖(electrocorticography,ecog)，腦磁圖(magnetoencephalography,meg)，腦電圖(electroencephalography,eeg)等。腦電圖因其獲取簡單，耗時較短，采集成本低而備受青睞。腦電信號的采集方法主要分為三種：有創(chuàng)，部分有創(chuàng)，無創(chuàng)。

4、腦電腦電信號的情感分類任務的精度的提高，對腦電情感識別具有十分重要的意義。但其目前受限于下面兩個問題。

5、首先，當前大部分科研人員只研究了腦電信號的情感二分類或三分類，很少有對腦電信號情感四分類的研究。因為四分類的訓練需要大量的數(shù)據(jù)樣本，并且像科研人員經(jīng)常使用的deap數(shù)據(jù)集中只具有效價程度、喚醒程度等標簽，無法提供四分類所需要的情感標簽，導致分類的準確率低下。

6、其次，腦電信號情感識別領(lǐng)域的模型從傳統(tǒng)的機器學習轉(zhuǎn)到深度學習，cnn模型具有極大的貢獻。cnn具有輕量化的優(yōu)點，可以捕捉局部的接收域信息，但往往忽略全局信息。并且提取時序信息的能力較弱，極大限制了cnn模型的表現(xiàn)。因此，提高腦電信號情感分類任務的精度有十分重要的意義。

7、目前一些技術(shù)將cnn與其他網(wǎng)絡相結(jié)合，來提取腦電數(shù)據(jù)的空間特征和時間序列信息。如申請?zhí)?02310057960.0專利名稱為“一種結(jié)合注意力機制與crnn的腦電情感識別方法”，基于空間注意力的卷積神經(jīng)網(wǎng)絡(cnn)提取腦電數(shù)據(jù)的空間特征，并通過基于自注意力的循環(huán)神經(jīng)網(wǎng)絡(rnn)提取出時間序列信息，最后將兩者相結(jié)合用于跨被試腦電情感識別，以此來提高分類效果的精度。而申請?zhí)?02210665185.2專利名稱為“基于卷積遞歸神經(jīng)網(wǎng)絡與多頭自注意力的情感識別方法”，則利用一維卷積(cnn)和雙向長短時記憶網(wǎng)絡(bilstm)提取腦電(eeg)信號的空間和動態(tài)時間特征，并利用全連接層融合這些特征克隆給多頭自注意力機制(multi-head?self-attention)對情感關(guān)鍵信息的權(quán)重進行再分配，得到準確的情感狀態(tài)識別。

8、上述方法雖然通過將cnn與其他網(wǎng)絡相結(jié)合來提取全局特征，提高了提取時序信息的能力，但其并不能感知信號中更深層的特征信息，導致很多有價值的信道內(nèi)特征不能被有效提取。并且，上述方法也無法完成腦電信號情感四分類的分類任務，從而導致情感狀態(tài)識別的精度不佳。

技術(shù)實現(xiàn)思路

1、針對上述問題，本發(fā)明的目的在于解決現(xiàn)有技術(shù)中的一部分問題，或至少緩解這些問題。

2、一種基于cnn與transformer的多尺度時空特征提取用于腦電情感識別的分類方法，包括如下步驟：

3、對采集的腦電信號進行預處理和數(shù)據(jù)增強；

4、將經(jīng)預處理和數(shù)據(jù)增強后的腦電信號轉(zhuǎn)換為時頻圖輸入至深度卷積模塊，以提取時頻域和時空域的特征信息；

5、將時頻域和時空域的特征信息輸入包括c-t模塊的特征提取模塊，通過自注意力機制進行特征融合和權(quán)重調(diào)配，得到待分類的特征數(shù)據(jù)；其中，所述c-t模塊包括cnn與transformer(用于自然語言處理和其他序列到序列任務的深度學習模型架構(gòu))結(jié)構(gòu)；

6、將待分類的特征數(shù)據(jù)進行整合，并開始分類任務；所述四分類任務提供四種情感標簽，包括興奮、害怕、悲傷和放松。

7、所述預處理，包括對采集的腦電信號進行濾波和去偽跡處理，以消除噪聲和干擾；所述數(shù)據(jù)增強，包括使用滑窗方式將一份濾波和去偽跡后的腦電信號的數(shù)據(jù)變?yōu)槎喾?，以增加訓練過程中可以得到的數(shù)據(jù)源。

8、進一步的，對采集的腦電信號進行預處理和數(shù)據(jù)增強，包括如下步驟：

9、用巴特沃斯3階濾波器對采集的腦電信號進行濾波，只截取5-35hz的頻段，將濾波完成的數(shù)據(jù)進行獨立主成分分析，去除腦電信號中的眼電，肌電，得到濾波和去偽跡后的腦電信號；

10、將濾波和去偽跡后的腦電信號進行數(shù)據(jù)增強，以一個長度為10秒的窗口，然后依次以2.5秒為間隔開始滑動，處理過后的deap數(shù)據(jù)集(人類情感狀態(tài)的多模態(tài)數(shù)據(jù)集)腦電信號為63秒；

11、從0秒開始取出一組窗口腦電數(shù)據(jù)，即0秒到10秒代表第一組數(shù)據(jù)，而52.5秒到62.5秒代表最后一組數(shù)據(jù)，滑動21次，從而將一份濾波和去偽跡后的腦電信號的數(shù)據(jù)，變?yōu)?1份腦電信號的數(shù)據(jù)，以使訓練過程中可以得到更多的數(shù)據(jù)源。

12、所述深度卷積模塊用以提取時頻域和時空域的不同深度的特征信息；所述深度卷積模塊包括多個連續(xù)的層；所述層包括深度卷積層和池化層，以基于前一層分辨率減半的基礎上捕捉特征。

13、進一步的，所述深度卷積模塊以基于前一層分辨率減半的基礎上捕捉時頻域和時空域的不同深度的特征信息的步驟為：

14、每一層首先執(zhí)行卷積操作，卷積核大小為3×3，步長為1，填充為1，卷積層的輸出計算如下：

15、

16、式中：是與第l層的第i個卷積核相對應的區(qū)域，是第l層的第j個特征圖，m是特征輸入圖，δ是卷積核的權(quán)重矩陣，b是偏差，f是激活函數(shù)，*是卷積運算。

17、卷積結(jié)束后，進入最大池化層，內(nèi)核為2×1，其中進入下一層的池化層時，內(nèi)核會改為1×2，兩種池化內(nèi)核來回切換；

18、其中，池化層計算如下：

19、

20、式中：downmax是最大池化函數(shù)，是池化層的輸出特征圖。

21、通過上述操作，使第l層的數(shù)據(jù)量成為l-1層的一半；各層的深度卷積層獨立提取特征，各個通道間信息不交叉，以便獲取eeg信號不同深度的信息。

22、進一步的，所述經(jīng)預處理和數(shù)據(jù)增強后的腦電信號利用短時傅里葉變換轉(zhuǎn)換為時頻圖，然后把時頻圖數(shù)據(jù)輸入至深度卷積模塊以捕獲特征信息；

23、所述短時傅里葉變換的公式如下：

24、

25、式中：ω表示角頻率，χ(τ)表示原始信號在時間域的值，ω(τ-t)表示時間t處平移的窗函數(shù)，δ表示共軛，e-jωτ表示復指數(shù)函數(shù)，j表示虛數(shù)單位，τ表示時刻。

26、進一步的，所述深度卷積模塊將提取的時頻域和時空域的不同深度的特征信息，輸入并行的多層c-t模塊進行特征融合和權(quán)重調(diào)配，并將得到的多組的待分類的特征數(shù)據(jù)輸入分類模塊進行四分類任務；所述c-t模塊的內(nèi)部根據(jù)輸入的不同深度的特征信息的數(shù)據(jù)尺寸進行相應修改；所述特征提取模塊還包括設于c-t模塊之后的平均池化模塊，以將多層c-t模塊的輸出數(shù)據(jù)尺寸進行統(tǒng)一。

27、進一步的，所述c-t模塊獲取待分類的特征數(shù)據(jù)的步驟包括：

28、所述深度卷積模塊將提取的時頻域和時空域的特征信息分別接入c-t模塊的cnn與transformer結(jié)構(gòu)；

29、分別通過cnn與transformer結(jié)構(gòu)提取出特征信息并進行組合，得到待分類的特征數(shù)據(jù)；

30、所述cnn結(jié)構(gòu)由三層卷積層組成，核大小為3×3，步長為1，填充為1，每個卷積層之后是一個batch?normalization(批量歸一化)層和一個relu激活層；批量歸一化公式如下：

31、

32、式中：x表示輸入數(shù)據(jù)，m表示當前批次數(shù)據(jù)大小，ε表示添加較小的值到方差中防止除零，γ表示可訓練的比例參數(shù)，β表示可訓練的偏差參數(shù)；

33、所述transformer結(jié)構(gòu)包括多頭自關(guān)注(mhsa)模塊、前饋模塊和兩層歸一化(layernorm)模塊；兩層歸一化模塊分別在mhsa模塊之前和前饋模塊之后；

34、自關(guān)注模塊的計算方法如下：

35、

36、式中：qitf、kitf、vits分別表示自關(guān)注模塊中的詢問向量、關(guān)鍵向量、值向量輸入，softmax(·)表示softmax函數(shù)，dk表示kitf的維度，t表示時間步數(shù)。

37、進一步的，所述特征提取模塊將待分類的特征數(shù)據(jù)輸入softmax函數(shù)(歸一化指數(shù)函數(shù))進行分類，以提供四種情感標簽的識別結(jié)果，即興奮、害怕、悲傷和放松；將待分類的特征數(shù)據(jù)進行整合，并開始分類任務，包括如下步驟：

38、所述分類模塊將特征提取模塊輸出的多組待分類的特征數(shù)據(jù)進行展平和組合，形成一個長度為1280的一維數(shù)據(jù)；

39、將所述一維數(shù)據(jù)輸入至全鏈接層；所述全鏈接層包括四個fc(fully?connected,全連接層)層，尺寸分別為1280、320、80和4；

40、最后直接輸入到logsoftmax(對數(shù)softmax層)層，以計算四個類別中每個類的預測概率的對數(shù)；

41、logsoftmax計算公式如下：

42、

43、式中：mi表示輸入向量m的第i個元素。

44、一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)所述的基于cnn與transformer的多尺度時空特征提取用于腦電情感識別的分類方法的步驟。

45、本發(fā)明具有如下有益效果：

46、1、本發(fā)明根據(jù)transformer感知全局信息的優(yōu)點，設計了cnn與transformer結(jié)合的混合模塊，并為了感知腦電信號更深層的特征信息，設計了一種可以提取多尺度分辨率特征的并行網(wǎng)絡模型，把兩者結(jié)合起來，成功提高了訓練效率和四分類的準確率。并且，本發(fā)明還使用滑窗方法來增加訓練樣本的數(shù)量，能更好的與重新定義的四分類的情感標簽相配合，展現(xiàn)出更高的分類準確率；

47、2、本發(fā)明通過結(jié)合短時傅里葉變換、cnn和transformer的優(yōu)勢，實現(xiàn)了對腦電信號中多尺度時空特征的有效提取和融合，從而提高了情感識別的準確率和魯棒性；

48、3、本發(fā)明的深度卷積模塊能自動學習權(quán)重，在將信號降采樣到一半的同時，有效地提取出有價值的信道內(nèi)特征；且各層的深度卷積層獨立提取特征，各個通道間信息不交叉，以便獲取eeg信號不同深度的信息并向c-t模塊進行輸出；

49、4、本發(fā)明在情感分類時采用了logsoftmax層，以計算四分類中每個類的預測概率的對數(shù)。在穩(wěn)定梯度下降計算的同時，logsoftmax會嚴重懲罰高度錯誤的類，進一步優(yōu)化了訓練時間。