本發(fā)明涉及圖像識(shí)別技術(shù)，尤其涉及一種基于多模態(tài)影像融合的頸動(dòng)脈斑塊智能識(shí)別方法及系統(tǒng)。

背景技術(shù)：

1、頸動(dòng)脈斑塊是導(dǎo)致腦卒中的主要病因之一，早期準(zhǔn)確識(shí)別和預(yù)測頸動(dòng)脈斑塊的發(fā)展情況對(duì)于及時(shí)干預(yù)和降低腦卒中風(fēng)險(xiǎn)具有重要意義。傳統(tǒng)的頸動(dòng)脈斑塊識(shí)別主要依賴醫(yī)生對(duì)單一模態(tài)醫(yī)學(xué)影像的肉眼觀察和經(jīng)驗(yàn)判斷，存在主觀性強(qiáng)、重復(fù)性差等問題，難以全面準(zhǔn)確地評(píng)估斑塊的嚴(yán)重程度和未來進(jìn)展。

2、近年來，多模態(tài)醫(yī)學(xué)影像技術(shù)和人工智能方法的發(fā)展為頸動(dòng)脈斑塊的智能識(shí)別提供了新的途徑。一些研究嘗試將不同成像模態(tài)的影像信息進(jìn)行融合，通過機(jī)器學(xué)習(xí)算法建立斑塊識(shí)別和預(yù)測模型，取得了初步的效果。然而，現(xiàn)有方法仍然存在以下不足：一是缺乏有效的多模態(tài)影像配準(zhǔn)和融合方法，難以充分利用不同模態(tài)影像所提供的互補(bǔ)信息；二是斑塊識(shí)別和預(yù)測模型的泛化能力有限，難以適應(yīng)不同患者和成像條件下的影像變化；三是缺乏對(duì)斑塊嚴(yán)重程度和發(fā)展趨勢的定量評(píng)估指標(biāo)，難以為臨床決策提供客觀量化的依據(jù)。

3、因此，亟需一種基于多模態(tài)影像融合的頸動(dòng)脈斑塊智能識(shí)別方法，通過影像配準(zhǔn)、特征提取、機(jī)器學(xué)習(xí)等技術(shù)，實(shí)現(xiàn)斑塊的自動(dòng)、準(zhǔn)確、全面的識(shí)別和預(yù)測，并提供直觀的可視化結(jié)果，從而為頸動(dòng)脈斑塊患者的早期診斷、風(fēng)險(xiǎn)評(píng)估、治療方案制定等提供智能輔助。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種基于多模態(tài)影像融合的頸動(dòng)脈斑塊智能識(shí)別方法及系統(tǒng)，能夠解決現(xiàn)有技術(shù)中的問題。

2、本發(fā)明實(shí)施例的第一方面，

3、提供一種基于多模態(tài)影像融合的頸動(dòng)脈斑塊智能識(shí)別方法，包括：

4、獲取頸動(dòng)脈超聲影像和頸動(dòng)脈ct影像，對(duì)頸動(dòng)脈超聲影像和頸動(dòng)脈ct影像進(jìn)行預(yù)處理，將所述預(yù)處理后的頸動(dòng)脈超聲影像和預(yù)處理后的頸動(dòng)脈ct影像進(jìn)行配準(zhǔn)，得到配準(zhǔn)后的多模態(tài)頸動(dòng)脈影像，提取所述配準(zhǔn)后的多模態(tài)頸動(dòng)脈影像的影像特征，得到頸動(dòng)脈斑塊的多模態(tài)影像特征集；

5、將多模態(tài)影像特征集輸入至預(yù)先訓(xùn)練的斑塊識(shí)別模型中，識(shí)別多模態(tài)頸動(dòng)脈影像中是否存在斑塊，若存在斑塊，則將頸動(dòng)脈斑塊的多模態(tài)影像特征集輸入至斑塊類型分類模型，對(duì)斑塊的類型進(jìn)行分類；

6、根據(jù)斑塊識(shí)別模型的識(shí)別結(jié)果，結(jié)合多模態(tài)頸動(dòng)脈影像確定斑塊在頸動(dòng)脈中的三維空間位置，并計(jì)算斑塊的體積，根據(jù)斑塊類分類模型的分類結(jié)果、斑塊的三維空間位置和斑塊的體積，確定斑塊的危險(xiǎn)等級(jí)，若斑塊的危險(xiǎn)等級(jí)大于預(yù)設(shè)的危險(xiǎn)等級(jí)閾值，則將頸動(dòng)脈斑塊的多模態(tài)影像特征集輸入至預(yù)設(shè)的斑塊發(fā)展預(yù)測模型，預(yù)測斑塊在未來不同時(shí)間的發(fā)展情況，得到斑塊的發(fā)展預(yù)測結(jié)果，采用三維可視化技術(shù)，將斑塊識(shí)別結(jié)果、類型分類結(jié)果、斑塊位置、斑塊體積、斑塊的發(fā)展預(yù)測結(jié)果與原始的頸動(dòng)脈超聲影像和頸動(dòng)脈ct影像進(jìn)行融合顯示，生成頸動(dòng)脈斑塊智能識(shí)別報(bào)告。

7、在一種可選的實(shí)施例中，

8、提取所述配準(zhǔn)后的多模態(tài)頸動(dòng)脈影像的影像特征，得到頸動(dòng)脈斑塊的多模態(tài)影像特征集包括：

9、對(duì)配準(zhǔn)后的多模態(tài)頸動(dòng)脈影像中的每個(gè)模態(tài)的影像進(jìn)行超像素分割，將影像劃分為多個(gè)局部一致的區(qū)域，作為圖的節(jié)點(diǎn)，提取每個(gè)節(jié)點(diǎn)的局部紋理特征作為節(jié)點(diǎn)的初始特征表示，同時(shí)利用預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)模態(tài)的影像進(jìn)行語義分割，得到像素級(jí)別的解剖結(jié)構(gòu)標(biāo)注，作為節(jié)點(diǎn)的語義屬性，計(jì)算不同模態(tài)間節(jié)點(diǎn)的注意力權(quán)重，考慮節(jié)點(diǎn)在不同模態(tài)下的特征相似性和語義一致性，構(gòu)建跨模態(tài)的邊連接，并在每個(gè)模態(tài)內(nèi)，根據(jù)節(jié)點(diǎn)間的空間鄰接關(guān)系和特征相似性，構(gòu)建模態(tài)內(nèi)的邊連接，得到最終的多模態(tài)影像圖結(jié)構(gòu)；

10、構(gòu)建多模態(tài)注意力圖卷積網(wǎng)絡(luò)模型，以所構(gòu)建的多模態(tài)影像圖結(jié)構(gòu)為輸入，通過引入模態(tài)注意力機(jī)制和跨尺度特征融合策略，自適應(yīng)地學(xué)習(xí)不同模態(tài)的重要性權(quán)重，其中，模態(tài)注意力機(jī)制通過計(jì)算不同模態(tài)節(jié)點(diǎn)間的相關(guān)性，動(dòng)態(tài)調(diào)整圖卷積的權(quán)重，跨尺度特征融合策略通過上采樣和下采樣操作，在不同卷積層之間傳遞和交互特征，提取多尺度的語義信息；

11、在多模態(tài)注意力圖卷積網(wǎng)絡(luò)模型中，設(shè)置圖注意力池化層通過學(xué)習(xí)節(jié)點(diǎn)的重要性權(quán)重，自適應(yīng)地對(duì)圖結(jié)構(gòu)進(jìn)行壓縮和特征聚合，同時(shí)設(shè)計(jì)多頭注意力模塊，對(duì)不同模態(tài)提取的圖級(jí)別特征進(jìn)行加權(quán)融合，得到多模態(tài)融合特征；

12、采用端到端的多任務(wù)學(xué)習(xí)方式，以斑塊分割和識(shí)別為監(jiān)督信息，優(yōu)化多模態(tài)注意力圖卷積網(wǎng)絡(luò)模型的參數(shù)，得到訓(xùn)練好的多模態(tài)注意力圖卷積網(wǎng)絡(luò)模型；

13、將待分析的多模態(tài)頸動(dòng)脈影像輸入到訓(xùn)練好的多模態(tài)注意力圖卷積網(wǎng)絡(luò)模型中，自動(dòng)提取多模態(tài)融合特征，得到頸動(dòng)脈斑塊的多模態(tài)影像特征集。

14、在一種可選的實(shí)施例中，

15、采用端到端的多任務(wù)學(xué)習(xí)方式，以斑塊分割和識(shí)別為監(jiān)督信息，優(yōu)化多模態(tài)注意力圖卷積網(wǎng)絡(luò)模型的參數(shù)，得到訓(xùn)練好的多模態(tài)注意力圖卷積網(wǎng)絡(luò)模型包括：

16、引入自監(jiān)督學(xué)習(xí)損失，結(jié)合多任務(wù)學(xué)習(xí)損失構(gòu)建聯(lián)合損失函數(shù)，通過最小化聯(lián)合損失函數(shù)更新模型參數(shù)，重復(fù)迭代直到滿足預(yù)設(shè)迭代次數(shù)，最終得到訓(xùn)練好的多模態(tài)注意力圖卷積網(wǎng)絡(luò)模型；

17、所述聯(lián)合損失函數(shù)公式如下：

18、；

19、其中，l表示聯(lián)合損失函數(shù)，λ1表示斑塊分割損失的權(quán)重系數(shù)，m表示像素總數(shù)，pm表示模型預(yù)測的第m個(gè)像素屬于斑塊的概率，gm表示第m個(gè)像素的真實(shí)標(biāo)簽，λ2表示斑塊識(shí)別損失，c表示斑塊類別的數(shù)量，wc表示第c類的權(quán)重，yc表示斑塊屬于第c類的真實(shí)標(biāo)簽，表示模型預(yù)測樣本屬于第c類的概率，λ3表示自監(jiān)督學(xué)習(xí)損失的權(quán)重系數(shù)，n表示節(jié)點(diǎn)數(shù)量，sij表示節(jié)點(diǎn)i和節(jié)點(diǎn)j之間的相似度，d(·)表示距離度量函數(shù)，hi表示節(jié)點(diǎn)i的隱藏表示，hj表示節(jié)點(diǎn)j的隱藏表示。

20、在一種可選的實(shí)施例中，

21、將多模態(tài)影像特征集輸入至預(yù)先訓(xùn)練的斑塊識(shí)別模型中，識(shí)別多模態(tài)頸動(dòng)脈影像中是否存在斑塊，若存在斑塊，則將頸動(dòng)脈斑塊的多模態(tài)影像特征集輸入至斑塊類型分類模型，對(duì)斑塊的類型進(jìn)行分類包括：

22、對(duì)獲取的頸動(dòng)脈多模態(tài)影像數(shù)據(jù)進(jìn)行預(yù)處理，采用結(jié)合主動(dòng)輪廓模型和水平集方法的混合圖像分割算法，自動(dòng)從預(yù)處理后的多模態(tài)影像數(shù)據(jù)中提取感興趣區(qū)域；

23、從感興趣區(qū)域中提取多種類型的影像特征，所述影像特征包括形態(tài)學(xué)特征、一階紋理特征、二階紋理特征和灰度統(tǒng)計(jì)特征，采用兩階段特征選擇策略對(duì)提取的影像特征進(jìn)行優(yōu)化，在第一階段，使用基于最大最小距離的特征排序方法初步篩選出第一特征子集，在第二階段，采用基于相關(guān)系數(shù)的冗余特征排除方法對(duì)第一特征子集中的冗余信息進(jìn)行剔除，得到目標(biāo)特征子集；

24、將目標(biāo)特征子集輸入至斑塊識(shí)別模型，斑塊識(shí)別模型包括級(jí)聯(lián)分類器、卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)組成，通過級(jí)聯(lián)分類器對(duì)輸入的目標(biāo)特征子集進(jìn)行篩選，將其劃分為多個(gè)候選區(qū)域并傳遞給卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)進(jìn)行并行的特征學(xué)習(xí)和分類判別，同時(shí)，動(dòng)態(tài)調(diào)整級(jí)聯(lián)分類器、卷積神經(jīng)網(wǎng)絡(luò)和支持向量機(jī)的權(quán)重系數(shù)，通過加權(quán)融合策略得到最終的斑塊識(shí)別結(jié)果，輸出目標(biāo)斑塊區(qū)域；

25、提取目標(biāo)斑塊區(qū)域的局部和全局多尺度特征描述符，構(gòu)建多層次斑塊類型表示，將多層次斑塊類型表示輸入至結(jié)合多分類支持向量機(jī)和深度置信網(wǎng)絡(luò)的斑塊類型分類模型中，通過多分類支持向量機(jī)對(duì)斑塊類型的粗粒度分類，將斑塊初步分為脂質(zhì)斑塊、纖維斑塊和鈣化斑塊，同時(shí)利用深度置信網(wǎng)絡(luò)，通過多個(gè)隱藏層學(xué)習(xí)斑塊的判別性特征，并通過輸出層進(jìn)行多分類預(yù)測；

26、將多個(gè)分類支持向量機(jī)的分類預(yù)測結(jié)果進(jìn)行融合，得到最終的斑塊類型分類結(jié)果。

27、在一種可選的實(shí)施例中，

28、根據(jù)斑塊識(shí)別模型的識(shí)別結(jié)果，結(jié)合多模態(tài)頸動(dòng)脈影像確定斑塊在頸動(dòng)脈中的三維空間位置，并計(jì)算斑塊的體積包括：

29、將配準(zhǔn)后的多模態(tài)頸動(dòng)脈影像輸入到預(yù)先訓(xùn)練的多尺度三維卷積神經(jīng)網(wǎng)絡(luò)中，通過多尺度的三維卷積層和池化層提取多模態(tài)影像的局部和全局特征，并利用門控注意力機(jī)制對(duì)不同尺度和模態(tài)的特征進(jìn)行自適應(yīng)加權(quán)融合，得到融合后的多尺度三維特征圖；

30、將融合后的多尺度三維特征圖輸入到預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)中，通過卷積塊和過渡層提取斑塊區(qū)域的結(jié)構(gòu)特征，并利用條件隨機(jī)場對(duì)斑塊區(qū)域進(jìn)行像素級(jí)分類和邊緣優(yōu)化，得到分割的三維斑塊掩模；

31、將分割的三維斑塊掩模與原始多模態(tài)頸動(dòng)脈影像進(jìn)行疊加，得到斑塊區(qū)域的三維空間位置信息，并采用光線投射算法對(duì)斑塊區(qū)域進(jìn)行三維重建，得到斑塊的三維模型，并對(duì)重建的斑塊三維模型進(jìn)行形態(tài)學(xué)分析和血流動(dòng)力學(xué)模擬，計(jì)算出斑塊的體積。

32、在一種可選的實(shí)施例中，

33、將頸動(dòng)脈斑塊的多模態(tài)影像特征集輸入至預(yù)設(shè)的斑塊發(fā)展預(yù)測模型，預(yù)測斑塊在未來不同時(shí)間的發(fā)展情況，得到斑塊的發(fā)展預(yù)測結(jié)果包括：

34、對(duì)頸動(dòng)脈斑塊的多模態(tài)影像特征集中的多模態(tài)影像特征進(jìn)行預(yù)處理，提取標(biāo)準(zhǔn)化的影像組學(xué)特征；

35、構(gòu)建斑塊領(lǐng)域醫(yī)學(xué)知識(shí)圖譜，所述斑塊領(lǐng)域醫(yī)學(xué)知識(shí)圖譜包含解剖結(jié)構(gòu)維度、生理功能維度和病理表現(xiàn)維度，通過知識(shí)推理和語義關(guān)聯(lián)探索斑塊影像組學(xué)特征與臨床表型間的內(nèi)在聯(lián)系，同時(shí)構(gòu)建斑塊影像組學(xué)-臨床關(guān)聯(lián)知識(shí)庫，所述斑塊影像組學(xué)-臨床關(guān)聯(lián)知識(shí)庫包含斑塊形態(tài)特征、斑塊密度特征、斑塊紋理特征、斑塊結(jié)構(gòu)特征與臨床預(yù)后的關(guān)聯(lián)知識(shí)，從歷史病例數(shù)據(jù)中挖掘斑塊影像組學(xué)特征與臨床預(yù)后的關(guān)聯(lián)規(guī)律；

36、將斑塊影像組學(xué)特征與斑塊領(lǐng)域醫(yī)學(xué)知識(shí)圖譜和斑塊影像組學(xué)-臨床關(guān)聯(lián)知識(shí)庫中的結(jié)構(gòu)化知識(shí)表示進(jìn)行融合，通過多視圖特征學(xué)習(xí)方法從斑塊影像組學(xué)特征和結(jié)構(gòu)化知識(shí)表示中挖掘影像-知識(shí)互補(bǔ)信息，得到斑塊影像-知識(shí)融合特征；

37、構(gòu)建斑塊發(fā)展預(yù)測模型，將所述斑塊影像-知識(shí)融合特征輸入斑塊發(fā)展預(yù)測模型，通過時(shí)間序列預(yù)測算法預(yù)測當(dāng)前斑塊在未來不同時(shí)間點(diǎn)的發(fā)展情況，得到斑塊發(fā)展預(yù)測結(jié)果；

38、對(duì)所述斑塊發(fā)展預(yù)測結(jié)果進(jìn)行可視化呈現(xiàn)，并根據(jù)斑塊領(lǐng)域醫(yī)學(xué)知識(shí)圖譜對(duì)斑塊發(fā)展預(yù)測結(jié)果進(jìn)行語義解釋，得到斑塊發(fā)展預(yù)測結(jié)果。

39、本發(fā)明實(shí)施例的第二方面，

40、提供一種基于多模態(tài)影像融合的頸動(dòng)脈斑塊智能識(shí)別系統(tǒng)，包括：

41、第一單元，用于獲取頸動(dòng)脈超聲影像和頸動(dòng)脈ct影像，對(duì)頸動(dòng)脈超聲影像和頸動(dòng)脈ct影像進(jìn)行預(yù)處理，將所述預(yù)處理后的頸動(dòng)脈超聲影像和預(yù)處理后的頸動(dòng)脈ct影像進(jìn)行配準(zhǔn)，得到配準(zhǔn)后的多模態(tài)頸動(dòng)脈影像，提取所述配準(zhǔn)后的多模態(tài)頸動(dòng)脈影像的影像特征，得到頸動(dòng)脈斑塊的多模態(tài)影像特征集；

42、第二單元，用于將多模態(tài)影像特征集輸入至預(yù)先訓(xùn)練的斑塊識(shí)別模型中，識(shí)別多模態(tài)頸動(dòng)脈影像中是否存在斑塊，若存在斑塊，則將頸動(dòng)脈斑塊的多模態(tài)影像特征集輸入至斑塊類型分類模型，對(duì)斑塊的類型進(jìn)行分類；

43、第三單元，用于根據(jù)斑塊識(shí)別模型的識(shí)別結(jié)果，結(jié)合多模態(tài)頸動(dòng)脈影像確定斑塊在頸動(dòng)脈中的三維空間位置，并計(jì)算斑塊的體積，根據(jù)斑塊類分類模型的分類結(jié)果、斑塊的三維空間位置和斑塊的體積，確定斑塊的危險(xiǎn)等級(jí)，若斑塊的危險(xiǎn)等級(jí)大于預(yù)設(shè)的危險(xiǎn)等級(jí)閾值，則將頸動(dòng)脈斑塊的多模態(tài)影像特征集輸入至預(yù)設(shè)的斑塊發(fā)展預(yù)測模型，預(yù)測斑塊在未來不同時(shí)間的發(fā)展情況，得到斑塊的發(fā)展預(yù)測結(jié)果，采用三維可視化技術(shù)，將斑塊識(shí)別結(jié)果、類型分類結(jié)果、斑塊位置、斑塊體積、斑塊的發(fā)展預(yù)測結(jié)果與原始的頸動(dòng)脈超聲影像和頸動(dòng)脈ct影像進(jìn)行融合顯示，生成頸動(dòng)脈斑塊智能識(shí)別報(bào)告。

44、本發(fā)明實(shí)施例的第三方面，

45、提供一種電子設(shè)備，包括：

46、處理器；

47、用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；

48、其中，所述處理器被配置為調(diào)用所述存儲(chǔ)器存儲(chǔ)的指令，以執(zhí)行前述所述的方法。

49、本發(fā)明實(shí)施例的第四方面，

50、提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)前述所述的方法。

51、在本實(shí)施例中，通過對(duì)頸動(dòng)脈超聲影像和頸動(dòng)脈ct影像進(jìn)行預(yù)處理并配準(zhǔn)，生成多模態(tài)的頸動(dòng)脈影像。超聲影像能夠提供軟組織和血流信息，ct影像能夠提供更為清晰的解剖結(jié)構(gòu)，通過配準(zhǔn)融合兩種不同模態(tài)的優(yōu)勢，能夠更全面、精準(zhǔn)地觀察頸動(dòng)脈結(jié)構(gòu)及其病變。通過預(yù)先訓(xùn)練的斑塊識(shí)別模型，可以自動(dòng)識(shí)別頸動(dòng)脈中的斑塊，極大提高了診斷的效率和精度，避免了人工篩查的主觀誤差?；诙嗄B(tài)影像特征集，斑塊分類模型能夠?qū)ψR(shí)別出的斑塊類型進(jìn)行精確分類，根據(jù)多模態(tài)影像的配準(zhǔn)結(jié)果，能夠準(zhǔn)確地定位斑塊在頸動(dòng)脈中的三維空間位置，并精確計(jì)算斑塊體積。通過結(jié)合斑塊的分類結(jié)果、三維位置和體積，能夠自動(dòng)化地評(píng)估斑塊的危險(xiǎn)等級(jí)。醫(yī)生能夠根據(jù)這些數(shù)據(jù)判斷病人的病情進(jìn)展，并制定針對(duì)性的治療方案，尤其是對(duì)高風(fēng)險(xiǎn)斑塊的早期干預(yù)。通過斑塊發(fā)展預(yù)測模型，可以預(yù)測斑塊在未來不同時(shí)間的發(fā)展情況，幫助醫(yī)生對(duì)病人的長期風(fēng)險(xiǎn)進(jìn)行監(jiān)測和評(píng)估。這對(duì)預(yù)防性干預(yù)和個(gè)性化治療具有重要意義。通過多模態(tài)影像融合、斑塊自動(dòng)檢測與分類、三維可視化以及發(fā)展預(yù)測等一系列智能化手段，實(shí)現(xiàn)了對(duì)頸動(dòng)脈斑塊的全面分析和管理，極大提高了診斷的準(zhǔn)確性、效率和臨床價(jià)值。