本發(fā)明涉及人工智能領(lǐng)域，特別涉及基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)、方法。

背景技術(shù)：

1、結(jié)直腸癌（colorectal?carcinoma，crc）是常見的惡性腫瘤之一。多項研究報道，早期crc經(jīng)治療后生存率較高，因此早期篩查對于crc的診斷及治療有著至關(guān)重要的作用。

2、結(jié)直腸鏡檢作為診斷結(jié)直腸息肉（colorectal?polyp，cp）的金標準，是整個篩查流程的核心環(huán)節(jié)。然而，有研究表明，在鏡檢過程中，結(jié)直腸腺瘤（colorectal?adenoma,cra），其漏診原因一般與患者腸道準備情況、鏡檢退鏡時間、醫(yī)師個人經(jīng)驗、及是否應(yīng)用或應(yīng)用何種輔助觀察成像法等諸多因素相關(guān)，其中退鏡時間是衡量結(jié)腸鏡檢質(zhì)量的重要指標之一。但臨床上，在結(jié)直腸鏡檢退鏡過程中，醫(yī)師有沖洗腸道、手術(shù)治療等非觀察性操作，這一缺點使得單純的退鏡時間，無法真實反映出用于觀察腸道尋找病變的時間。因此，現(xiàn)有技術(shù)亟待改進。

技術(shù)實現(xiàn)思路

1、本發(fā)明實施例中提供基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)、方法，用以至少部分解決上述問題。

2、第一方面，本發(fā)明提供一種基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)，所述基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)包括視頻獲取模塊、行為動作識別模塊、清潔事件識別模塊和內(nèi)窺鏡檢查記錄模塊；

3、所述行為動作識別模塊，用于根據(jù)預(yù)先訓(xùn)練得到的基于雙級聯(lián)時空注意力的視頻理解網(wǎng)絡(luò)模型，對所述視頻獲取模塊采集的內(nèi)窺鏡檢查視頻幀圖像進行場景動作識別，得到場景動作識別數(shù)據(jù)；

4、所述清潔事件識別模塊，用于將所述場景動作識別數(shù)據(jù)中的待清潔場景和清潔動作進行關(guān)聯(lián)映射，得到清潔事件識別數(shù)據(jù)集合；

5、所述內(nèi)窺鏡檢查記錄模塊，用于根據(jù)所述清潔事件識別數(shù)據(jù)集合，確定內(nèi)窺鏡檢查過程的評估參數(shù)。

6、可選地，所述行為動作識別模塊，還用于根據(jù)預(yù)先獲取的內(nèi)窺鏡檢查視頻樣本對預(yù)先構(gòu)建的雙級聯(lián)時空注意力模型進行訓(xùn)練，得到所述基于雙級聯(lián)時空注意力的視頻理解網(wǎng)絡(luò)模型；所述雙級聯(lián)時空注意力模型由標準化模塊和多組雙級聯(lián)單元塊和預(yù)測頭模塊串聯(lián)得到。

7、可選地，所述標準化模塊，用于根據(jù)預(yù)設(shè)的多個維度，利用下采樣將所述視頻獲取模塊采集的內(nèi)窺鏡檢查視頻幀圖像轉(zhuǎn)為兩路多維度輸入數(shù)據(jù)。

8、可選地，預(yù)設(shè)的多個維度包括視頻幀數(shù)量、視頻幀原始寬度、視頻幀原始高度和視頻幀單幀通道數(shù)。

9、可選地，所述多組雙級聯(lián)單元塊串聯(lián)連接，對于任一組雙級聯(lián)單元塊，用于利用兩組空間可分離卷積塊對所述兩路多維度輸入數(shù)據(jù)進行卷積運算，分別得到第一特征圖和第二特征圖；并用于利用側(cè)向融合模塊對所述第一特征圖進行下采樣，使所述第一特征圖的維度與所述第二特征圖對齊并拼接，得到第三特征圖；以及用于將所述第一特征圖和第三特征圖作為連接模塊的輸入；所述連接模塊為串聯(lián)連接的下一組雙級聯(lián)單元塊或預(yù)測頭模塊。

10、可選地，所述預(yù)測頭模塊，用于對多組雙級聯(lián)單元塊輸入的第一特征圖和第三特征圖分別進行softmax運算，將得到的分數(shù)進行平均，輸出場景動作識別概率，得到場景動作識別數(shù)據(jù)。

11、可選地，所述基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)還包括輔助提示模塊和客戶端模塊；

12、所述輔助提示模塊，用于根據(jù)所述場景動作識別數(shù)據(jù)，進行與所述場景動作識別數(shù)據(jù)對應(yīng)的操作提示；

13、所述客戶端模塊，用于顯示所述評估參數(shù)和所述操作提示。

14、第二方面，本發(fā)明提供一種基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估方法，所述基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估方法包括：

15、根據(jù)預(yù)先訓(xùn)練得到的基于雙級聯(lián)時空注意力的視頻理解網(wǎng)絡(luò)模型，對采集的內(nèi)窺鏡檢查視頻幀圖像進行場景動作識別，獲得場景動作識別數(shù)據(jù)；

16、將所述場景動作識別數(shù)據(jù)中的待清潔場景和清潔動作進行關(guān)聯(lián)映射，得到清潔事件識別數(shù)據(jù)集合；

17、根據(jù)所述清潔事件識別數(shù)據(jù)集合，確定內(nèi)窺鏡檢查過程的評估參數(shù)。

18、第三方面，本發(fā)明提供一種電子設(shè)備，所述電子設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序；

19、所述計算機程序被所述處理器執(zhí)行時，實現(xiàn)如上任一項所述的基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估方法的步驟。

20、第四方面，本發(fā)明提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估程序，所述基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估程序被控制器執(zhí)行時，實現(xiàn)如上任一項所述的基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估方法的步驟。

21、本發(fā)明各個實施例通過評估參數(shù)可以真實反映出用于觀察腸道尋找病變的時間，本發(fā)明能對內(nèi)鏡檢查操作步驟及對應(yīng)的圖像影像場景進行語義動作分類檢測，并將各語義動作數(shù)據(jù)與內(nèi)鏡檢查規(guī)定動作數(shù)據(jù)形成可比數(shù)據(jù)，進行輔助提示與指標量化，從而起到促進內(nèi)鏡檢查標準化，提高病變檢出率的作用。本發(fā)明可以有效評估內(nèi)窺鏡檢查過程，提高檢查質(zhì)量。

技術(shù)特征：

1.一種基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)，其特征在于，所述基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)包括：視頻獲取模塊、行為動作識別模塊、清潔事件識別模塊和內(nèi)窺鏡檢查記錄模塊；

2.根據(jù)權(quán)利要求1所述的基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)，其特征在于，所述行為動作識別模塊，還用于根據(jù)預(yù)先獲取的內(nèi)窺鏡檢查視頻樣本對預(yù)先構(gòu)建的雙級聯(lián)時空注意力模型進行訓(xùn)練，得到所述基于雙級聯(lián)時空注意力的視頻理解網(wǎng)絡(luò)模型；所述雙級聯(lián)時空注意力模型由標準化模塊和多組雙級聯(lián)單元塊和預(yù)測頭模塊串聯(lián)得到。

3.根據(jù)權(quán)利要求2所述的基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)，其特征在于，所述標準化模塊，用于根據(jù)預(yù)設(shè)的多個維度，利用下采樣將所述視頻獲取模塊采集的內(nèi)窺鏡檢查視頻幀圖像轉(zhuǎn)為兩路多維度輸入數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)，其特征在于，預(yù)設(shè)的多個維度包括視頻幀數(shù)量、視頻幀原始寬度、視頻幀原始高度和視頻幀單幀通道數(shù)。

5.根據(jù)權(quán)利要求3所述的基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)，其特征在于，所述多組雙級聯(lián)單元塊串聯(lián)連接，對于任一組雙級聯(lián)單元塊，用于利用兩組空間可分離卷積塊對所述兩路多維度輸入數(shù)據(jù)進行卷積運算，分別得到第一特征圖和第二特征圖；并用于利用側(cè)向融合模塊對所述第一特征圖進行下采樣，使所述第一特征圖的維度與所述第二特征圖對齊并拼接，得到第三特征圖；以及用于將所述第一特征圖和第三特征圖作為連接模塊的輸入；所述連接模塊為串聯(lián)連接的下一組雙級聯(lián)單元塊或預(yù)測頭模塊。

6.根據(jù)權(quán)利要求5所述的基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)，其特征在于，所述預(yù)測頭模塊，用于對多組雙級聯(lián)單元塊輸入的第一特征圖和第三特征圖分別進行softmax運算，將得到的分數(shù)進行平均，輸出場景動作識別概率，得到場景動作識別數(shù)據(jù)。

7.根據(jù)權(quán)利要求1-6中任意一項所述的基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)，其特征在于，所述基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)還包括輔助提示模塊和客戶端模塊；

8.一種基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估方法，其特征在于，所述基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估方法包括：

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序；

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)上存儲有基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估程序，所述基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估程序被控制器執(zhí)行時，實現(xiàn)如權(quán)利要求8中所述的基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估方法的步驟。

技術(shù)總結(jié)
本發(fā)明涉及基于視頻理解網(wǎng)絡(luò)的內(nèi)窺鏡檢查評估系統(tǒng)、方法，所述系統(tǒng)包括：行為動作識別模塊用于根據(jù)預(yù)先訓(xùn)練得到的基于雙級聯(lián)時空注意力的視頻理解網(wǎng)絡(luò)模型，對視頻獲取模塊采集的內(nèi)窺鏡檢查視頻幀圖像進行場景動作識別，得到場景動作識別數(shù)據(jù)；清潔事件識別模塊用于將所述場景動作識別數(shù)據(jù)中的待清潔場景和清潔動作進行關(guān)聯(lián)映射，得到清潔事件識別數(shù)據(jù)集合；內(nèi)窺鏡檢查記錄模塊用于根據(jù)所述清潔事件識別數(shù)據(jù)集合，確定內(nèi)窺鏡檢查過程的評估參數(shù)。本發(fā)明對內(nèi)鏡檢查操作及對應(yīng)的視頻圖像進行語義動作分類檢測，并將各語義動作數(shù)據(jù)與內(nèi)鏡檢查規(guī)定動作數(shù)據(jù)形成可比數(shù)據(jù)，進行輔助提示與指標量化，從而起到促進內(nèi)鏡檢查標準化。

技術(shù)研發(fā)人員：馮月,穆金寶
受保護的技術(shù)使用者：天津御錦人工智能醫(yī)療科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/29