完整載片圖像配準(zhǔn)和交叉圖像注釋設(shè)備、系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001] 本說明書涉及用于操縱和/分析組織樣品的數(shù)字化圖像的設(shè)備、系統(tǒng)和方法。本 說明書還涉及用于相鄰組織切片樣品的數(shù)字化圖像的集合的圖像配準(zhǔn)的設(shè)備、系統(tǒng)和方 法。而且，本說明書還涉及用于從鄰近組織切片樣品的圖像集合中的一個(gè)圖像向鄰近組織 切片樣品的圖像集合中的其它圖像轉(zhuǎn)移注釋的設(shè)備、系統(tǒng)和方法。
【背景技術(shù)】
[0002] 數(shù)字病理學(xué)是指數(shù)字環(huán)境中的病理學(xué)信息的管理和解釋。掃描設(shè)備用于對(duì)組織切 片的載片成像，所述組織切片可以被染色，使得數(shù)字載片(例如完整載片圖像)被生成。數(shù)字 病理學(xué)軟件使得數(shù)字載片能夠存儲(chǔ)在計(jì)算機(jī)存儲(chǔ)器設(shè)備中，在計(jì)算機(jī)監(jiān)視器上查看，且針 對(duì)病理學(xué)信息而分析。
[0003] 所期望的是，數(shù)字病理學(xué)可以使得能夠整合病理學(xué)環(huán)境的各種方面，除其他之外 諸如紙質(zhì)和電子記錄、臨床背景信息、在先病例、圖像和結(jié)果。還期望的是，數(shù)字病理學(xué)可以 實(shí)現(xiàn)增加的效率，除其它可能的效率之外，諸如增加的工作負(fù)荷能力、在正確的時(shí)間對(duì)正確 的病理學(xué)者的訪問、病例和診斷的迅速檢索、以及改進(jìn)的工作流程。然而，存在對(duì)數(shù)字病理 學(xué)的廣泛采用及其各種益處的前景的許多阻礙，諸如成像性能、可擴(kuò)縮性和管理。
[0004] 雖然以下示出和描述了某些新穎特征，其中的一些或全部可以在權(quán)利要求中指 出，但是本公開的設(shè)備、系統(tǒng)和方法不意圖限于所指定的細(xì)節(jié)，因?yàn)橄嚓P(guān)領(lǐng)域普通技術(shù)人員 將理解到，在不以任何方式脫離于本公開的精神的情況下，在所說明的實(shí)施例的形式和細(xì) 節(jié)及其操作中可以做出各種省略、修改、置換和改變。沒有本文所描述的特征是關(guān)鍵或本質(zhì) 的，除非其被明確陳述為是"關(guān)鍵"或"本質(zhì)"的。

【發(fā)明內(nèi)容】

[0005] 本公開提供了用于操縱和/或分析組織樣品的數(shù)字化圖像的設(shè)備、系統(tǒng)和方法。 例如，本公開提供了用于對(duì)應(yīng)于鄰近組織切片的數(shù)字載片的計(jì)算機(jī)化圖像配準(zhǔn)和/或用于 從至少一個(gè)數(shù)字載片向至少一個(gè)其它數(shù)字載片轉(zhuǎn)移注釋的設(shè)備、系統(tǒng)和方法。
[0006] 在一些實(shí)施例中，所述設(shè)備包括用于對(duì)準(zhǔn)作為鄰近組織切片的數(shù)字圖像集合的一 部分的圖像和/或在經(jīng)對(duì)準(zhǔn)的圖像之間映射注釋的計(jì)算機(jī)程序產(chǎn)品。該集合中的每一個(gè)圖 像可以使用不同的染色劑(或標(biāo)簽物，以下稱為"染色劑")、不同的成像模式或這二者而獲 得。在一些實(shí)施例中，計(jì)算機(jī)程序產(chǎn)品包括具有計(jì)算機(jī)可讀程序代碼嵌入在其中的有形計(jì) 算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀程序代碼被配置成使用基于匹配組織結(jié)構(gòu)的圖像配準(zhǔn)過程 (即，涉及例如將不同集合的數(shù)據(jù)變換到一個(gè)坐標(biāo)系統(tǒng)中的過程）對(duì)準(zhǔn)該集合中的所選數(shù)字 圖像，導(dǎo)致經(jīng)對(duì)準(zhǔn)的數(shù)字圖像的集合；并且計(jì)算機(jī)可讀程序代碼還可以被配置成將注釋從 經(jīng)對(duì)準(zhǔn)的數(shù)字圖像的集合中的至少一個(gè)數(shù)字圖像轉(zhuǎn)移到經(jīng)對(duì)準(zhǔn)的圖像的集合中的至少另 一個(gè)數(shù)字圖像。在其它實(shí)施例中，計(jì)算機(jī)程序產(chǎn)品包括具有計(jì)算機(jī)可讀程序代碼嵌入在其 中的有形計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀程序代碼被配置成使用基于匹配組織結(jié)構(gòu)的圖 像配準(zhǔn)過程來對(duì)準(zhǔn)來自鄰近組織切片的數(shù)字圖像集合的第一數(shù)字圖像和來自該集合的第 二數(shù)字圖像，導(dǎo)致經(jīng)對(duì)準(zhǔn)的圖像對(duì)；并且計(jì)算機(jī)可讀程序代碼還可以被配置成將注釋從經(jīng) 對(duì)準(zhǔn)的對(duì)中的第一或第二數(shù)字圖像中的一個(gè)轉(zhuǎn)移到經(jīng)對(duì)準(zhǔn)的對(duì)中的第一或第二數(shù)字圖像 中的另一個(gè)。
[0007] 在另外的實(shí)施例中，匹配組織結(jié)構(gòu)涉及計(jì)算用于鄰近組織切片的數(shù)字圖像集合中 的所選圖像中的每一個(gè)的軟加權(quán)前景圖像(例如，計(jì)算用于第一和第二數(shù)字圖像中的每一 個(gè)的軟加權(quán)前景圖像)，提取用于每一個(gè)結(jié)果得到的前景數(shù)字圖像的二值組織邊緣圖(例如 用于第一和第二前景數(shù)字圖像中的每一個(gè))，以及基于組織邊緣圖計(jì)算全局變換參數(shù)(例如 基于第一和第二組織邊緣圖）。在另外的實(shí)施例中，匹配組織結(jié)構(gòu)還涉及基于全局變換參數(shù) 將至少部分原始選擇的圖像(例如，第一圖像和第二圖像）映射到公共網(wǎng)格。在另外的實(shí)施 例中，公共網(wǎng)格的中心與前景圖像的中心重合。
[0008] 在其它實(shí)施例中，轉(zhuǎn)移注釋包括基于公共網(wǎng)格(其在一些實(shí)施例中可以是諸如目 標(biāo)圖像之類的特定圖像的網(wǎng)格）將注釋從至少一個(gè)經(jīng)對(duì)準(zhǔn)的圖像(例如從第一圖像或源圖 像）映射到至少另一個(gè)經(jīng)對(duì)準(zhǔn)的圖像(例如第二圖像或目標(biāo)圖像）上的對(duì)應(yīng)位置。在另外的 實(shí)施例中，轉(zhuǎn)移注釋還包括基于細(xì)配準(zhǔn)過程細(xì)化所轉(zhuǎn)移的注釋的位置。在另外的實(shí)施例中， 細(xì)配準(zhǔn)過程包括識(shí)別源圖像(例如經(jīng)對(duì)準(zhǔn)的圖像對(duì)的第一圖像）中的原始注釋周圍的窗口， 識(shí)別目標(biāo)圖像(例如經(jīng)對(duì)準(zhǔn)的圖像對(duì)的第二圖像）中的對(duì)應(yīng)位置中的第二但更大的窗口，以 及在第二窗口內(nèi)迭代地移位對(duì)應(yīng)于第一窗口的第三窗口并且識(shí)別用于第三窗口的最優(yōu)位 置。在另外的實(shí)施例中，識(shí)別最優(yōu)位置基于距離變換和成本函數(shù)計(jì)算。
[0009] 在一些實(shí)施例中，所述系統(tǒng)包括處理器；包含供處理器執(zhí)行的指令的存儲(chǔ)器，所述 指令如果由處理器執(zhí)行則提供以下結(jié)果：基于組織結(jié)構(gòu)對(duì)準(zhǔn)第一圖像和第二圖像，其中第 一圖像和第二圖像是鄰近組織切片的圖像集合的一部分，并且其中該集合中的每一個(gè)圖像 可以使用不同的染色劑、不同的成像模式或這二者而制備；和/或?qū)⒅辽俚谝粓D像或第二 圖像中的一個(gè)上的注釋(例如預(yù)存在的注釋和/或用戶標(biāo)記的注釋)復(fù)制在至少第一圖像或 第二圖像中的另一個(gè)上；用于觸發(fā)處理器執(zhí)行指令的客戶端用戶接口；以及用于顯示客戶 端用戶接口、圖像、結(jié)果或其組合的監(jiān)視器。在一些實(shí)施例中，所述系統(tǒng)被實(shí)現(xiàn)在計(jì)算機(jī)工 作站上。在一些實(shí)施例中，所述系統(tǒng)是使用計(jì)算機(jī)網(wǎng)絡(luò)來實(shí)現(xiàn)的。
[0010] 在一些實(shí)施例中，所述方法包括圖像配準(zhǔn)過程，其涉及從鄰近組織切片的數(shù)字圖 像集合選擇圖像以及使用基于組織匹配的配準(zhǔn)過程對(duì)準(zhǔn)所選圖像。每一個(gè)數(shù)字圖像可以使 用相比于該集合中的另一數(shù)字圖像而言不同的染色劑、不同的成像模式或這二者而獲得。 在另外的實(shí)施例中，圖像配準(zhǔn)過程包括：從單個(gè)患者的鄰近組織切片的數(shù)字圖像集合選擇 第一組織切片的第一數(shù)字圖像；從該集合選擇第二組織切片的第二數(shù)字圖像；以及基于第 一數(shù)字圖像和第二數(shù)字圖像之間的匹配組織結(jié)構(gòu)執(zhí)行配準(zhǔn)過程。在一些實(shí)施例中，配準(zhǔn)過 程包括粗配準(zhǔn)模式。在一些實(shí)施例中，配準(zhǔn)過程還包括細(xì)配準(zhǔn)模式。
[0011] 在一些實(shí)施例中，粗配準(zhǔn)模式涉及從第一數(shù)字圖像生成第一灰度級(jí)組織前景圖 像，從第二數(shù)字圖像生成第二灰度級(jí)組織前景圖像，從第一灰度級(jí)前景圖像計(jì)算第一組織 二值邊緣圖，從第二灰度級(jí)前景圖像計(jì)算第二組織二值邊緣圖，計(jì)算全局變換參數(shù)以對(duì)準(zhǔn) 第一二值組織邊緣圖和第二二值組織邊緣圖，以及基于全局變換參數(shù)將第一數(shù)字圖像和第 二數(shù)字圖像映射到公共網(wǎng)格。在另外的實(shí)施例中，計(jì)算全局變換參數(shù)包括使用基于矩的映 射方法生成第一組織二值邊緣圖和第二組織二值邊緣圖之間的仿射映射。在一些實(shí)施例 中，細(xì)配準(zhǔn)過程包括注釋第一數(shù)字圖像，將公共網(wǎng)格上的注釋映射到第二數(shù)字圖像上的對(duì) 應(yīng)位置，以及基于二值組織邊緣圖使用倒角（Chamfer)距離映射更新第二圖像上的注釋的 位置。
[0012] 在一些實(shí)施例中，所述方法是用于將注釋從來自鄰近組織切片的數(shù)字圖像集合的 第一數(shù)字圖像映射到該集合中的第二數(shù)字圖像的方法。在一些實(shí)施例中，所述方法涉及選 擇已經(jīng)對(duì)準(zhǔn)的數(shù)字圖像對(duì)，如果沒有所選圖像之前已經(jīng)被注釋則注釋該對(duì)中的一個(gè)數(shù)字圖 像(或者可選地，如果圖像之前已經(jīng)被注釋則進(jìn)一步注釋圖像)，以及向該對(duì)中的另一數(shù)字 圖像轉(zhuǎn)移注釋。在一些實(shí)施例中，該映射方法涉及從鄰近組織切片的數(shù)字圖像集合選擇第 一圖像，從該集合選擇第二圖像，指令計(jì)算機(jī)處理器執(zhí)行指令，導(dǎo)致使用基于匹配組織結(jié)構(gòu) 的粗配準(zhǔn)過程在公共網(wǎng)格上將第一圖像與第二圖像對(duì)準(zhǔn)，例如如本文進(jìn)一步描述的那樣， 如果第一圖像尚未被注釋則注釋第一圖像(或者可選地，如果第一圖像已經(jīng)被注釋則進(jìn)一 步注釋第一圖像)，以及指令計(jì)算機(jī)處理器向第二圖像轉(zhuǎn)移注釋。在一些實(shí)施例中，轉(zhuǎn)移注 釋自動(dòng)發(fā)生，且可以與初始配準(zhǔn)過程(例如粗配準(zhǔn)過程）基本上同時(shí)發(fā)生，如果要配準(zhǔn)的該 對(duì)中的圖像已經(jīng)被注釋的話，或者其可以與注釋第一圖像基本上同時(shí)發(fā)生。在一些實(shí)施例 中，轉(zhuǎn)移注釋發(fā)生在第一和第二圖像已經(jīng)被對(duì)準(zhǔn)之后。在一些實(shí)施例中，轉(zhuǎn)移注釋還包括基 于細(xì)配準(zhǔn)過程調(diào)整第二圖像上的注釋的位置，例如如本文進(jìn)一步描述的那樣。在本發(fā)明的 一些實(shí)施例中，存在于第一圖像上的注釋(例如，與同計(jì)算機(jī)相關(guān)聯(lián)的存儲(chǔ)器中的圖像相關(guān) 聯(lián)的繪圖或筆記)被自動(dòng)映射到第二圖像。在本發(fā)明的一些實(shí)施例中，用戶經(jīng)由計(jì)算機(jī)接口 或程序(例如圖像查看器軟件應(yīng)用）手動(dòng)調(diào)整由計(jì)算機(jī)處理器轉(zhuǎn)移的注釋的位置、尺寸和形 狀中的至少一個(gè)。
[0013] 雖然本公開提供了某些特定實(shí)施例，但是本發(fā)明不限于那些實(shí)施例。本領(lǐng)域普通 技術(shù)人員將從本文的描述中領(lǐng)會(huì)到，可以對(duì)所描述的實(shí)施例做出修改，并且因此，說明書在 范圍上比所描述的實(shí)施例更寬。所有示例因此是非限制性的。
【附圖說明】
[0014]圖1是其中可實(shí)現(xiàn)根據(jù)本公開的設(shè)備、系統(tǒng)和方法的醫(yī)學(xué)成像工作站系統(tǒng)的實(shí)施 例的遠(yuǎn)景圖不。
[0015]圖2是圖示了其中可實(shí)現(xiàn)根據(jù)本公開的設(shè)備、系統(tǒng)和方法的聯(lián)網(wǎng)系統(tǒng)的實(shí)施例的 網(wǎng)絡(luò)圖。
[0016] 圖3是由交互式菜單條和窗口組成的主屏幕的屏幕截圖，該主屏幕可以是與依照 本公開的圖像分析程序的實(shí)施例相關(guān)聯(lián)的窗口式圖形客戶端用戶接口的一部分。
[0017] 圖4是有不同的菜單選項(xiàng)被選擇的圖3的主屏幕的另一屏幕截圖。
[0018]圖5是有又一菜單選項(xiàng)被高亮的圖3的主屏幕的另一屏幕截圖。
[0019] 圖6是注釋模塊GUI的實(shí)施例的屏幕截圖，其中可以查看和注釋數(shù)字載片，并且其 可以從圖3的主屏幕啟動(dòng)。
[0020] 圖7是在已經(jīng)注釋了數(shù)字載片之后圖6的注釋模塊⑶I的另一屏幕截圖。
[0021] 圖8是在執(zhí)行圖像配準(zhǔn)之后圖5的屏幕的另一屏幕截圖。
[0022] 圖9是注釋模塊GUI的屏幕截圖，在所圖示的實(shí)施例中該屏幕在已經(jīng)執(zhí)行了配準(zhǔn) 之后自動(dòng)打開。
[0023] 圖10是圖9的注釋模塊GUI的另一屏幕截圖，其顯示用于經(jīng)配準(zhǔn)的圖像的對(duì)的期 望視場(chǎng)（"F0V")。
[0024] 圖11是當(dāng)用戶選擇圖8中所示的主屏幕的圖像配準(zhǔn)標(biāo)簽之下的顯示按鈕310時(shí) 打開的窗口的屏幕截圖。
[0025]圖12是圖示了依照本公開的由圖像分析軟件程序?qū)嵤┑姆椒ǖ膶?shí)施例的流程 圖。
[0026]圖13圖示了依照本公開的可作為圖像分析程序的一部分的粗配準(zhǔn)過程的實(shí)施例 的基本步驟。
[0027] 圖14圖示了圖13的粗配準(zhǔn)過程的實(shí)施例的基本步驟之一的進(jìn)一步細(xì)節(jié)。
[0028] 圖15圖示了HE圖像及其對(duì)應(yīng)的軟加權(quán)前景圖像。
[0029] 圖16圖示了用于圖15的H通道圖像的圖14的軟加權(quán)過程的實(shí)施例。
[0030] 圖I7a-C圖示了IHC圖像及其對(duì)應(yīng)的軟加權(quán)前景圖像，以及圖13的粗配準(zhǔn)過程的 實(shí)施例的基本步驟之一的細(xì)節(jié)。
[0031] 圖18圖示了用于圖I7a-C的IHC圖像的圖14的軟加權(quán)過程的實(shí)施例。
[0032] 圖19圖示了軟加權(quán)前景HE圖像及其對(duì)應(yīng)的邊緣圖，以及軟加權(quán)前景IHC圖像及 其對(duì)應(yīng)的邊緣圖。
[0033] 圖20圖示了經(jīng)變換的HE邊緣圖。
[0034]圖21是與八個(gè)變換條件中的每一個(gè)有關(guān)的倒角距離值的曲線圖的示例。
[0035] 圖22圖示了已經(jīng)使用已依照本公開的實(shí)施例計(jì)算的全局變換參數(shù)在公共網(wǎng)格上 對(duì)準(zhǔn)的HE圖像和IHC圖像。
[0036] 圖23圖示了僅在根據(jù)本公開的粗配準(zhǔn)過程之后將注釋從第一圖像映射到第二圖 像的結(jié)果。
[0037] 圖24圖示了依照本公開的細(xì)配準(zhǔn)過程的實(shí)施例的初始步驟。
[0038] 圖25圖示了圖24的細(xì)配準(zhǔn)過程的附加步驟。
【具體實(shí)施方式】
[0039] 本文提供一個(gè)或多個(gè)實(shí)施例的詳細(xì)描述。然而，要理解的是，根據(jù)本公開的設(shè)備、 系統(tǒng)和方法可以以各種形式體現(xiàn)。因此，本文所公開的特定細(xì)節(jié)不要被解釋為是限制性的， 而是作為用于權(quán)利要求和用于教導(dǎo)本領(lǐng)域技術(shù)人員以任何適當(dāng)?shù)姆绞讲捎帽驹O(shè)備、系統(tǒng)和 方法的代表性基礎(chǔ)。
[0040] 除非以其它方式限定，否則本文所使用的所有技術(shù)和科學(xué)術(shù)語具有與本公開所屬 領(lǐng)域普通技術(shù)人員通常理解的相同含義。在存在用于本文的術(shù)語的多個(gè)定義的情況下，除 非以其它方式陳述，否則本章節(jié)中的那些占優(yōu)勢(shì)。
[0041] 無論本文在哪里使用短語"例如"、"諸如"、"包括"等，都要理解到后面跟隨有短語 "并且沒有限制"，除非以其它方式明確陳述。類似地，"示例"、"示例性"等要理解成是非限 制性的。
[0042] 術(shù)語"基本上"允許不負(fù)面地影響所意圖的目的的從描述符的偏離。描