述性術(shù)語 被理解為被術(shù)語"基本上"所修飾，即使詞語"基本上"并未被明確記載。
[0043] 術(shù)語"大約"意指計及由于實驗誤差所致的變化。所有測量或數(shù)字隱含地被理解 為被詞語"大約"修飾，即使測量或數(shù)字未被詞語"大約"明確修飾。
[0044] 術(shù)語"包括有"和"包含有"以及"具有著"和"涉及著"等可互換地使用并且具有 相同含義。類似地，"包括"、"包含"、"具有"和"涉及"等可互換地使用并且具有相同含義。 具體地，每一個術(shù)語被定義為與一般美國專利法對"包括"的定義一致并且因此解釋成意指 "至少以下"的開放性術(shù)語，并且還不解釋成排除附加的特征、限制、方法等。因此，例如，"具 有組件a，b和c的設(shè)備"意指設(shè)備至少包括組件a，b和c。類似地，短語："涉及步驟a，b 和c的方法"意指該方法至少包括步驟a，b和c。
[0045] 無論術(shù)語"一"或"一個"被使用在哪里，都理解成"一個或多個"，除非以其它方式 明確陳述或者這樣的解釋在上下文中不合理。
[0046] 術(shù)語"對準(zhǔn)"和"配準(zhǔn)"及其全部形式(例如，"對準(zhǔn)有"和"配準(zhǔn)有"）被可替換地使 用且當(dāng)結(jié)合術(shù)語"圖像"使用時意指相同事物。例如，短語"經(jīng)對準(zhǔn)的圖像"和"經(jīng)配準(zhǔn)的圖 像"被可替換地使用以描述已經(jīng)經(jīng)歷圖像配準(zhǔn)過程(例如粗配準(zhǔn)和/或細(xì)配準(zhǔn)過程）的數(shù)字 圖像。
[0047] 本公開涉及數(shù)字病理學(xué)并提供了用于數(shù)字組織圖像分析的計算機實現(xiàn)的設(shè)備、系 統(tǒng)和方法。在一些實施例中，該設(shè)備、系統(tǒng)和方法被實現(xiàn)在獨立工作站(其可以包括用于訪 問互聯(lián)網(wǎng)的調(diào)制解調(diào)器）上。在一些實施例中，該設(shè)備、系統(tǒng)和方法可以被實現(xiàn)在計算機網(wǎng) 絡(luò)之上。
[0048] 無論被實現(xiàn)在獨立工作站上還是網(wǎng)絡(luò)之上，根據(jù)本公開的系統(tǒng)都可以包括以下硬 件組件中的至少一些：計算機，包括用于顯示圖像和/或結(jié)果的輸出設(shè)備(諸如監(jiān)視器）和 用于與軟件程序交互的一個或多個輸入設(shè)備(諸如鍵盤和鼠標(biāo)或軌跡球）；以及用于執(zhí)行軟 件程序的處理器。該系統(tǒng)還可以包括用于存儲數(shù)字圖像文件集合的存儲設(shè)備，其中每一個 集合包括單個患者的相同組織的鄰近組織切片的一個或多個完整載片圖像。相比于集合中 的另一數(shù)字圖像文件，集合中的每一個數(shù)字圖像文件可以從使用不同的成像模式(例如明 場顯微術(shù)和熒光顯微術(shù)）的玻璃載片或其中使用不同的染色劑(例如HE、IHC染色劑）制備 了組織切片的玻璃載片或這二者生成。存儲設(shè)備可以是計算機自身的一部分，或者其可以 是諸如網(wǎng)絡(luò)可訪問存儲設(shè)備之類的單獨設(shè)備。該系統(tǒng)還可以包括用于從玻璃載片產(chǎn)生數(shù)字 圖像文件的掃描儀。在本公開的范圍內(nèi)的某些實施例中，將生物試樣(其可以是或者可以不 是組織試樣)放置在襯底上，該襯底可以是或者可以不是玻璃或顯微鏡載片。在本公開的范 圍內(nèi)的某些實施例中，被成像和比較的生物試樣(例如組織試樣）可以不源自患者的相同切 片或區(qū)塊。在本公開的范圍內(nèi)的某些實施例中，被配準(zhǔn)且可用于依照本公開的范圍內(nèi)的方 法使用的數(shù)字圖像可以是來自單個患者的非鄰近組織切片的圖像。在本公開的范圍內(nèi)的某 些實施例中，被配準(zhǔn)且可用于依照本公開的范圍內(nèi)的方法使用的數(shù)字圖像可以是來自不同 患者的生物試樣的圖像。
[0049] 無論被實現(xiàn)在獨立工作站上還是網(wǎng)絡(luò)之上，該系統(tǒng)都還可以包括以下軟件組件： 包括配準(zhǔn)模塊(其可以包括粗配準(zhǔn)模塊和/或細(xì)配準(zhǔn)模塊)、注釋模塊或這二者的圖像分析 程序。配準(zhǔn)模塊當(dāng)由處理器執(zhí)行時導(dǎo)致對準(zhǔn)鄰近組織切片的數(shù)字圖像集合中的至少兩個數(shù) 字圖像，從而創(chuàng)建經(jīng)對準(zhǔn)的數(shù)字圖像的集合。注釋模塊當(dāng)由處理器執(zhí)行時導(dǎo)致將鄰近組織 切片的數(shù)字圖像集合中的至少一個數(shù)字圖像上的注釋映射到集合中的至少另一個數(shù)字圖 像。在一些實施例中，注釋模塊當(dāng)由處理器執(zhí)行時導(dǎo)致注釋至少一個數(shù)字圖像和/或?qū)⒅?少一個數(shù)字圖像上的注釋映射到至少另一個數(shù)字圖像。在一些實施例中，配準(zhǔn)模塊與注釋 模炔基本上同時執(zhí)行。例如，將注釋從一個載片映射到另一載片的請求使處理器既對準(zhǔn)又 將注釋從至少一個圖像映射到至少另一個圖像。在一些實施例中，注釋可以預(yù)存在于源圖 像上。在一些實施例中，注釋是通過例如將圖像選擇為源圖像并且使用圖像分析程序注釋 該圖像而在圖像分析程序中由用戶生成。在一些實施例中，配準(zhǔn)模塊在注釋模塊之前執(zhí)行。 例如，注釋模塊當(dāng)由處理器執(zhí)行時導(dǎo)致將注釋從作為經(jīng)對準(zhǔn)的圖像的集合的一部分的至少 一個數(shù)字圖像映射到作為經(jīng)對準(zhǔn)的圖像的集合的一部分的至少一個其它數(shù)字圖像。該系統(tǒng) 還包括圖像查看模塊，其可以是圖像分析程序的一部分，并使得用戶能夠訪問一個或多個 數(shù)字圖像文件，在(一個或多個）監(jiān)視器上查看文件，并在一些實施例中使用客戶端用戶接 口操縱數(shù)字載片。在本發(fā)明的示例性實施例中，用戶可以經(jīng)由計算機接口或計算機輸入設(shè) 備手動編輯和/或調(diào)整由注釋模塊生成的注釋(例如注釋的位置、尺寸和形狀)。
[0050] 根據(jù)本公開的計算機實現(xiàn)的方法包括：用于基于組織結(jié)構(gòu)對準(zhǔn)來自單個患者的相 同組織區(qū)塊、切片或樣品的至少兩個數(shù)字圖像從而導(dǎo)致經(jīng)對準(zhǔn)的數(shù)字圖像的集合的計算機 實現(xiàn)的配準(zhǔn)過程，其中集合中的每一個數(shù)字圖像可以從使用相比于集合中的其它數(shù)字圖像 而言不同的染色劑、不同的成像模式或這二者獲得的圖像導(dǎo)出；以及用于將經(jīng)對準(zhǔn)的數(shù)字 圖像的集合中的至少一個數(shù)字圖像上的注釋映射到經(jīng)對準(zhǔn)的數(shù)字圖像的集合中的至少另 一個數(shù)字圖像的計算機實現(xiàn)的映射過程。在一些實施例中，圖像配準(zhǔn)過程和注釋過程基本 上同延地（coextensively)發(fā)生。例如，將注釋從一個數(shù)字載片映射到另一個的指令導(dǎo)致既 對準(zhǔn)載片又注釋載片，例如注釋指令導(dǎo)致首先對準(zhǔn)圖像且然后將注釋從一個圖像轉(zhuǎn)移到另 一圖像。在一些實施例中，圖像配準(zhǔn)過程首先發(fā)生，并且注釋過程通過首先選擇至少一對經(jīng) 配準(zhǔn)的圖像且接著注釋該至少一對經(jīng)配準(zhǔn)的圖像中的至少一個圖像而發(fā)起。在一些實施例 中，配準(zhǔn)過程包括粗配準(zhǔn)過程。在一些實施例中，配準(zhǔn)過程包括粗配準(zhǔn)過程和細(xì)配準(zhǔn)過程。 在另外的實施例中，源圖像的注釋在使用細(xì)配準(zhǔn)模塊之前和/或在使用粗配準(zhǔn)過程之前完 成。因此，例如，在其中用戶期望同時查看源和目標(biāo)圖像二者的一些實施例中，粗配準(zhǔn)過程 可以被調(diào)用以執(zhí)行這兩個圖像的全局配準(zhǔn)，而不需要任何特定注釋。在其中用戶期望將源 圖像的用戶標(biāo)記的注釋返回到目標(biāo)圖像的一些實施例中，可以調(diào)用細(xì)配準(zhǔn)過程，例如在接 近用戶注釋的區(qū)域中，以便相比于僅僅依靠粗配準(zhǔn)，改進(jìn)源和目標(biāo)圖像的對準(zhǔn)。
[0051] 在一些實施例中，粗配準(zhǔn)過程可以涉及選擇用于對準(zhǔn)的數(shù)字圖像，從每一個所選 數(shù)字圖像生成灰度級圖像，以及在結(jié)果得到的灰度級圖像之間匹配組織結(jié)構(gòu)。在另外的實 施例中，生成灰度級圖像涉及從染色的組織切片的完整載片圖像生成軟加權(quán)前景圖像。在 其它實施例中，匹配組織結(jié)構(gòu)涉及從每一個結(jié)果得到的灰度級圖像提取組織邊緣二值圖并 且計算用于對準(zhǔn)組織邊緣二值圖的全局變換參數(shù)。在一些實施例中，使用基于矩的映射方 法來計算全局變換參數(shù)以生成第一二值組織邊緣圖和第二二值組織邊緣圖之間的仿射映 射。在又一些實施例中，粗配準(zhǔn)過程包括基于全局變換參數(shù)將所選數(shù)字圖像映射到公共網(wǎng) 格，該網(wǎng)格可以涵蓋所選數(shù)字圖像。在一些實施例中，細(xì)配準(zhǔn)過程可以涉及：識別經(jīng)對準(zhǔn)的 數(shù)字圖像的集合中的第一數(shù)字圖像的第一子區(qū)，例如包括注釋的子區(qū)；識別經(jīng)對準(zhǔn)的數(shù)字 圖像的集合中的第二數(shù)字圖像上的第二子區(qū)，其中第二子區(qū)大于第一子區(qū)并且第一子區(qū)基 本上位于公共網(wǎng)格上的第二子區(qū)內(nèi)；以及計算用于第二子區(qū)中的第一子區(qū)的優(yōu)化位置。
[0052] 在一些實施例中，映射過程可以涉及在粗配準(zhǔn)過程之后注釋經(jīng)對準(zhǔn)的圖像的集合 中的第一數(shù)字圖像并且將注釋映射到經(jīng)對準(zhǔn)的數(shù)字圖像的集合中的第二數(shù)字圖像。在另外 的實施例中，注釋的位置基于細(xì)配準(zhǔn)過程的結(jié)果而細(xì)化。
[0053] 現(xiàn)在參照附圖，其中相似的附圖標(biāo)記自始至終是指相似的部分，圖1是其中可實 現(xiàn)根據(jù)本公開的設(shè)備、系統(tǒng)和方法的醫(yī)學(xué)成像工作站系統(tǒng)10的實施例的遠(yuǎn)景圖示。如所 示，醫(yī)學(xué)成像工作站系統(tǒng)10包括：具有用于諸如處理器("CPU"）（未示出）、存儲設(shè)備(未示 出）、圖形處理單元("GPU"）（未示出）和可選地調(diào)制解調(diào)器(未示出）之類的硬件組件30的 外殼的計算機20 ;第一輸出設(shè)備，其在所圖示的示例中為監(jiān)視器40 ;第一用戶輸入設(shè)備，其 在所圖示的示例中為鍵盤50 ;以及第二用戶輸入設(shè)備，其在所圖示的示例中為諸如軌跡球 或鼠標(biāo)60之類的用于與顯示器交互的定點設(shè)備。如本領(lǐng)域中已知的，盡管計算機20、硬件 組件30、監(jiān)視器40和用戶輸入設(shè)備50、60被圖示為分離的組件，但是它們可以集成在較少 部分中，諸如它們可以全部集成在膝上型計算機的形式中。醫(yī)學(xué)成像工作站系統(tǒng)10還可以 包括附加外圍設(shè)備，諸如：第三輸入設(shè)備，其在所圖示的示例中為載片掃描儀70 ;第二輸出 設(shè)備，其在所圖示的示例中為打印機80 ;備用電力供給90 ;和外部存儲設(shè)備(未示出）；除了 被已知為與計算機實現(xiàn)的醫(yī)學(xué)成像系統(tǒng)相關(guān)聯(lián)的其它設(shè)備之外。在一些實施例中，醫(yī)學(xué)成 像工作站系統(tǒng)10可以包括多于一個監(jiān)視器40以便于多個數(shù)字組織圖像在多個屏幕上的同 時查看。如本領(lǐng)域技術(shù)人員所領(lǐng)會的，具體組件可以隨技術(shù)改變而改變。例如，外圍定點設(shè) 備可能不是必需的，如果屏幕響應(yīng)于用戶的手指或語音命令的話。
[0054] 醫(yī)學(xué)成像工作站系統(tǒng)10還包括諸如包括配準(zhǔn)模塊、注釋模塊或這二者以及可作 為圖像分析程序的一部分的圖像查看模塊的圖像分析程序之類的軟件組件。軟件組件可以 是一個或多個文件，其存儲在存儲設(shè)備上(例如，軟件組件可以存儲在內(nèi)部硬驅(qū)動器上）和 /或軟件組件可以存儲在諸如DVD、CD或存儲器卡之類的存儲器盤上，該存儲器盤可以當(dāng)存 儲器盤通過存儲器盤接收端口 25而被插入到外殼30中時由處理器訪問。
[0055]CPU在操作上連接到各種外圍設(shè)備和硬件組件，包括存儲設(shè)備和GPU。存儲設(shè)備可 以暫時地或永久地存儲數(shù)字圖像的集合，其可以被導(dǎo)入到系統(tǒng)中，例如通過掃描設(shè)備。數(shù)字 圖像的集合包括單個患者的鄰近組織切片的一個或多個數(shù)字圖像，其中每一個圖像可以使 用相比于另一圖像而言不同的染色劑/標(biāo)簽物/標(biāo)記物、不同的成像模式或這二者而獲得。 GPU處理來自圖像顯示程序和圖像分析程序(其可以被組合在單個程序中）的指令。當(dāng)例如 由GPU執(zhí)行時，圖像顯示程序可以給監(jiān)視器40上的窗口化圖形用戶接口（"⑶I"）提供多個 窗口，使得用戶可以與GUI交互以提供導(dǎo)致諸如例如CPU之類的處理器執(zhí)行圖像分析程序 的一個或多個方面的指令，和/或可以導(dǎo)致以其原生(原始掃描的）格式或如圖像分析程序 所修改的那樣在一個或多個監(jiān)視器40上顯示一個或多個所存儲的數(shù)字圖像。如之前提到 的，圖像分析程序包括配準(zhǔn)模塊和注釋模塊。當(dāng)例如由CPU執(zhí)行時，配準(zhǔn)模塊導(dǎo)致基于組織 結(jié)構(gòu)在公共網(wǎng)格上對準(zhǔn)至少兩個所存儲的數(shù)字圖像，甚至是使用不同染色劑、不同成像模 式或這二者獲得的所存儲的數(shù)字圖像，從而創(chuàng)建經(jīng)對準(zhǔn)的圖像的集合。當(dāng)例如由CPU執(zhí)行 時，注釋模塊導(dǎo)致將注釋從經(jīng)對準(zhǔn)的圖像的集合中的一個數(shù)字圖像映射到經(jīng)對準(zhǔn)的圖像的 集合中的至少另一個數(shù)字圖像。
[0056]圖2是圖示了其中可實現(xiàn)根據(jù)本公開的設(shè)備、系統(tǒng)和方法的聯(lián)網(wǎng)系統(tǒng)的實施例的 網(wǎng)絡(luò)圖。如所示，系統(tǒng)200包括數(shù)據(jù)庫服務(wù)器210和網(wǎng)絡(luò)可訪問存儲設(shè)備215,其中的每一 個連接到網(wǎng)絡(luò)220。存儲設(shè)備215存儲數(shù)字圖像集合，其中每一個集合包括單個患者的鄰近 組織切片的一個或多個數(shù)字圖像。集合中的每一個圖像可以通過使用相比于集合中的另一 個圖像而言不同的染色劑、不同的成像模式或這二者而獲得。一個或多個客戶端計算機230 (其可以具有相關(guān)聯(lián)的輸入和輸出設(shè)備，諸如鍵盤232、鼠標(biāo)(未示出）和打印機(未示出））也 通過本領(lǐng)域中已知的任何手段(例如專用連接、DSL或線纜調(diào)制解調(diào)器、無線互聯(lián)網(wǎng)連接、撥 號調(diào)制解調(diào)器等）連接到網(wǎng)絡(luò)220?？蛻舳擞嬎銠C230包括用于訪問所存儲的設(shè)備215中 的數(shù)字圖像的網(wǎng)頁瀏覽器。在本發(fā)明的示例性實施例中，云存儲可以用于存儲數(shù)字圖像。
[0057] 客戶端計算機230包括被配置成執(zhí)行涉及圖像分析程序的指令的至少一個處理 器。圖像分析程序可以被從服務(wù)器210下載到客戶端計算機230。圖像分析程序可以包括 圖像查看器模塊，其提供客戶端用戶接口，使得當(dāng)被執(zhí)行時，圖像查看器模塊可以提供具有 多個窗口的窗口化GUI，其使得用戶能夠提供導(dǎo)致處理器執(zhí)行圖像分析程序的一個或多個 方面的指令，和/或可以導(dǎo)致以其原始掃描的格式或如圖像分析程序所修改的那樣顯示一 個或多個所存儲的數(shù)字圖像。圖像分析程序使得用戶能夠在從單個患者的組織切片獲得的 圖像集合中選擇用于對準(zhǔn)(配準(zhǔn)）的圖像，但是其中集合中的每一個圖像可能已經(jīng)使用相比 于集合中的其它圖像而言不同的染色劑或不同的模式或這二者做出。圖像分析程序還使得 用戶能夠注釋數(shù)字圖像集合中的一個或多個所選數(shù)字圖像并使那些注釋映射到數(shù)字圖像 集合中的一個或多個其它數(shù)字圖像。