基于dbnmi模型實現遙感影像自動標注的方法
【專利摘要】本發(fā)明涉及一種基于DBNMI模型實現遙感影像自動標注的方法，其中包括對初始輸入遙感影像進行自適應分割，粗粒度劃分遙感影像背景區(qū)域和對象區(qū)域；針對劃分出的遙感影像的對象區(qū)域，利用多示例多標簽技術表示；針對遙感影像的對象區(qū)域的低層視覺特征和高層語義概念間關系，基于DBNMI模型進行自動建模；定量計算標注詞間共現和對立的語義關系。采用該種基于DBNMI模型實現遙感影像自動標注的方法，針對海洋遙感影像語義標注任務感興趣的區(qū)域僅占影像很小一部分，提出一種基于DBNMI的遙感影像語義自動標注模型，有效提高影像自動標注的精度，具有更廣泛的應用范圍。
【專利說明】
基于DBNMI模型實現遙感影像自動標注的方法
技術領域
[0001] 本發(fā)明涉及圖像處理技術領域，尤其涉及海洋遙感影響標注技術領域，具體是指 一種基于DBNMI模型實現遙感影像自動標注的方法。
【背景技術】
[0002] 遙感影像語義自動標注是讓機器通過學習已知語義標簽的影像示例，然后使用語 義概念表示一副未標注遙感影像的內容。隨著多顆海洋遙感衛(wèi)星的發(fā)射（如SeaStar、 GEOSAT、ERS-n、HY-I到HY-3等衛(wèi)星），海洋遙感影像數量爆炸性增長。通過遙感影像語義標 注，可以實現遙感影像數據分析、索引和檢索等任務，高效利用遙感影像。人工標注的方法 存在主觀性和不精確性，費時費力，已不能滿足當今"大數據"時代。機器學習等理論的發(fā) 展，使得遙感影像語義自動標注成為一大研究方向。
[0003] 現有遙感影像語義標注方法主要從以下方面著手:特征提取、分類模型、高層語義 劃分層次等。Bratasanu等人提出一種將相同語義概念的像素組合到一起的映射方式，完成 無語義底層特征到光譜語義索引映射再到人類理解的高層語義的映射。Lignou等人對每個 概念給定一個訓練集，利用最大似然方法給未知圖像分配概率，基于潛在狄利克雷分配模 型（Latent Dirichlet Allocation,簡稱LDA)模型進行學習。Chen等人在第一層利用多示 例多標簽學習（multi-instance multi-label learning ,MIML)框架進行高分辨率遙感影 像標注，第二層采用多尺度分層語義信息模擬示例在MML的空間關系，第三層利用非參數 概率模型合并可能的類。楊陽等人提出改進的深度學習模型，將圖像的標注信息視為圖像 的類別信息，對圖像特征關注不足。由于語義鴻溝的存在，影像語義的自動標注性能亟待提 尚。
[0004] 遙感影像具有豐富的空間結構信息和地理特征信息，而海洋遙感影像語義標注任 務感興趣的區(qū)域僅占影像很小一部分。一副遙感影像的不同區(qū)域對語義相似性度量的貢獻 程度不同，海洋遙感影像中"對象區(qū)域"比"背景區(qū)域"的貢獻要大很多，現有工作對海洋遙 感影像結構的復雜性考慮不多。遙感影像標注詞匯之間存在著多種多樣的語義層次和關 系，包括相近、對立、包容等。比如，一副遙感影像已被標注為"輪船"、"海水"等詞匯后，"港 口"作為該影像標注詞匯的概率就會相應提升。

【發(fā)明內容】

[0005] 本發(fā)明的目的是克服了上述現有技術的缺點，提供了一種能夠實現針對海洋遙感 影像語義標注任務感興趣的區(qū)域僅占影像很小一部分、提高了海洋遙感影像自動標注的精 度的基于DBNMI模型實現遙感影像自動標注的方法。
[0006] 為了實現上述目的，本發(fā)明具有如下構成：
[0007]該基于DB匪I模型實現遙感影像自動標注的方法，其主要特點是，所述的方法包括 以下步驟：
[0008] (1)對初始輸入遙感影像進行自適應分割，粗粒度劃分遙感影像背景區(qū)域和對象 區(qū)域；
[0009] (2)針對劃分出的遙感影像的對象區(qū)域，利用多示例多標簽技術表示；
[0010] (3)針對遙感影像的對象區(qū)域的低層視覺特征和高層語義概念間關系，基于DB匪I 模型進行自動建模；
[0011] (4)定量計算標注詞間共現和對立的語義關系。
[0012] 較佳地，所述的遙感影像為海洋遙感影像。
[0013] 較佳地，所述的步驟(1 )，包括以下步驟：
[0014] (1-1)利用小波變換產生多分辨率影像的金字塔形式；
[0015] (1-2)自適應構建不同尺度的影像信息等級結構；
[0016] (1-3)根據影像場景復雜性選擇合適的分割尺度，對遙感影像進行分割。
[0017] 較佳地，所述的步驟(2)，包括以下步驟：
[0018] (2-1)采用(X1,L1)表示一幅遙感影像，其中X 1= Ix11A2,…，Xlm}表示示例空間，m 是示例個數，Li= {li1，li2，···，lin}表示標簽集，η標簽個數；
[0019] (2-2)每幅遙感影像在不同空間尺度中作為一個包，相關的分割區(qū)域視為示例，其 中第i層用包Bi= {xil，Xi2，···，Xim}表示；
[0020] (2-3)設置閾值t，計算背景區(qū)域與對象區(qū)域相似度s，判斷s和t的大小關系，如果s 大于預設閾值t時，則第i層包需要繼續(xù)劃分，否則第i層包不需要繼續(xù)劃分。
[0021] 較佳地，所述的步驟(3 )，包括以下步驟：
[0022] (3-1)對遙感影像的對象區(qū)域進行特征提取，將提取出的特征作為DBN模型的第一 層，即輸入層；
[0023] (3_2)DBN模型對輸入數據進行逐層特征變換，將樣本在原空間的特征表示變換到 一個新特征空間；
[0024] (3-3)通過受限玻爾茲曼機獲得從底層特征到高層語義表達最佳的權值，利用反 向傳播網絡對深度信念網絡進行調優(yōu)。
[0025] 較佳地，所述的步驟(4)，包括以下步驟：
[0026] (4-1)當F(Bi，L) = 1時，W M表示標注詞間共現關系，其中Bi為第i個 包，L代表語義標簽集，表示包仏中含有標簽1，則該包可以選擇該標簽所屬語義標簽集L中 的其他標簽；
[0027] (4-2)當F(Bi,Li，L2) = 1時，ν/ι € VW2 ei2，Count(Bi，1ι)^1，Δ (Bi，l2) = 0，表示 標注詞間對立關系，其中語義標簽集L1，L2屬于對立關系，包Bi中含有標簽I 1，則該包可以選 擇該標簽所屬語義標簽集L1中的其他標簽，但不能選擇語義標簽集L2中的標簽。
[0028] 較佳地，所述的方法在Matlab實驗平臺上進行。
[0029]采用了該發(fā)明中的基于DB匪I模型實現遙感影像自動標注的方法，針對海洋遙感 影像語義標注任務感興趣的區(qū)域僅占影像很小一部分，提出一種基于DBNMK深度信念網絡 多示例）的遙感影像語義自動標注模型，對初始輸入遙感影像進行自適應分割，粗粒度劃分 海洋遙感影像背景區(qū)域和對象區(qū)域，針對影像對象區(qū)域的低層視覺特征和高層語義概念間 關系，基于受限玻爾茲曼機的深度信念網絡模型進行自動建模，定量計算標注詞間共現和 對立的語義關系，有效提高影像自動標注的精度，具有更廣泛的應用范圍。
【附圖說明】
[0030] 圖1為本發(fā)明的各個分割區(qū)域的示意圖。
[0031] 圖2為本發(fā)明的利用反向傳播網絡對深度信念網絡進行調優(yōu)的流程圖。
[0032] 圖3為本發(fā)明的通過學習到的標注模型完成新影像的語義標注的流程圖。
[0033] 圖4為本發(fā)明的遙感影像自動標注的方法的流程圖。
【具體實施方式】
[0034]為了能夠更清楚地描述本發(fā)明的技術內容，下面結合具體實施例來進行進一步的 描述。
[0035] 本發(fā)明解決上述問題所采用的技術方案是，具體步驟如下：
[0036] 步驟一，對初始輸入海洋遙感影像進行自適應分割，粗粒度劃分遙感影像背景區(qū) 域和對象區(qū)域；
[0037] 步驟二，針對劃分出的海洋遙感影像的對象區(qū)域，利用多示例表示；
[0038] 步驟三，針對遙感影像對象區(qū)域的低層視覺特征和高層語義概念間關系，基于 DBWI模型進行自動建模；
[0039] 步驟四，定量計算標注詞間共現和對立的語義關系。
[0040] 在一種較佳的實施方式中，步驟一中利用小波變換產生多分辨率影像的金字塔形 式，自適應構建不同尺度的影像信息等級結構，實現遙感影像信息在不同尺度層之間的傳 遞。其實現方式如下，
[0041]根據影像場景復雜性選擇合適的分割尺度，簡單場景選擇大的尺度，復雜場景選 擇小的尺度；
[0042]小波變換能提供影像在不同分辨率下的表達，實現影像按照不同尺度和位移的分 解。
[0043]在一種較佳的實施方式中，步驟二中利用多示例多標簽(M頂L)技術表示海洋遙感 影像對象區(qū)域，其實現方式如下，
[0044] 采用(Xi,Li)表示一幅遙感影像，其中Xi= {xi1 ,Xi2,…，xim}表示示例空間，m是示例 個數，Li= Ili1JiV"，lin}表示標簽集，η標簽個數；
[0045] 每幅影像在不同空間尺度中作為一個包（bag)，相關的分割區(qū)域視為示例 (instances)，其中第i層用包Bi= {Xii，Xi2，···，xim}。自適應設置閾值t，計算背景區(qū)域與對 象區(qū)域相似度s，若s大于預設閾值t時，第i層包需要繼續(xù)劃分，小于閾值t時則不需要。
[0046] 而且，步驟三中針對影像對象區(qū)域的低層視覺特征和高層語義概念間關系，基于 DB匪I模型進行自動建模，其實現方式如下，
[0047] 對通過小波變換生成的遙感影像對象區(qū)域進行特征提取，將提取出的特征作為 DBN的第一層，即輸入層；
[0048] DBN模型對輸入數據進行逐層特征變換，將樣本在原空間的特征表示變換到一個 新特征空間；
[0049]通過受限玻爾茲曼機獲得從底層特征到高層語義表達最佳的權值，利用反向傳播 網絡對深度信念網絡進行調優(yōu)，實現基于受限玻爾茲曼機的深度信念網絡模型自動標注。
[0050] 在一種較佳的實施方式中，步驟四中定量計算標注詞間共現和對立的語義關系， 其實現方式如下，
[0051] 當F (B i，L) = 1時，W _e_4, /) 21_表示標注詞間共現關系。其中B i為第i個包，L 代表語義標簽集。表示包仏中含有標簽1，則該包可以選擇該標簽所屬語義標簽集L中的其 他標簽；
[0052] 當F(Bi，Li，L2) = 1時，wi eA，W2 ei2，c〇unt(Bi, Ii)彡1，Δ (Bi, 12) = 0,表示標注詞 間對立關系。其中語義標簽集L1 ,L2屬于對立關系，包Bi中含有標簽I1，則該包可以選擇該標 簽所屬語義標簽集L 1中的其他標簽，但不能選擇語義標簽集L2中的標簽。
[0053]下面以一個具體實施例來進一步介紹本發(fā)明：
[0054] 本發(fā)明在Matlab2013a實驗平臺上進行實現，主要包括三個步驟，具體如下：
[0055] 每幅遙感影像利用小波金字塔方法進行3層分辨率預處理，得到不同分辨率尺度 下的影像；
[0056] 在不同空間尺度上對遙感影像進行粗粒度分割，影像視為包，相關的分割區(qū)域視 為示例，每個包由2-10個示例組成，如圖1所示。其中第i層用包Bi = {xu，xi2,…，xim}表示。 設置閾值t，計算背景區(qū)域與對象區(qū)域相似度s，若s大于預設閾值t時，第i層包需要繼續(xù)劃 分，小于閾值t時則不需要。
[0057] 訓練集每一幅遙感影像用(Xi，U)表示，其中&={。#2，~，以}表示示例空間，!11 是示例個數，Li ={ Ii1，Ii2，…，Iin}表示標簽集，η標簽個數。旨在從訓練集中得到一個函數： 這里輸入是一幅遙感影像產生的示例空間X 1，輸出是該幅遙感影像對應的標 簽集U。
[0058]將每一幅遙感影像提取出的特征數據，組合成一維向量。所有訓練集影像特征數 據組合成矩陣，每一行代表一副遙感影像的提取的特征。將矩陣所有值按行歸一化至[0，1] 范圍，作為DBN模型的第一層，即輸入層。
[0059]當給定可見層節(jié)點的狀態(tài)時，各個隱含層節(jié)點的激活狀態(tài)之間是相互獨立的，即： 灘* IV) =TTf (A/h，)。當給定隱含層節(jié)點的狀態(tài)時，各個可見層節(jié)點的激活狀態(tài)之間是相互 獨立的，即：尸(十> =Τ?'(ν; IΛ),受限玻爾茲曼機的可見層輸入為Ve {〇，1}二元變量，假設 每個神經元遵循伯努利分布，定義該模型的能量函數如下:你 其中0 = {a，b，W}是模型的參數?？傻玫?v，h)的聯合概率分布為 為歸一化常數。
[0060] 對輸入數據進行逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空 間；通過受限玻爾茲曼機獲得從底層特征到高層語義表達最佳的權值，利用反向傳播網絡 對深度信念網絡進行調優(yōu)，采用迭代的方式進行訓練，目標在于學習出參數9 = {a，b，w}的 值，如圖2所示。
[0061] 對任意兩個標注詞同時出現的概率進行定量計算，用B1表示第i個包，L表示語義 標簽集，通過標注F(B i，L) = 1，表示標注詞間具有共現關系，即W e A C__,、/) M，表示包Bi 中含有標簽1，則該包可以選擇該標簽所屬語義標簽集L中的其他標簽；
[0062] 對任意兩個標注詞不會同時出現的概率進行定量計算，用B1表示第i個包，語義標 簽集Li，L2屬于對立關系，通過標注F(Bi ,Li，L2) = 1，表示標注詞間具有對立關系，即 ▽A ei^VVeJ^Count(BiJ1)彡1，Δ (Bi, 12)=〇,包Bi中含有標簽I1JlJ該包可以選擇該標簽 所屬語義標簽集1^中的其他標簽，但不能選擇語義標簽集L2中的標簽。
[0063]本發(fā)明提出一種基于深度信念網絡多示例（DB匪I)的遙感影像語義自動標注模 型，旨在提高標注的精度。實現過程如圖3所示，利用訓練集影像對低層視覺特征和高層語 義概念關系進行自動建模，通過學習到的標注模型完成新影像的語義標注。
[0064]采用了該發(fā)明中的基于DBNMI模型實現遙感影像自動標注的方法，針對海洋遙感 影像語義標注任務感興趣的區(qū)域僅占影像很小一部分，提出一種基于深度信念網絡多示例 的遙感影像語義自動標注模型，對初始輸入遙感影像進行自適應分割，粗粒度劃分海洋遙 感影像背景區(qū)域和對象區(qū)域，針對影像對象區(qū)域的低層視覺特征和高層語義概念間關系， 基于受限玻爾茲曼機的深度信念網絡模型進行自動建模，定量計算標注詞間共現和對立的 語義關系，有效提高影像自動標注的精度，具有更廣泛的應用范圍。
[0065]在此說明書中，本發(fā)明已參照其特定的實施例作了描述。但是，很顯然仍可以作出 各種修改和變換而不背離本發(fā)明的精神和范圍。因此，說明書和附圖應被認為是說明性的 而非限制性的。
【主權項】
1. 一種基于DBNMI模型實現遙感影像自動標注的方法，其特征在于，所述的方法包括以 下步驟： (1) 對初始輸入遙感影像進行自適應分割，粗粒度劃分遙感影像背景區(qū)域和對象區(qū)域； (2) 針對劃分出的遙感影像的對象區(qū)域，利用多示例多標簽技術表示； (3) 針對遙感影像的對象區(qū)域的低層視覺特征和高層語義概念間關系，基于DBNMI模型 進行自動建模； (4) 定量計算標注詞間共現和對立的語義關系。2. 根據權利要求1所述的基于DBNMI模型實現遙感影像自動標注的方法，其特征在于， 所述的遙感影像為海洋遙感影像。3. 根據權利要求1所述的基于DBNMI模型實現遙感影像自動標注的方法，其特征在于， 所述的步驟(1)，包括以下步驟： (1-1)利用小波變換產生多分辨率影像的金字塔形式； (1-2)自適應構建不同尺度的影像信息等級結構； (1-3)根據影像場景復雜性選擇合適的分割尺度，對遙感影像進行分割。4. 根據權利要求1所述的基于DBNMI模型實現遙感影像自動標注的方法，其特征在于， 所述的步驟(2)，包括以下步驟： (2-1)采用(Xi，Li)表示一幅遙感影像，其中Xi = {xi^xi2,…，xim}表示示例空間，m是示 例個數，U = {1 i1，1 i2，…，1 in}表示標簽集，η標簽個數； (2-2)每幅遙感影像在不同空間尺度中作為一個包，相關的分割區(qū)域視為示例，其中第 i層用包Bi= {xil，Xi2，···，Xim}表示； (2-3)設置閾值t，計算背景區(qū)域與對象區(qū)域相似度S，判斷S和t的大小關系，如果S大于 預設閾值t時，則第i層包需要繼續(xù)劃分，否則第i層包不需要繼續(xù)劃分。5. 根據權利要求1所述的基于DBNMI模型實現遙感影像自動標注的方法，其特征在于， 所述的步驟(3)，包括以下步驟： (3-1)對遙感影像的對象區(qū)域進行特征提取，將提取出的特征作為DBN模型的第一層， 即輸入層； (3-2)DBN模型對輸入數據進行逐層特征變換，將樣本在原空間的特征表示變換到一個 新特征空間； (3-3)通過受限玻爾茲曼機獲得從底層特征到高層語義表達最佳的權值，利用反向傳 播網絡對深度信念網絡進行調優(yōu)。6. 根據權利要求1所述的基于DBNMI模型實現遙感影像自動標注的方法，其特征在于， 所述的步驟(4)，包括以下步驟： (4-1)當F(Bi，L) = 1時，V/ s二(：_吵,、/) N表示標注詞間共現關系，其中Bi為第i個包，L 代表語義標簽集，表示包仏中含有標簽1，則該包可以選擇該標簽所屬語義標簽集L中的其 他標簽； (4-2)當F(Bi，Li，L2) = l時，v/i eii'v/2 e'2，Count(Bi，li)彡1，Δ (Bi，l2)=〇,表示標注詞 間對立關系，其中語義標簽集1^丄2屬于對立關系，包Bi中含有標簽h，則該包可以選擇該標 簽所屬語義標簽集Li中的其他標簽，但不能選擇語義標簽集L 2中的標簽。7. 根據權利要求1所述的基于DBNMI模型實現遙感影像自動標注的方法，其特征在于， 所述的方法在Matlab實驗平臺上進行。
【文檔編號】G06K9/62GK106056609SQ201610383452
【公開日】2016年10月26日
【申請日】2016年6月2日
【發(fā)明人】黃冬梅, 許瓊瓊, 杜艷玲, 賀琪, 朱建鋼, 田為民
【申請人】上海海洋大學