一種圖像局部不變特征的語義映射方法及語義映射系統(tǒng)的制作方法
【專利摘要】本發(fā)明適用于圖像處理【技術(shù)領(lǐng)域】，提供了一種圖像局部不變特征的語義映射方法，所述語義映射方法包括以下步驟：步驟A：對彩色圖像局部不變特征提取及描述；步驟B：提取局部不變特征后，基于監(jiān)督模糊譜聚類算法對彩色圖像提取的局部不變特征生成視覺詞典，所述視覺詞典包含有視覺特征與視覺單詞的隸屬關(guān)系;步驟C：根據(jù)步驟B生成的視覺詞典對步驟A提取的局部不變特征所隸屬圖像進(jìn)行語義映射以及圖像描述。采用所述的圖像局部不變特征的語義映射方法能消除語義鴻溝問題，提高圖像分類、圖像檢索以及目標(biāo)識別的準(zhǔn)確性，可以促進(jìn)機器視覺的理論和方法的發(fā)展。
【專利說明】一種圖像局部不變特征的語義映射方法及語義映射系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于圖像處理【技術(shù)領(lǐng)域】，尤其涉及一種圖像局部不變特征的語義映射方法及語義映射系統(tǒng)。
【背景技術(shù)】
[0002]隨著多媒體和互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，圖像資源與日俱增，如何讓計算機自動處理和分析這些海量數(shù)據(jù)已經(jīng)成為計算機視覺中的一個難題。由于計算機僅能對圖像的低層視覺特征，如顏色、紋理、形狀等進(jìn)行處理，而人類對圖像的理解總是從圖像表達(dá)的語義信息進(jìn)行理解。如果計算機像人類一樣能從圖像中提取和理解圖像的語義信息，那么計算機對圖像的自動分析與理解的難題將能得到很好的解決。因此，如何使計算機提取和理解圖像語義信息是計算機視覺領(lǐng)域一直關(guān)注的熱點問題。從圖像的低層特征提取語義已成為解決圖像低層視覺特征與高級語義之間存在著的差距即“語義鴻溝”的關(guān)鍵技術(shù)，它從圖像的本質(zhì)屬性中提取特征信息，通過低層特征信息到高層語義的傳遞、映射和融合過程，形成對圖像的語義的描述。圖像的語義映射技術(shù)已經(jīng)成為基于內(nèi)容的圖像分類、檢索、識別等技術(shù)的關(guān)鍵技術(shù)之一。
[0003]圖像的局部不變特征是指描述了圖像局部穩(wěn)定的特性并且具有良好的可區(qū)分性的特征，它的核心是不變性，也就是說在發(fā)生光照變化、旋轉(zhuǎn)、裁剪、縮放、視角等變化時，所提取的特征都不會發(fā)生變化，它對混疊和遮擋也具有很好的克服作用。目前較常用的有SIFT, SURF, SUSAN等等。正是由于圖像局部不變特征的這些優(yōu)良特性，它已經(jīng)被廣泛的應(yīng)用于圖像語義信息提取的研究中。
[0004]然而，圖像局部不變特征存在低層特征與高層語義之間的“語義鴻溝”，局部不變特征和圖像語義沒有直接的對應(yīng)關(guān)系。國內(nèi)外學(xué)者提出對局部不變特征的集合通過機器學(xué)習(xí)構(gòu)成視覺詞典，通過視覺詞典來實現(xiàn)語義信息的提取，已經(jīng)取得了較好的效果。但是由于圖像的局部特征很不穩(wěn)定，同樣的物體可能產(chǎn)生出不同的局部特征，相同的局部特征也可能是出自不同的物體，導(dǎo)致視覺詞典中的多個視覺單詞表示相同的概念即“一義多詞”和一個視覺單詞對應(yīng)圖像中的不同概念即“一詞多義”，從而造成視覺詞典中的視覺單詞不能準(zhǔn)確的表達(dá)圖像或事物，提取的語義不準(zhǔn)確，影響圖像分類和目標(biāo)識別的精確度。
[0005]目前，國內(nèi)外有一大批研究機構(gòu)在進(jìn)行圖像局部不變特征的語義映射的研究工作，其中包括普林斯頓大學(xué)計算機系，美國加州大學(xué)伯克利分校的計算機系，斯坦福大學(xué)的計算機系，伊利諾斯州立大學(xué)的Beckman學(xué)會，瑞典的IDIAP研究學(xué)會，中國科學(xué)院，浙江大學(xué)，北京交通大學(xué)，上海交通大學(xué)，西安電子科技大學(xué)等。目前在局部不變特征語義映射方面主要包括采用統(tǒng)計模型和采用概率生成模型兩種方法。統(tǒng)計模型主要有詞袋模型(Bagof Words, BOW)和潛在語義分析(Latent Semantic Analysis, LSA),概率生成模型主要有概率潛在語義分析(PLSA)、潛在狄里克雷分布(LDA)。下面對現(xiàn)有的比較有代表性的理論和算法進(jìn)行介紹。
[0006]( I)基于統(tǒng)計模型的算法的研究現(xiàn)狀[0007]Josef等人提出BOW模型，先對訓(xùn)練圖像集進(jìn)行視覺特征提取、聚類形成視覺詞典(visual dictionary)或碼本(Code book),詞典中的每個視覺單詞(Visual Word),對應(yīng)于圖像中的一個局部塊特征，再分別把各圖像按視覺詞典進(jìn)行量化來表示。這種方法的缺點是未考慮“一義多詞”(多個視覺單詞表示相同的概念)和“一詞多義”(一個視覺單詞對應(yīng)圖像中的不同概念)問題。此外，由于圖像的量化表示的維數(shù)太高，相當(dāng)于視覺詞典容量，導(dǎo)致分類性能低下。Jingen將圖像表示成最大化互信息共聚類方式來學(xué)習(xí)潛在語義，對視覺單詞聚類的同時，完成圖像場景分類。FeiFei等提出了一種分層的Bayesian模型從低層圖像特征提取圖像語義，在場景分類中取得了良好的應(yīng)用效果。Vailaya等提出了由圖像的低層基本特征到高層語義分類特征之間進(jìn)行映射的一種可行的數(shù)據(jù)描述方法，并通過基于Bayes概率公式的方法加以實現(xiàn)。
[0008]國內(nèi)研究者也較早的開始了這方面的研究，近年來更是涌現(xiàn)了一大批優(yōu)秀的算法。石躍祥、蔡自興等從高級信息的角度來描述圖像語義，建立圖像語義的特征矢量空間和語義劃分的結(jié)構(gòu)關(guān)系，實現(xiàn)了圖像與語義值的結(jié)構(gòu)表達(dá)，構(gòu)建了低層特征到高層語義的映射結(jié)構(gòu)與計算表達(dá)式，并將特征值應(yīng)用于圖像檢索。莫浩瀾等通過在低層視覺特征上提取圖像的局部顏色和紋理特征，再利用模糊神經(jīng)網(wǎng)絡(luò)建立低層視覺特征和高層語義特征之間的映射，實現(xiàn)了圖像屬性信息的有效傳遞和可靠檢索。段菲和章毓晉提出了一種基于有監(jiān)督子空間建模和稀疏表示的場景分類算法。該算法將采用非監(jiān)督方式求取所有場景類別公共字典的稀疏編碼模型分解為一系列各目標(biāo)函數(shù)相互獨立的多目標(biāo)優(yōu)化問題，實現(xiàn)了各類別字典的有監(jiān)督學(xué)習(xí)。在所有類別的字典學(xué)習(xí)完畢后，再以各子空間和的基集來對每幅圖像中所有局部特征進(jìn)行協(xié)同編碼，并借助空間金字塔表示(SPR)和特征各維最大匯總(max pooling)構(gòu)成最終圖像的全局特征表示。傅光磊、蔣興浩等人提出了分層語義模型，將復(fù)雜語義進(jìn)行解析從而形成層次化結(jié)構(gòu)，并提出了與分層語義模型相對應(yīng)的語義綁定的分層視覺詞匯庫，給出了構(gòu)建詞匯庫的方法，并在基于內(nèi)容和語義的圖像檢索系統(tǒng)進(jìn)行了應(yīng)用。趙春暉和王瑩提出了一種基于興趣區(qū)域(Region Of Interest，R0I)提取以及金字塔匹配原理的優(yōu)化方法，在此基礎(chǔ)上構(gòu)建了詞袋模型。王宇新和郭禾等人以傳統(tǒng)的詞袋模型為基礎(chǔ)，根據(jù)同類場景圖像具有空間相似性的特點，提出了一種用于圖像場景分類的空間視覺詞袋模型。首先將圖像進(jìn)行不同等級的空間劃分，針對對應(yīng)空間子區(qū)域進(jìn)行特征提取和k均值聚類，形成該區(qū)域的視覺關(guān)鍵詞，進(jìn)而構(gòu)建整個訓(xùn)練圖像集的空間視覺詞典。賈世杰和孔祥維提出基于數(shù)據(jù)驅(qū)動的核函數(shù)構(gòu)建方法；并結(jié)合詞包(BOW)模型，設(shè)計了一種基于TF-1DF規(guī)則的加權(quán)二次卡方(Weighted QuadriticChisquared, WQC)距離的直方圖核函數(shù)。朱旭鋒，馬彩文和劉波為了解決飛機、直升機、導(dǎo)彈等三類空中目標(biāo)圖像的自動分類問題，提出了一種基于改進(jìn)詞袋模型的空中目標(biāo)識別方法。莊凌和莊越挺等人提出通過研究文本與圖像兩種模態(tài)之間關(guān)系來構(gòu)建反映兩者間潛在語義關(guān)聯(lián)的有效模型的思路，該模型使用稀疏的相關(guān)性分析方法提高模型可解釋性和保證檢索結(jié)果穩(wěn)定性。
[0009](2)基于概率生成模型的算法的研究現(xiàn)狀
[0010]概率生成模型主要包括概率潛在語義分析(probabilisticLatentSemanticAnalysis, PLSA)和潛在狄利克雷分布(LatentDirichletAllocation,LoA)等。將圖像看作是由多個語義主題所構(gòu)成的場景，也可把其中發(fā)現(xiàn)的語義主題看作是目標(biāo)類，那么一幅包含多個目標(biāo)實例的場景可認(rèn)為是由一組主題混合構(gòu)建的概率模型而形成，通過場景中語義主題的分布劃分語義類別。Pedro和Anna等學(xué)者認(rèn)為PLSA模型在生成魯棒的低維場景表示的同時，可以捕獲有意義的場景主題。他們在使用灰度SIFT特征的基礎(chǔ)上建立Bow描述，采用PLSA模型來產(chǎn)生圖像場景的潛在語義信息，實現(xiàn)場景類的判別。Florent等人根據(jù)所有待考察的場景內(nèi)容,在利用高斯混合模型(GaussianMixtureModel,GMM)對視覺詞匯表進(jìn)行建模的基礎(chǔ)上，定義了一個通用視覺詞典，在此基礎(chǔ)上調(diào)整生成類視覺詞典，并采用一組直方圖，每個直方圖對應(yīng)某一類別，以判斷圖像適合采用何種視覺詞典進(jìn)行建模。FeifeiLi和Lijia Li提出了兩種LDA的變形模型用于場景分類。在場景主題分布不變的前提下，通過對各場景類圖像進(jìn)行有監(jiān)督的模型學(xué)習(xí)，將局部區(qū)域聚類為不同的主題(局部語義概念)。局部區(qū)域和中層語義的分布通過概率生成模型學(xué)習(xí)，避免了人為的圖像標(biāo)注過程。Anna Bosch等人首先利用概率潛在語義分析(PLSA)在每個圖像數(shù)據(jù)上發(fā)現(xiàn)主題語義，然后利用多類分類器對每副圖像的主題分布矢量進(jìn)行分類。李志欣和施智平等人在概率潛語義分析的基礎(chǔ)上，提出了一種融合語義主題的方法以進(jìn)行圖像的標(biāo)注和檢索，設(shè)計了一個概率模型分別從視覺模態(tài)和文本模態(tài)中捕獲潛在語義主題，并提出了一種自適應(yīng)的不對稱學(xué)習(xí)方法融合兩種語義主題，于是融合之后的概率模型適當(dāng)?shù)仃P(guān)聯(lián)了視覺模態(tài)和文本模態(tài)的信息。
【發(fā)明內(nèi)容】

[0011]本發(fā)明所要解決的技術(shù)問題在于提供一種圖像局部不變特征的語義映射方法及語義映射系統(tǒng)，旨在解決局部不變特征與圖像語義之間的映射的一詞多義和一義多詞的問題。
[0012]本發(fā)明是這樣實現(xiàn)的，一種圖像局部不變特征的語義映射方法，包括以下步驟:
[0013]步驟A:對彩色圖像局部不變特征提取及描述；
[0014]步驟B:提取局部不變特征后，基于監(jiān)督模糊譜聚類算法對彩色圖像提取的局部不變特征生成視覺詞典，所述視覺詞典包含有視覺特征與視覺單詞的隸屬關(guān)系；
[0015]步驟C:根據(jù)步驟B生成的視覺詞典對步驟A提取的局部不變特征所隸屬圖像進(jìn)行語義映射以及圖像描述。
[0016]進(jìn)一步地，所述步驟A包括以下步驟:
[0017]步驟Al:對彩色圖像建立彩色圖像矢量場模型；
[0018]步驟A2:建立并分析所述彩色圖像矢量場模型中的矢量場尺度空間，在所述矢量場尺度空間中搜索與定位局部不變特征；
[0019]步驟A3:對提取的所述局部不變特征進(jìn)行描述。
[0020]進(jìn)一步地，所述步驟Al包括以下步驟:
[0021]步驟All:對彩色圖像f建立的所述彩色圖像矢量場模型為:
【權(quán)利要求】
1.一種圖像局部不變特征的語義映射方法，其特征在于，包括以下步驟: 步驟A:對彩色圖像局部不變特征提取及描述； 步驟B:提取局部不變特征后，基于監(jiān)督模糊譜聚類算法對彩色圖像提取的局部不變特征生成視覺詞典，所述視覺詞典包含有視覺特征與視覺單詞的隸屬關(guān)系； 步驟C:根據(jù)步驟B生成的視覺詞典對步驟A提取的局部不變特征所隸屬圖像進(jìn)行語義映射以及圖像描述。
2.根據(jù)權(quán)利要求1所述的語義映射方法，其特征在于，所述步驟A包括以下步驟: 步驟Al:對彩色圖像建立彩色圖像矢量場模型； 步驟A2:建立并分析所述彩色圖像矢量場模型中的矢量場尺度空間，在所述矢量場尺度空間中搜索與定位局部不變特征； 步驟A3:對提取的所述局部不變特征進(jìn)行描述。
3.根據(jù)權(quán)利要求2所述的語義映射方法，其特征在于，所述步驟Al包括以下步驟:步驟All:對彩色圖像f建立的所述彩色圖像矢量場模型為=，其







4.根據(jù)權(quán)利要求2所述的語義映射方法，其特征在于，所述步驟A2包括以下步驟: 步驟A21:根據(jù)如下公式得到所述彩色圖像f的矢量場尺度空間L。:
5.根據(jù)權(quán)利要求4所述的語義映射方法，其特征在于，所述步驟A3包括以下步驟: 步驟A31:對于在Ljx, y, Q)中的一個特征點,其幅值和m(x, y)和方向0 (x, y)表示為:
6.根據(jù)權(quán)利要求1所述的語義映射方法，其特征在于，所述步驟B包括以下步驟: 步驟B1:根據(jù)數(shù)據(jù)集構(gòu)造一個無向加權(quán)圖G= {V，E}，其表示形式為一對稱矩陣W=DVij]nXn，稱該矩陣為相似矩陣，其中Z是頂點的集合，Wu表示連接頂點i與j的權(quán)值，Wu的值由測度函數(shù)樹決定； 步驟B2:根據(jù)每個特征的類別信息建立每個特征對應(yīng)類別的隸屬度函數(shù)，根據(jù)隸屬度函數(shù)重新調(diào)整相似矩陣W，生成模糊相似矩陣W’ ； 步驟 B3:構(gòu)造矩陣 V=Iiv1, V2, vq] G Rnxq,其中，Vi 為列向量，V1, V2, --?, Vq 為 H








n的q個最大特征值所對應(yīng)的特征向量，ff = Lyw,Ly2 L為對角度矩陣，
7.根據(jù)權(quán)利要求1所述的語義映射方法，其特征在于，所述步驟C包括以下步驟: 步驟Cl:根據(jù)步驟A的方法提取測試圖像f?的局部不變特征，得到特征集合為:S=Is1, S2,...sn}，其中Si為提取的局部不變特征，n為提取的特征個數(shù)； 步驟C2:定義視覺特征Si到視覺單詞~的隸屬度函數(shù)為U (Si，vJt, L)，其中L為視覺特征Si到視覺單詞~在空間上的拓?fù)潢P(guān)系； 設(shè)置隸屬度函數(shù)為:
8.一種圖像局部不變特征的語義映射系統(tǒng)，其特征在于，包括: 提取及描述模塊，用于對彩色圖像局部不變特征提取及描述； 視覺詞典生成模塊，利用模糊集理論基于有監(jiān)督模糊譜聚類的方法生成視覺詞典； 映射及描述模塊，用于對基于局部不變特征隸屬度的圖像進(jìn)行語義映射以及圖像描述。
9.根據(jù)權(quán)利要求8所述的語義映射系統(tǒng)，其特征在于，所述提取及描述模塊包括: 模型建立模塊，用于對彩色圖像建立彩色圖像矢量場模型； 矢量場尺度空間建立與分析模塊，用于建立并分析所述彩色圖像矢量場模型的矢量場尺度空間，在所述矢量場尺度空間模塊中搜索與定位局部不變特征； 特征提取和描述模塊，用于對提取的所述局部不變特征進(jìn)行矢量描述； 所述模型建立模塊包含矢量場模型建立模塊和圖像變換模塊； 所述矢量場模型建立模塊生成的彩色圖像矢量場模型為
10.根據(jù)權(quán)利要求8所述的語義映射系統(tǒng)，其特征在于，所述視覺詞典生成模塊包含: 對稱矩陣模塊，根據(jù)數(shù)據(jù)集構(gòu)造一個無向加權(quán)圖G= {V，E}，其表示形式為一對稱矩陣W= [Wu]nXn，其中V是頂點的集合，Wu表示連接頂點i與j的權(quán)值，Wu的值由測度函數(shù)決定; 模糊相似矩陣模塊，根據(jù)每個特征的類別信息建立每個特征對應(yīng)類別的隸屬度函數(shù)，根據(jù)隸屬度函數(shù)重新調(diào)整相似矩陣W，生成模糊相似矩陣r ； 構(gòu)造矩陣模塊，用于構(gòu)造矩陣V= [Vl，V2,…，Vq] G Rnx%其中，Vi為列向量，V1, V2,…，V5為H的q個最大特征值所對應(yīng)的特征向量，
【文檔編號】G06K9/46GK103530633SQ201310468210
【公開日】2014年1月22日 申請日期:2013年10月9日 優(yōu)先權(quán)日:2013年10月9日
【發(fā)明者】李巖山, 謝維信 申請人:深圳大學(xué)