專利名稱：一種面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影方法
技術(shù)領(lǐng)域：
本發(fā)明屬于模式識(shí)別技術(shù)領(lǐng)域，特別涉及一種面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影方法。

背景技術(shù)：
作為模式識(shí)別關(guān)鍵技術(shù)之一的特征提取方法，是將原始的高維數(shù)據(jù)映射到一個(gè)低維的特征空間，這已經(jīng)成為機(jī)器學(xué)習(xí)和模式識(shí)別的一個(gè)研究熱點(diǎn)。常用的特征提取方法可以分為兩類基于全局結(jié)構(gòu)信息的分析方法和基于局部結(jié)構(gòu)信息的分析方法。在基于全局結(jié)構(gòu)信息的分析方法中，主成分分析方法(PCA)是一種經(jīng)典的特征提取和數(shù)據(jù)表示技術(shù)，它保留了原始數(shù)據(jù)空間的全局結(jié)構(gòu)，而且投影矩陣任意兩個(gè)互異的基向量是統(tǒng)計(jì)不相關(guān)的。不相關(guān)是模式識(shí)別中非常重要的特性，不相關(guān)能使數(shù)據(jù)具有最小的冗余。局部保持投影方法(LPP)基于數(shù)據(jù)的局部結(jié)構(gòu)進(jìn)行分析，是最近發(fā)展的一種線性的特征提取方法，算法簡(jiǎn)單且易于實(shí)現(xiàn)，其方法是首先構(gòu)造原始數(shù)據(jù)的鄰接圖，建立圖的拉普拉斯矩陣，然后以在原始空間中距離接近的兩個(gè)數(shù)據(jù)點(diǎn)，投影后在特征空間中的距離更近為準(zhǔn)則，求得變換矩陣，獲取數(shù)據(jù)集的局部結(jié)構(gòu)信息。
經(jīng)對(duì)現(xiàn)有技術(shù)文獻(xiàn)的檢索發(fā)現(xiàn)，X.He等人在《IEEE Trans.on Pattern Analysis andMachine Intelligence》(模式分析與機(jī)器智能IEEE雜志，2005，vol.27，no.3，pp.328-340)上發(fā)表的文章“Face Recognition Using Laplacianfaces”(基于拉普拉斯臉的人臉識(shí)別方法)中，首先提出了局部保持投影特征提取方法。文章通過實(shí)驗(yàn)說明，該方法能夠得到優(yōu)于主成分分析的識(shí)別結(jié)果。但是，局部保持投影方法的投影矩陣的基向量是統(tǒng)計(jì)相關(guān)的，因此提取的特征含有冗余，交迭的信息會(huì)導(dǎo)致特征的實(shí)際分布發(fā)生歪曲，這個(gè)缺點(diǎn)嚴(yán)重影響了局部保持投影算法的性能。另外，局部保持投影方法沒有用到類別信息，是一種無監(jiān)督的特征提取方法，而對(duì)于模式識(shí)別問題，類別信息一般都非常重要。因此尋求一種面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影方法具有重要的意義。在進(jìn)一步的檢索中尚未發(fā)現(xiàn)面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影方法。


發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影方法，使其用于模式識(shí)別，能夠提高識(shí)別的精度。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是提供一種面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影方法，包括加權(quán)鄰接圖構(gòu)造模塊、訓(xùn)練樣本的矩陣構(gòu)造模塊、投影矩陣獲得模塊和數(shù)據(jù)分類模塊，其中 加權(quán)鄰接圖構(gòu)造模塊將每個(gè)訓(xùn)練樣本作為一個(gè)頂點(diǎn)，建立一個(gè)加權(quán)鄰接圖，根據(jù)類別信息獲得任意兩個(gè)頂點(diǎn)間的相似性權(quán)值，并將相似性權(quán)值傳輸給訓(xùn)練樣本的矩陣構(gòu)造模塊； 訓(xùn)練樣本的矩陣構(gòu)造模塊接收相似性權(quán)值并根據(jù)最近鄰原則，使得每個(gè)頂點(diǎn)都只與其相似性權(quán)值最小的若干個(gè)頂點(diǎn)連接，建立訓(xùn)練樣本的相似矩陣，再由訓(xùn)練樣本的相似矩陣建立訓(xùn)練樣本的度矩陣、圖的拉普拉斯矩陣，并將上述矩陣傳輸給投影矩陣獲得模塊； 投影矩陣獲得模塊接收度矩陣和圖的拉普拉斯矩陣，再根據(jù)局部保持投影方法，加入統(tǒng)計(jì)不相關(guān)性的約束條件，通過迭代過程，解特征值問題，每次迭代選取最小的特征值對(duì)應(yīng)的特征向量，最后將這些特征向量作為基向量，構(gòu)成面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影矩陣，并將投影矩陣傳輸給數(shù)據(jù)分類模塊； 數(shù)據(jù)分類模塊接收投影矩陣、輸入的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，并將訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)投影到投影矩陣中，獲得訓(xùn)練系數(shù)矩陣和測(cè)試系數(shù)矩陣，采用最小距離分類器，識(shí)別出測(cè)試數(shù)據(jù)所屬的類別。
所述加權(quán)鄰接圖構(gòu)造模塊，其根據(jù)類別信息獲得任意兩個(gè)頂點(diǎn)間的相似性權(quán)值，是指設(shè)每個(gè)訓(xùn)練樣本代表一個(gè)頂點(diǎn)xi，建立任意兩個(gè)頂點(diǎn)之間的相似性權(quán)值，這些相似性權(quán)值可以表示成
相似性權(quán)值的構(gòu)造利用了訓(xùn)練數(shù)據(jù)的類別信息，較好地反映了相連接的兩個(gè)數(shù)據(jù)點(diǎn)間的相似程度，相似性權(quán)值越大說明這兩個(gè)數(shù)據(jù)點(diǎn)越相似，越有可能屬于同一類別。
所述訓(xùn)練樣本的矩陣構(gòu)造模塊，其建立訓(xùn)練樣本的相似矩陣、度矩陣、圖的拉普拉斯矩陣，具體如下 矩陣構(gòu)造模塊接收相似性權(quán)值，在相似性權(quán)值中按照最近鄰原則，找出每個(gè)頂點(diǎn)的k個(gè)近鄰頂點(diǎn)，即找出與頂點(diǎn)xi間的相似性權(quán)值最小的前k個(gè)頂點(diǎn)，使得頂點(diǎn)xi只與這k個(gè)頂點(diǎn)連接，建立訓(xùn)練數(shù)據(jù)集的相似矩陣W，W的元素表示為
頂點(diǎn)xi的度為n為訓(xùn)練數(shù)據(jù)點(diǎn)的個(gè)數(shù)，建立鄰接圖的度矩陣為D＝diag(d1，d2，…，dn)，建立圖的拉普拉斯矩陣為L(zhǎng)＝D-W，即
所述投影矩陣獲得模塊，其通過迭代過程，解特征值問題，獲得面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影矩陣，是指設(shè)訓(xùn)練樣本集X＝{x1，x2，…，xn}，ST＝E[(X-EX)(X-EX)T]為訓(xùn)練樣本的協(xié)方差陣，記SL＝XLXT，SD＝XDXT。局部保持投影方法的投影矩陣可以通過求解如下特征值問題的特征向量獲得 SLφ＝λSDφ(4) 其中，φ為特征值λ對(duì)應(yīng)的特征向量。
然后引入統(tǒng)計(jì)不相關(guān)的約束條件 采用拉格朗日乘子法，聯(lián)合以上條件進(jìn)行求解。
設(shè){φ1，φ2，…，φk-1}是已求得的前k-1個(gè)投影基向量，記Φk-1＝[φ1，φ2，…，φk-1]，則滿足統(tǒng)計(jì)不相關(guān)性的投影向量φk，可以按照如下步驟迭代獲得 (a)矩陣SD-1SL的最小特征值對(duì)應(yīng)的特征向量作為投影向量φ1。
(b)求解如下特征方程的特征值，并取最小特征值對(duì)應(yīng)的特征向量作為不相關(guān)的投影向量φk。
R(k)SLφ＝λSDφ (5) 其中， (c)重復(fù)第(b)步，直至得到d個(gè)滿足統(tǒng)計(jì)不相關(guān)性的向量{φ1，φ2，…，φd}。
最后，得到面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影矩Φ＝[φ1，φ2，...，φd]。
有益效果 本發(fā)明在構(gòu)造加權(quán)鄰接圖時(shí)，引入了訓(xùn)練數(shù)據(jù)的類別信息，可以更準(zhǔn)確地刻畫數(shù)據(jù)間的關(guān)系，而且本發(fā)明可以提取出滿足統(tǒng)計(jì)不相關(guān)性的特征，從而提取的特征能夠在保留原始數(shù)據(jù)空間的局部信息的同時(shí)，具有最小的冗余，應(yīng)用到識(shí)別問題中，可以提高識(shí)別性能。
本發(fā)明可應(yīng)用于視頻監(jiān)控系統(tǒng)、視頻會(huì)議系統(tǒng)、軍事目標(biāo)跟蹤識(shí)別系統(tǒng)等各類民用及軍用系統(tǒng)中，具有廣闊的市場(chǎng)前景和應(yīng)用價(jià)值。



圖1為本發(fā)明方法的工作流程。
圖2為本發(fā)明方法在航天器圖像庫(kù)中進(jìn)行識(shí)別的結(jié)果與直接用矩特征進(jìn)行識(shí)別，分別用線性鑒別分析方法(LDA)及局部保持投影方法(LPP)進(jìn)行識(shí)別的結(jié)果比較圖。其中橫坐標(biāo)為最近鄰個(gè)數(shù)，縱坐標(biāo)為識(shí)別率。

具體實(shí)施例方式 下面結(jié)合具體實(shí)施例，進(jìn)一步闡述本發(fā)明。應(yīng)理解，這些實(shí)施例僅用于說明本發(fā)明而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù)人員可以對(duì)本發(fā)明作各種改動(dòng)或修改，這些等價(jià)形式同樣落于本申請(qǐng)所附權(quán)利要求書所限定的范圍。
本實(shí)施例應(yīng)用于對(duì)STK模型庫(kù)中的航天器模型進(jìn)行識(shí)別，STK是美國(guó)AGI公司出品的衛(wèi)星仿真工具包，此工具包不但可以對(duì)衛(wèi)星的軌道、姿態(tài)和通信鏈路進(jìn)行計(jì)算，還可以根據(jù)真實(shí)的星歷信息計(jì)算各天體的位置和實(shí)際的光照。此外，工具包內(nèi)包含很多天體表面紋理信息和航天器模型，因而可以對(duì)空間視景進(jìn)行模擬。
在仿真中，從STK模型庫(kù)中選取了4類有代表性的航天器模型，利用STK8.0計(jì)算得到航天器模擬圖像，每類航天器模型有100幅圖像。計(jì)算每幅圖像的Hu不變矩作為觀測(cè)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。
如圖1所示，將觀測(cè)數(shù)據(jù)分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，然后進(jìn)行如下操作 步驟一，構(gòu)造加權(quán)鄰接圖 鄰接圖中的每個(gè)頂點(diǎn)xi對(duì)應(yīng)于航天器訓(xùn)練數(shù)據(jù)集中的一個(gè)數(shù)據(jù)點(diǎn)，建立任意兩個(gè)頂點(diǎn)之間的相似性權(quán)值，這些相似性權(quán)值可以表示成
相似性權(quán)值的構(gòu)造利用了航天器訓(xùn)練數(shù)據(jù)的類別信息，較好地反映了相連接的兩個(gè)數(shù)據(jù)點(diǎn)間的相似程度，相似性權(quán)值越大說明這兩個(gè)數(shù)據(jù)點(diǎn)越相似，越有可能屬于同一種航天器。
步驟二，根據(jù)步驟一中得到的航天器訓(xùn)練數(shù)據(jù)集任意兩個(gè)頂點(diǎn)之間的相似性權(quán)值，建立相似矩陣、度矩陣和圖的拉普拉斯矩陣，具體如下 在相似性權(quán)值中按照最近鄰原則，找出與頂點(diǎn)xi間的相似性權(quán)值最小的前k(實(shí)驗(yàn)中取k＝1…40)個(gè)頂點(diǎn)，使得頂點(diǎn)xi只與這k個(gè)頂點(diǎn)連接，建立航天器訓(xùn)練數(shù)據(jù)集的相似矩陣W，W的元素表示為
頂點(diǎn)xi的度為n為航天器訓(xùn)練數(shù)據(jù)點(diǎn)的個(gè)數(shù)，建立鄰接圖的度矩陣為D＝diag(d1，d2，…，dn)，建立圖的拉普拉斯矩陣為L(zhǎng)＝D-W，即
步驟三，根據(jù)步驟二得到的度矩陣和拉普拉斯矩陣，將統(tǒng)計(jì)不相關(guān)的約束條件引入到局部保持投影法中，通過迭代過程，解特征值問題，獲得面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影矩陣 設(shè)訓(xùn)練樣本集X＝{x1，x2，…，xn}，SL＝XLXT，SD＝XDXT，I＝diag(1，1，...，1)，協(xié)方差矩陣ST＝E[(X-EX)(X-EX)T]，Φ＝[φ1，φ2，...，φk]為投影矩陣，并定義 Φk-1＝[φ1，φ2，...，φk-1] (10) 局部保持投影方法的目標(biāo)函數(shù)是 其中，yi是頂點(diǎn)xi對(duì)應(yīng)于低維空間的投影結(jié)果。通過一些簡(jiǎn)單的幾何知識(shí)，上述目標(biāo)函數(shù)可化為如下的最小化問題 滿足最小化目標(biāo)函數(shù)的投影矩陣可以轉(zhuǎn)化為一般的特征值問題 XLXTΦ＝λXDXTΦ (13) 為了得到不相關(guān)的投影向量φk，在式(13)的基礎(chǔ)上增加統(tǒng)計(jì)不相關(guān)約束 為了消除φk的任意性，局部保持投影方法又增加了一個(gè)約束 采用拉格朗日乘子法，聯(lián)合式(14)、式(15)進(jìn)行求解，問題等價(jià)于求φk使下述函數(shù)取到最大值 關(guān)于φk求導(dǎo)數(shù)，并令導(dǎo)數(shù)為零，可得到 在式(17)的兩邊左乘上φkT，利用式(14)的約束，可知后兩項(xiàng)為零，于是可解得 問題就是要使λ取到最大值。
再在式(17)的兩邊分別左乘上φjTSTSD-1，推導(dǎo)整理可得 其中，j＝1，2，...，k-1。
設(shè)γ＝[γ1，γ2，...，γk-1]，則式(19)可表示成 由(20)求出γ，并根據(jù)式(17)進(jìn)一步表示為 2SLφk-2λSDφk-STΦk-1γ＝0(21) 將γ的解代入式(21)，并經(jīng)過一系列推導(dǎo)和整理，最終，不相關(guān)的投影向量φk可按照如下步驟迭代獲得 (a)矩陣SD-1SL的最小特征值對(duì)應(yīng)的特征向量作為投影向量φ1。
(b)求解如下特征方程的特征值，并取最小特征值對(duì)應(yīng)的特征向量作為不相關(guān)的投影向量φk。
R(k)SLφ＝λSDφ(22) 其中 最后，得到面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影矩陣Φ＝[φ1，φ2，...，φd]。
步驟四，執(zhí)行投影變換，提取特征，進(jìn)行識(shí)別 投影過程如下x→y＝ΦTx，則y為樣本x的d維表示。將航天器的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)分別利用步驟三生成的投影矩陣Φ投影到特征空間中，得到訓(xùn)練系數(shù)矩陣和測(cè)試系數(shù)矩陣，采用最小距離分類器，以訓(xùn)練系數(shù)矩陣為標(biāo)準(zhǔn)，即可識(shí)別出航天器測(cè)試數(shù)據(jù)所屬的類別。
圖2是采用本實(shí)施例方法(SULPP)在航天器圖像庫(kù)中進(jìn)行識(shí)別的結(jié)果與直接用矩特征進(jìn)行識(shí)別，以及分別用線性鑒別分析方法(LDA)、局部保持投影方法(LPP)進(jìn)行識(shí)別的結(jié)果，其中橫坐標(biāo)為最近鄰個(gè)數(shù)，縱坐標(biāo)為識(shí)別率。從圖中可看出，本發(fā)明提出的方法明顯優(yōu)于直接用矩特征(Invmoments)的方法和用LDA、LPP提取特征的方法，能獲得更具鑒別性的特征，可以提高識(shí)別性能。
權(quán)利要求
1.一種面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影方法，其特征在于，包括下列模塊
(1)加權(quán)鄰接圖構(gòu)造模塊將每個(gè)訓(xùn)練樣本作為一個(gè)頂點(diǎn)，建立一個(gè)加權(quán)鄰接圖，根據(jù)類別信息獲得任意兩個(gè)頂點(diǎn)間的相似性權(quán)值，并將相似性權(quán)值傳輸給訓(xùn)練樣本的矩陣構(gòu)造模塊；
(2)訓(xùn)練樣本的矩陣構(gòu)造模塊接收相似性權(quán)值并根據(jù)最近鄰原則，使得每個(gè)頂點(diǎn)都只與與其相似性權(quán)值最小的頂點(diǎn)連接，建立訓(xùn)練樣本的相似矩陣，再由訓(xùn)練樣本的相似矩陣建立訓(xùn)練樣本的度矩陣、圖的拉普拉斯矩陣，并將上述矩陣傳輸給投影矩陣獲得模塊；
(3)投影矩陣獲得模塊接收度矩陣和圖的拉普拉斯矩陣，再根據(jù)局部保持投影方法，加入統(tǒng)計(jì)不相關(guān)性的約束條件，通過迭代過程，解特征值問題，每次迭代選取最小的特征值對(duì)應(yīng)的特征向量，最后將這些特征向量作為基向量，構(gòu)成面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影矩陣，并將投影矩陣傳輸給數(shù)據(jù)分類模塊；
(4)數(shù)據(jù)分類模塊接收投影矩陣、輸入的訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)，并將訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)投影到投影矩陣中，獲得訓(xùn)練系數(shù)矩陣和測(cè)試系數(shù)矩陣，采用最小距離分類器，識(shí)別出測(cè)試數(shù)據(jù)所屬的類別。
2.根據(jù)權(quán)利要求1所述的一種面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影方法，其特征在于所述的加權(quán)鄰接圖構(gòu)造模塊，其根據(jù)類別信息獲得任意兩個(gè)頂點(diǎn)間的相似性權(quán)值，是指設(shè)每個(gè)訓(xùn)練樣本代表一個(gè)頂點(diǎn)xi，建立任意兩個(gè)頂點(diǎn)之間的相似性權(quán)值，這些相似性權(quán)值可以表示成
全文摘要
本發(fā)明涉及一種面向鑒別的具有統(tǒng)計(jì)不相關(guān)性的局部保持投影方法，包括加權(quán)鄰接圖構(gòu)造模塊、訓(xùn)練樣本的矩陣構(gòu)造模塊、投影矩陣獲得模塊和數(shù)據(jù)分類模塊。本發(fā)明在構(gòu)造加權(quán)鄰接圖時(shí)，引入了訓(xùn)練數(shù)據(jù)的類別信息，可以更準(zhǔn)確地刻畫數(shù)據(jù)間的關(guān)系，而且本發(fā)明可以提取出滿足統(tǒng)計(jì)不相關(guān)性的特征，從而提取的特征能夠在保留原始數(shù)據(jù)空間的局部信息的同時(shí)，具有最小的冗余，應(yīng)用到識(shí)別問題中，可以提高識(shí)別性能。本發(fā)明可應(yīng)用于視頻監(jiān)控系統(tǒng)、視頻會(huì)議系統(tǒng)、軍事目標(biāo)跟蹤識(shí)別系統(tǒng)等各類民用及軍用系統(tǒng)中，具有廣闊的市場(chǎng)前景和應(yīng)用價(jià)值。
文檔編號(hào)G06K9/62GK101515328SQ200810207239
公開日2009年8月26日 申請(qǐng)日期2008年12月18日 優(yōu)先權(quán)日2008年12月18日
發(fā)明者孫韶媛, 方建安, 谷小婧 申請(qǐng)人:東華大學(xué)