專利名稱：一種基于人臉統(tǒng)計知識的人臉識別方法
技術(shù)領(lǐng)域：
本發(fā)明屬模式識別技術(shù)領(lǐng)域，具體涉及一種基于人臉圖像的身份識別方法。
背景技術(shù)：
雖然人臉識別的研究持續(xù)了數(shù)十年，但是，時至今日，它依然是模式識別領(lǐng)域中一個極具挑戰(zhàn)性的問題?；趦删S的方法在過去的研究中取得了長足發(fā)展，其中包括Eigenface[1]，F(xiàn)isherface[2]，以及AAM[3]等等。然而基于兩維的人臉識別方法還有一系列難以解決的問題，例如當(dāng)人臉姿態(tài)、表情以及環(huán)境光照(PIE)發(fā)生較大變化的時候，系統(tǒng)的識別率將急劇下降。如何解決人臉在不同姿態(tài)、光照和表情條件下的識別問題，仍然是當(dāng)前研究的熱點(diǎn)。
對于姿態(tài)變化的人臉識別問題，傳統(tǒng)的方法必須獲得足夠多的不同姿態(tài)下的人臉訓(xùn)練圖像，然而很多情況下這些圖像并不可得。但是，對于人腦來說，僅僅需要展示一張正面的標(biāo)準(zhǔn)人臉圖像就能夠進(jìn)行識別的工作了，即使測試圖像存在明顯的姿態(tài)變化。人腦的這一能力可以歸結(jié)為聯(lián)想的功能。
為了模擬人腦的聯(lián)想功能，實(shí)現(xiàn)姿態(tài)無關(guān)的人臉識別，有兩類方法被提出“歸一”的和“擴(kuò)展”的?！皻w一”的例子主要有2003年V.Blanz & T.Vetter[4]提出的三維可變形的人臉模型，利用它對輸入的兩維人臉圖像進(jìn)行形狀和紋理的雙重匹配，能夠獲得與姿態(tài)無關(guān)的三維人臉特征，從而很好地解決了姿態(tài)的問題。但是由于它需要對形狀和紋理同時進(jìn)行優(yōu)化，耗時巨大且易陷入局部最小，且初始的特征點(diǎn)位置需要手工獲得，目前不能實(shí)用?！皵U(kuò)展”的例子有2004年和2005年Yuxiao Hu et.al[5][6]提出的一種方法，它用一張標(biāo)準(zhǔn)圖像，利用三維可變形人臉模型重建出該人臉的三維模型。它的特點(diǎn)在于形狀上利用特征點(diǎn)位置自動匹配，紋理上應(yīng)用紋理貼圖技術(shù)，從而大大縮短了三維人臉的重建時間。得到的三維人臉可以合成若干不同姿態(tài)的虛擬人臉圖像，以提供后端兩維識別系統(tǒng)使用。
本發(fā)明與上述方法相比，主要特點(diǎn)有(1)在[5][6]的三維人臉重建算法中，只考慮了人臉模型在圖像平面內(nèi)的旋轉(zhuǎn)、平移和縮放，本發(fā)明考慮了模型的深度旋轉(zhuǎn)，最終使得重建算法比[5][6]更加準(zhǔn)確，比[4]耗時小得多；(2)利用該三維人臉重建算法得到充分的不同姿態(tài)下的虛擬人臉圖像，而不需要從現(xiàn)實(shí)世界獲取這些圖像，從而在僅有一張正面標(biāo)準(zhǔn)人臉圖像的情況下使得下一步的姿態(tài)一身份兩階段識別策略可以實(shí)施；(3)對測試人臉圖像先采用姿態(tài)識別后進(jìn)行該姿態(tài)下的身份識別，提高總體身份識別率。
下面介紹與本發(fā)明相關(guān)的一些概念
1.三維可變形人臉模型V.Blanz & T.Vetter[4]提出的三維可變形人臉模型取自200個歐洲人的三維人臉數(shù)據(jù)，每個人臉數(shù)據(jù)包含十萬左右個頂點(diǎn)，每個頂點(diǎn)的坐標(biāo)(x，y，z)和紋理(R，G，B)已知。這些三維人臉數(shù)據(jù)是通過三維掃描儀掃描得到的。對于原始數(shù)據(jù)首先需要進(jìn)行預(yù)處理，去除非人臉的部分，而后要對所有的人臉數(shù)據(jù)進(jìn)行點(diǎn)對點(diǎn)的配準(zhǔn)，建立高密度的點(diǎn)點(diǎn)對應(yīng)關(guān)系(即同一個下標(biāo)的頂點(diǎn)表示同樣的語意，比如第1000號頂點(diǎn)對于所有的人臉數(shù)據(jù)都是鼻尖，等等)。最后將坐標(biāo)和紋理數(shù)據(jù)按(1)式排列成形狀和紋理向量Si=(xi1,yi1,zi1,...,xiM,yiM,ziM)T;Ti=(Ri1,Gi1,Bi1,...,RiM,GiM,BiM)T---(1)]]>其中i表示第i個人臉數(shù)據(jù)，M表示模型的頂點(diǎn)數(shù)。為了得到一個更為緊湊的參數(shù)表示，對所有樣本的形狀矢量和紋理矢量進(jìn)行PCA(見相關(guān)概念2)，從而得到了一個三維可變形人臉模型S=s‾+Σj=1mtαjsj;T=t‾+Σj=1mtβjtj---(2)]]>其中s為平均人臉形狀向量，αj為第j個形狀系數(shù)，sj為第j個形狀特征向量，ms為截取的形狀主元個數(shù)；同理t為平均紋理向量，βj為第j個紋理系數(shù)，tj為第j個紋理特征向量，mt為截取的紋理主元個數(shù)。通過變化系數(shù)αj和βj，即將形狀和紋理特征向量分別按照不同的系數(shù)進(jìn)行線性組合，就能夠得到不同形狀、不同紋理的三維人臉。
2.PCAPCA是一種常用的無教師的線性降維方法，它尋找一個線性子空間，以使得樣本在該子空間投影的協(xié)方差盡可能地大。以建立三維可變形人臉的形狀模型為例，做法如下(假設(shè)共有N個三維人臉數(shù)據(jù))三維人臉數(shù)據(jù)的形狀均值s‾=1NΣi=1NSi]]>協(xié)方差矩陣Cx=1NΣi=1N(Si-s‾)(Si-s‾)T]]>構(gòu)成PCA子空間的基，即形狀特征向量sj可由以下特征分解得到Cxsj＝λjsjj＝1，2，…，ms3.LDALDA是一種常用的有教師的線性降維方法，它尋找一個線性子空間，以使得樣本在該子空間上投影的類內(nèi)散布緊密、類間散布分散。以人臉圖像為例，具體做法如下首先我們將所有的兩維人臉圖像按照行序或者列序排列成列向量的形式xii＝1，2，…，N，這樣一幅圖像對應(yīng)了高維空間中的一個樣本。我們假設(shè)這些樣本共分為c類，每類有Ni個樣本，則有總均值m=1NΣi=1Nxi]]>各類均值mi=1NiΣxj∈Xixj(i=1,2,···,c)]]>類內(nèi)散布矩陣Sw=Σi=1cΣxj∈Xi(xj-mi)(xj-mi)T---(3)]]>類間散布矩陣Sb=Σi=1cNi(mi-m)(mi-m)T---(4)]]>構(gòu)成LDA子空間的基WLDA=argmaxw|WTSbW||WTSwW|=w1w2...wm]]>可由以下廣義特征分解得到Sbwi＝λiSwwi參考文獻(xiàn)[1].M.Turk and A.Pentland，“Face Recognition Using Eigenfaces”，Proc.IEEE Conf.onComputer Vision and Pattern Recognition，1991[2].P Belhumeur，J.Hespanha & D.Kriegman，“Eigenfaces vs.FisherfacesRecognition UsingClass Specific Linear Proection”，IEEE trans on PAMI，July 1997[3].T.Cootes & C.Taylor，“Statistical Models of Appearance for Computer Vision”，Oct 2001[4].V.Blanz and T.Vetter，“Face Recognition Based on Fitting a 3D Morphable Model”，IEEEtrans on PAMI，Sept 2003[5].Yuxiao Hu，et.al“Automatic 3D Reconstruction for Face Recognition”，proc.Int’l Conf.Automatic Face and Gesture Recognition，2004[6].Dalong Jiang，et.al“Effciem 3D Reconstruction for Face Recognition”，patternRecognition，2004[7].P.Viola & M.Jones，“Robust real-time face detection”，Proc.IEEE Conf.on ComputerVision，2001[8].I.Matthews & S.Baker，“Active appearance models revisited”，International Journal OfComputer Vision，Nov 2004[9].Chengjun Liu & H.Welchsler，“Gabor Feature Based Classification Using the EnhancedFisher Linear Discriminant Model for Face Recognition”，IEEE trans on Image Processing，Apr 2002

發(fā)明內(nèi)容
本方法的目的在于提出一種僅使用一張正面的標(biāo)準(zhǔn)人臉圖像作注冊，就能對側(cè)面的人臉圖像進(jìn)行識別的方法。
本發(fā)明方法包含建立一個三維可變形人臉模型、一個快速的較精確的三維人臉重建算法和一個將人臉識別分為姿態(tài)、身份兩階段的識別策略。具體實(shí)施時分為訓(xùn)練、注冊和測試三個階段。圖1顯示了注冊和測試階段的流程圖。下面具體介紹相應(yīng)的步驟和三維人臉重建算法。
1訓(xùn)練階段本階段的主要目的是獲得姿態(tài)識別和身份識別所需要的LDA基。
首先將姿態(tài)預(yù)先定義為p個區(qū)間(比如-30°、0°和30°等)。由于在測試階段，對人臉區(qū)域的識別分為姿態(tài)識別和身份識別兩個階段。其中，姿態(tài)識別就是要將一幅測試人臉圖像分類到相應(yīng)的姿態(tài)區(qū)間；身份識別的就是要在該姿態(tài)區(qū)間內(nèi)完成對圖像中人臉的身份識別。這樣兩階段的識別策略可以降低因?yàn)檩^大的姿態(tài)變化引起的身份識別的困難，而在同一姿態(tài)區(qū)間內(nèi)部可以較容易地完成身份識別。
對于姿態(tài)識別，將同一姿態(tài)的人臉圖像構(gòu)成一類，按(3)(4)式分別計算類內(nèi)散布矩陣Sw和類間散布矩陣Sb，并得到姿態(tài)識別LDA基。將各樣本投影到這些基上得到了各樣本降維后的特征。求取同一類樣本的均值，作為該姿態(tài)人臉圖像的特征。
對于身份識別，分別在各個姿態(tài)區(qū)間將同一身份的人臉圖像構(gòu)成一類，按(3)(4)式分別計算類內(nèi)散布矩陣 ，i＝1，2，…，p和類間散布矩陣 ，i＝1，2，…，p，并得到各自的身份識別LDA基。
2、注冊階段(1)對于輸入的正面標(biāo)準(zhǔn)人臉圖像，利用Adaboost方法[7]進(jìn)行人臉檢測，標(biāo)識出包含人臉的圖像子區(qū)域；(2)利用實(shí)時AAM方法[8]自動標(biāo)定人臉區(qū)域上n個特征點(diǎn)坐標(biāo)。特征點(diǎn)選擇人臉上比較明顯的、容易標(biāo)定的點(diǎn)，例如眼角、鼻尖、嘴角、臉廓等等，數(shù)目一般在40至100之間。
(3)對該人臉圖像進(jìn)行三維人臉重建。具體算法見第4部分。
(4)在各個姿態(tài)區(qū)間分別生成一些小角度姿態(tài)變化的該人臉的虛擬圖像，將它們分別投影到相應(yīng)姿態(tài)的LDA身份識別基上，得到了降維后的特征，對它們求取均值，作為該姿態(tài)下該人臉的特征。
3測試階段(1)對于輸入的測試人臉圖像，利用Adaboost方法進(jìn)行人臉檢測，標(biāo)識出包含人臉的圖像子區(qū)域；(2)對人臉區(qū)域進(jìn)行姿態(tài)識別。即將其投影到LDA姿態(tài)識別基上，得到了降維后的特征，然后與已有的姿態(tài)特征進(jìn)行比較，用最近鄰判決法進(jìn)行分類，得到該人臉圖像的姿態(tài)；(3)對人臉區(qū)域進(jìn)行身份識別。即將其投影到相應(yīng)姿態(tài)的LDA身份識別基上，得到了降維后的特征，然后與已有的身份特征進(jìn)行比較，用最近鄰判決法進(jìn)行分類，得到該人臉圖像的身份。
4維人臉重建算法首先需要在三維可變形人臉模型上離線標(biāo)定特征點(diǎn)下標(biāo)，它們與實(shí)時AAM方法在正面標(biāo)準(zhǔn)人臉圖像上標(biāo)定的特征點(diǎn)具有相同的語意。圖2顯示了模型上的特征點(diǎn)位置。由于在建模時已對所有三維人臉數(shù)據(jù)進(jìn)行了配準(zhǔn)，因此在變形過程中這些特征點(diǎn)的語意不會發(fā)生變化。
在模型變形和空間變換的過程中，需要知道這些特征點(diǎn)在圖像平面上的投影坐標(biāo)。對于第k個特征點(diǎn)，其三維坐標(biāo)為(xk,yk,zk)T=(x‾k,y‾k,z‾k)T+Σi=1msαi(xik,yik,zik)T---(5)]]>其中(xk，tk，zk)T為平均人臉形狀上該點(diǎn)的三維坐標(biāo)，(xik，xik，zik)T為第i個形狀特征向量上該點(diǎn)的三維坐標(biāo)。經(jīng)過空間變換之后，其坐標(biāo)變?yōu)?x~k,y~k,z~k)T=Rθ×Rφ×Rγ×s×(xk,yk,zk)T+(tx,ty,0)T---(6)]]>Rθ=1000cosθ-sinθ0sinθcosθ,Rφ=cosφ0sinφ010-sinφ0cosφ,Rγ=cosγ-sinγ0sinγcosγ0001]]>分別表示模型圍繞x軸、y軸和z軸的旋轉(zhuǎn)矩陣，s為尺度因子，tx為x軸方向上的平移，ty為y軸方向上的平移。由于使用正交投影模型，因此忽略了z軸方向上的深度平移。該第k個特征點(diǎn)在圖像平面上的投影坐標(biāo)為Pxk=x~k×(width/edge)+width/2;Pyk=y~k×(heihgt/edge)-height/2---(7)]]>其中width為兩維圖像的寬度，height為圖像的長度，edge為三維視區(qū)邊界的長度。圖3顯示了三維模型的投影示意圖。
為了重建出三維人臉的形狀，定義第k個特征點(diǎn)的投影誤差為
ek=(Pxk-P^xk,Pyk-P^yk)∈R2---(8)]]>其中(Pxk，Pyk)為式(7)得到的三維人臉模型上第k個特征點(diǎn)在圖像平面上的投影坐標(biāo)， 是注冊階段第2)步中用實(shí)時AAM方法標(biāo)定的同一特征點(diǎn)坐標(biāo)。將所有n個特征點(diǎn)的投影誤差連成一個向量e＝(e1，e2，…，en)T∈R2n，并且定義代價函數(shù)為E=12eTe=12Σk=1n[(Pxk-P^xk)2+(Pyk-Pyk)2]]]>它是ρ=(α1,···,αms,θ,φ,γ,tx,ty,s)T∈Rms+6]]>的函數(shù)，它考慮了注冊圖像中人臉的形狀、和在三維空間的旋轉(zhuǎn)、平移與縮放。由式(5)(6)(7)(8)可以顯式地得到誤差向量e對ρ的導(dǎo)數(shù)(即Jacobian矩陣，推導(dǎo)略)，利用Levenberg-Marquardt算法對其進(jìn)行優(yōu)化。當(dāng)算法收斂的時候，αi即表征了注冊圖像中人臉的三維形狀。
在完成了三維人臉形狀重建之后，利用注冊圖像對模型進(jìn)行紋理映射對于三維模型上任意一個頂點(diǎn)，其空間坐標(biāo)為 由(7)式得到其在圖像平面上的投影坐標(biāo)為(Px，Py)。將該坐標(biāo)上注冊圖像的象素值I(Px，Py)作為三維模型上對應(yīng)頂點(diǎn)的紋理 就完成了三維人臉的紋理重建。
重建完成之后，通過改變旋轉(zhuǎn)參數(shù)θ、φ和γ，就能夠得到不同姿態(tài)下該人臉的兩維投影圖像。圖4顯示了整個三維人臉重建過程。與之前的方法[4][5][6]相比，本重建算法能夠在較短的時間內(nèi)達(dá)到較高的重建精度。
本發(fā)明的優(yōu)點(diǎn)本方法采用了一個三維可變形人臉模型來體現(xiàn)人臉結(jié)構(gòu)的統(tǒng)計知識，采用了一個考慮三維信息的人臉重建算法，能夠以較少的耗時較精確地完成人臉重建，以及采取了一個兩階段的識別策略，即先進(jìn)行姿態(tài)識別再在相應(yīng)的姿態(tài)區(qū)間進(jìn)行身份識別。實(shí)驗(yàn)表明，本方法能夠在僅有一張正面標(biāo)準(zhǔn)人臉圖像作注冊的情況下完成對側(cè)面人臉圖像的識別，且具有較高的身份識別率。


圖1基于人臉結(jié)構(gòu)知識的人臉識別框架。其中，圖1(a)注冊流程圖，圖1(b)測試流程圖。
圖2三維可變形人臉形狀模型(平均形狀)及模型上的特征點(diǎn)。
圖3三維模型的投影示意圖。
圖4三維人臉重建過程圖示。其中，圖4(a)輸入的標(biāo)準(zhǔn)人臉圖像以及在圖像上標(biāo)注的特征點(diǎn)，圖4(b)重建得到的三維人臉形狀，圖4(c)紋理貼圖后的三維人臉模型，圖4(d)合成的新姿態(tài)下的人臉圖像。
圖5大規(guī)模中國人臉圖像庫中同一個人的-30°、0°和30°三幅人臉圖像。
圖6Adaboost標(biāo)識出的128×128人臉子區(qū)域以及灰度化和切割后的100×100的灰度圖像。
具體實(shí)施例方式
實(shí)施案例下面以一個大規(guī)模的人臉圖像庫為例，說明本方法的實(shí)施過程。本例中的人臉圖像庫包含2000個中國人臉，每人有-30°、0°和30°三幅圖像。圖5顯示了同一個人的三幅圖像。我們的三維可變形人臉模型來源于60個中國人的三維人臉數(shù)據(jù)，這些數(shù)據(jù)是由兩個相機(jī)拍出的照片通過光學(xué)原理合成得到的，預(yù)處理和配準(zhǔn)之后每個人臉數(shù)據(jù)包含26498個頂點(diǎn)。最終我們?nèi)?個形狀特征向量，并在模型上手工標(biāo)定了60個特征點(diǎn)，如圖2所示。實(shí)施流程如下1.訓(xùn)練階段A)LDA姿態(tài)識別基我們將姿態(tài)分為-30°、0°和30°三個區(qū)間，每類姿態(tài)各用200幅Adaboost方法檢測出的人臉子圖像作為樣本訓(xùn)練LDA姿態(tài)識別基。Adaboost的輸出為128×128的彩色人臉子圖像，為了進(jìn)一步減少背景對姿態(tài)識別的影響，在進(jìn)行訓(xùn)練前，需要對人臉檢測輸出的人臉子圖像進(jìn)行灰度化和切割，使之成為100×100的灰度圖像。切割標(biāo)準(zhǔn)如圖6所示。最終得到2個10000維的LDA姿態(tài)識別基。再將所有的灰度圖像投影到這組基上，并對降維后的特征求均值，得到了每類姿態(tài)的特征。
B)LDA身份識別基對每幅正面人臉圖像我們用三維人臉重建算法得到三維人臉，并在每個姿態(tài)區(qū)間生成5幅小角度變化的虛擬圖像(在原姿態(tài)的基礎(chǔ)上分別橫向轉(zhuǎn)動-5°、0°、5°，縱向轉(zhuǎn)動-5°、5°)。同一個人的5幅虛擬圖像形成一類，共用600類訓(xùn)練LDA身份識別基。為了進(jìn)一步提高本方法對于光照和表情的魯棒性，我們使用圖像的Gabor特征[9]，這樣每一幅人臉圖像形成了10240維空間中的一個樣本。最終我們使用前250個10240維的LDA身份識別基。
2.注冊階段A)對于輸入的正面標(biāo)準(zhǔn)人臉圖像，利用Adaboost方法進(jìn)行人臉檢測，標(biāo)識出128×128的人臉子區(qū)域。
B)利用實(shí)時AAM方法自動標(biāo)定人臉子圖像上的60個特征點(diǎn)坐標(biāo)。
C)對該人臉子圖像進(jìn)行三維人臉重建。
D)分別在-30°、0°和30°姿態(tài)的基礎(chǔ)上橫向轉(zhuǎn)動-5°、0°、5°，縱向轉(zhuǎn)動-5°、5°，各生成5幅128×128的虛擬人臉圖像。
E)對虛擬人臉圖像提取Gabor特征，并分別投影到相應(yīng)的LDA身份識別基上，得到每幅圖像250維的特征，求取它們的平均值，作為該姿態(tài)下該人臉的特征。
3.測試階段A)對于輸入的人臉圖像，利用Adaboost方法進(jìn)行人臉檢測，標(biāo)識出128×128的人臉子區(qū)域。
B)對該子圖像進(jìn)行灰度化和切割(圖6)，得到100×100的灰度圖像，將其投影到LDA姿態(tài)識別基上，并與已有的姿態(tài)特征作比較，用最近鄰判別法進(jìn)行分類，得到人臉姿態(tài)。
C)提取128×128人臉子圖像的Gabor特征，并投影到相應(yīng)姿態(tài)的LDA身份識別基上，得到250維的特征，并與已有的身份特征作比較，用最近鄰判別法得到人臉身份。
在本案例中，采用本方法對側(cè)面人臉圖像(-30°和30°)進(jìn)行識別，獲得了82.8％的識別率。
權(quán)利要求
1.一種基于人臉統(tǒng)計知識的人臉識別方法，其特征在于包含建立一個三維可變形人臉模型、一個快速的三維人臉重建算法、一個將人臉識別分為姿態(tài)、身份兩個階段的識別策略，具體步驟分為訓(xùn)練、注冊和測試三個階段(1)訓(xùn)練階段首先將姿態(tài)定義為P個區(qū)間；對于姿態(tài)識別，將同一姿態(tài)的人臉圖像構(gòu)成一類，按(3)(4)式分別計算類內(nèi)散布矩陣Sw和類間散布矩陣Sb，并得到姿態(tài)識別LDA基；將各樣本投影到這些基上得到了各樣本降維后的特征；求取同一類樣本的均值，作為該姿態(tài)人臉圖像的特征；對于身份識別，分別在各個姿態(tài)區(qū)間將同一身份的人臉圖像構(gòu)成一類，按(3)(4)式分別計算類內(nèi)散布矩陣 ，i＝1，2，…，p和類間散布矩陣 ，i＝1，2，…，p，并得到各自的身份識別LDA基；(2)、注冊階段①對于輸入的正面標(biāo)準(zhǔn)人臉圖像，利用Adaboost方法進(jìn)行人臉檢測，標(biāo)識出包含人臉的圖像子區(qū)域；②利用實(shí)時AAM方法自動標(biāo)定人臉區(qū)域上n個特征點(diǎn)坐標(biāo)；數(shù)目一般在40至100之間；③對該人臉圖像進(jìn)行三維人臉重建；④在各個姿態(tài)區(qū)間分別生成一些小角度姿態(tài)變化的該人臉的虛擬圖像，將它們分別投影到相應(yīng)姿態(tài)的LDA身份識別基上，得到了降維后的特征，對它們求取均值，作為該姿態(tài)下該人臉的特征；(3)測試階段①對于輸入的測試人臉圖像，利用Adaboost方法進(jìn)行人臉檢測，標(biāo)識出包含人臉的圖像子區(qū)域；②對人臉區(qū)域進(jìn)行姿態(tài)識別；即將其投影到LDA姿態(tài)識別基上，得到了降維后的特征，然后與已有的姿態(tài)特征進(jìn)行比較，用最近鄰判決法進(jìn)行分類，得到該人臉圖像的姿態(tài)；③對人臉區(qū)域進(jìn)行身份識別；即將其投影到相應(yīng)姿態(tài)的LDA身份識別基上，得到了降維后的特征，然后與已有的身份特征進(jìn)行比較，用最近鄰判決法進(jìn)行分類，得到該人臉圖像的身份；其中類內(nèi)散布矩陣sw=Σi=1cΣxj∈Xi(xj-mi)(xj-mi)T---(3)]]>類間散布矩陣sb=Σi=1cNi(mi-m)(mi-m)T---(4)]]>這里，總均值m=1NΣi=1Nxi]]>各類均值mi=1NiΣxj∈Xixj]]>(i＝1，2，…，c)xi，i＝1，2，…，N，為所有兩維人臉圖像按行序或列序排列成的向量，一幅圖像對應(yīng)于高維空中的一個樣本，C為這樣本的類數(shù)，Ni為每類中的樣本數(shù)。
2.根據(jù)權(quán)利要1所述的人臉識別方法，其特征在于所述的三維人臉重建算法如下首先在三維可變形人臉模型上離線標(biāo)定特征點(diǎn)下標(biāo)，對于第k個特征點(diǎn)，其三維坐標(biāo)為(xk,yk,zk)T=(x‾k,y‾k,z‾k)T+Σi=1msαi(xik,yik,zik)T---(5)]]>其中(xk，yk，zk)T為平均人臉形狀上該點(diǎn)的三維坐標(biāo)，(xik，yik，zik)T為第i個形狀特征向量上該點(diǎn)的三維坐標(biāo)；經(jīng)過空間變換之后，其坐標(biāo)變?yōu)?x~k,y~k,z~k)T=Rθ×Rφ×Rγ×s×(xk,yk,zk)T+(tx,ty,0)T---(6)]]>Rθ=1000cosθ-sinθ0sinθcosθ,Rφ=cosφ0sinφ010-sinφ0cosφ,Rγ=cosγ-sinγ0sinγcosγ0001]]>分別表示模型圍繞x軸、y軸和z軸的旋轉(zhuǎn)矩陣，s為尺度因子，tx為x軸方向上的平移，ty為y軸方向上的平移；該第k個特征點(diǎn)在圖像平面上的投影坐標(biāo)為Pxk=x~k×(width/edge)+width/2;]]>Pyk=y~k×(height/edge)+height/2---(7)]]>其中width為兩維圖像的寬度，height為圖像的長度，edge為三維視區(qū)邊界的長度；定義第k個特征點(diǎn)的投影誤差為ek=(Pxk-P^xk,Pyk-P^yk)∈R2---(8)]]>其中(Pxk，Pyk)為式(7)得到的三維人臉模型上第k個特征點(diǎn)在圖像平面上的投影坐標(biāo)， 是注冊階段第2)步中用實(shí)時AAM方法標(biāo)定的同一特征點(diǎn)坐標(biāo)；將所有n個特征點(diǎn)的投影誤差連成一個向量e＝(e1，e2，…，en)T∈R2n，并且定義代價函數(shù)為E=12eT,e=12Σk=1n[(Pxk-P^xk)2+(Pyk-Pyk)2]]]>它是ρ=(α1,···,αms,θ,φ,γ,tx,ty,s)T∈Rms+6]]>的函數(shù)，它考慮了注冊圖像中人臉的形狀、和在三維空間的旋轉(zhuǎn)、平移與縮放；由式(5)(6)(7)(8)可以顯式地得到誤差向量e對ρ的導(dǎo)數(shù)，利用Levenberg-Marquardt算法對其進(jìn)行優(yōu)化；當(dāng)算法收斂的時候，αi即表征了注冊圖像中人臉的三維形狀在完成了三維人臉形狀重建之后，利用注冊圖像對模型進(jìn)行紋理映射對于三維模型上任意一個頂點(diǎn)，其空間坐標(biāo)為 由(7)式得到其在圖像平面上的投影坐標(biāo)為(Px，Py)；將該坐標(biāo)上注冊圖像的象素值I(Px，Py)作為三維模型上對應(yīng)頂點(diǎn)的紋理I 就完成了三維人臉的紋理重建；重建完成之后，通過改變旋轉(zhuǎn)參數(shù)θ、φ和γ，就能夠得到不同姿態(tài)下該人臉的兩維投影圖像。
全文摘要
本發(fā)明屬于模式識別技術(shù)領(lǐng)域，具體涉及一種基于人臉統(tǒng)計知識的人臉識別方法，該方法利用一張正面標(biāo)準(zhǔn)人臉圖像作注冊，能夠得到該人臉在不同姿態(tài)下的虛擬圖像，再應(yīng)用一個將姿態(tài)識別和身份識別分開的兩階段識別策略，解決了注冊和識別時人臉姿態(tài)變化的問題。本方法包含了一個代表人臉結(jié)構(gòu)統(tǒng)計信息的三維可變形人臉模型、一個從正面人臉圖像中重建出三維人臉的重建算法和一個姿態(tài)－身份兩階段識別策略。本發(fā)明在僅有一張正面標(biāo)準(zhǔn)人臉圖像作注冊的情況下仍能獲得對側(cè)面測試圖像較高的識別率。
文檔編號G06K9/00GK1776712SQ20051011154
公開日2006年5月24日 申請日期2005年12月15日 優(yōu)先權(quán)日2005年12月15日
發(fā)明者姜嘉言, 張立明 申請人:復(fù)旦大學(xué)