專利名稱：快速魯棒的人臉圖像匹配方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人體生物特征分析的方法，特別涉及基于計(jì)算機(jī)視覺技術(shù)的人臉圖像匹配方法。
背景技術(shù)：
隨著計(jì)算機(jī)計(jì)算能力和存儲(chǔ)能力的飛速提高，生物識(shí)別技術(shù)以其特有的穩(wěn)定性、唯一性、方便性，被廣泛地應(yīng)用在安全認(rèn)證等身份鑒別領(lǐng)域中。與利用指紋、虹膜等其他人體生物特征進(jìn)行身份識(shí)別的方法相比，使用人臉進(jìn)行識(shí)別更加友好和方便，因此人臉識(shí)別技術(shù)脫穎而出，并逐漸進(jìn)入實(shí)用領(lǐng)域。
基于人臉圖像的身份鑒別可用于機(jī)關(guān)單位的安全和考勤、網(wǎng)絡(luò)安全、銀行、海關(guān)邊檢、物業(yè)管理、軍隊(duì)安全、計(jì)算機(jī)登錄系統(tǒng)。比如，公安布控監(jiān)控、監(jiān)獄監(jiān)控、司法認(rèn)證、民航安檢、口岸出入控制、海關(guān)身份驗(yàn)證、銀行密押、智能身份證、智能門禁、智能視頻監(jiān)控、智能出入控制、司機(jī)駕照驗(yàn)證、各類銀行卡、金融卡、信用卡、儲(chǔ)蓄卡的持卡人的身份驗(yàn)證，等等。
人臉圖像的自動(dòng)分析是建立基于人臉的身份鑒別系統(tǒng)的基礎(chǔ)。在十多年來關(guān)于人臉分析技術(shù)中，出現(xiàn)了許多人臉圖像分析模型。這些模型可以分為如下幾類(1)紋理模型紋理模型直接描述人臉圖像中的像素信息，主要用于人臉的檢測(cè)和識(shí)別。其基本方法是采用主成分分析來獲得特征臉譜，并通過特征臉譜將人臉描述為訓(xùn)練樣本的線性組合。雖然采用特征臉譜可較緊湊地表達(dá)出人臉線性空間，但它缺乏描述局部特征和局部拓?fù)湫再|(zhì)的能力。
(2)形狀模型這一類模型將人臉描述為一些特征點(diǎn)的位置或者一組參數(shù)曲線所表示的輪廓，基本方法是將形狀表示為參數(shù)曲線，并通過邊緣匹配來實(shí)現(xiàn)人臉定位。在此基礎(chǔ)上，有人提出了主動(dòng)形狀模型，該模型將人臉描述為一些有語義的特征點(diǎn)，通過對(duì)訓(xùn)練樣本的特征點(diǎn)進(jìn)行統(tǒng)計(jì)建模，得到描述人臉形狀的點(diǎn)分布模型。同時(shí)，還對(duì)各個(gè)特征點(diǎn)處的局部圖像特征進(jìn)行建模。
(3)形狀—紋理模型因?yàn)樾螤钅Ｐ秃图y理模型對(duì)人臉的表達(dá)都不完整，因而可將紋理與形狀結(jié)合起來，共同描述人臉?；镜乃枷胧歉鶕?jù)人臉的形狀將人臉圖像變形為標(biāo)準(zhǔn)的紋理圖像，從而將形狀和紋理分離開。
(4)形變模型從對(duì)人臉信息的描述方式來看，形變模型將形狀描述為密集的向量場(chǎng)而不是少數(shù)特征點(diǎn)的位置。形變模型通過計(jì)算一個(gè)參考人臉圖像到各訓(xùn)練人臉(稱為原型人臉)的像素級(jí)(密集)對(duì)應(yīng)來獲取原型人臉的形狀，并通過這個(gè)形狀場(chǎng)將原型人臉圖像進(jìn)行變形，得到與參考人臉逐像素對(duì)齊的紋理圖像。通過這種方式，形變模型將人臉的形狀和紋理有效地分離開來，因此，具有對(duì)人臉形狀描述精確、表達(dá)能力強(qiáng)、訓(xùn)練簡(jiǎn)單高效等優(yōu)點(diǎn)。通過形變模型匹配獲得的輸入人臉的參數(shù)化描述可以用于很多場(chǎng)合，例如人臉校驗(yàn)與識(shí)別、人臉跟蹤和圖像壓縮等。
形變模型用一種“合成而分析”的方式來分析新的輸入人臉圖像。通過將形變模型產(chǎn)生的人臉匹配到輸入人臉上去，以最佳的模型參數(shù)給出了對(duì)輸入人臉的解釋。
(1)對(duì)于用于主成分分析的每一個(gè)人臉圖像，首先對(duì)其進(jìn)行歸一化處理。歸一化過程是根據(jù)眼睛和嘴角的坐標(biāo)，消除樣本人臉圖像平移、旋轉(zhuǎn)和縮放的差異。
(2)計(jì)算參考人臉圖像。參考人臉圖像可以取為庫中所有原型人臉圖像的平均圖像。
(3)計(jì)算原型人臉圖像的形狀向量給定參考人臉圖像I0和一個(gè)原型人臉圖像庫中的一個(gè)圖像Ij，形變模型定義其形狀為映射SjR2→R2，即從I0到Ij的像素對(duì)應(yīng)Sj(x，y)＝(x′，y′)(1)其中，(x′，y′)是Ij中與I0像素(x，y)對(duì)應(yīng)的像素。
(4)計(jì)算原型人臉圖像的紋理向量相應(yīng)地，Ij的紋理定義為映射TjR2→I(其中I為像素值，可以是灰度值或者RGB值)Tj(x，y)＝Ij(Sj(x，y))≡IjoSj(x，y)(2)其中o定義為變形算子，將Ij通過形狀場(chǎng)Sj(x，y)反向變形到參考人臉圖像上。因此Tj(x，y)是不包含形狀信息的圖像。
(5)計(jì)算模型形狀向量和模型紋理向量用原型人臉的形狀向量和紋理向量的線性組合表達(dá)輸入人臉圖像的計(jì)算模型形狀向量和模型紋理向量。計(jì)算方法如下Smodel=Σi=0NciSi,Tmodel=Σi=0NbiTi---(3)]]>
原型形狀向量和原型紋理向量張成的線性子空間的實(shí)際維數(shù)都很小，甚至小于原型的數(shù)量，因此，直接用原型形狀向量和原型紋理向量來描述的模型形狀向量和模型紋理向量并不緊湊。
(6)描述通用主動(dòng)形變模型對(duì)原型形狀和原型紋理分別進(jìn)行主成分分析，從而，模型形狀向量和模型紋理向量被表達(dá)為如下緊湊的形式S＝μ+Φα(4)T＝v+Ωβ (5)其中，μ是平均形狀向量，Φ是最大的l個(gè)特征值對(duì)應(yīng)的形狀向量構(gòu)成的矩陣，α是緊湊的l維形狀系數(shù)向量。公式(5)中，v，Ω具有相似的含義。β是緊湊的m維紋理向量。通過主成分分析，消除了原型形狀和原型紋理之間的線性相關(guān)性，降低了形狀和紋理參數(shù)向量的維數(shù)。公式(4)和公式(5)所得到的模型形狀向量和模型紋理向量就是本發(fā)明的通用的主動(dòng)形變模型。
(7)根據(jù)參考人臉圖像對(duì)每一個(gè)原型人臉進(jìn)行向量化。
向量化就是將Sj(x，y)和Tj(x，y)與參考人臉圖像逐像素對(duì)齊，也就是要建立兩個(gè)對(duì)應(yīng)關(guān)系Sj和Tj。圖2說明了向量化過程計(jì)算各原型人臉圖像與參考人臉圖像之間的像素對(duì)應(yīng)關(guān)系①本發(fā)明將形狀表達(dá)為參考人圖像中每一個(gè)像素到原型人臉圖像中對(duì)應(yīng)像素的坐標(biāo)偏移量。由于坐標(biāo)偏移量是一個(gè)2D向量，因而獲得一個(gè)向量場(chǎng)，稱之為形狀場(chǎng)。形狀場(chǎng)描述了參考人臉圖像和原型人臉圖像的圖像級(jí)密集對(duì)應(yīng)關(guān)系。
②有了形狀對(duì)應(yīng)關(guān)系，紋理則被表達(dá)為參考圖像中每一個(gè)像素在原型人臉圖像中對(duì)應(yīng)像素的灰度值或RGB值，可通過形狀場(chǎng)將原型圖像反向變形到參考圖像上而得到。
(8)去除背景原型圖像中不僅有我們所關(guān)心的人臉部分，還包括背景。在實(shí)際的人臉分析問題中，我們所需要分析的僅僅是人臉部分，而不是背景部分。而背景的變化很大，無法建立一個(gè)通用的模型。因此，背景區(qū)域不能被表達(dá)在形變模型當(dāng)中，應(yīng)設(shè)法去除。另外，去除背景區(qū)域后，因背景像素被丟棄，形變模型的形狀、紋理向量的維數(shù)將大大減少，節(jié)約了計(jì)算資源。
圖3是說明去除背景的方法。根據(jù)參考人臉圖像，生成模板圖像。模板圖像中白色的像素標(biāo)記了需要建模的人臉部分。在將2D陣列展開成向量時(shí)，只有人臉部分的像素對(duì)應(yīng)的形狀(2D位移向量)和紋理值(灰度或RGB)被使用。由此得到的原型形狀向量和原型紋理向量只包含我們需要的人臉部分，去除了我們不需要的背景部分。這些向量被用來訓(xùn)練得到形狀和紋理的線性模型。因?yàn)樯厦娴男螤詈图y理的2D陣列分別與參考人臉圖像逐像素對(duì)齊的，上述加模板過程并未丟失原型中包含的有用信息。
通過加模板處理之后，公式(4)和(5)中的S和T可以描述為S＝[x1，L，xL|y1，L，yL]T(6)T＝[R1，G1，B1，L，RL，GL，BL]T(7)其中，L是加模板后像素的數(shù)量，(xi，yi)和(Ri，Gi，Bi)分別是(參考人臉圖像的)第i個(gè)像素所對(duì)應(yīng)的原型人臉像素的位置和像素值。
(9)將輸入人臉表達(dá)成通用的主動(dòng)形變模型對(duì)于用于主成分分析的每一個(gè)原型人臉圖像，通過上述過程，獲得對(duì)應(yīng)的形狀向量和紋理向量。分別將形狀向量和紋理向量進(jìn)行主成分分析，獲得μ和Φ以及v和Ω。然后對(duì)一個(gè)新的輸入人臉圖像，由公式(4)和(5)表示成式(6)和(7)的向量形式。
(10)計(jì)算通用的主動(dòng)形變模型的匹配參數(shù)本發(fā)明將形變模型的匹配描述為一個(gè)誤差函數(shù)最小化問題。本發(fā)明采用基于梯度信息的優(yōu)化方法來求解這一匹配問題。引入一個(gè)仿射變換，使通用主動(dòng)形變模型適應(yīng)實(shí)際人臉圖像的各種不同姿態(tài)。仿射變換A用縮放系數(shù)s，2D旋轉(zhuǎn)角θ和平移向量[tx，ty]T來表示A(x,y)=scosθ-sinθsinθcosθxy+txty---(8)]]>將公式(8)應(yīng)用于公式(4)和(5)，則有Smodel＝R(μ+Φα)+t (9)其中，R是2L×2L維分塊的縮放和旋轉(zhuǎn)矩陣R=scosθ·IL-sinθ·ILsinθ·ILcosθ·IL]]>這里IL為L(zhǎng)×L維單位矩陣。t是2L維平移向量t＝[tx，tx，L，tx，ty，ty，L，ty]T對(duì)紋理(5)進(jìn)行線性色彩變換C，模型產(chǎn)生的紋理表示為Tmodel＝C·(v+Ωβ)+s(10)其中C是3L×3L維對(duì)角色彩增益矩陣C＝diag(γr，γg，γb，L，γr，γg，γb)s是3L維色彩偏移向量s＝[σr，σg，σb，L，σr，σg，σb]T(γr，γg，γb)和(σr，σg，σb)分別是色彩增益和偏移參數(shù)。引入這些參數(shù)的原因?qū)㈦S后介紹。
這樣本發(fā)明的通用形變模型的參數(shù)為αi(i＝1，L，L)，s，θ，(tx，ty)，βi(i＝1，L，m)，(γr，γg，γb)和(σr，σg，σb)。
為了求解這些參數(shù)，可通過最小化匹配誤差的方法來獲得E=12Σx,y||Inovel·A[(μ(x,y)+Σi=1LαiΦi(x,y)]-C[v(x,y)+Σi=1LβiΩi(x,y)]||2---(11)]]>下面描述式(10)中相關(guān)的色彩變換。在實(shí)際的人臉分析問題中，輸入的彩色人臉圖像并不一定來源于同一個(gè)取像設(shè)備，而不同的數(shù)字取像設(shè)備的色彩增益特性是不一樣的。為了讓形變模型能夠正確地匹配到從各種取像設(shè)備取得的人臉圖像上去，必須考慮這一因素。我們用一個(gè)線性的色彩變換模型描述色彩增益特性，對(duì)彩色像素[r，g，b]T，變換后的像素[r′，g′，b′]T為r′g′b′=B-1·diag(1,d,d)·B·diag(γr,γg,γb)·rgb+σrσgσb---(12)]]>其中，0≤d≤1是顏色對(duì)比度因子。極端情況d＝0，變換后的圖像退化為灰度圖像，加入這一考慮使彩色的形變模型可以匹配灰度輸入圖像或者顏色比較灰暗的圖像。B的取值為B=0.2990.5870.1140.596-0.27-0.320.2110.5230.312]]>匹配參數(shù)計(jì)算出來，也就是說已經(jīng)完成了將輸入人臉匹配到模型人臉。
但是，從以上方法可知用形變模型匹配(即分析)輸入人臉圖像的問題被簡(jiǎn)單地描述為一個(gè)誤差最小化問題，并采用普通的數(shù)值優(yōu)化算法——隨機(jī)梯度下降來求解。導(dǎo)致其有如下兩個(gè)缺點(diǎn)一、沒有充分利用輸入圖像的啟發(fā)信息用形變模型匹配輸入人臉圖像的問題被簡(jiǎn)單地描述為一個(gè)誤差最小化問題，并采用普通的數(shù)值優(yōu)化算法——隨機(jī)梯度下降來求解。這樣就沒有有效地利用輸入圖像提供的啟發(fā)信息。而實(shí)際上，輸入人臉圖像Inovel所隱含的啟發(fā)信息非常豐富一方面，對(duì)于紋理而言，通用形變模型所需要匹配的最終目標(biāo)紋理圖像直接包含在Inovel當(dāng)中，從而形變模型中紋理參數(shù)的優(yōu)化可以直接利用此信息。另一方面，對(duì)于形狀而言，雖然Inovel本身并不包含形狀信息(即參考人臉各像素在Inovel中對(duì)應(yīng)像素的坐標(biāo))，但在模型匹配時(shí)，同樣可通過計(jì)算當(dāng)前的模型人臉圖像Imodel到輸入圖像Inovel的光流來提取后者中隱含的形狀信息。這樣，可直接指導(dǎo)形變模型的形狀和姿態(tài)參數(shù)的更新。
二、計(jì)算速度慢從計(jì)算角度考慮，通用優(yōu)化算法(如梯度下降法)在每一步迭代中需要計(jì)算誤差函數(shù)的梯度，最后歸結(jié)為在各像素處計(jì)算像素誤差的偏導(dǎo)數(shù)。對(duì)于104-105量級(jí)的像素?cái)?shù)目，這包含相當(dāng)龐大的運(yùn)算量，計(jì)算速度慢。
這兩個(gè)缺點(diǎn)限制了形變模型在實(shí)際的人臉匹配設(shè)備中的應(yīng)用。
因此，業(yè)內(nèi)存在一種需要充分利用輸入圖像所隱含的啟發(fā)信息來有效地引導(dǎo)模型參數(shù)的優(yōu)化；在每一步迭代中以高效的計(jì)算方式來更新參數(shù)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種快速魯棒的人臉圖像自動(dòng)分析的方法，其特點(diǎn)是充分利用輸入人臉圖像中的啟發(fā)信息，利用隨機(jī)優(yōu)化方法和魯棒估計(jì)技術(shù)設(shè)計(jì)匹配系統(tǒng)。不僅增強(qiáng)了匹配系統(tǒng)在參數(shù)優(yōu)化中跳出局部極小點(diǎn)的能力，而且能夠有效地抵抗輸入人臉圖像中由光照變化、遮擋、噪聲等引起的不利影響，可有效地恢復(fù)丟失的或污染的圖像信息，加快計(jì)算速度。
為了達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案人臉圖像匹配系統(tǒng)中用于匹配形狀參數(shù)的像素位置從輸入人臉圖像中通過采樣獲得，并且在眼睛、眉毛、鼻、嘴巴等邊緣特征較明顯的區(qū)域具有較高的采樣頻率。人臉圖像匹配系統(tǒng)根據(jù)這些形狀采樣點(diǎn)通過魯棒估計(jì)方法逐步獲得形狀參數(shù)。
該人臉圖像匹配系統(tǒng)中用于匹配紋理參數(shù)的像素值從輸入人臉圖像進(jìn)行采樣。采樣過程由一個(gè)模板圖像進(jìn)行控制。模板圖像由參考人臉圖像獲得，并通過形狀信息聯(lián)系著輸入人臉圖像。模板圖像表明在輸入人臉圖像的內(nèi)部具有較高的相同的采樣頻率而在輸入人臉圖像的外邊緣具有較小的不同的采樣頻率。人臉圖像匹配系統(tǒng)根據(jù)這些紋理采樣點(diǎn)通過魯棒估計(jì)方法逐步獲得紋理參數(shù)。
人臉圖像匹配系統(tǒng)中參數(shù)估計(jì)是一種魯棒的統(tǒng)計(jì)估計(jì)方法。采用Monte-Carlo采樣策略對(duì)參數(shù)空間進(jìn)行子采樣，并按最小誤差平方中值原則迭代尋找匹配參數(shù)。通過對(duì)輸入人臉圖像進(jìn)行塊采樣擬制優(yōu)化中野值的作用，增加人臉圖像匹配系統(tǒng)抗局部遮擋和光照變化等噪聲影響的能力。
人臉圖像匹配系統(tǒng)中有機(jī)地將參數(shù)尋優(yōu)過程分解為既相獨(dú)立又相聯(lián)系的形狀參數(shù)尋優(yōu)過程和紋理參數(shù)尋優(yōu)過程，并通過分而治之的尋優(yōu)策略同時(shí)獲得形狀和紋理參數(shù)。


圖1建立通用主動(dòng)形變模型的方法圖2原型人臉進(jìn)行向量化的方法圖3去除背景的方法圖4基于通用形變模型的人臉匹配主流程5形狀更新和紋理更新方法圖6采樣7快速魯棒的人臉匹配系統(tǒng)流程8沒有污染的人臉匹配示意9污染情形下，人臉匹配的部分結(jié)果具體實(shí)施方式
下面結(jié)合附圖進(jìn)一步說明本發(fā)明的技術(shù)方案。
輸入人臉圖像Inovel中所隱含的紋理信息和形狀信息可以被用來直接引導(dǎo)相應(yīng)模型參數(shù)的優(yōu)化。但是，在誤差函數(shù)(11)中，形狀和紋理參數(shù)是緊密耦合在一起的，無法直接利用從Inovel中獲取的啟發(fā)信息。最小化誤差函數(shù)(11)的實(shí)際意義是尋找最優(yōu)的形狀(及姿態(tài))和紋理參數(shù)，使得模型合成的人臉圖像最接近于輸入的人臉圖像。從計(jì)算的策略來看，這等價(jià)于尋找模型參數(shù)，使得輸入人臉的形狀和紋理能夠同時(shí)被模型最佳匹配。這是本發(fā)明所提供的獨(dú)特的人臉匹配策略。本發(fā)明的方法是將(11)所表示的誤差函數(shù)分解為兩個(gè)相對(duì)獨(dú)立的形狀誤差函數(shù)和紋理誤差函數(shù)
Es=Σx,y||S*(x,y)-A·[μ(x,y)+Σi=0LαiΦi(x,y)]||2---(13)]]>Et=Σx,y||T*(x,y)-C·[v(x,y)+Σi=0LβiΩi(x,y)]||2---(14)]]>同時(shí)最小化(13)和(14)式等價(jià)于最小化原誤差函數(shù)(11)。
在(13)和(14)式中，S*和T*分別是輸入人臉的形狀和紋理，也就是我們匹配的目標(biāo)。匹配過程的最初階段，我們并不知道其真實(shí)值。但是，我們可以從Inovel中獲得它們的估計(jì)值，這就是本發(fā)明所利用的啟發(fā)信息。
在形變模型中，形狀參數(shù)和紋理參數(shù)是彼此獨(dú)立的，現(xiàn)在通過誤差函數(shù)分解，形狀和紋理參數(shù)的優(yōu)化也完全分開了。因此，我們可以分別更新形狀和紋理參數(shù)以最小化(13)和(14)式，并將這兩個(gè)更新步驟交替進(jìn)行，構(gòu)成通用的主動(dòng)形變模型匹配系統(tǒng)的更新框架。
進(jìn)一步描述更新框架的設(shè)計(jì)細(xì)節(jié)。(13)式的最小化問題等價(jià)于如下問題argmins,θtx,ty,αΣx,y||s*(x,y)-A[μ(x,y)+Σi=0LαiΦi(x,y)]||2---(15)]]>引入?yún)?shù)變換sx＝s·cosθ，sy＝s·sinθ，αx＝sxα，αy＝syα。并令X=[sx,sy,tx,ty,αxT,αyT]T]]>則(15)可以等價(jià)于如下線性最小二乘問題argminX||PX-S*||2---(16)]]>對(duì)于(14)式則有argminγr,γg,γb,σr,σg,σbΣx,y||T*(x,y)-C·[v(x,y)+Σi=0LβiΩi(x,y)]||2---(17)]]>定義復(fù)合參數(shù)向量βr＝γr·β，βg＝γg·β，βb＝γb·β。并令Y＝[γr，γg，γb，σr，σg，σb，βr，βg，βb]T，argminY||QY-T*||2---(18)]]>從而(17)式可以轉(zhuǎn)化為如下線性最小二乘問題通過參數(shù)變換，本發(fā)明將一個(gè)非線性最優(yōu)化問題轉(zhuǎn)化為一個(gè)線性最小二乘問題。圖4給出了本發(fā)明的人臉匹配系統(tǒng)的工作流程圖。
圖4中，初始化工作是指設(shè)置形狀、紋理、姿態(tài)和色彩參數(shù)為初始的估計(jì)值。運(yùn)算開始時(shí)，初始的人臉模型為平均人臉模型。一般來講，形狀向量α和紋理向量β被設(shè)置為0。姿態(tài)參數(shù)的初始值可以來自于人臉檢測(cè)的結(jié)果。色彩變換被設(shè)置為同一變換。
完成初始化工作之后，開始進(jìn)行形狀和紋理的更新，獲得滿意的結(jié)果(即算法收斂)為止。最后根據(jù)更新形狀參數(shù)向量α和紋理參數(shù)向量β由公式(4)和(5)生成模型人臉圖像。圖5具體說明了形狀更新模塊和紋理更新模塊。
這是一種針對(duì)形狀和紋理的分而治之并且相互促進(jìn)的系統(tǒng)設(shè)計(jì)策略。因?yàn)楦鶕?jù)形變模型的定義，形狀和紋理參數(shù)是彼此獨(dú)立的，現(xiàn)在通過誤差函數(shù)分解，形狀和紋理參數(shù)的優(yōu)化也完全分開了。因此，我們可以分別更新形狀和紋理參數(shù)以最小化(13)和(14)式，并將這兩個(gè)更新步驟交替進(jìn)行，構(gòu)成通用主動(dòng)形變模型匹配系統(tǒng)的計(jì)算框架。交替最小化(13)和(14)式而最終使兩者都到達(dá)最小值，其隱含的假設(shè)是，形狀優(yōu)化和紋理優(yōu)化應(yīng)該是互相促進(jìn)的。因?yàn)橥ㄟ^最小化(13)和(14)式得到的參數(shù)的準(zhǔn)確程度取決于S*和T*對(duì)輸入人臉真實(shí)形狀和紋理估計(jì)的準(zhǔn)確程度。
所謂“相互促進(jìn)”也就是說形狀(紋理)優(yōu)化能夠改進(jìn)T*(S*)。事實(shí)上，通過最小化形狀誤差(13)，我們得到了更好的形狀和姿態(tài)參數(shù)，從而可以得到更準(zhǔn)確的T*，使紋理優(yōu)化更準(zhǔn)確；反過來，最小化紋理誤差(14)使我們獲得了更準(zhǔn)確的紋理，并生成更為接近于輸入人臉的模型人臉I(yè)model。這就會(huì)導(dǎo)致隨后的光流計(jì)算的結(jié)果更為可靠，從而獲得更準(zhǔn)確的S*。反過來它又將促進(jìn)形狀優(yōu)化。形狀優(yōu)化和紋理優(yōu)化交替進(jìn)行，在更新模型參數(shù)的同時(shí)不斷改進(jìn)對(duì)S*和T*的估計(jì)，最終到達(dá)使誤差函數(shù)(11)最小的最優(yōu)點(diǎn)。
現(xiàn)在來說明對(duì)S*和T*。這樣，我們就完整地介紹了本發(fā)明的通用主動(dòng)形變模型匹配系統(tǒng)的設(shè)計(jì)過程。
通過計(jì)算Imodel到Inovel的光流，可以得到S*的估計(jì)值。S*是輸入人臉的形狀，即參考人臉I(yè)ref的各個(gè)像素在Inovel中對(duì)應(yīng)像素的坐標(biāo)，為了獲取S*，我們需要建立Iref中的像素坐標(biāo)到Inovel中對(duì)應(yīng)像素坐標(biāo)的映射MR2→R2(xnovel，ynovel)＝M(xref，yref)M是由兩個(gè)映射的復(fù)合M＝MofoMmodel。其中，(xmodel，ymodel)＝Mmodel(xref，yref)是由模型的形狀和姿態(tài)參數(shù)確定的映射，也就是將模型紋理前向變形生成Imodel的映射。而(xnovel，ynovel)＝Mof(xmodel，ymodel)是從Imodel到Inovel的光流所表達(dá)的映射。
另一方面，根據(jù)模型當(dāng)前的形狀和姿態(tài)參數(shù)，將Inovel反向變形到參考人臉上，則可以得到對(duì)T*的估計(jì)。
該匹配系統(tǒng)有效地利用了輸入圖像中的啟發(fā)信息來直接引導(dǎo)模型參數(shù)的優(yōu)化，并且在每一個(gè)迭代中用線性方法計(jì)算參數(shù)的更新，使形變模型匹配的過程具有較高的計(jì)算效率和較快的收斂速度。
現(xiàn)在我們來介紹本發(fā)明提高該系統(tǒng)的魯棒性的三種策略。首先作一些相關(guān)解釋在采用基于最小二乘的數(shù)學(xué)優(yōu)化器求解形狀(16)和紋理(18)優(yōu)化問題時(shí)，有可能陷入局部極小點(diǎn)。為了增強(qiáng)算法跳出局部極小點(diǎn)的能力，可行的做法是加入隨機(jī)擾動(dòng)的因素。
由于形狀和紋理的表達(dá)都是密集的，像素?cái)?shù)量級(jí)在104左右，因此求解(16)和(18)時(shí)，運(yùn)算規(guī)模比較大，從而限制了運(yùn)算速度。
在通用的主動(dòng)形變模型中，紋理和形狀都通過主分量分析來描述。在紋理優(yōu)化時(shí)，我們需要求出紋理模型的主元系數(shù)(以及色彩參數(shù))，使模型產(chǎn)生的紋理和目標(biāo)紋理T*之間的誤差最小，即與T*相匹配；形狀優(yōu)化的情形也是類似的。其中，紋理和形狀優(yōu)化都建模為最小二乘問題。由于每一個(gè)像素處的局部誤差對(duì)誤差平方和函數(shù)貢獻(xiàn)相同，如果我們要匹配的目標(biāo)在局部出現(xiàn)了野值，對(duì)整體誤差就會(huì)產(chǎn)生較大的影響，因此最小二乘對(duì)野值是不魯棒的。具體來說，對(duì)于紋理，如果目標(biāo)紋理T*的局部產(chǎn)生了模型無法預(yù)測(cè)的變化，例如頭發(fā)或是眼鏡的遮擋，就會(huì)對(duì)紋理的整體匹配產(chǎn)生很不利的影響；對(duì)于形狀，由于光流運(yùn)算不總是很可靠的，在某些像素位置會(huì)產(chǎn)生的錯(cuò)誤的點(diǎn)對(duì)應(yīng)，從而引起目標(biāo)形狀*S的部錯(cuò)誤，這將使形狀的整體匹配出現(xiàn)問題。
(1)形狀采樣模塊我們需要從參考人臉上隨機(jī)選取一些像素，用它們求解形狀優(yōu)化問題。換言之，我們需要根據(jù)一個(gè)概率分布，從全體像素集合中采樣出所需要的像素。簡(jiǎn)單地選擇均勻分布并不是一個(gè)好的選擇。在形狀優(yōu)化中，每個(gè)像素提供了相應(yīng)位置處的形狀信息。很自然，處于人臉圖像中的邊緣(如臉部器官的邊緣以及人臉輪廓)處的像素提供的形狀信息更為重要，而缺乏紋理區(qū)域的像素則相對(duì)不重要。另一方面，形狀信息是通過光流計(jì)算獲得的，而邊緣像素的光流更為可靠。因此，邊緣像素應(yīng)當(dāng)具有較高的采樣概率。
基于上述分析，我們根據(jù)各像素處邊緣信息的強(qiáng)度來決定該像素的采樣概率，具體做法如下(a)用圖像處理中通用的邊緣算子計(jì)算參考人臉圖像的梯度▿Iref=[∂Iref∂x,∂Iref∂y]T;]]>(b)計(jì)算邊緣信息的強(qiáng)度Ps(x,y)=||▿Iref||=(∂Iref∂x)2+(∂Iref∂y)2]]>。Ps是一圖像，稱為形狀采樣圖，如[圖6(a)]所示。
(c)將Ps歸一化Ps(x,y)=Ps(x,y)Σi,jPs(i,j)·ps]]>就是我們需要的概率分布。
我們可以按Ps進(jìn)行采樣，獲得Ns個(gè)像素(樣本)。然后在將數(shù)學(xué)優(yōu)化器應(yīng)用于公式(15)時(shí)，只考慮這些樣本。
(2)紋理采樣模塊與形狀優(yōu)化的情況類似，我們?cè)诩y理優(yōu)化時(shí)也需要根據(jù)一個(gè)概率分布對(duì)像素進(jìn)行采樣，因?yàn)榧y理優(yōu)化和形狀優(yōu)化是完全獨(dú)立的，這個(gè)分布可以與Ps不同。
與形狀采樣不同，對(duì)于紋理，各像素提供的信息基本是同等重要的，因此所選擇的概率分布應(yīng)該是一個(gè)均勻分布。但是，考慮到某些位置的像素常常被模型無法預(yù)測(cè)的因素所干擾(例如額頭容易被頭發(fā)遮擋，靠近臉輪廓處的像素因?yàn)楣庹盏年P(guān)系會(huì)有較大的變化)，這些像素所提供的信息可靠性較低，因而應(yīng)給予較低的采樣概率。綜合這些考慮，我們手工繪制一個(gè)描述參考人臉上各像素可靠性的圖像Pt，如[圖6-1(b)]所示。與Ps對(duì)應(yīng)，Pt稱為紋理采樣圖。圖6-1(b)k中，亮度越高，對(duì)應(yīng)的采樣頻率也越高。
類似地，需要將Pt進(jìn)行歸一化Pt(x,y)=Pt(x,y)Σi,jP(i,j)]]>。Pt就是紋理優(yōu)化時(shí)對(duì)像素采樣的概率分布，(18)式只包含按Pt采樣得到的Nt個(gè)像素。
(3)魯棒估計(jì)模塊像素隨機(jī)采樣方法可提高匹配系統(tǒng)中參數(shù)更新過程跳出局部極小的能力，同時(shí)減小了形狀和紋理優(yōu)化時(shí)的運(yùn)算量。但并沒有從根本上解決匹配的魯棒性問題。為此，本發(fā)明給出一種基于統(tǒng)計(jì)的魯棒的線性模型匹配方法。
最小誤差平方中值估計(jì)是統(tǒng)計(jì)分析中一種常用的魯棒的參數(shù)估計(jì)技術(shù)。但是，最小誤差平方中值估計(jì)無法獲得解析解。針對(duì)最小誤差平方中值估計(jì)，我可以采用Monte-Carlo策略對(duì)數(shù)據(jù)進(jìn)行子采樣，對(duì)每個(gè)子采樣數(shù)據(jù)集DJ用其它的估計(jì)方法求解出模型參數(shù)aJ。最后，按最小誤差平方中值估計(jì)原則選取{aJ}中最優(yōu)的參數(shù)，作為最后估計(jì)的參數(shù)。
考慮如下線性模型argminp||E·p-v||2---(19)]]>其中，E＝[e1，e2，L，ed]是給定的一組N維線性基向量，我們希望找到d維線性組合系數(shù)向量p，使得線性模型能夠與輸入向量v最佳匹配。本發(fā)明給出的Monte-Carlo策略如下(a)對(duì)v的各維數(shù)據(jù)進(jìn)行子采樣，被采樣到的數(shù)據(jù)構(gòu)成n維向量v(j)，取出線性基向量矩陣中相應(yīng)的n行，構(gòu)成E(j)。重復(fù)進(jìn)行m次子采樣，得到集合{v(1)，v(2)，L，v(m)}和{E(1)，E(2)，L，E(m)}。
(b)對(duì)第j(j＝1，2，…，m)組子采樣數(shù)據(jù)，求解p(j)=argminp(j)||E(j)·p(j)-v(j)||2---(20)]]>(c)選取p＝p(J)，J=argminjmedi(Ei(j)·p(j)-vi(j))2]]>。其中，Ei(j)是E(j)的第i行，vi(j)是v(j)的第i維。
如果應(yīng)用上述方法求解最小誤差平方中值估計(jì)，必須嚴(yán)格地控制子采樣樣本數(shù)n，同時(shí)又要使參與求解(20)的像素?cái)?shù)量盡可能多?？紤]到影響圖像匹配的主要是圖像局部因遮擋、光照等因素產(chǎn)生的噪聲，這些噪聲區(qū)域一般都很集中。因此，如果某一像素是野值，其鄰域像素也有很大概率為野值；反之亦然。因此可以采用“塊采樣”策略，也就是說，每采樣一個(gè)像素，該像素周圍的鄰域像素(塊)都被選中，這樣實(shí)際被采樣到的像素?cái)?shù)量n就遠(yuǎn)大于樣本數(shù)n。
實(shí)際應(yīng)用時(shí)，可以取3×3的像素塊。因此當(dāng)樣本數(shù)n＝10時(shí)，實(shí)際采樣的像素?cái)?shù)為90。為了能夠采樣到完全不含野值的子樣本向量v(j)，設(shè)野值占有率的上界為0，則當(dāng)m＝200次子采樣，可以以0.997的概率保證采樣到所需要的v(j)。
這樣，圖4所示的匹配系統(tǒng)可相應(yīng)地描述為圖7所示系統(tǒng)為了展示本發(fā)明的人臉匹配系統(tǒng)的效果，圖8給出了沒有污染的人臉匹配的一個(gè)例子，采用基本的匹配系統(tǒng)獲得的結(jié)果。
圖9給出一些帶污染的人臉圖像匹配的結(jié)果。其中圖8的每一列為輸入圖像，第二列為采用基本的匹配系統(tǒng)獲得的匹配結(jié)果，第三列是采用魯棒的匹配系統(tǒng)獲得的結(jié)果。
權(quán)利要求
1.一種快速魯棒的人臉圖像匹配方法，其特征在于，人臉圖像匹配系統(tǒng)中用于匹配形狀參數(shù)的像素位置從輸入人臉圖像中通過采樣獲得，并且在眼睛、眉毛、鼻、嘴巴等邊緣特征較明顯的區(qū)域具有較高的采樣頻率。人臉圖像匹配系統(tǒng)根據(jù)這些形狀采樣點(diǎn)通過魯棒估計(jì)方法逐步獲得形狀參數(shù)。
2.如權(quán)利要求1所述的一種快速魯棒的人臉圖像匹配方法，其特征在于，該人臉圖像匹配系統(tǒng)中用于匹配紋理參數(shù)的像素值從輸入人臉圖像進(jìn)行采樣。采樣過程由一個(gè)模板圖像進(jìn)行控制。模板圖像由參考人臉圖像獲得，并通過形狀信息聯(lián)系著輸入人臉圖像。模板圖像表明在輸入人臉圖像的內(nèi)部具有較高的相同的采樣頻率而在輸入人臉圖像的外邊緣具有較小的不同的采樣頻率。人臉圖像匹配系統(tǒng)根據(jù)這些紋理采樣點(diǎn)通過魯棒估計(jì)方法逐步獲得紋理參數(shù)。
3.如權(quán)利要求1所述的一種快速魯棒的人臉圖像匹配方法，其特征在于，人臉圖像匹配系統(tǒng)中參數(shù)估計(jì)是一種魯棒的統(tǒng)計(jì)估計(jì)方法。采用Monte-Carlo采樣策略對(duì)參數(shù)空間進(jìn)行子采樣，并按最小誤差平方中值原則迭代尋找匹配參數(shù)。通過對(duì)輸入人臉圖像進(jìn)行塊采樣擬制優(yōu)化中野值的作用，增加人臉圖像匹配系統(tǒng)抗局部遮擋和光照變化等噪聲影響的能力。
4.如權(quán)利要求1所述的一種使用通用的主動(dòng)形變模型的人臉圖像匹配方法，其特征在于，人臉圖像匹配系統(tǒng)中有機(jī)地將參數(shù)尋優(yōu)過程分解為既相獨(dú)立又相聯(lián)系的形狀參數(shù)尋優(yōu)過程和紋理參數(shù)尋優(yōu)過程，并通過分而治之的尋優(yōu)策略同時(shí)獲得形狀和紋理參數(shù)。
全文摘要
本發(fā)明是一種快速魯棒的人臉圖像匹配方法，它充分利用輸入人臉圖像中所隱含的啟發(fā)信息，采用隨機(jī)優(yōu)化方法和魯棒估計(jì)技術(shù)，設(shè)計(jì)匹配系統(tǒng)。不僅增強(qiáng)了匹配系統(tǒng)在參數(shù)優(yōu)化中跳出局部極小點(diǎn)的能力，而且能夠有效地抵抗輸入人臉圖像中由光照變化、遮擋、噪聲等引起的不利影響。該系統(tǒng)可有效地恢復(fù)丟失的或污染的圖像信息，同時(shí)還加快了計(jì)算速度。這對(duì)人臉識(shí)別等問題具有重要的實(shí)用意義。
文檔編號(hào)G06K9/00GK1987891SQ200510111938
公開日2007年6月27日 申請(qǐng)日期2005年12月23日 優(yōu)先權(quán)日2005年12月23日
發(fā)明者劉曉春, 陸乃將, 張長(zhǎng)水 申請(qǐng)人:北京海鑫科金高科技股份有限公司