一種基于深度學(xué)習(xí)的人臉圖片特征提取與對(duì)比方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及信息技術(shù)領(lǐng)域，特別涉及一種基于深度學(xué)習(xí)的人臉圖片特征提取與對(duì) 比方法。
【背景技術(shù)】
[0002] 人臉比對(duì)致力于鑒定兩張人臉是否屬于同一個(gè)人，難點(diǎn)在于能否獲取到穩(wěn)定的特 征。早期常用人臉特征提取算法諸如:LBP，Gab 〇r，haar等等，但準(zhǔn)確率受到環(huán)境因素影響存 在瓶頸。近些年越來(lái)越多的深度模型，尤其是卷積神經(jīng)網(wǎng)絡(luò)(CNN)被用來(lái)提取深層視覺(jué)特 征，通過(guò)模仿人大腦皮層的神經(jīng)網(wǎng)絡(luò)，采用卷積、池化、非線性變化等手段提出的卷積神經(jīng) 網(wǎng)絡(luò)模型，可以獲取更抽象更本質(zhì)的視覺(jué)特征。但仍然存在人臉圖像受到光照、表情、姿態(tài)、 化妝等多種因素的影響，給人臉圖像特征的提取帶來(lái)了很大的干擾，從而大大降低了識(shí)別 的效率。

【發(fā)明內(nèi)容】

[0003] 為了降低人臉姿態(tài)和光照變化等環(huán)境對(duì)人臉特征提取的影響和提高人臉對(duì)比準(zhǔn) 確率，本發(fā)明提供了一種基于深度學(xué)習(xí)的人臉圖片特征提取與對(duì)比方法。
[0004] 本發(fā)明的發(fā)明構(gòu)思為:本發(fā)明不同于以往將整張人臉作為訓(xùn)練模型的輸入，而是 給出一種有效的人臉區(qū)域分割方法，將一張人臉擴(kuò)容，截取人臉的十塊不同區(qū)域，每個(gè)區(qū)域 生成三種尺寸，并在RGB空間和灰度空間生成這些新模塊圖像，綜上所述每張人臉可以擴(kuò)容 到60張，相較整張人臉可以提取到局部穩(wěn)定的特征。之后為每個(gè)新模塊都建立一個(gè)基于混 合局部特征的卷積神經(jīng)網(wǎng)絡(luò)模型，相較傳統(tǒng)特征如LBP和H0G，可以提取深層的人臉特征信 息，綜合所有模塊的特征采用C0S距離進(jìn)行人臉比對(duì)。首先將一對(duì)人臉圖像模塊化，其次提 取每組圖像的關(guān)系特征，然后使用卷積神經(jīng)網(wǎng)絡(luò)提取關(guān)系特征的深層特征，最后使用C0S距 離進(jìn)行人臉比對(duì)。近幾年CFD東方人臉庫(kù)被應(yīng)用到了越來(lái)越多的人臉比對(duì)實(shí)驗(yàn)中，它包含了 視點(diǎn)和光照兩個(gè)子庫(kù)，本發(fā)明的提取與對(duì)比方法在該人臉庫(kù)中的人臉比對(duì)排名前5的準(zhǔn)確 率高達(dá)95%。
[0005] 為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明提供了一種基于深度學(xué)習(xí)的人臉圖片特征提取與 對(duì)比方法，其中，所述方法具體為：
[0006] 步驟S101:將0FD東方人臉庫(kù)中的每張圖像經(jīng)過(guò)局部模塊化后，得到60個(gè)圖像模 塊；
[0007] 步驟S102:構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，將步驟S101得到的圖像模塊輸入到所述卷積神經(jīng) 網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最終訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型；其中，所述卷積神經(jīng)網(wǎng)絡(luò)包括輸入 層、4層卷積池化層、2層全連接層和輸出層，其中每層卷積池化層由卷積層、最大池化層和 relu層組成；
[0008] 步驟S103:將(FD東方人臉庫(kù)的圖像經(jīng)局部模塊化后得到圖像模塊，然后輸入到卷 積神經(jīng)網(wǎng)絡(luò)，使用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型提取每一圖像模塊的特征，得到與每一圖像 對(duì)應(yīng)的特征向量；
[0009] 步驟S104:將待對(duì)比的人臉圖像，經(jīng)局部模塊化后輸入到卷積神經(jīng)網(wǎng)絡(luò)，使用訓(xùn)練 好的卷積神經(jīng)網(wǎng)絡(luò)模型提取每一圖像模塊的特征，得到待對(duì)比人臉圖像對(duì)應(yīng)的特征向量；
[0010] 步驟S105:將步驟S104輸出的待對(duì)比人臉圖像特征向量集依次與步驟S103得到的 每一圖像對(duì)應(yīng)的特征向量集，使用余弦相似度進(jìn)行對(duì)比，輸出一組相似度值，將相似度值從 大到小排序，輸出0FD東方人臉庫(kù)中最大相似度值對(duì)應(yīng)的圖像。
[0011] 進(jìn)一步地，所述步驟S101、所述步驟S103、所述步驟S104中，所述局部模塊化依次 包括按區(qū)域劃分、尺寸劃分和顏色空間劃分，具體步驟為：
[0012] 步驟S201:按區(qū)域劃分，采用ASM人臉特征點(diǎn)定位的方法對(duì)完整人臉圖像進(jìn)行區(qū)域 劃分得到十個(gè)區(qū)域模塊，劃分結(jié)果如下：①整張人臉模塊;②頭發(fā)、額頭和人眼模塊;③頭 發(fā)、額頭、人眼和鼻子模塊;④額頭、人眼、鼻子和嘴模塊;⑤人眼、鼻子、嘴和下巴模塊;⑥以 左眼為中心的模塊;⑦以右眼為中心的模塊;⑧以鼻尖為中心的模塊;⑨以左嘴角為中心的 模塊;⑩以右嘴角為中心的模塊;其中①-⑤模塊圖像尺寸為39X31mm，⑥-⑩模塊圖像尺寸 為31X 31mm;
[0013] 步驟S202:按尺寸劃分，將每個(gè)上述區(qū)域模塊以區(qū)域模塊中心點(diǎn)為基準(zhǔn)，在完整人 臉圖像的基礎(chǔ)上分別按照1.1:1、1.3:1和0.8:1三種尺寸進(jìn)行延展，每個(gè)區(qū)域模塊獲取到由 3種具有不同區(qū)域的圖像模塊組成的區(qū)域模塊集，然后按照與對(duì)應(yīng)的區(qū)域模塊尺寸將所有 區(qū)域模塊集中的每個(gè)圖像模塊進(jìn)行尺寸歸一化；
[0014]步驟S203:按色彩空間劃分，將所有區(qū)域模塊集中的每個(gè)模塊分為RGB空間和灰度 空間兩張圖像；
[0015]通過(guò)上述三種劃分方式，每張圖像共得到60個(gè)圖像模塊。
[0016]進(jìn)一步地，所述步驟S102中，所述卷積層提取人臉的深層特征，卷積層輸入為： input_data: WI*HI，輸出為：output_data: W0*W0,卷積核大小為:w*h，步長(zhǎng)為：stride，具體 為：
[0017] W0= (ffl-w)/stride (1)
[0018] H0= (HI-h)/stride (2)
(3)
[0019]
[0020] 其中，公式(3)中，待卷積圖像的（i，j)點(diǎn)像素值表示為PI(i，j)，卷積核的權(quán)重表 示為W(wn，hn)，卷積核大小為w*h，則對(duì)應(yīng)(i，j)像素點(diǎn)卷積后的像素值為P0( i，j)。
[0021] 進(jìn)一步地，所述步驟S103和所述步驟S104中，每個(gè)圖像模塊通過(guò)一個(gè)160維向量表 示，將每個(gè)圖像對(duì)應(yīng)的60個(gè)圖像模塊合成一個(gè)特征向量，用來(lái)表示一張人臉的全部特征信 息。
[0022] 進(jìn)一步地，所述步驟S105中，做人臉比對(duì)時(shí)，用余弦相似度計(jì)算兩個(gè)特征向量所成 角度，具體計(jì)算公式如下：
[0023]
(4)
[0024] 公式(4)中，A、B表示兩個(gè)人臉的特征向量，I |A| I表示A特征向量的2范數(shù)，I |B| I表 示B特征向量的2范數(shù)，i表示特征向量的第i維數(shù)據(jù)，η表示特征向量共有η維數(shù)據(jù)，Θ為兩個(gè) 特征向量的空間夾角，夾角越小表示兩個(gè)特征向量越相似。
[0025] 本發(fā)明的有益效果是:本發(fā)明提取與對(duì)比方法在0Π )東方人臉庫(kù)中的人臉比對(duì)排 名前5,準(zhǔn)確率高達(dá)95%。本發(fā)明有兩個(gè)創(chuàng)新點(diǎn)，首先是給出一種有效的人臉區(qū)域分割方法， 相較整張人臉可以提取到局部穩(wěn)定的特征;其次是提出了一個(gè)新的基于混合局部特征的卷 積神經(jīng)網(wǎng)絡(luò)模型，相較傳統(tǒng)特征如LBP和HOG，可以提取深層的人臉特征信息。
【附圖說(shuō)明】
[0026] 圖1為本發(fā)明實(shí)施例的方法流程圖。
[0027] 圖2為本發(fā)明實(shí)施例方法對(duì)應(yīng)的框架圖。
[0028] 圖3為本發(fā)明實(shí)施例中區(qū)域劃分圖。
[0029] 圖4為本發(fā)明實(shí)施例中尺寸劃分圖。
[0030] 圖5為本發(fā)明實(shí)施例中卷積神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)示意圖。
[0031] 圖6為本發(fā)明(FD東方人臉庫(kù)的圖像示意圖。
【具體實(shí)施方式】
[0032]本發(fā)明提出了一種基于深度學(xué)習(xí)的混合局部特征提取與對(duì)比方法，首先是給出一 種有效的人臉區(qū)域分割方法，相較整張人臉可以提取到局部穩(wěn)定的特征，其次提出了一個(gè) 新的基于混合局部特征的卷積神經(jīng)網(wǎng)絡(luò)模型，相較傳統(tǒng)特征如LBP和H0G，可以提取深層的 人臉特征信息，通過(guò)特征點(diǎn)定位方法，對(duì)人臉的60個(gè)不同區(qū)域、尺寸、顏色空間進(jìn)行特征提 取，并比對(duì)兩張人臉的C0S距離。本發(fā)明采用0FD大型東方人臉庫(kù)，包含視點(diǎn)和光照兩個(gè)字 庫(kù)，共采集整理了1247人的33669張人臉圖像，每人拍攝19張視點(diǎn)圖像和8張光照?qǐng)D像，其中 圖6僅提供了 19張視點(diǎn)圖像中的8張和8張光照?qǐng)D像。由于0FD包含了影響人臉比對(duì)的兩大環(huán) 境因素，光照和角度變化，并且圖像數(shù)量和質(zhì)量均符合本發(fā)明的需求，因此選用0FD人臉庫(kù)。 [0033]本發(fā)明實(shí)施例提供了一種基于深度學(xué)習(xí)的混合局部特征提取與對(duì)比方法，其流程 如圖1和圖2所示，包括：
[0034]步驟S101:將0FD東方人臉庫(kù)中的每張圖像經(jīng)過(guò)局部模塊化后，得到60個(gè)圖像模 塊；
[0035]步驟S102:構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)(參見圖5)，將步驟S101得到的圖像模塊輸入到所述 卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最終訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型;其中，所述卷積神經(jīng)網(wǎng)絡(luò)包 括輸入層、4層卷積池化層、2層全連接層和輸出層，其中每層卷積池化層由卷積層、最大池 化層和re lu層組成；
[0036]步驟S103:將(FD東方人臉庫(kù)的圖像經(jīng)局部模塊化后得到圖像模塊，然后輸入到卷 積神經(jīng)