本發(fā)明屬于人工智能安全，涉及人類識(shí)別技術(shù)，尤其涉及一種基于多對(duì)抗塊的人臉對(duì)抗樣本生成系統(tǒng)及方法。

背景技術(shù)：

1、當(dāng)前，人臉識(shí)別技術(shù)在廣泛的應(yīng)用場(chǎng)景中發(fā)揮著重要作用，如安全門禁、支付驗(yàn)證、社交媒體標(biāo)簽等。然而，盡管其廣泛應(yīng)用，研究表明人臉識(shí)別模型容易受到對(duì)抗樣本的攻擊。對(duì)抗樣本是一種精心設(shè)計(jì)的輸入數(shù)據(jù)，其目的是誤導(dǎo)機(jī)器學(xué)習(xí)模型產(chǎn)生錯(cuò)誤的輸出。在人臉識(shí)別領(lǐng)域，這些對(duì)抗樣本可以通過在目標(biāo)對(duì)象的臉部添加對(duì)抗塊來創(chuàng)建。這些塊可能包括噪聲、紋理擾動(dòng)或其他視覺干擾，其目的是擾亂人臉識(shí)別模型的特征提取過程，導(dǎo)致錯(cuò)誤的識(shí)別結(jié)果。因此，研究如何生成高質(zhì)量的對(duì)抗樣本對(duì)防御及抗攻擊尤為重要。盡管對(duì)抗樣本的威脅不可忽視，但目前的研究表明，人臉對(duì)抗樣本攻擊仍存在一定的局限性。首先，人臉對(duì)抗樣本與原圖像風(fēng)格差異巨大，現(xiàn)實(shí)意義不強(qiáng)。

2、專利cn202111368399.5公開了一種人臉對(duì)抗樣本生成模型的構(gòu)建方法、裝置及設(shè)備，基于生成對(duì)抗網(wǎng)絡(luò)，通過獲取人臉圖像樣本并輸入生成器，可以得到生成器輸出的人臉掩碼；將人臉掩碼和原始人臉圖像之和作為人臉對(duì)抗樣本輸入判別器可以得到判別結(jié)果；然后將人臉對(duì)抗樣本輸入目標(biāo)攻擊模型得到輸出結(jié)果，如此即完成一次訓(xùn)練；之后根據(jù)訓(xùn)練結(jié)果更新生成器和判別器的參數(shù)，并重復(fù)進(jìn)行預(yù)設(shè)次數(shù)的訓(xùn)練最終即可得到參數(shù)最優(yōu)的生成器和判別器，也即得到所需的人臉對(duì)抗樣本生成模型。并進(jìn)一步可以通過人臉對(duì)抗樣本生成模型自動(dòng)生成人臉對(duì)抗樣本，其相對(duì)于傳統(tǒng)的人臉對(duì)抗樣本生成方法，生成速度顯著提升，且生成的人臉對(duì)抗樣本的質(zhì)量更好。然而，該方法在訓(xùn)練過程中沒有考慮風(fēng)格損失和人臉自然度者兩個(gè)因素，從而導(dǎo)致生成的人臉掩碼與原圖像中的人臉存在明顯差異，有嚴(yán)重的邊界撕裂感。在人眼看來辨識(shí)度很高，現(xiàn)實(shí)的應(yīng)用價(jià)值低，并且生成的人臉對(duì)抗樣本魯棒性弱。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)人臉對(duì)抗樣本與原圖像風(fēng)格差異巨大以及可遷移性差、黑盒攻擊成功率低等問題，本發(fā)明目的旨在提供一種基于多對(duì)抗塊的人臉對(duì)抗樣本生成系統(tǒng)及方法，基于人臉關(guān)鍵特征點(diǎn)提取網(wǎng)絡(luò)以及gans網(wǎng)絡(luò)，設(shè)計(jì)并訓(xùn)練了一種能夠獲得自然人臉風(fēng)格的多對(duì)抗塊人臉對(duì)抗樣本的生成網(wǎng)絡(luò)，所生成的人臉對(duì)抗樣本無論是在人臉自然度還是在黑盒攻擊成功率上都比傳統(tǒng)的數(shù)種對(duì)抗攻擊方法有顯著的提升。

2、為了達(dá)到上述目的，本發(fā)明提供了一種基于多對(duì)抗塊的人臉對(duì)抗樣本生成系統(tǒng)，其包括：

3、人臉關(guān)鍵特征點(diǎn)提取模塊，用于對(duì)源圖像的人臉關(guān)鍵特征點(diǎn)進(jìn)行提取，得到人臉關(guān)鍵特征點(diǎn)坐標(biāo)網(wǎng)格，確定出相應(yīng)的目標(biāo)攻擊區(qū)域，并利用人臉的眼部及三角區(qū)的指定區(qū)域周圍的特征點(diǎn)坐標(biāo)生成相應(yīng)的0-1二進(jìn)制掩膜；

4、生成器，用于依據(jù)目標(biāo)攻擊區(qū)域生成相應(yīng)的生成圖像；

5、融合模塊，首先基于生成圖像和二進(jìn)制掩膜相乘生成多對(duì)抗塊，然后結(jié)合源圖像融合得到最終的人臉對(duì)抗樣本。

6、上述人臉關(guān)鍵特征點(diǎn)提取模塊包括順次設(shè)置的blazeface短程模型和面部網(wǎng)格模型。blazeface短程模型是在mobilenet人臉識(shí)別網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)并訓(xùn)練的一種針對(duì)移動(dòng)gpu推理優(yōu)化的輕量級(jí)且準(zhǔn)確的人臉檢測(cè)器。面部網(wǎng)格模型是在ssd檢測(cè)模型的基礎(chǔ)上增加了高分辨率網(wǎng)絡(luò)，提升了檢測(cè)性能，能夠添加面部的完整映射。該人臉關(guān)鍵特征點(diǎn)提取模塊將blazeface短程模型和面部網(wǎng)格模型相結(jié)合，輸出478個(gè)3維人臉特征點(diǎn)的估計(jì)值，進(jìn)一步的，對(duì)實(shí)際人臉進(jìn)行特征點(diǎn)提取。人臉的眼部和三角區(qū)域在表情變化下受到的影響較小，同時(shí)也是人臉識(shí)別任務(wù)中難以準(zhǔn)確識(shí)別的區(qū)域。依據(jù)上述人臉關(guān)鍵特征點(diǎn)提取模塊提取得到人臉關(guān)鍵特征點(diǎn)坐標(biāo)網(wǎng)格，得到目標(biāo)攻擊區(qū)域；并利用人臉的眼部及三角區(qū)的指定區(qū)域周圍的特征點(diǎn)坐標(biāo)生成相應(yīng)的0-1二進(jìn)制掩膜p。

7、上述生成器采用編碼器-解碼器結(jié)構(gòu)，由一層以上的卷積層和對(duì)稱設(shè)置的一層以上的反卷積層構(gòu)成。

8、上述融合模塊通過以下公式得到最終的人臉對(duì)抗樣本：

9、

10、式中，為人臉對(duì)抗樣本，表示向量對(duì)應(yīng)位置上的元素相乘，p為與源圖像的目標(biāo)區(qū)域og大小尺寸相同的二進(jìn)制掩碼，表示生成器生成的生成圖像，g(﹒)表示生成器輸出結(jié)果，表示多對(duì)抗塊。因此，本發(fā)明中僅將得到的對(duì)抗塊替換源圖像中的相應(yīng)區(qū)域，從而能夠保證生成的人臉更加自然。

11、上述基于多對(duì)抗塊的人臉對(duì)抗樣本生成系統(tǒng)還包括鑒別器，用于在生成器訓(xùn)練過程中，區(qū)分生成器生成的生成圖像和對(duì)照?qǐng)D像目標(biāo)區(qū)域。所述鑒別器由若干層卷積層構(gòu)成。

12、本發(fā)明還提供了上述基于多對(duì)抗塊的人臉對(duì)抗樣本生成系統(tǒng)的訓(xùn)練方法，其包括以下步驟：

13、l1對(duì)生成器進(jìn)行訓(xùn)練；該步驟包括以下分步驟：

14、l11將訓(xùn)練集中的數(shù)據(jù)分為源圖像組和對(duì)照?qǐng)D像組；

15、l12通過人臉關(guān)鍵特征點(diǎn)提取模塊分別對(duì)源圖像組和對(duì)照?qǐng)D像組中的圖像進(jìn)行提取，并確定出各源圖像和對(duì)照?qǐng)D像的目標(biāo)攻擊區(qū)域；

16、l13將各源圖像的目標(biāo)攻擊區(qū)域輸入生成器生成相應(yīng)的生成圖像；

17、l14生成的各生成圖像和對(duì)照?qǐng)D像的目標(biāo)區(qū)域輸入到鑒別器進(jìn)行鑒別，同時(shí)得到生成損失和鑒別損失；

18、l15利用生成損失和鑒別損失對(duì)生成器和鑒別器參數(shù)進(jìn)行更新；然后，返回步驟l13，重復(fù)上述步驟l13-l15，直至鑒別器不能區(qū)分生成圖像和對(duì)照?qǐng)D像的目標(biāo)區(qū)域，或者達(dá)到預(yù)設(shè)次數(shù)上限；

19、l2通過基于元學(xué)習(xí)的集成模型對(duì)步驟l1訓(xùn)練得到的生成器進(jìn)行微調(diào)。

20、上述步驟l1的目的是訓(xùn)練生成器，使其能夠生成自然人臉圖像。

21、步驟l14中，生成損失計(jì)算公式如下：

22、

23、式中，ogi表示第i個(gè)源圖像的目標(biāo)區(qū)域；g(·)表示生成器輸出結(jié)果；d(·)表示鑒別器輸出結(jié)果；n表示每組訓(xùn)練樣本中源圖像數(shù)量；

24、鑒別損失計(jì)算公式如下：

25、

26、式中，odi表示第i個(gè)對(duì)照?qǐng)D像的目標(biāo)區(qū)域。

27、上述步驟l14中，利用生成損失和鑒別損失，通過adam優(yōu)化算法對(duì)生成器和鑒別器進(jìn)行參數(shù)優(yōu)化。

28、上述步驟l2的目的是對(duì)生成器進(jìn)行微調(diào)，提升對(duì)抗樣本的可遷移性?；谠獙W(xué)習(xí)的思想，假設(shè)有k個(gè)預(yù)先訓(xùn)練好的人臉檢測(cè)模型(f＝f1,f,,...,f.,...,f/)構(gòu)成基于元學(xué)習(xí)的集成模型，任意選擇其中k-1個(gè)人臉檢測(cè)模型作為訓(xùn)練模型，另外一個(gè)人臉檢測(cè)模型作為測(cè)試模型，按照以下步驟對(duì)生成器進(jìn)行微調(diào)更新：

29、l21基于k-1個(gè)訓(xùn)練模型，設(shè)計(jì)k-1條訓(xùn)練和測(cè)試支路，分別對(duì)生成器進(jìn)行訓(xùn)練和測(cè)試；沿任一條支路訓(xùn)練和測(cè)試步驟如下：

30、l211利用生成器首先在訓(xùn)練模型上進(jìn)行攻擊訓(xùn)練，并利用訓(xùn)練得到的攻擊損失更新生成器參數(shù)；

31、l212利用參數(shù)更新后的生成器在測(cè)試模型上進(jìn)行攻擊測(cè)試，并利用測(cè)試得到的攻擊損失更新生成器參數(shù)；

32、l22將不同支路測(cè)試后的生成器參數(shù)進(jìn)行加權(quán)相加，得到集成后的生成器參數(shù)；

33、l23判斷是否達(dá)到基于元學(xué)習(xí)的集成模型訓(xùn)練預(yù)設(shè)次數(shù)上限，若沒有返回步驟l21，否則，基于元學(xué)習(xí)的集成模型訓(xùn)練結(jié)束。

34、基于元學(xué)習(xí)的集成模型中的人臉檢測(cè)模型選自irse50、ir152、mobileface或facenet等。

35、生成器在訓(xùn)練模型或測(cè)試模型上進(jìn)行攻擊的步驟如下：

36、步驟a，通過人臉關(guān)鍵特征點(diǎn)提取模塊對(duì)源圖像組中的源圖像進(jìn)行人臉關(guān)鍵特征點(diǎn)提取，并確定出相應(yīng)的目標(biāo)攻擊區(qū)域和二進(jìn)制掩碼，然后依據(jù)目標(biāo)攻擊區(qū)域，通過生成器生成相應(yīng)的生成圖像，通過融合模塊，依據(jù)生成圖像和二進(jìn)制掩碼生成多對(duì)抗塊，然后結(jié)合相應(yīng)的源圖像融合得到若干人臉對(duì)抗樣本；

37、步驟b，將生成的若干人臉對(duì)抗樣本和目標(biāo)圖像輸入訓(xùn)練模型或測(cè)試模型，得到相應(yīng)的攻擊損失。

38、攻擊損失計(jì)算公式如下：

39、

40、式中，it表示目標(biāo)圖像，f(﹒)表示人臉檢測(cè)模型的輸出。通過不斷降低攻擊損失使得生成的對(duì)抗樣本與目標(biāo)圖像i4相接近，從而使人臉檢測(cè)模型將二者判斷為同一目標(biāo)。

41、對(duì)基于所有源圖像得到的攻擊損失進(jìn)行求和，再結(jié)合生成損失通過adam優(yōu)化算法對(duì)生成器進(jìn)行參數(shù)優(yōu)化。與此同時(shí)，按照前面給出的公式(2)(包含對(duì)照?qǐng)D像的目標(biāo)區(qū)域)計(jì)算鑒別損失，并通過adam優(yōu)化算法對(duì)鑒別器參數(shù)。

42、在不同基于元學(xué)習(xí)的集成模型訓(xùn)練迭代過程中，訓(xùn)練模型和測(cè)試模型可以不同，為從k個(gè)人臉檢測(cè)模型中隨機(jī)選取得到。

43、本發(fā)明基于人臉關(guān)鍵特征點(diǎn)提取模塊，從源圖像提取人臉的目標(biāo)區(qū)域和相應(yīng)的二進(jìn)制掩碼；然后通過生成器獲取生成圖像，再通過融合模塊將生成圖像與源圖像進(jìn)行融合得到最終的人臉對(duì)抗模塊。與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

44、(1)本發(fā)明基于人臉關(guān)鍵特征點(diǎn)提取模塊提取的目標(biāo)區(qū)域，經(jīng)生成器得到生成圖像，同時(shí)結(jié)合人臉得到的二進(jìn)制掩碼，得到相應(yīng)的多對(duì)抗塊，再將其與源圖像進(jìn)行融合，能夠使生成更加自然的人臉圖像；使生成的人臉對(duì)抗樣本具有優(yōu)秀的人臉自然度，靠人的肉眼不易區(qū)分。

45、(2)本發(fā)明針對(duì)目前人臉對(duì)抗樣本與源圖像風(fēng)格差異巨大的問題，提出基于多對(duì)抗塊的自然人臉對(duì)抗樣本生成器訓(xùn)練方法，能夠使生成器生成自然人臉圖像；

46、(3)本發(fā)明通過基于元學(xué)習(xí)的集成模型對(duì)生成器進(jìn)行更新微調(diào)，以提升對(duì)抗樣本的可遷移性。