一種用于機(jī)器人交互對(duì)象檢測(cè)的3d視線方向估計(jì)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種用于機(jī)器人交互對(duì)象檢測(cè)的3D視線方向估計(jì)方法。
【背景技術(shù)】
[0002] 人機(jī)交互（Human-Computer Interaction,肥I)是研究人與計(jì)算機(jī)之間通過(guò)相互 理解的交流與通信，在最大程度上為人們完成信息管理、服務(wù)和處理等功能，使計(jì)算機(jī)真正 成為人們工作學(xué)習(xí)的和諧助手的一口技術(shù)科學(xué)。
[0003] 視線估計(jì)技術(shù)作為人機(jī)交互技術(shù)的重要分支，主要研究對(duì)人類眼睛運(yùn)動(dòng)特性的檢 測(cè)與識(shí)別，實(shí)現(xiàn)對(duì)其他功能系統(tǒng)的自動(dòng)控制；該技術(shù)的最大優(yōu)點(diǎn)是可W通過(guò)眼晴注視實(shí)現(xiàn) 對(duì)外部設(shè)備的控制，進(jìn)而實(shí)現(xiàn)多任務(wù)操作；有關(guān)資料統(tǒng)計(jì)顯示，全國(guó)至少有50萬(wàn)的人口存 在不同程度的肢體擁痕，生活不能自理；那么如果他們能用眼睛來(lái)代替手操作，W后再加 上機(jī)電控制技術(shù)就完全可W增加他們的獨(dú)立能力，提高生活質(zhì)量。
[0004] 因此，近年來(lái)有研究人員開(kāi)始把視線方向估計(jì)技術(shù)應(yīng)用于社會(huì)服務(wù)機(jī)器人中，實(shí) 現(xiàn)機(jī)器人自動(dòng)鎖定用戶，而用戶可W通過(guò)眼睛控制機(jī)器人等功能；對(duì)于視線方向估計(jì)，近年 來(lái)的研究主要分為兩大方向：一是通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行估計(jì)；二是通過(guò)眼部特征分析進(jìn)行實(shí) 現(xiàn)，根據(jù)神經(jīng)網(wǎng)絡(luò)來(lái)估計(jì)視線方向具有較高的精度和實(shí)時(shí)性，但缺少很好的魯椿性，因?yàn)楫?dāng) 環(huán)境改變時(shí)需要重新建立模型。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種用于機(jī)器人交互對(duì)象檢測(cè)的3D 視線方向估計(jì)方法，使用RG抓傳感器頭部姿勢(shì)的估計(jì)并應(yīng)用于機(jī)器人中，系統(tǒng)僅采用一個(gè) RG抓傳感器，無(wú)需其他的傳感器，具有硬件簡(jiǎn)單，實(shí)現(xiàn)容易的特點(diǎn)；訓(xùn)練強(qiáng)分類器來(lái)進(jìn)行人 眼檢測(cè)，實(shí)現(xiàn)簡(jiǎn)單，檢測(cè)跟蹤效果好；在檢測(cè)瞳孔中屯、時(shí)，采用投影積分法、霍夫變換法和透 視校正，能夠得到比較準(zhǔn)確的瞳孔中屯、。
[0006] 本發(fā)明的目的是通過(guò)W下技術(shù)方案來(lái)實(shí)現(xiàn)的：一種用于機(jī)器人交互對(duì)象檢測(cè)的 3D視線方向估計(jì)方法，它包括W下步驟：
[0007] S1.進(jìn)行頭部姿勢(shì)估計(jì)；使用RG抓傳感器采集彩色信息和深度信息，根據(jù)采集到 的信息計(jì)算頭部的S維位置信息T W及頭部姿勢(shì)R ;
[0008] S2.計(jì)算出得到的頭部姿勢(shì)R與頭部基準(zhǔn)姿勢(shì)R0之間的映射矩陣M，其中頭部基 準(zhǔn)姿勢(shì)R0為用戶和機(jī)器人正面相對(duì)時(shí)的頭部姿勢(shì)，R0 = [0, 0, 1];
[0009] S3.采集人眼圖片，從采集到的人眼圖片中提取出人眼區(qū)域圖像；
[0010] S4.得到人眼區(qū)域圖像后，對(duì)瞳孔中屯、進(jìn)行檢測(cè)和計(jì)算，得到最終的瞳孔中屯、Pt;
[0011] S5.計(jì)算在頭部坐標(biāo)系中眼球中屯、的坐標(biāo)C。，并根據(jù)C。計(jì)算出世界坐標(biāo)系下眼球 中屯、坐標(biāo)Ck和瞳孔中屯、坐標(biāo)Pk，設(shè)計(jì)算得到的眼球中屯、坐標(biāo)為Ck= (〇,，Oy，〇z)，瞳孔中屯、坐 標(biāo)為Pk= (PX，Py，P,)，根據(jù)該兩點(diǎn)計(jì)算眼球注視方向g化Y，幻：
[0012]
[0013] 然后計(jì)算用戶視線方向?yàn)椋?br>[0014] gd=R*M-i水g。
[0015] 在得到用戶視線方向結(jié)果之后，還包括一個(gè)交互對(duì)象判斷的步驟，包括W下子步 驟：
[0016] S61.計(jì)算用戶的視線方向與機(jī)器人視線的角度a ;
[0017] S62.判斷角度a是否小于預(yù)先設(shè)定的闊值y ;
[0018](1) a小于預(yù)先設(shè)定的闊值y，該用戶是機(jī)器人的交互對(duì)象；
[0019](2) a不小于預(yù)先設(shè)定的闊值y，該用戶不是機(jī)器人的交互對(duì)象。
[0020] 所述的步驟S3包括W下子步驟：
[0021] S31.訓(xùn)練強(qiáng)分類器；
[0022] S32.采集人眼圖片；
[0023]S33.使用訓(xùn)練好的強(qiáng)分類器從采集到的人眼圖片中提取出人眼區(qū)域圖像。
[0024] 所述的步驟S31包括W下子步驟：
[00巧]S311.采集大量圖片，并將每個(gè)采集到的圖片分離為不同的樣本，得到人眼訓(xùn)練樣 本數(shù)據(jù)集，并設(shè)定一個(gè)最大的訓(xùn)練循環(huán)次數(shù)t;
[0026]S312.對(duì)每個(gè)樣本權(quán)重值進(jìn)行初始化，即初始化每個(gè)樣本的概率分布；
[0027] S313.進(jìn)行t次循環(huán)迭代，每次循環(huán)迭代需要進(jìn)行；在當(dāng)前的概率分布下訓(xùn)練弱分 類器，得到基本的分類器；計(jì)算該弱分類器的分類誤差率；更新訓(xùn)練數(shù)據(jù)集中每個(gè)樣本的 權(quán)重；
[0028]S314.把前面訓(xùn)練得到的t個(gè)弱分類器按照權(quán)重進(jìn)行級(jí)聯(lián)相連，得到最終的強(qiáng)分 類器。
[0029] 所述的步驟S4包括W下子步驟：
[0030]S41.得到人眼區(qū)域圖像后，使用投影積分法求出圖像的水平投影積分IPF，(y)和 垂直投影積分IPFh(y);
[0031]
[0032] 式中，W和h分別為圖像的寬和高，I(X，y)為像素點(diǎn)（X，y)的像素值；
[003引S42.經(jīng)過(guò)兩個(gè)方向的投影積分后，得到一個(gè)很小的包含瞳孔區(qū)域的圖像，采用霍 夫變換法得到瞳孔中屯、P;
[0034] S43.把該瞳孔中屯、通過(guò)映射矩陣M進(jìn)行透視校正，得到最終瞳孔中屯、Pt:
[00；35] Pt= M卸，
[0036] 式中，M為步驟S2中得到的映射矩陣。
[0037] 所述的步驟S5包括W下子步驟：
[0038]S51.計(jì)算世界坐標(biāo)系下瞳孔中屯、空間坐標(biāo)Pk和眼球中屯、空間坐標(biāo)CK的函數(shù)關(guān) 系：
[0039]
[0040] 式中，（VVp)瞳孔中屯、在圖像中的平面坐標(biāo)，可W由步驟S4得到，（u。，V。）是圖像 中屯、的平面坐標(biāo)，Pk= (Xp，yp，Zp)是瞳孔中屯、在世界坐標(biāo)系下的空間坐標(biāo)，f為RG抓傳感 器的焦距，Ck是世界坐標(biāo)系下眼球中屯、的空間坐標(biāo)，K表示世界坐標(biāo)系下瞳孔中屯、P到眼球 中屯、C的空間距離，是固定值，故Pk能夠用CK表示，PK與CK的函數(shù)關(guān)系式表示為：
[00川PK=fi(CK);
[0042] S52.計(jì)算世界坐標(biāo)系下角膜體中屯、的空間坐標(biāo)CpK眼球中屯、Ck的空間坐標(biāo)函數(shù)關(guān) 系式：
[0043]
[0044] 式中，K。表示角膜體中屯、Cp到眼球中屯、C的距離，是固定值，故將步驟S51中得到 的函數(shù)關(guān)系Pk=fi(Ck)代入上式中能夠得到CpK與Ck的函數(shù)關(guān)系式，表示為：
[0045] CpK=f2(Ck);
[0046] S53.計(jì)算世界坐標(biāo)系下眼球中屯、Ck的空間坐標(biāo)與頭部坐標(biāo)系下眼球中屯、空間坐 標(biāo)C。的函數(shù)關(guān)系式；
[0047] Cr二R*C Q+T二(C〇)，
[004引其中T和R由步驟S1得到，作為頭部坐標(biāo)系和世界坐標(biāo)系的轉(zhuǎn)換矩陣，頭部不動(dòng) 時(shí)，眼球在旋轉(zhuǎn)過(guò)程中眼睛球的中屯、位置并沒(méi)有改變。
[004引 S54.將步驟S53中得到的函數(shù)關(guān)系式代入步驟S51得到的函數(shù)關(guān)系式PK=fi(CK) 中，得到Pk與C。的函數(shù)關(guān)系式；
[0050]Pk= f 4(C0),
[0051] 將步驟S53中得到的函數(shù)關(guān)系式代入步驟S52中的到的函數(shù)關(guān)系式CpK=f2(Ck) 中，得出CpK與C。的函數(shù)關(guān)系式；
[0052] CpK=f5(C〇)；
[0053] S55.同一個(gè)人的人眼的視軸和光軸之間的夾角是0固定的，0的余弦值表示 為：
[0054]
[0055] 式中G表示世界坐標(biāo)系中注視點(diǎn)的空間坐標(biāo)，將Ck= f3(C。)，Pk= f4(〇|)，CpK= fs(C。）代入0的余弦值表達(dá)式中，式中就只有C。和G兩個(gè)未知量，C。和G的函數(shù)關(guān)系表示 為：
[005引 C0=feK);
[0057] S56.通過(guò)標(biāo)定程序，讓用戶注視一系列標(biāo)定的點(diǎn)，并轉(zhuǎn)化到世界坐標(biāo)系中，得到世 界坐標(biāo)系中注視點(diǎn)的空間坐標(biāo)G，將G的坐標(biāo)代入公式Q= fe(G)，的到頭部坐標(biāo)系下眼球 中屯、空間坐標(biāo)C。，將C。分別代入Ck= f 3(C。）和Pk= f 4(C。）中，得到世界坐標(biāo)系下眼球中屯、 坐標(biāo)Ck和瞳孔中屯、坐標(biāo)Pk;
[005引 S57.設(shè)計(jì)算得到的眼球中屯、坐標(biāo)為Ck= (0 X，Oy，0z)，瞳孔中屯、坐標(biāo)為Pk= (Px，Py，Pz)，根據(jù)該兩點(diǎn)計(jì)算眼球注視方向g狂，Y，口：
[0059]
[0060] 然后計(jì)算出用戶視線方向?yàn)椋?br>[0061] gd= R*M-i*g。
[0062] 本發(fā)明的有益效果是；（1)使用RG抓傳感器頭部姿勢(shì)的估計(jì)并應(yīng)用于機(jī)器人中， 系統(tǒng)僅采用一個(gè)RG抓傳感器，無(wú)需其他的傳感器，具有硬件簡(jiǎn)單，實(shí)現(xiàn)容易的特點(diǎn)。
[0063] (2)訓(xùn)練強(qiáng)分類器來(lái)進(jìn)行人眼檢測(cè)，實(shí)現(xiàn)簡(jiǎn)單，檢測(cè)跟蹤效果好。
[0064] 做在檢測(cè)瞳孔中屯、時(shí)，采用投影積分法、霍夫變換法和透視校正，能夠得到比較 準(zhǔn)確的瞳孔中屯、。
【附圖說(shuō)明】
[0065] 圖1為本發(fā)明的流程圖；
[0066] 圖2為3D視線估計(jì)模型圖；
[0067] 圖3為交互對(duì)象判斷示意圖。
【具體實(shí)施方式】
[0068] 下面結(jié)合附圖進(jìn)一步詳細(xì)描述本發(fā)明的技術(shù)方案，但本發(fā)明的保護(hù)范圍不局限于 W下所述。
[006引如圖1所示，一種用于機(jī)器人交互對(duì)象檢測(cè)的3D視線方向估計(jì)方法，它包括W下 步驟：
[0070] S1.進(jìn)行頭部姿勢(shì)估計(jì)；使用RG抓傳感器采集彩色信息和深度信息，根據(jù)采集到 的信息計(jì)算頭部的S維位置信息T W及頭部姿勢(shì)R ;
[0071] S2.計(jì)算出得到的頭部姿勢(shì)R與頭部基準(zhǔn)姿勢(shì)R0之間的映射矩陣M，其中頭部基 準(zhǔn)姿勢(shì)R0為用戶和機(jī)器人正面相對(duì)時(shí)的頭部姿勢(shì)，R0 = [0, 0, 1];
[007引 S3.采集人眼圖片，從采集到的人眼圖片中提取出人眼區(qū)域圖像；
[007引 S4.得到人眼區(qū)域圖像后，對(duì)瞳孔中屯、進(jìn)行檢測(cè)和計(jì)算，得到最終的瞳孔中屯、Pt;
[0074] S5.計(jì)算在頭部坐標(biāo)系中眼球中屯、的坐標(biāo)C。，并根據(jù)C。計(jì)算出世界坐標(biāo)系下眼球 中屯、坐標(biāo)Ck和瞳孔中屯、坐標(biāo)Pk，設(shè)計(jì)算得到的眼球中屯、坐標(biāo)為Ck= (〇,，Oy，〇z)，瞳孔中屯、坐 標(biāo)為Pk= (P X，Py，P,)，根據(jù)該兩點(diǎn)計(jì)算眼球注視方向g化Y，幻：
[00巧]
[0076] 然后計(jì)算用戶視線方向?yàn)椋?br>[0077] gd=R*M-i 水g。
[0078] 所述的步驟S3包括W下子步驟：
[007引 S31.訓(xùn)練強(qiáng)分類器；
[0080] S32.采集人眼圖片；
[0081] S33.使用訓(xùn)練好的強(qiáng)分類器從采集到的人眼圖片中提取出人眼區(qū)域圖像。
[0082] 所述的步驟S31包括W下子步驟：
[0083] S311.采集大量圖片，并將每個(gè)采集到的圖片分離為不同的樣本，得到人眼訓(xùn)練樣 本數(shù)據(jù)集，并設(shè)定一個(gè)最大的訓(xùn)練循環(huán)次數(shù)t;
[0084] S312.對(duì)每個(gè)樣本權(quán)重值進(jìn)行初始化，即初始化每個(gè)樣本的概率分布；
[0085] S313.進(jìn)行t次循環(huán)迭代，每次循環(huán)迭代需要進(jìn)行；在當(dāng)前的概率分布下訓(xùn)練弱分 類器，得到基本的分類器；計(jì)算該弱分類器的分類誤差率；更新訓(xùn)練數(shù)據(jù)集中每個(gè)樣本的 權(quán)重；
[0086] S314.把前面訓(xùn)練得到的t個(gè)弱分類器按照權(quán)重進(jìn)行級(jí)聯(lián)相連，得到最終的強(qiáng)分 類器。
[0087] 所述的步驟S4包括W下子步驟：
[0088] S41.得到人眼區(qū)