一種基于視頻的人眼位置探測方法
【專利摘要】本發(fā)明公開了一種基于視頻的人眼位置探測方法，通過將光源在人眼處反射形成的正負極值像素點作為人眼區(qū)域的特征點，具有良好的偽極值點抑制能力，并且運算量小，可以實現(xiàn)快速探測；本發(fā)明提出的人眼位置探測方法可在相機近軸以外的區(qū)域進行人眼探測，對人眼及相機的位置要求較寬松，可以在較大視場范圍進行探測。
【專利說明】
一種基于視頻的人眼位置探測方法
技術領域
[0001] 本發(fā)明屬于圖像處理及機器視覺領域，涉及一種基于視頻的人眼位置探測方法。
【背景技術】
[0002] 人眼位置信息對于人臉定位，視線追蹤有著重要意義。目前對人眼位置探測有采 用外加光源對瞳孔照明的主動式探測方法和不采用光源對瞳孔照明的被動式探測兩類方 法。被動式探測方法主要采用機器學習方法，需要對分類器進行大量樣本訓練后才能有較 理想的探測結果，訓練過程耗費時間長。傳統(tǒng)的主動式探測方法采用亮暗瞳差分技術，實現(xiàn) 此方法需要保證探測工程中，人眼位置一直處于成像系統(tǒng)的近軸區(qū)域，該方法對人眼和相 機的位置非常敏感，工作范圍有限，并且在差分后需要進行多種形式的濾波去噪處理后才 能準確識別人眼位置，運算量較大，難以實現(xiàn)快速探測。因此，開發(fā)一種運算量小，抗干擾性 好，同時可以在大視場范圍有效探測人眼位置的方法成為圖像處理與機器視覺學術界的研 究重點。

【發(fā)明內容】

[0003] 有鑒于此，本發(fā)明提供了一種基于視頻的人眼位置探測方法，能夠實現(xiàn)快速探測。
[0004] 本發(fā)明的一種基于視頻的人眼位置探測方法，包括如下步驟：
[0005] 第一步，將兩個以上光源分別置于人眼的左、右兩側，人眼前方放置成像設備；開 啟成像設備，點亮所述光源，調整每個光源位置的同時觀察成像設備實時輸出的視頻，當視 頻中兩側所有光源都能夠在人眼處形成反射的高亮虛像點時，調整完畢，固定光源及成像 設備位置；
[0006] 第二步，交替點亮人眼兩側的光源，并利用成像設備獲得兩側光源分別點亮時的 人眼圖像;獲得的兩幅圖像分別定義為圖像P和圖像Q;
[0007] 第三步，獲得圖像P和圖像Q的幀間差分圖像；
[0008] 第四步，對所述幀間差分圖像在全局范圍內提取灰度最大值、第一極大值、第二極 大值直至第N極大值的虛像點坐標;并提取灰度最小值、第一極小值、第二極小值直至第M極 小值的虛像點坐標;將提取的全部虛像點作為候選點，并存儲每個候選點對應的坐標;其 中，提取的灰度最大值與極大值均為正數，提取的灰度最小值與極小值均為負數;N和M的取 值與圖像信噪比有關，信噪比越低，N與M的取值越高，反之，信噪比較高，N與M的取值越小；
[0009] 第五步，根據兩側光源的空間擺放位置，由幾何光學成像公式求取人眼區(qū)域中每 個候選點的空間相對分布位置，以及候選點在所述幀間差分圖像中的相對分布;判斷各光 源是否同時滿足如下三個條件：
[0010] 1 )、各光源在空間上的相對位置分布與幀間差分圖像中候選點的相對位置分布成 比例；
[0011] 2)、各光源在雙眼處形成的虛像點與人眼瞳距的距離在誤差允許范圍內；
[0012] 3)、兩側光源在單只眼睛上形成的虛像點的幾何距離小于人眼瞳孔距離；
[0013]將步驟四中滿足上述三個條件的候選點挑選出來；
[0014]第六步，將第五步保留的候選點中灰度值大于鄰近區(qū)域的背景灰度值的候選點保 留下來；
[0015]第七步，根據步驟六中保留的候選點位置，獲得差分圖像中人眼的位置；
[0016] 較佳的，在對人眼進行追蹤的過程中，采用第一步至第四步的方法，對圖像P和圖 像Q以后獲得的兩側光源分別點亮時的人眼圖像進行處理，獲得幀間差分圖像，進而獲得候 選點；
[0017] 根據第六步確定的人眼位置，采用跟蹤濾波器進行運動區(qū)域范圍估計，在此估計 范圍內執(zhí)行第五步與第六步；如果運動范圍中的候選點滿足第五步和第六步的篩選條件， 則根據當前兩幀圖像的候選點獲得人眼位置，如果不滿足，則重新從第四步開始執(zhí)行。
[0018] 較佳的，所述跟蹤濾波器采用波門濾波器或Kalman濾波器。
[0019] 較佳的，圖像P和圖像Q為相鄰兩幀圖像，每側光源點亮的間隔時間與所述成像設 備采集一幀圖像的時間相同。
[0020] 本發(fā)明具有如下有益效果：
[0021] (1)本發(fā)明提出的人眼位置探測方法將光源在人眼處反射形成的正負極值像素點 作為人眼區(qū)域的特征點，具有良好的偽極值點抑制能力，并且運算量小，可以實現(xiàn)快速探 測 。
[0022] (2)本發(fā)明提出的人眼位置探測方法可在相機近軸以外的區(qū)域進行人眼探測，對 人眼及相機的位置要求較寬松，可以在較大視場范圍進行探測。
【附圖說明】
[0023] 圖1是本發(fā)明采用兩個光源構成的探測裝置示意圖。
[0024] 圖2是本發(fā)明的人眼光源在人眼角膜處反射所成虛像的光路圖。
[0025] 圖3為本發(fā)明的探測方法流程圖。
[0026]其中，I-人眼，2_成像設備，3_光源，4_虛像點。
【具體實施方式】
[0027]下面結合附圖并舉實施例，對本發(fā)明進行詳細描述。
[0028]該方法采用的技術方案是:如圖1和2所示，首先，使用成像設備獲取第P幀和第Q幀 圖像(Q>P)，兩幀圖像中對于光源的要求是在第P幀圖像中只有其中一側光源點亮，第Q幀圖 像中熄滅之前點亮的光源，使另一側光源點亮。這樣，兩幅圖像中均存在由于角膜對兩側光 源反射形成的虛像點，然后對兩幀圖像進行差分。理想情況下，采集一幀圖像的持續(xù)時間與 相鄰兩幀圖像的間隔時間趨于無窮小，如果再加上兩側光源亮度完全一致這個條件，便可 以認為在采集兩幀圖像的過程中背景區(qū)域物體、人眼的位置以及背景區(qū)域的亮度都是不變 的，唯一發(fā)生較大變化的是兩幀圖像中人眼處虛像點的位置，因此在差分后的圖像中，除兩 側燈光以外的部分通過差分運算可以完全去除，即這些部分的灰度值為零，只有兩側光源 通過人眼反射所形成的虛像位置灰度值非零。在差分圖像中，對于每只眼睛反射兩側光源 形成的虛像點，從灰度上表現(xiàn)為一側光源形成的虛像點是一個灰度值為正數的全局最大 值，另一側光源形成的虛像點是灰度值為一個負數的全局最小值，并且對于每只眼睛上灰 度最大最小值的數目與兩側所擁有的光源個數分別相等。通過根據這一特征對圖像中的像 素點進行搜索便可尋找到雙眼處反射光源的虛像點，進而探測到人眼所在位置。
[0029] 在實際探測工作中，能夠通過反饋控制手段使光源亮度一致性滿足設計精度要 求，但是受到設備的成像表面電荷轉移速率的限制以及光源響應時間的影響，無法使采集 一幀圖像的持續(xù)時間與相鄰兩幀圖像的間隔時間達到可以近似認為是無限短的程度，因此 兩幀圖像中的人眼位置和背景亮度不能認為是完全不變的。由于受到人眼位置和背景微小 變化的影響，差分圖像中出光源反射虛像點以外的背景區(qū)域并不能被完全消除，因此，在差 分圖像中灰度最大值和最小值像素點的位置可能不完全是兩側光源虛像點的真實位置，如 果按單純按照最大值和最小值進行定位會發(fā)生錯誤，并且，采集第Q幀與第P幀之間相隔的 時間越長，定位出錯的幾率越高。為避免發(fā)生此類錯誤，需要盡量縮短第Q幀與第P幀的間隔 時間，通常的方法是使Q=P+1，即采樣時間相鄰的兩幀圖像相減進行探測，并且增加采樣頻 率，既縮短成像設備采集一幀圖像的持續(xù)時間和相鄰兩幀圖像的間隔時間。另外，在差分圖 像中除了選取最大值和最小值之外，還應選取多個極大值和極小值點，將這些點稱為候選 點，每只眼睛上的候選點數目應當多于兩側光源的數目。如左側有N個光源，右側有M個光 源，并且差分后左側光源在人眼處形成的虛像的灰度值大于零，右側光源在人眼處形成的 虛像的灰度值小于零，那么在每只眼睛上至少選取N+1個極大值，M+1個極小值，以此作為候 選點。根據近軸光學中的高斯公式：
[0030]
[0031]
[0032]
[0033]
[0034]其中P為像方焦距，f為物方焦距，V為像點與主平面的距離，1為物點與主平面的 距離，η為物方折射率，Y為像方折射率，y'位像高，y為物高，β為為垂軸放大率。如果將人眼 的光學模型簡化為一個凸面鏡，根據幾何光學成像公式，結合光線在空氣中傳播的特殊情 形，可以得出：
[0035]
[0036]
[0037] 其中r為人眼表面的曲率半徑。根據簡化模型可以得出
[0038]
[0039]
[0040]由此可以看出每只眼睛上的每個虛像點到人眼光軸的徑向距離/由三個參數決 定:虛像點對應的每個光源到人眼光軸的徑向距離y，人眼曲率半徑r，以及光源到人眼表面 的距離1。另外，雙眼瞳孔之間的距離稱為瞳距，正常人的瞳距是分布在一個確定范圍之內 的，因此兩只眼睛反射的同一側光源的虛像也分布在一個確定范圍之內。對于人眼處反射 的光源虛像點在成像系統(tǒng)的像平面位置同樣可以換成成像系統(tǒng)的參數，通過高斯公式進行 計算，從公式中得知對于人眼反射的光源虛像點在成像系統(tǒng)像平面上的位置與系統(tǒng)的焦距 有關。（具體計算方法）
[0041]通過高斯公式計算得到的人眼處光源反射虛像點在像平面上的分布位置，并結合 瞳距范圍建立位置分布判別條件，對候選點進行篩選。另外，從實際情況可以得知，虛像點 在黑色的瞳孔和虹膜區(qū)域上，區(qū)域的灰度值明顯低于虛像點的灰度值，因此可以通過灰度 特性再次對候選點進行篩選，從而確定虛像點的位置，對人眼進行探測工作。在成功對差分 圖像中的人眼進行定位后，采用波門濾波器，認為人眼不會在兩幀之間有過大幅度的運動， 在下一幀圖像與當前幀圖像進行幀間差分后，可以在上一幀定位的坐標上選取一個鄰域， 下一幀差分圖像先在鄰域內選取多個極大值和極小值，同樣根據位置分布與灰度特性進行 篩選，也可采用Kalman濾波器等求取人眼位置坐標在下一幀的最優(yōu)估計量。通過濾波法可 以縮小下一幀識別過程的計算時間，實現(xiàn)快速跟蹤。如果篩選后發(fā)現(xiàn)框內的極大極小值都 不符合要求，則跟蹤失敗，應當重新對當前圖像進行遍歷搜索提取極大值和極小值。需要特 別說明的是，對于跟蹤過程使用的濾波器不僅限于波門濾波器與Kalman濾波器，任何通過 極大極小值定位后進行跟蹤使用的濾波器均包含在本發(fā)明之內。
[0042]如圖1所示，本發(fā)明的方法具體為：
[0043]第一步，將兩個及以上數目的光源放置人眼兩側，開啟成像設備，點亮兩側光源， 調整每個光源位置的同時觀察成像設備實時輸出的視頻，當視頻中兩側所有光源都能夠在 人眼處形成反射的高亮虛像點時，調整完畢，固定光源及成像設備位置。
[0044]第二步，利用外觸發(fā)信號使兩側光源交替點亮，每側光源點亮的時間與成像設備 采集一幀圖像的時間相同。
[0045]第三步，利用計算設備對兩側光源各點自點亮的第N+1幀與第N幀圖片相減進行 幀間差分。
[0046] 第四步，對所述幀間差分圖像在全局范圍內提取灰度最大值、第一極大值、第二極 大值直至第N極大值的虛像點坐標;并提取灰度最小值、第一極小值、第二極小值直至第M極 小值的虛像點坐標，將提取的全部虛像點作為候選點，并存儲每個候選點對應的坐標；其 中，最大值與極大值的灰度均為正數，最小值與極小值的灰度均為負數;極大值和極小值的 階數N與M的取值和圖像信噪比有關，當信噪比較低時，通常選取至第五極大值與第五極小 值或更高階數，當信噪比較高時，選取至第二極大值與第二極小值即可。
[0047] 第五步，根據兩側光源的空間擺放位置，由幾何光學成像公式求取人眼區(qū)域每個 尚殼虛像點的空間相對分布位置并求取尚殼虛像點在圖像中的相對分布。由此分布的特征 作為篩選條件，主要包含但不僅限于以下內容:每個光源在空間上的相對位置分布與圖像 中高亮虛像點的相對位置分布成比例;每個光源在雙眼處形成的高亮虛像點的距離約為瞳 距;兩側光源在單只眼睛上形成的高亮虛像點的幾何距離小于瞳孔距離。通過這些幾何特 征對圖像中的候選點進行篩選，保留滿足條件的候選點。
[0048] 第六步，利用人眼區(qū)域的灰度特征建立虛像點篩選條件，對第五步保留的候選點 進行鄰域灰度特征篩選，保留滿足條件的候選點?；叶忍卣骱Y選條件主要包含但不僅限于 以下內容：由于高亮虛像點處于顏色較深的虹膜及瞳孔區(qū)域，因此在圖像中每個的高亮點 的灰度值與附近深色區(qū)域的灰度值之差大于一個確定的數值。因此通過高亮點附近的灰度 特征構建篩選條件，經過兩次特征條件篩選后，則可以去除圖像中不屬于人眼區(qū)域的偽候 選點。
[0049] 第七步，對圖像中保留的候選點對應像素坐標的位置采取劃高亮十字線等類似方 法標明候選點的位置，存儲每個候選點的坐標數據并輸出圖像，由于候選點均處于人眼區(qū) 域，因此通過候選點的位置即可獲得圖像中人眼的位置。
[0050] 第八步，對第N+2幀與第N+1幀的圖像進行幀間差分獲取極大值與極小值點。
[0051] 第九步，在上一次成功探測到處于人眼區(qū)域的候選點的坐標用跟蹤濾波器進行運 動區(qū)域范圍估計，在此估計范圍內執(zhí)行第五步與第六步。
[0052] 第十步，如果運動范圍中的極值點滿足篩選要求，則執(zhí)行第七步，如果不滿足要 求，則重新從第四步開始執(zhí)行。
[0053]綜上所述，以上僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護范 圍。凡在本發(fā)明的精神和原則之內，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明 的保護范圍之內。
【主權項】
1. 一種基于視頻的人眼位置探測方法，其特征在于，包括如下步驟： 第一步，將兩個以上光源分別置于人眼的左、右兩側，人眼前方放置成像設備；開啟成 像設備，點亮所述光源，調整每個光源位置的同時觀察成像設備實時輸出的視頻，當視頻中 兩側所有光源都能夠在人眼處形成反射的高亮虛像點時，調整完畢，固定光源及成像設備 位置； 第二步，交替點亮人眼兩側的光源，并利用成像設備獲得兩側光源分別點亮時的人眼 圖像;獲得的兩幅圖像分別定義為圖像P和圖像Q; 第三步，獲得圖像P和圖像Q的幀間差分圖像； 第四步，對所述幀間差分圖像在全局范圍內提取灰度最大值、第一極大值、第二極大值 直至第N極大值的虛像點坐標;并提取灰度最小值、第一極小值、第二極小值直至第Μ極小值 的虛像點坐標;將提取的全部虛像點作為候選點，并存儲每個候選點對應的坐標;其中，提 取的灰度最大值與極大值均為正數，提取的灰度最小值與極小值均為負數;Ν和Μ的取值與 圖像信噪比有關，信噪比越低，Ν與Μ的取值越高，反之，信噪比較高，Ν與Μ的取值越小； 第五步，根據兩側光源的空間擺放位置，由幾何光學成像公式求取人眼區(qū)域中每個候 選點的空間相對分布位置，以及候選點在所述幀間差分圖像中的相對分布;判斷各光源是 否同時滿足如下三個條件： 1) 、各光源在空間上的相對位置分布與幀間差分圖像中候選點的相對位置分布成比 例； 2) 、各光源在雙眼處形成的虛像點與人眼瞳距的距離在誤差允許范圍內； 3) 、兩側光源在單只眼睛上形成的虛像點的幾何距離小于人眼瞳孔距離； 將步驟四中滿足上述三個條件的候選點挑選出來； 第六步，將第五步保留的候選點中灰度值大于鄰近區(qū)域的背景灰度值的候選點保留下 來； 第七步，根據步驟六中保留的候選點位置，獲得差分圖像中人眼的位置。2. 如權利要求1所述的一種基于視頻的人眼位置探測方法，其特征在于，在對人眼進行 追蹤的過程中，采用第一步至第四步的方法，對圖像Ρ和圖像Q以后獲得的兩側光源分別點 亮時的人眼圖像進行處理，獲得幀間差分圖像，進而獲得候選點； 根據第六步確定的人眼位置，采用跟蹤濾波器進行運動區(qū)域范圍估計，在此估計范圍 內執(zhí)行第五步與第六步；如果運動范圍中的候選點滿足第五步和第六步的篩選條件，則根 據當前兩幀圖像的候選點獲得人眼位置，如果不滿足，則重新從第四步開始執(zhí)行。3. 如權利要求2所述的一種基于視頻的人眼位置探測方法，其特征在于，所述跟蹤濾波 器采用波門濾波器或Kalman濾波器。4. 如權利要求1或2所述的一種基于視頻的人眼位置探測方法，其特征在于，圖像P和圖 像Q為相鄰兩幀圖像，每側光源點亮的間隔時間與所述成像設備采集一幀圖像的時間相同。
【文檔編號】G06T7/00GK106056601SQ201610365355
【公開日】2016年10月26日
【申請日】2016年5月27日
【發(fā)明人】劉明, 王夏天, 董立泉, 趙躍進, 劉小華, 孔令琴
【申請人】北京理工大學