專利名稱：頭部檢測方法和設(shè)備,頭部檢測及類別判斷方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及模式識別及計算機(jī)視覺技術(shù)領(lǐng)域，并且特別涉及一種用于從圖 像和視頻等中檢測出其中所包括的頭部(以及根據(jù)需要進(jìn)一步對頭部檢測結(jié)果進(jìn)行分類) 的方法、設(shè)備和/或系統(tǒng)。
背景技術(shù)：
在現(xiàn)有的各種視頻監(jiān)控系統(tǒng)和/或方法中，主要以檢測運動的對象為目標(biāo)。然而， 這種系統(tǒng)和/或方法存在兩個明顯的缺陷。一個缺陷在于，它只適用于對運動對象的檢測。 當(dāng)視頻中出現(xiàn)處于靜止?fàn)顟B(tài)的人，或者視頻中的人在一段時間內(nèi)一直處于靜止?fàn)顟B(tài)時，將 無法確保正確地檢測到監(jiān)控目標(biāo)。另一個缺陷在于，要應(yīng)對人的身體形變問題。人類的身 體是一個典型的非剛性體，因此，人體檢測不可避免地要面對由于姿勢、朝向、動作等變化 而造成的形變問題，這無疑會增加監(jiān)控的困難程度，從而降低了監(jiān)控系統(tǒng)和/或方法的可 靠性。相對于人的身體而言，頭部具有比較穩(wěn)定的特征，不易發(fā)生形變。因此，為了提高人 體檢測的可靠性，頭部檢測越來越多地引起了研究人員的關(guān)注，并以此來輔助或代替人體 檢測。目前，頭部檢測的方法一般來說可以分為兩大類。第一類是基于模板匹配的方 法，例如，可以參見 A. Broggi、M. Bertozzi、A. Fascioli 禾口 M. Sechi 所著的"Shape—based Pedestrian Detection，，(參 見 Proceedings of the IEEE Intelligent Vehicles Symposium 2000，第 215 220 頁，2000 年 10 月)，以及Xinyu Xu和 Baoxin Li 所著的“Head Tracking Using Particle Filter with Intensity Gradient and Color Histogram，，(參 見IEEEInternational Conference on Multimedia and Expo 2005(ICME 2005)，第888 891頁，2005年)等。在這類基于模板匹配的方法中，首先定義一個頭部匹配模板(例如橢 圓形模板、圓環(huán)模板等)，然后利用該模板在待檢測圖像中進(jìn)行各種不同尺度的掃描，尋找 其中與模板的匹配程度比較高的區(qū)域作為頭部區(qū)域。該類方法具有算法簡單、計算速度快 等優(yōu)點，但是這類方法只適用于簡單背景下的規(guī)則頭部的檢測，例如適合于室內(nèi)場景的監(jiān) 控等，而對于復(fù)雜背景下的不規(guī)則頭部得檢測，該類方法存在穩(wěn)定性差、漏檢率高等缺點。近年來被應(yīng)用得日益廣泛的另一類頭部檢測的方法是基于統(tǒng)計學(xué)習(xí)的方法，例 如，可以參見 C. Papageorgiou 禾口 T. Poggio 所著的"A Trainable System for Object Detection”(參見 International Journal of Computer Vision, 2000 年第 38 卷第 15-33 頁)，以及 Yi Sun、Yan Wang 禾 P Yinghao He 所著的 “Head-and—Shoulder Detection in Varying Pose，，(參見 International Conference on Natural Computation, 2005 年，第 12 20頁)等。該類方法可分為學(xué)習(xí)階段和檢測階段。在學(xué)習(xí)階段中，對包含頭部圖像 的各種正樣本以及不包含頭部圖像的各種負(fù)樣本進(jìn)行特征提取，以提取出能夠區(qū)別頭部圖 像和非頭部圖像的各種有用的特征向量，然后利用機(jī)器學(xué)習(xí)算法通過對這些樣本的特征學(xué) 習(xí)得到用于分類頭部圖像和非頭部圖像的分類器。在檢測階段，首先提取出待檢測圖像的 特征向量，然后利用訓(xùn)練好的分類器判斷其是否是頭部圖像。這類方法具有較好的可靠性，
7對于復(fù)雜背景下的不規(guī)則頭部也具有很好的檢測能力，但是對于類似頭部形狀的物體，該 類方法常常會造成誤檢。因此，對于復(fù)雜環(huán)境下的頭部檢測，該類方法的誤檢率往往會比較
尚o在視頻監(jiān)控分析等的模式識別應(yīng)用中如何在確保低漏檢率的同時盡可能地降低 誤檢率并盡可能地提高檢測速度，仍然是目前急待解決的問題之一。

發(fā)明內(nèi)容
在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本 理解。應(yīng)當(dāng)理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的 關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概 念，以此作為稍后論述的更詳細(xì)描述的前序。為了解決現(xiàn)有技術(shù)的上述問題，本發(fā)明的一個目的是提供一種用于從輸入的原始 圖像中檢測出原始圖像中所包含的頭部圖像的頭部檢測方法和/或設(shè)備，其可以在保證低 漏檢率的同時提高頭部檢測的準(zhǔn)確度。本發(fā)明的另一個目的是提供一種用于從輸入的原始圖像中檢測出原始圖像中所 包含的頭部圖像并對其進(jìn)行進(jìn)一步的類別判斷的頭部檢測方法和/或設(shè)備，其可以通過類 別判斷進(jìn)一步從先前檢測出的“頭部圖像”中剔除實際上被誤檢的非頭部圖像，從而進(jìn)一步 提高了頭部檢測的準(zhǔn)確度，而且還可以提供了頭部分類信息，從而可以為視頻監(jiān)控分析等 模式識別過程提供更豐富的信息。本發(fā)明的再一個目的是提供用于實現(xiàn)本發(fā)明的上述方法的計算機(jī)程序、其上存儲 有所述計算機(jī)程序的計算機(jī)可讀存儲介質(zhì)、和/或計算機(jī)程序產(chǎn)品。為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了一種用于從輸入的原始圖像 中檢測出原始圖像中所包含的頭部圖像的頭部檢測方法，其包括以下步驟基于原始圖像 生成具有多個指定圖像大小的掃描檢測窗口(R0I)圖像，從而得到R0I圖像序列；從R0I圖 像序列中所包含的每一個R0I圖像中提取基于模板的梯度特征(TGF)；針對每一個R0I圖 像，基于所提取的該R0I圖像的TGF特征執(zhí)行第一級頭部檢測，以確定該R0I圖像是否為頭 部圖像；從經(jīng)過第一級頭部檢測被確定為頭部圖像的每一個R0I圖像中提取形狀特征；針 對經(jīng)第一級頭部檢測后被確定為頭部圖像的每一個R0I圖像，基于所提取的該R0I圖像的 形狀特征，執(zhí)行第二級頭部檢測，以確定該R0I圖像是否為頭部圖像；在頭部圖像候選集中 存儲經(jīng)過第二級頭部檢測被確定為是頭部圖像的R0I圖像；以及對頭部圖像候選集中存儲 的R0I圖像進(jìn)行后處理，以基于R0I圖像的TGF特征確定原始圖像中所包含的頭部圖像，其 中，R0I圖像的TGF特征通過以下方式獲得以與預(yù)先存儲的頭部邊緣模板相同的扇區(qū)劃分 方式對該R0I圖像進(jìn)行扇區(qū)劃分，計算每一個扇區(qū)內(nèi)的每一個像素點的圖像梯度在從扇區(qū) 劃分中心點到該像素點的方向向量上的投影并求和，然后將得到的各個扇區(qū)的梯度投影之 和組合成一個向量，即為TGF特征。根據(jù)本發(fā)明的另一個方面，還提供了一種用于從輸入的原始圖像中檢測出原始圖 像中所包含的頭部圖像的頭部檢測設(shè)備，其包括兩級頭部檢測器和檢測后處理器，其中， 所述兩級頭部檢測器進(jìn)一步包括掃描檢測窗口(R0I)圖像序列生成器，用于基于原始圖 像生成具有多個指定圖像大小的R0I圖像，從而得到R0I圖像序列；基于模板的梯度特征
8(TGF)提取器，用于從R0I圖像序列中所包含的每一個R0I圖像中提取TGF特征；第一級頭 部檢測器，用于針對每一個R0I圖像，基于所提取的該R0I圖像的TGF特征執(zhí)行第一級頭部 檢測，以確定該R0I圖像是否為頭部圖像；形狀特征提取器，用于從被第一級頭部檢測器確 定為頭部圖像的每一個R0I圖像中提取形狀特征；第二級頭部檢測器，用于針對被第一級 頭部檢測器確定為頭部圖像的每一個R0I圖像，基于所提取的該R0I圖像的形狀特征，執(zhí)行 第二級頭部檢測，以確定該R0I圖像是否為頭部圖像；以及頭部圖像候選集存儲器，用于存 儲被第二級頭部檢測器確定為是頭部圖像的R0I圖像，所述檢測后處理器用于對頭部圖像 候選集存儲器中存儲的R0I圖像進(jìn)行后處理，以基于R0I圖像的TGF特征確定原始圖像中 所包含的頭部圖像，其中，所述TGF特征提取器通過以下方式提取R0I圖像的TGF特征以 與預(yù)先存儲的頭部邊緣模板相同的扇區(qū)劃分方式對該R0I圖像進(jìn)行扇區(qū)劃分，計算每一個 扇區(qū)內(nèi)的每一個像素點的圖像梯度在從扇區(qū)劃分中心點到該像素點的方向向量上的投影 并求和，然后將得到的各個扇區(qū)的梯度投影之和組合成一個向量，即為TGF特征。根據(jù)本發(fā)明的另一個方面，還提供了 一種用于對利用上述頭部檢測方法從輸入的 原始圖像中檢測出的頭部圖像進(jìn)行類別判斷的頭部檢測與分類方法，其包括以下步驟對 于利用上述頭部檢測方法從輸入的原始圖像中檢測出的頭部圖像中的每一個圖像，提取由 圖像的顏色和紋理特征構(gòu)成的頭部分類特征；以及基于所提取的頭部分類特征，利用預(yù)先 訓(xùn)練好的頭部類別判斷器，判斷該圖像是正面頭部圖像、背面頭部圖像或側(cè)面頭部圖像，還 是被所述頭部檢測方法誤檢為頭部圖像的非頭部圖像。根據(jù)本發(fā)明的另一個方面，還提供了一種用于經(jīng)過兩級頭部檢測從輸入的原始圖 像中檢測出頭部圖像并對檢測出的頭部圖像進(jìn)行類別判斷的頭部檢測與分類裝置，其包 括如上所述的用于從輸入的原始圖像中檢測出頭部圖像的頭部檢測設(shè)備；頭部分類特征 提取器，用于從所述頭部檢測設(shè)備所檢測出的頭部圖像中的每一個圖像中提取由圖像的顏 色和紋理特征構(gòu)成的頭部分類特征；以及頭部類別判斷器，用于針對所述頭部檢測設(shè)備所 檢測出的頭部圖像中的每一個圖像，基于所提取的該圖像的頭部分類特征，判斷該圖像是 正面頭部圖像、背面頭部圖像或側(cè)面頭部圖像，還是被所述頭部檢測設(shè)備誤檢為頭部圖像 的非頭部圖像。依據(jù)本發(fā)明的其它方面，還提供了相應(yīng)的計算機(jī)可讀存儲介質(zhì)和計算機(jī)程序產(chǎn)品。本發(fā)明的一個優(yōu)點在于，在根據(jù)本發(fā)明實施例的頭部檢測方法和/設(shè)備中，通過 基于TGF特征的第一次頭部檢測，可以快速地從R0I圖像序列中初步確定頭部圖像從而剔 除大量明顯的非頭部圖像，然后通過對被確定為頭部圖像的R0I圖像進(jìn)行基于形狀特征的 第二次頭部檢測，可以進(jìn)一步從R0I圖像序列中確定頭部圖像從而剔除那些被確定為不是 頭部圖像的R0I圖像，因此，可以在保證低漏檢率的同時提高頭部檢測的準(zhǔn)確度，從而降低 了誤檢率(尤其是在復(fù)雜環(huán)境下更是如此)。本發(fā)明的又一個優(yōu)點在于，在根據(jù)本發(fā)明實施例的頭部檢測與分類方法和/設(shè)備 中，可以進(jìn)一步對利用上述頭部檢測方法檢測出的所謂“頭部圖像”進(jìn)行進(jìn)一步的類別判 斷，以確定所述“頭部圖像”是正面頭部圖像、背面頭部圖像或側(cè)面頭部圖像，還是實際上被 錯誤地檢測為“頭部圖像”的非頭部圖像，從而可以進(jìn)一步去除在兩次頭部檢測中可能出現(xiàn) 的錯誤檢測結(jié)果，因此，進(jìn)一步提高了頭部檢測的準(zhǔn)確度，降低了誤檢率，而且還能夠為模式識別過程(例如，圖像和視頻監(jiān)控分析等)提供更豐富的檢測信息。通過以下結(jié)合附圖對本發(fā)明的最佳實施例的詳細(xì)說明，本發(fā)明的這些以及其他優(yōu) 點將更加明顯。


本發(fā)明可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所 有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的 詳細(xì)說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進(jìn)一步舉例說明本 發(fā)明的優(yōu)選實施例和解釋本發(fā)明的原理和優(yōu)點。在附圖中圖1示出了根據(jù)本發(fā)明實施例的一種用于從輸入的待檢測圖像或視頻中檢測出 其中所包含的人體頭部圖像的方法的示意性流程圖；圖2示出了根據(jù)本發(fā)明的實施例所使用的、預(yù)先存儲的人體頭部邊緣模板；圖3示出了根據(jù)本發(fā)明實施例的、一種用于對利用如圖1所示的方法從輸入的圖 像或視頻中檢測出的頭部圖像進(jìn)行進(jìn)一步的類別判斷的方法的示意性流程圖；圖4示出了采用圖1所示的方法步驟對輸入的原始圖像進(jìn)行頭部檢測后得到的結(jié) 果，其中在原始圖像的相應(yīng)位置上用矩形框標(biāo)識出了所檢測到的頭部圖像；圖5示出了采用圖3所示的方法對輸入的原始圖像進(jìn)行兩次頭部檢測然后再進(jìn)行 類別判斷而得到的結(jié)果，其中在原始圖像上用帶有數(shù)字0 3的矩形框標(biāo)識出經(jīng)兩次頭部 檢測后得到的頭部檢測結(jié)果及其類別判斷結(jié)果；圖6示出了根據(jù)本發(fā)明實施例的一種用于從人體頭部圖像訓(xùn)練集中得到人體頭 部邊緣模板的方法的示意性流程圖；圖7示出了在利用圖6所示的方法得到人體頭部邊緣模板并對其進(jìn)行扇區(qū)劃分的 過程所涉及的頭部圖像訓(xùn)練集及處理結(jié)果；圖8示出了根據(jù)本發(fā)明實施例的、用于從輸入的待檢測圖像或視頻中檢測出頭部 圖像的頭部檢測設(shè)備的示意性方框圖；圖9示出了根據(jù)本發(fā)明實施例的、用于從輸入的待檢測圖像或視頻中檢測出頭部 圖像并對其進(jìn)行進(jìn)一步的類別判斷的頭部檢測及類別判斷設(shè)備的示意性方框圖；以及圖10示出了在其中可以實現(xiàn)根據(jù)本發(fā)明實施例的方法和/或設(shè)備的通用個人計 算機(jī)的示例性結(jié)構(gòu)的框圖。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，附圖中的元件僅僅是為了簡單和清楚起見而示出的， 而且不一定是按比例繪制的。例如，附圖中某些元件的尺寸可能相對于其他元件放大了，以 便有助于提高對本發(fā)明實施例的理解。
具體實施例方式以下將結(jié)合附圖對本發(fā)明的示范性實施例進(jìn)行描述。為了清楚和簡明起見，在說 明書中并未描述實際實施方式的所有特征。然而，應(yīng)該了解，在開發(fā)任何這種實際實施例的 過程中必須做出很多特定于實施方式的決定，以便實現(xiàn)開發(fā)人員的具體目標(biāo)，例如，符合與 系統(tǒng)及業(yè)務(wù)相關(guān)的那些限制條件，并且這些限制條件可能會隨著實施方式的不同而有所改 變。此外，還應(yīng)該了解，雖然開發(fā)工作有可能是非常復(fù)雜和費時的，但對得益于本公開內(nèi)容
10的本領(lǐng)域技術(shù)人員來說，這種開發(fā)工作僅僅是例行的任務(wù)。在此，還需要說明的一點是，為了避免因不必要的細(xì)節(jié)而模糊了本發(fā)明，在附圖中 僅僅示出了與根據(jù)本發(fā)明的方案密切相關(guān)的裝置結(jié)構(gòu)和/或處理步驟，而省略了與本發(fā)明 關(guān)系不大的其他細(xì)節(jié)。圖1示出了根據(jù)本發(fā)明實施例的一種用于從輸入的待檢測圖像或視頻中檢測出 所述圖像或視頻中包含的人體頭部圖像的方法100的示意性流程圖。如圖1所示，方法100在步驟S105中，基于所接收到的輸入圖像或視頻，生成具有 指定圖像大小的掃描檢測窗口圖像(也可以稱之為感興趣區(qū)域圖像，以下簡稱R0I圖像) 序列。在一個示例中，以每次預(yù)定像素數(shù)目(例如2個像素)的步長，按照從左至右、從 上至下的順序，從輸入的圖像、或者輸入的視頻中所提取的當(dāng)前幀圖像(為了方便起見，以 下將二者合稱為原始圖像)中，依次截取具有指定圖像大小的R0I圖像，從而得到R0I圖像 序列。其中，截取的R0I圖像的圖像大小與預(yù)先存儲的人體頭部邊緣模板的圖像大小相同， 在此假設(shè)為32X32像素。而在另一個示例中，考慮到原始圖像中頭部區(qū)域的大小可能與預(yù)先存儲的頭部邊 緣模板的大小不一致，因此，在生成R0I圖像序列時，可以先對原始圖像進(jìn)行縮放，然后再 從中截取R0I圖像。具體來說，當(dāng)輸入為一幅待檢測的圖像時，將該圖像按縮放因子列表{Sl，s2，...， sn}中的縮放比例進(jìn)行縮放，得到圖像序列隊，込，…丄}，而當(dāng)輸入為視頻時，從視頻中提 取當(dāng)前幀圖像，并將其按縮放因子列表{Sl，s2，. . .，sj中的縮放比例進(jìn)行縮放，得到圖像序 列{Ii，12，...，IJ。其中縮放因子的選取規(guī)則如下所示
=0.5\sn=2
s^ / — 1 1，i — 3, “ *, ti
e即，將原始的圖像1(即，輸入的待檢測圖像，或者輸入的視頻中的當(dāng)前幀圖像)從 縮小一倍的圖像(即1/2大小的圖像)起以每次1. 1倍的比例進(jìn)行放大，直至約放大一倍 的圖像(即2倍大小的圖像)，從而得到圖像序列。然后，對圖像序列中的每一個圖像Ii(i = 1,2,......，n)，以每次2個像素的步長
從左至右、從上至下依次截取具有指定圖像大小(例如假設(shè)為32X32像素)的R0I圖像， 從而得到R0I圖像序列。接下來，如圖1所示，在步驟S110中，從R0I圖像序列中的第一個R0I圖像(S卩i = 1)開始，提取第i個R0I圖像的基于模板的梯度特征(Template Based Gradient Feature) (以下簡稱TGF特征)。假設(shè)如上所述的預(yù)先存儲的人體頭部邊緣模板如圖2所示是經(jīng)過二值化處理后 得到的模板。此外，還假設(shè)預(yù)先存儲有如下的模板扇區(qū)劃分方式如圖2所示，模板的上面 5/8圖像高度的區(qū)域被視為頭部區(qū)域，下面3/8圖像高度的區(qū)域被視為肩部區(qū)域(在如上 所述假設(shè)模板的圖像大小為32X32像素時，頭部區(qū)域高20個像素，而肩部區(qū)域高12個像 素)，并且頭部區(qū)域以模板的中心0為原點、按照45°角被劃分為8個扇區(qū)(分別用(1) ⑶表示)，而肩部區(qū)域則以模板的底部中心0’為原點、按照45°角被劃分為4個扇區(qū)(分別用(9) (12)表示)。其中，模板的中心點O和模板的底部中心點0，可以被統(tǒng)稱為扇區(qū) 劃分中心點。在下文中將結(jié)合圖6和圖7來說明如何依據(jù)其中包含人體頭部的人體頭部圖 像訓(xùn)練集獲得人體邊緣圖像模板。假設(shè)ROI圖像中像素點A(x，y)的灰度值用I(x，y)表示(如果ROI圖像為彩色圖 像，則I (χ，y)是將彩色圖像轉(zhuǎn)換為灰度圖像后的灰度值)，則該像素點A的水平梯度Ix(χ， y)和垂直梯度Iy (χ，y)可以分別被定義如下
<formula>formula see original document page 12</formula>
像素點A的圖像梯度G可以被定義如下
<formula>formula see original document page 12</formula>其梯度方向θ (x，y)(它的取值范圍為
)和幅值Grad (x，y)分別為
<formula>formula see original document page 12</formula>ROI圖像按照與如圖2所示的模板扇區(qū)劃分相同的方式也被劃分為12個扇區(qū)。 然后，分別在每一個扇區(qū)內(nèi)計算該扇區(qū)內(nèi)的每一個像素點的梯度在從扇區(qū)劃分中心點到 該像素點的方向向量上的投影并求和，從而得到每個扇區(qū)的梯度投影之和(假設(shè)用vl、 v2、.......vl2 表不)ο假設(shè)如圖2中所示位于頭部區(qū)域內(nèi)的扇區(qū)(1)中的像素點A(x，y)的梯度為G，從 中心點0到該像素點A的方向向量為OP (X，y)，則按照下式計算像素點A的梯度在OP方向 的投影M (G)(而對于肩部區(qū)域內(nèi)的4個扇區(qū)中的每一個像素點，在計算該像素點點的梯度 的投影時向0’ P方向上投影)
<formula>formula see original document page 12</formula>將每一個扇區(qū)的梯度投影之和vl、v2........vl2合并為一個向量[vl，v2，...，
vl2]，該向量即為該ROI圖像的TGF特征。返回參見圖1，在步驟SllO中提取了第i個ROI圖像的TGF特征之后，在步驟S115 中，基于所提取的TGF特征，利用預(yù)先訓(xùn)練好的第一級頭部檢測器，對該ROI圖像進(jìn)行第一 級頭部檢測，然后在步驟S120中基于第一級頭部檢測的結(jié)果確定該ROI圖像是否為頭部圖像。如果經(jīng)第一級頭部檢測確定該ROI圖像為頭部圖像，則方法100的處理流程進(jìn)行 到步驟S125，在其中提取該ROI圖像的形狀特征，例如，梯度直方圖特征(Histograms of Oriented Gradients, HOG)(以下簡稱HOG特征)，或者圖像距(moment)特征等。有關(guān)HOG特征的更多細(xì)節(jié)可以參見例如Navneet Dalai和Bill Triggs所著的 "Histograms of Oriented Gradients for Human Detection，， (IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005 年，第 886 893 頁)，而有關(guān)圖像距(moment)特征的更多細(xì)節(jié)可以參見例如Athanasios Papoulis所著的 "Probability, Random Variables, and Stochastic Processes，，(McCraw-Hi 11 出版社， 1991年第3版，ISBN號0070484775)，因此在此為了簡潔起見就不再詳述了。
然而，如果步驟S120確定當(dāng)前ROI圖像不是頭部圖像，則方法100的處理流程使 i = i+1并返回到步驟S110，然后重復(fù)以上步驟SllO S120，以判斷ROI圖像序列中的下 一個圖像是否為頭部圖像。然后，如圖1所示，在步驟S130中，基于所提取的形狀特征，利用預(yù)先訓(xùn)練好的第 二級頭部檢測器，對所述ROI圖像進(jìn)行第二級頭部檢測，然后在步驟S135中基于第二級頭 部檢測的結(jié)果確定所述ROI圖像是否為頭部圖像，并且在確定當(dāng)前ROI圖像為頭部圖像時， 方法100的處理流程進(jìn)行到步驟S140，將確定為頭部圖像的ROI圖像存儲在頭部圖像候選集中。如果步驟S135中確定當(dāng)前ROI圖像不是頭部圖像，則方法100的處理流程使i = i+1并返回到步驟S110，然后重復(fù)以上步驟SllO S135，從而經(jīng)過一次或者兩次頭部檢測 來確定ROI圖像序列中的下一個ROI圖像是否為頭部圖像，并且在步驟S140中將在經(jīng)過兩 次頭部檢測后確定是頭部圖像的ROI圖像存儲在頭部圖像候選集中。在一個應(yīng)用示例中，在存儲確定為是頭部圖像的ROI圖像(也可以將其稱之為正 例ROI圖像)時，可以通過記錄每一個正例ROI圖像在原始圖像上的位置P = (x, y，w, h) 來得到頭部圖像候選集{P1; P2，...，PM}，其中，χ是該ROI圖像在原始圖像上所處的矩形區(qū) 域(即矩形框)的左上角的橫坐標(biāo)，y是該矩形框的左上角的縱坐標(biāo)，w是該矩形框的寬度， h是該矩形框的高度，而M是頭部圖像候選集中存儲的正例ROI圖像的個數(shù)。在步驟S140之后，方法100的處理流程進(jìn)行到步驟S145，在其中判斷當(dāng)前處理的 第i個ROI圖像是否是所述ROI圖像序列中的最后一個ROI圖像，如果不是的話，則方法 100的處理流程使i = i+1并返回到步驟S110，然后重復(fù)以上步驟SllO S145，直到所述 ROI圖像序列中的所有ROI圖像都經(jīng)過了上述頭部檢測處理為止。然后，如圖1所示，在步驟S150中，對頭部圖像候選集中存儲的正例ROI圖像進(jìn)行 頭部檢測后處理，以得到頭部檢測結(jié)果集。具體來說，將頭部圖像候選集依據(jù)其中所存儲的 各個正例ROI圖像在原始圖像上的位置而劃分為T個子集，其分別被表示如下<formula>formula see original document page 13</formula>其中在每個子集中所包含的正例ROI圖像在原始圖像上所處的矩形框的中心 間距離小于該子集中的所有正例ROI圖像的矩形框的平均寬度，然后，對于每一個子集
= ^ 2,…，Γ)，對算該子集中的每個正例ROI圖像的TGF特征的范數(shù)，并確定 出每一個子集中TGF特征的范數(shù)最大的那個正例ROI圖像矩形框。接下來，在步驟S155中，將在步驟S150中計算確定的每一個子集中TGF特征的范 數(shù)最大的那個正例ROI圖像矩形框存儲下來，從而得到頭部檢測結(jié)果集{Ρ1，Ρ2，...，Ρτ}，并 且可以根據(jù)需要輸出該頭部檢測結(jié)果集。該頭部檢測結(jié)果集中所存儲的各個矩形框即為如 上所述經(jīng)過第一和第二次頭部檢測從原始圖像中檢測到的頭部圖像矩形框，在原始圖像上 的與所述頭部圖像矩形框相對應(yīng)的各個區(qū)域內(nèi)的圖像即為從原始圖像中檢測出的頭部圖 像。圖4示出了采用上述方法步驟對輸入的原始圖像進(jìn)行頭部檢測后得到的結(jié)果，其中在原始圖像的相應(yīng)位置上用矩形框標(biāo)識出了所檢測到的頭部圖像。以上結(jié)合圖1和2所給出的根據(jù)本發(fā)明實施例從輸入的待檢測圖像或視頻中檢測 出人體頭部區(qū)域的方法的描述僅僅是示例性的，并不對本發(fā)明構(gòu)成限制，本領(lǐng)域技術(shù)人員完全可以根據(jù)實際需要對其進(jìn)行細(xì)節(jié)和形式上的修改而不背離本發(fā)明的精神和實質(zhì)。例如，生成ROI圖像序列的方式、人體頭部邊緣模板及ROI圖像的扇區(qū)劃分方式等，都不局限 于以上所描述的那些。在以上所描述的方法100中，通過基于TGF特征的第一次頭部檢測，可以快速地從 ROI圖像序列中初步地確定頭部圖像從而剔除大量明顯的非頭部圖像，然后通過對被確定 為頭部圖像的ROI圖像進(jìn)行基于形狀特征的第二次頭部檢測，進(jìn)一步從ROI圖像序列中剔 除那些被確定為不是頭部圖像的ROI圖像，從而在保證低漏檢率的同時提高了頭部檢測的 準(zhǔn)確度，降低了復(fù)雜環(huán)境下的誤檢率。為了進(jìn)一步提高在頭部檢測的準(zhǔn)確度和降低誤檢率，以及為模式識別過程(例 如，圖像和視頻監(jiān)控分析等)提供更豐富的檢測信息，可以進(jìn)一步對利用圖1所示的方法 100獲得的頭部檢測結(jié)果集進(jìn)行分類處理，以確定經(jīng)頭部檢測后確定的所謂“頭部圖像”是 正面頭部圖像、背面頭部圖像或側(cè)面頭部圖像，還是實際上被錯誤地檢測為“頭部圖像”的 非頭部圖像，從而可以去除在兩次頭部檢測中可能出現(xiàn)的錯誤檢測結(jié)果。圖3示出了根據(jù)本發(fā)明實施例的、一種用于對利用如圖1所示的方法100從輸入 的原始圖像中檢測出的頭部圖像進(jìn)行進(jìn)一步的類別判斷的方法300的示意性流程圖。如圖3所示，方法300的處理流程包括如圖1所示的方法步驟S105 S155，并且 在步驟S155之后進(jìn)行到步驟S310。在步驟S310中，對于從原始圖像中利用圖1所示的方法100檢測確定的每一個 “頭部圖像”(即，原始圖像中的、與在步驟S155中得到的頭部檢測結(jié)果集中的每一個圖像 矩形框相對應(yīng)的區(qū)域內(nèi)的圖像)，提取頭部分類特征，例如由圖像的顏色和紋理特征構(gòu)成的 組合特征。然后，在步驟S320中，針對頭部檢測結(jié)果集中的每一個所謂“頭部圖像”，基于所 提取的頭部分類特征，利用預(yù)先訓(xùn)練好的頭部類別判斷器，判斷所謂的“頭部圖像”是正面 頭部圖像、背面頭部圖像或側(cè)面頭部圖像，還是實際上被誤檢的非頭部圖像。接下來，在步驟S330中，輸出頭部類別判斷結(jié)果。在方法300的一個示例中，可以使用局部二值模式(Local Binary Pattern,LBP) 特征或者Gabor特征來描述圖像紋理特征，使用HSV顏色空間中的HS直方圖特征(或者RGB 顏色空間中的RGB直方圖特征)來描述圖像顏色特征。這樣，在步驟S310中，對頭部檢測 結(jié)果集中的每一個ROI圖像分別提取LBP特征(或者Gabor特征)和HS直方圖特征(或 者RGB直方圖特征)，并將其組合得到ROI圖像的組合特征，作為頭部分類特征。其中，有關(guān)LBP特征的細(xì)節(jié)可以參見例如Timo Ojala、Matti PietikSinen和 Topi M^enpMS 所著的“ Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns" ( JAL IEEE Transactions on Pattern Analysis and Machine Intelligence，2002 年 7 月，第 24 卷，第 7 期，第 971 987 頁)； 有關(guān)Gabor特征的細(xì)節(jié)可以參見例如I.Fogel和D. Sagi所著的“Gabor filters as texture discriminator，，(Biological Cybernetics, Springer 出片反社，第 61 卷第 102 113頁，1989年)；有關(guān)RGB直方圖特征的細(xì)節(jié)可以參見例如E.Ardizzone、M. La Cascia 禾口 D· Molinelli 所著的 “Motion and Color-Based Video Indexing and Retrieval，，(見 13th International Conference on Pattern Recognition (ICPRr 96)，1996 年，第 3 卷第135頁)；有關(guān)HS直方圖特征的細(xì)節(jié)可以參見例如SaWney，H.S.和HafnenJ.L.所著的 "Efficient Color Histogram Indexing，，(參見Proceedings of the IEEE International Conference on Image Processing 1994， ICIP-94))。圖5示出了采用上述方法300對輸入的原始圖像進(jìn)行兩次頭部檢測然后再進(jìn)行類 別判斷而得到的結(jié)果。如圖5中所示，在原始圖像上用帶有數(shù)字0 3的矩形框標(biāo)識出經(jīng) 上述頭部檢測后得到的頭部檢測結(jié)果及其類別判斷結(jié)果，其中，0表示在經(jīng)上述頭部檢測后 被確定為所謂“頭部圖像“中的、經(jīng)上述頭部類別判斷后確定的非頭部圖像，1表示正面頭 部圖像，2表示側(cè)面頭部圖像，3表示背面頭部圖像。下面結(jié)合圖6和圖7來描述如何從人體頭部圖像訓(xùn)練集中得到人體頭部邊緣模板 并將其劃分為12個扇區(qū)的過程。圖6示出了根據(jù)本發(fā)明實施例的一種用于從人體頭部圖像訓(xùn)練集中得到人體頭 部邊緣模板的方法600的示意性流程圖，而圖7示出了在利用圖6所示的方法得到人體頭 部邊緣模板并對其進(jìn)行扇區(qū)劃分的過程所涉及的頭部圖像訓(xùn)練集及處理結(jié)果。如圖6所示，在步驟S610中，接收頭部圖像訓(xùn)練集。在此，假設(shè)頭部圖像訓(xùn)練集中 包含N個具有指定圖像大小(例如，32X32像素)的人體頭部圖像，例如如圖7中的(a)所
7J\ ο然后，在步驟S620中，對于頭部圖像訓(xùn)練集中的每一個圖像，計算圖像中各個像 素點的圖像梯度G。在該步驟中，計算像素點的圖像梯度的方式與以上結(jié)合圖1的步驟SllO 所描述的計算梯度的方式相同，因此為了說明書的簡潔起見，在此就不再詳述了。接下來，在步驟S630中，統(tǒng)計頭部圖像訓(xùn)練集中各個圖像的梯度幅值在每一像素 點上出現(xiàn)的頻率，并生成歸一化的頻率圖像。具體而言，假設(shè)頭部圖像訓(xùn)練集中的所有N個圖像在同一像素點位置A(x，y)上的 梯度幅值為Gradi (x, y)，其中i = 1,2, ...，N，則在生成的頻率圖像上的同一像素點位置 A(x,y)上的頻率值如下所示
<formula>formula see original document page 15</formula>然后，按照下式對所得到的頻率圖像進(jìn)行歸一化，從而得到歸一化的頻率圖像 -f(x ) f(x,y)-MIN(f(x,y))MAX(f(x, y)) _ MIN(f(x, y))
ο在圖7的(b)中示出了如上所述對在圖7的(a)中所示的頭部圖像訓(xùn)練集進(jìn)行 處理后得到的歸一化的頻率圖像。如圖所示，在所生成的歸一化的頻率圖像中，/(X,力的值 (在歸一化的頻率圖像中反映為圖像的灰度值)越大，表明在像素點位置(X，y)上圖像梯 度出現(xiàn)的頻率越大。接著參見圖6，在步驟S640中，通過如下式所示對所生成的歸一化的頻率圖像 /(U)進(jìn)行二值化處理，得到頭部邊緣模板T(X，y)(其如圖7中的(c)所示)<formula>formula see original document page 15</formula> 其中閾值Threshold通過下面的等式來確定
Threshold = W1* MAX(f(x, j；)) + W2 * MIN(f(x, y))，其中，W1和W2是權(quán)重值。在一個示例中，W1 = 0.8，W2 = 0.2。隨后，在步驟S650中，如圖7中的(d)所示的那樣將步驟S640中得到的頭部邊緣 模板劃分為12個扇區(qū)。通過對頭部圖像訓(xùn)練集中的人體頭部圖像的分析可以看出，人體頭部圖像中的頭 部區(qū)域和肩部區(qū)域具有近似5 3的比例。因此，將頭部邊緣模板的上面5/8圖像高度的 區(qū)域被視為頭部區(qū)域，下面3/8圖像高度的區(qū)域被視為肩部區(qū)域。如上所述假設(shè)模板的圖 像大小為32X 32像素，因此頭部區(qū)域高20個像素，而肩部區(qū)域高12個像素。然后，將頭部 區(qū)域以頭部邊緣模板的中心0為原點、按照45°角劃分為8個扇區(qū)，將肩部區(qū)域以頭部邊緣 模板的底部中心0’為原點、按照45°角劃分為4個扇區(qū)。當(dāng)然，也可以根據(jù)需要采用不同的扇區(qū)劃分方式。例如，可以按照90°角將頭部區(qū) 域劃分為4個扇區(qū)，將肩部區(qū)域劃分為2個扇區(qū)；或者可以按照22. 5°角將頭部區(qū)域劃分 為16個扇區(qū)，將肩部區(qū)域劃分為8個扇區(qū)；等等。在根據(jù)本發(fā)明的一個應(yīng)用示例中，以上所述的第一級頭部檢測器和第二級頭部檢 測器可以分別是基于TGF特征的支持向量機(jī)(Support Vector Machine, SVM)分類器和基 于形狀特征(例如，HOG特征，圖像距特征等)的SVM分類器，并且它們可以是預(yù)先利用頭 部圖像訓(xùn)練集(即，多個具有指定圖像大小的、其中包含人體頭部的圖像)和非頭部圖像訓(xùn) 練集(例如，多個具有同樣指定圖像大小的、其中不包含人體頭部的任意背景圖像等)通過 分別計算TGF特征和形狀特征來訓(xùn)練好的，分別用于基于ROI圖像的TGF特征來檢測確定 ROI圖像是否為頭部圖像，以及用于基于ROI圖像的形狀特征來檢測確定ROI圖像是否為頭 部圖像。在這種情況下，以上結(jié)合圖6和7所描述的生成頭部邊緣模板的過程可以在對SVM 分類器進(jìn)行訓(xùn)練時執(zhí)行。有關(guān)SVM分類器的更多細(xì)節(jié)可以參見例如N. Cristianini和J. Shawe-Taylor所 著的"An introduction to support Vector Machines and other kernel-based learning methods”(劍橋大學(xué)出版社，2000年3月，第一版，ISBN號為0521780195)，因此，在此為了 說明書的簡潔起見就不再詳述了。在根據(jù)本發(fā)明的另一個應(yīng)用示例中，以上所述的頭部類別判斷器可以是一個基于 圖像的紋理特征和顏色特征的多類SVM分類器，并且它可以是預(yù)先利用三種類別(正面、側(cè) 面和背面)的頭部圖像訓(xùn)練集和非頭部圖像訓(xùn)練集訓(xùn)練好的，以便能夠同時完成正面、側(cè) 面、背面和非頭部四個類別的分類判斷。然而，本發(fā)明中的第一級頭部檢測器、第二級頭部檢測器和/或頭部類別判斷 器并不僅僅局限于SVM分類器，而是也可以使用其他的基于特征統(tǒng)計分布的分類器， 例如線性鑒別分析(linear discriminant analysis，LDA)分類器。有關(guān)LDA分類器 的細(xì)節(jié)可以參見例如 Geoffrey J. McLachlan 所著的"Discriminant Analysis and Statistical Pattern Recognition" (Wiley Interscience 出版社，2004 年 8 月，ISBN 號 為9780471691150)，因此，在此為了說明書的簡潔起見就不再詳述了。雖然以上結(jié)合圖1 圖7對根據(jù)本發(fā)明實施例的、對輸入的圖像或者視頻中的人 體頭部圖像進(jìn)行檢測(以及根據(jù)需要還對檢測結(jié)果進(jìn)行進(jìn)一步的類別判斷)的方法的處理流程進(jìn)行了描述，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，上述描述僅僅是示例性的，而且可以根據(jù)實際情況和需要對處理流程進(jìn)行各種修改或改進(jìn)而沒有背離本發(fā)明的實質(zhì)和范圍。例如，在以上所述的根據(jù)本發(fā)明的應(yīng)用示例中，可以定期地遠(yuǎn)程更新其中所使用 的第一和第二級頭部檢測器(例如，SVM分類器)的判別參數(shù)和/或頭部邊緣模板(及其 扇區(qū)劃分方式)。其中，所述第一和第二級頭部檢測器的判別參數(shù)以及頭部邊緣模板可以由 產(chǎn)品供應(yīng)商通過定期地更新頭部檢測器中用到的圖像訓(xùn)練集并執(zhí)行相應(yīng)的處理(例如，重 新計算頭部邊緣模板和確定扇區(qū)劃分方式，對頭部檢測器進(jìn)行訓(xùn)練等)而得到，并定期地 提供給用戶。當(dāng)然，還可以有其他的修改或改進(jìn)方式，在此就不再一一說明了。圖8示出了根據(jù)本發(fā)明實施例的、用于從輸入的待檢測圖像或視頻中檢測出頭部 圖像的頭部檢測設(shè)備800的示意性方框圖。該頭部檢測設(shè)備800可以執(zhí)行以上結(jié)合圖1和 圖2所描述的方法100。如圖8所示，頭部檢測設(shè)備800包括兩級頭部檢測器810和檢測后處理器820。其 中，兩級頭部檢測器810用于從輸入的圖像或者視頻中經(jīng)過兩級頭部檢測而檢測出其中包 含頭部的頭部圖像。如圖8所示，兩級頭部檢測器810進(jìn)一步包括R0I圖像序列生成器811，ROI圖像 序列生成器811用于基于所接收到的輸入圖像或視頻，生成具有指定圖像大小的ROI圖像 序列；TGF特征提取器812，用于從所生成的ROI圖像序列中所包含的每一個ROI圖像中提 取TGF特征；第一級頭部檢測器813，用于針對每一個ROI圖像，基于所提取的該ROI圖像的 TGF特征執(zhí)行第一級頭部檢測，以確定該ROI圖像是否為頭部圖像；形狀特征提取器814， 用于從經(jīng)第一級頭部檢測后被確定為頭部圖像的每一個ROI圖像中提取形狀特征(例如， HOG特征、圖像距特征等)；第二級頭部檢測器813，用于針對經(jīng)第一級頭部檢測后被確定為 頭部圖像的每一個ROI圖像，基于所提取的該ROI圖像的形狀特征執(zhí)行第二級頭部檢測，以 確定該ROI圖像是否為頭部圖像；以及頭部圖像候選集存儲器816，用于存儲被第二級頭部 檢測器813確定為是頭部圖像的ROI圖像(也可以將其稱之為正例ROI圖像)，例如，可以 存儲該ROI圖像在原始圖像上的位置P = (x, y，w, h)等。檢測后處理器820用于將頭部圖像候選集中存儲的正例ROI圖像依據(jù)其在原始圖 像上的位置而劃分為T個子集，計算每一個子集中的每個正例ROI圖像的TGF特征的范數(shù)， 并確定出每一個子集中TGF特征的范數(shù)最大的那個正例ROI圖像，即為在該子集中的所檢 測到的頭部圖像，從而可以得到頭部檢測結(jié)果集。由于在上文中已經(jīng)參照方法的流程圖對兩級頭部檢測器810中的各個裝置或模 塊以及檢測后處理器820的具體處理過程進(jìn)行了描述，因此，在此為了避免重復(fù)，就不再對 它們的操作和處理過程進(jìn)行詳述了。在頭部檢測設(shè)備800的一個應(yīng)用示例中，如上所述，第一級頭部檢測器813和第二 級頭部檢測器814可以分別是預(yù)先訓(xùn)練好的、基于TGF特征的統(tǒng)計分布的分類器(例如， SVM分類器、LDA分類器等)和基于形狀特征的統(tǒng)計分布的分類器(例如，SVM分類器、LDA 分類器等)。圖9示出了根據(jù)本發(fā)明實施例的、用于從輸入的待檢測圖像或視頻中檢測出頭部 圖像并對其進(jìn)行進(jìn)一步的類別判斷的頭部檢測及類別判斷設(shè)備900的示意性方框圖。該頭 部檢測及類別判斷設(shè)備900可以執(zhí)行以上結(jié)合圖3所描述的方法300。
如圖9所示，頭部檢測及類別判斷設(shè)備900包括兩級頭部檢測器910，檢測后處 理器920，頭部分類特征提取器930，以及頭部類別判斷器940。其中，兩級頭部檢測器910 和檢測后處理器920可以分別與參考圖8所描述的兩級頭部檢測器810和檢測后處理器 820具有相同的結(jié)構(gòu)和功能，因此在此也不再詳述了。頭部分類特征提取器930用于針對從輸入的圖像或者視頻中經(jīng)過兩級頭部檢測器910和檢測后處理器920檢測確定的每一個“頭部圖像”，提取頭部分類特征，例如由圖像 的顏色和紋理特征構(gòu)成的組合特征。頭部類別判斷器940用于針對所述每一個“頭部圖像”，基于所提取的頭部分類特 征，判斷該“頭部圖像”是正面頭部圖像、背面頭部圖像或側(cè)面頭部圖像，還是實際上被誤檢 的非頭部圖像。由于在上文中已經(jīng)參照方法的流程圖對頭部分類特征提取器930和頭部類別判 斷器940的具體處理過程進(jìn)行了描述，因此，在此為了避免重復(fù)，就不再對它們的操作和處 理過程進(jìn)行詳述了。其中，所述圖像紋理特征可以使用LBP特征或者Gabor特征，而圖像顏色特征可以 使用HSV顏色空間中的HS直方圖特征或者RGB顏色空間中的RGB直方圖特征。然而，顯然 本發(fā)明的原理不僅僅局限于此。在頭部檢測及類別判斷設(shè)備900的一個應(yīng)用示例中，如上所述，頭部類別判斷器 940可以是一個基于圖像的紋理特征和顏色特征的多類SVM分類器，并且它可以是預(yù)先利 用三種類別(正面、側(cè)面和背面)的頭部圖像訓(xùn)練集和非頭部圖像訓(xùn)練集訓(xùn)練好的，能夠同 時完成正面、側(cè)面、背面和非頭部四個類別的分類判斷。在以上所描述的根據(jù)本發(fā)明實施例的方法和/或設(shè)備中，所述輸入圖像可以是任 何圖像格式的靜態(tài)圖像或動態(tài)圖像。另外，雖然在上文中結(jié)合附圖對根據(jù)本發(fā)明實施例的、用于從輸入的圖像或者視 頻中檢測出人體頭部圖像(并根據(jù)需要對其進(jìn)行進(jìn)一步的頭部類別判斷)的方法和/或設(shè) 備進(jìn)行了描述，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)明白，本發(fā)明的原理不僅僅局限于對人體的頭部 圖像進(jìn)行檢測和類別判斷，而是可以適用于對所有動物的頭部圖像進(jìn)行檢測(并根據(jù)需要 進(jìn)行類別判斷)，只要預(yù)先存儲有動物的頭部圖像的頭部邊緣模板及其劃分方式、并且預(yù)先 利用動物的頭部圖像訓(xùn)練集和非頭部圖像訓(xùn)練集將所述第一和第二級頭部檢測器以及頭 部類別判斷器訓(xùn)練好了即可。通過以上的描述不難看出，在根據(jù)本發(fā)明實施例的頭部檢測方法和/或設(shè)備中， 通過基于TGF特征的第一次頭部檢測，可以快速地從ROI圖像序列中剔除大量明顯的非頭 部圖像，然后通過對被確定為頭部圖像的ROI圖像進(jìn)行基于形狀特征的第二次頭部檢測， 可以進(jìn)一步從ROI圖像序列中剔除那些被確定為不是頭部圖像的ROI圖像，從而在保證低 漏檢率的同時提高了頭部檢測的準(zhǔn)確度，降低了復(fù)雜環(huán)境下的誤檢率。另外，在根據(jù)本發(fā)明實施例的頭部檢測及類別判斷方法和/或設(shè)備中，在后的頭 部類別判斷過程對經(jīng)過在先的兩級頭部檢測過程得到的頭部檢測結(jié)果采用不信任機(jī)制，通 過提取圖像的、與兩級頭部檢測過程中所使用的TGF特征和形狀特征構(gòu)成互補的紋理和顏 色特征，對頭部檢測的正例結(jié)果進(jìn)行進(jìn)一步的驗證和分類，因此進(jìn)一步提高了頭部檢測的 準(zhǔn)確度，降低了誤檢率，而且可以提供更為豐富的檢測信息(即，頭部類別信息)。
通過閱讀以上關(guān)于根據(jù)本發(fā)明原理的方法和/或設(shè)備的描述，它們的其他更多優(yōu)點將會是顯然的，在此就不再一一贅述了。此外，顯然，根據(jù)本發(fā)明的上述方法的各個操作過程也可以以存儲在各種機(jī)器可 讀的存儲介質(zhì)中的計算機(jī)可執(zhí)行程序的方式實現(xiàn)。本發(fā)明的目的也可以通過下述方式實現(xiàn)將存儲有上述可執(zhí)行程序代碼的存儲 介質(zhì)直接或者間接地提供給系統(tǒng)或設(shè)備，并且該系統(tǒng)或設(shè)備中的計算機(jī)或者中央處理單元 (CPU)讀出并執(zhí)行上述程序代碼。此時，只要該系統(tǒng)或者設(shè)備具有執(zhí)行程序的功能，則本發(fā) 明的實施方式不局限于程序，并且該程序也可以是任意的形式，例如，目標(biāo)程序、解釋器執(zhí) 行的程序或者提供給操作系統(tǒng)的腳本程序等。另外，所述用于實現(xiàn)本發(fā)明的程序也可以例如采用一個或更多個信號的形式，所 述信號可以是可從互聯(lián)網(wǎng)站點下載的數(shù)據(jù)信號，或是在載波信號上提供的數(shù)據(jù)信號，或是 以任何其它形式的數(shù)據(jù)信號。此外，例如圖10所示的通用個人計算機(jī)700之類的計算機(jī)通過連接到互聯(lián)網(wǎng)上的 相應(yīng)網(wǎng)站，并且將依據(jù)本發(fā)明的計算機(jī)程序代碼下載和安裝到計算機(jī)中然后執(zhí)行該程序， 也可以實現(xiàn)本發(fā)明。圖10是示出了在其中可以實現(xiàn)根據(jù)本發(fā)明實施例的方法和/或設(shè)備的通用個人 計算機(jī)700的示例性結(jié)構(gòu)的框圖。如圖10所示，中央處理單元(CPU)701根據(jù)只讀存儲器 (ROM) 702中存儲的程序或從存儲部分708加載到隨機(jī)存取存儲器(RAM) 703中的程序執(zhí)行 各種處理。在RAM703中，也根據(jù)需要存儲當(dāng)CPU 701執(zhí)行各種處理等時所需的數(shù)據(jù)。CPU 701、ROM 702和RAM 703經(jīng)由總線704彼此連接。輸入/輸出接口 705也連 接到總線704。下述部件連接到輸入/輸出接口 705 輸入部分706，包括鍵盤、鼠標(biāo)等等；輸出部 分707，包括顯示器，比如陰極射線管(CRT)和液晶顯示器(LCD)等，以及揚聲器等；存儲部 分708，包括硬盤等；以及通信部分709，其包括網(wǎng)絡(luò)接口卡比如LAN(局域網(wǎng))卡、調(diào)制解調(diào) 器等。通信部分709經(jīng)由網(wǎng)絡(luò)、例如互聯(lián)網(wǎng)執(zhí)行通信處理。根據(jù)需要，驅(qū)動器710也連接到輸入/輸出接口 705?？刹鹦督橘|(zhì)711比如磁盤、 光盤、磁光盤、半導(dǎo)體存儲器等等根據(jù)需要被安裝在驅(qū)動器710上，使得從中讀出的計算機(jī) 程序根據(jù)需要被安裝到存儲部分708中。在如上所述通過軟件實現(xiàn)本發(fā)明的情況下，從網(wǎng)絡(luò)、例如互聯(lián)網(wǎng)或者存儲介質(zhì)、例 如可拆卸介質(zhì)711中向計算機(jī)700中安裝所述軟件的程序。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，上述存儲介質(zhì)不局限于圖10所示的其中存儲有程 序、與設(shè)備相分離地分發(fā)以向用戶提供程序的可拆卸介質(zhì)711?？刹鹦督橘|(zhì)711的例子可以 包含磁盤(包含軟盤)、光盤(包含光盤只讀存儲器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光 盤(包含迷你盤(MD)和半導(dǎo)體存儲器等?；蛘?，存儲介質(zhì)也可以是ROM 702、存儲部分708 中包含的硬盤等，其中存有程序，并且與包含它們的設(shè)備一起被分發(fā)給用戶。還需要指出的是，執(zhí)行上述系列處理的步驟可以自然地按照說明的順序按時間順 序執(zhí)行，但是并不需要一定按照時間順序執(zhí)行。某些步驟可以并行或彼此獨立地執(zhí)行。最后，還需要說明的是，在本文中，諸如左和右、第一和第二等之類的關(guān)系術(shù)語僅 僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其 他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不 僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、
物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個......”限定的
要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
以上雖然結(jié)合附圖詳細(xì)描述了本發(fā)明的實施例，但是應(yīng)當(dāng)明白，上面所描述的實 施方式只是用于說明本發(fā)明，而并不構(gòu)成對本發(fā)明的限制。對于本領(lǐng)域的技術(shù)人員來說，可 以對上述實施方式作出各種修改和變更而沒有背離本發(fā)明的實質(zhì)和范圍。因此，本發(fā)明的 范圍僅由所附的權(quán)利要求及其等效含義來限定。
權(quán)利要求
一種用于從輸入的原始圖像中檢測出原始圖像中所包含的頭部圖像的頭部檢測方法，包括以下步驟基于原始圖像生成具有多個指定圖像大小的掃描檢測窗口(ROI)圖像，從而得到ROI圖像序列；從ROI圖像序列中所包含的每一個ROI圖像中提取基于模板的梯度特征(TGF)；針對每一個ROI圖像，基于所提取的該ROI圖像的TGF特征執(zhí)行第一級頭部檢測，以確定該ROI圖像是否為頭部圖像；從經(jīng)過第一級頭部檢測被確定為頭部圖像的每一個ROI圖像中提取形狀特征；針對經(jīng)第一級頭部檢測后被確定為頭部圖像的每一個ROI圖像，基于所提取的該ROI圖像的形狀特征，執(zhí)行第二級頭部檢測，以確定該ROI圖像是否為頭部圖像；在頭部圖像候選集中存儲經(jīng)過第二級頭部檢測被確定為是頭部圖像的ROI圖像；以及對頭部圖像候選集中存儲的ROI圖像進(jìn)行后處理，以基于ROI圖像的TGF特征確定原始圖像中所包含的頭部圖像，其中，ROI圖像的TGF特征通過以下方式獲得以與預(yù)先存儲的頭部邊緣模板相同的扇區(qū)劃分方式對該ROI圖像進(jìn)行扇區(qū)劃分，計算每一個扇區(qū)內(nèi)的每一個像素點的圖像梯度在從扇區(qū)劃分中心點到該像素點的方向向量上的投影并求和，然后將得到的各個扇區(qū)的梯度投影之和組合成一個向量，即為TGF特征。
2.根據(jù)權(quán)利要求1所述的頭部檢測方法，其中，所述ROI圖像序列通過以下方式生成 按照從左至右、從上至下的順序，以每次預(yù)定像素數(shù)目的步長，從以預(yù)定縮放比例對原始圖像進(jìn)行縮放后的圖像中依次截取具有指定圖像大小的ROI圖像，從而得到ROI圖像序 列。
3.根據(jù)權(quán)利要求1或2所述的頭部檢測方法，其中，在所述后處理步驟中通過以下方式 確定原始圖像中所包含的頭部圖像將頭部圖像候選集中所存儲的ROI圖像依據(jù)其在原始圖像上的位置而劃分為T個子 集，計算每一個子集中的每個ROI圖像的TGF特征的范數(shù)，確定每一個子集中TGF特征的范 數(shù)最大的那個ROI圖像，即為在該子集中的所檢測到的頭部圖像，從而檢測和確定出原始 圖像中所包含的頭部圖像。
4.根據(jù)權(quán)利要求1至3中任何一項所述的頭部檢測方法，其中，第一級頭部檢測是利用 預(yù)先訓(xùn)練好的、基于TGF特征的統(tǒng)計分布的分類器來執(zhí)行的。
5.根據(jù)權(quán)利要求4所述的頭部檢測方法，其中，所述基于TGF特征的統(tǒng)計分布的分類 器是支持向量機(jī)(SVM)分類器或線性鑒別分析(LDA)分類器，是預(yù)先利用頭部圖像訓(xùn)練集 和非頭部圖像訓(xùn)練集通過計算TGF特征來訓(xùn)練的，用于基于ROI圖像的TGF特征來確定ROI 圖像是否為頭部圖像。
6.根據(jù)權(quán)利要求1至5中任何一項所述的頭部檢測方法，其中，第二級頭部檢測是利用 預(yù)先訓(xùn)練好的、基于形狀特征的統(tǒng)計分布的分類器來執(zhí)行的。
7.根據(jù)權(quán)利要求6所述的頭部檢測方法，其中，所述基于形狀特征的統(tǒng)計分布的分類 器是SVM分類器或LDA分類器，是預(yù)先利用頭部圖像訓(xùn)練集和非頭部圖像訓(xùn)練集通過計算 形狀特征來訓(xùn)練的，用于基于ROI圖像的形狀特征來確定ROI圖像是否為頭部圖像，以及其中所述形狀特征是梯度直方圖(HOG)特征或圖像距特征。
8.根據(jù)權(quán)利要求1至7中任何一項所述的頭部檢測方法，其中，所述原始圖像是輸入的 靜態(tài)圖像或動態(tài)圖像，或者是從輸入的視頻中提取的幀圖像。
9.根據(jù)權(quán)利要求1至8中任何一項所述的頭部檢測方法，其中，所述頭部邊緣模板是預(yù) 先通過以下方式從頭部圖像訓(xùn)練集得到的對于頭部圖像訓(xùn)練集中的每一個圖像，計算圖像中各個像素點的圖像梯度，統(tǒng)計各個 圖像的梯度幅值在每一像素點上出現(xiàn)的頻率，并生成歸一化的頻率圖像，然后對歸一化的 頻率圖像進(jìn)行二值化處理，從而得到頭部邊緣模板。
10.根據(jù)權(quán)利要求9所述的頭部檢測方法，其中，所述頭部邊緣模板具有如下的扇區(qū)劃分按照預(yù)定比例將頭部邊緣模板劃分為位于上部的頭部區(qū)域和位于下部的肩部區(qū)域，頭 部區(qū)域被以頭部邊緣模板的中心為原點按照預(yù)定角度劃分為多個扇區(qū)，而肩部區(qū)域被以頭 部邊緣模板的底部中心為原點按照所述預(yù)定角度劃分為多個扇區(qū)。
11.根據(jù)權(quán)利要求1至10中任何一項所述的頭部檢測方法，進(jìn)一步包括定期地遠(yuǎn)程更新所述頭部邊緣模板及其扇區(qū)劃分方式、所述第一級頭部檢測器的判別 參數(shù)、和所述第二級頭部檢測器的判別參數(shù)中的一個或者多個。
12.一種用于從輸入的原始圖像中檢測出原始圖像中所包含的頭部圖像的頭部檢測設(shè) 備，包括兩級頭部檢測器和檢測后處理器，其中，所述兩級頭部檢測器進(jìn)一步包括掃描檢測窗口(ROI)圖像序列生成器，用于基于原始圖像生成具有多個指定圖像大小 的ROI圖像，從而得到ROI圖像序列；基于模板的梯度特征(TGF)提取器，用于從ROI圖像序列中所包含的每一個ROI圖像 中提取TGF特征；第一級頭部檢測器，用于針對每一個ROI圖像，基于所提取的該ROI圖像的TGF特征執(zhí) 行第一級頭部檢測，以確定該ROI圖像是否為頭部圖像；形狀特征提取器，用于從被第一級頭部檢測器確定為頭部圖像的每一個ROI圖像中提 取形狀特征；第二級頭部檢測器，用于針對被第一級頭部檢測器確定為頭部圖像的每一個ROI圖 像，基于所提取的該ROI圖像的形狀特征，執(zhí)行第二級頭部檢測，以確定該ROI圖像是否為 頭部圖像；以及頭部圖像候選集存儲器，用于存儲被第二級頭部檢測器確定為是頭部圖像的ROI圖像，所述檢測后處理器用于對頭部圖像候選集存儲器中存儲的ROI圖像進(jìn)行后處理，以基 于ROI圖像的TGF特征確定原始圖像中所包含的頭部圖像，其中，所述TGF特征提取器通過以下方式提取ROI圖像的TGF特征以與預(yù)先存儲的頭 部邊緣模板相同的扇區(qū)劃分方式對該ROI圖像進(jìn)行扇區(qū)劃分，計算每一個扇區(qū)內(nèi)的每一個 像素點的圖像梯度在從扇區(qū)劃分中心點到該像素點的方向向量上的投影并求和，然后將得 到的各個扇區(qū)的梯度投影之和組合成一個向量，即為TGF特征。
13.根據(jù)權(quán)利要求12所述的頭部檢測設(shè)備，其中，所述ROI圖像序列生成器通過以下方 式生成ROI圖像序列按照從左至右、從上至下的順序，以每次預(yù)定像素數(shù)目的步長，從以預(yù)定縮放比例對原 始圖像進(jìn)行縮放后的圖像中依次截取具有指定圖像大小的ROI圖像，從而得到ROI圖像序 列。
14.根據(jù)權(quán)利要求12或13所述的頭部檢測設(shè)備，其中，所述檢測后處理器通過以下方 式確定原始圖像中所包含的頭部圖像將頭部圖像候選集存儲器中所存儲的ROI圖像依據(jù)其在原始圖像上的位置而劃分為T 個子集，計算每一個子集中的每個ROI圖像的TGF特征的范數(shù)，確定每一個子集中TGF特征 的范數(shù)最大的那個ROI圖像，即為在該子集中的所檢測到的頭部圖像，從而檢測和確定出 原始圖像中所包含的頭部圖像。
15.根據(jù)權(quán)利要求12至14中任何一項所述的頭部檢測設(shè)備，其中，所述第一級頭部檢 測器是預(yù)先訓(xùn)練好的、基于TGF特征的統(tǒng)計分布的分類器。
16.根據(jù)權(quán)利要求15所述的頭部檢測設(shè)備，其中，所述基于TGF特征的統(tǒng)計分布的分 類器是支持向量機(jī)(SVM)分類器或線性鑒別分析(LDA)分類器，是預(yù)先利用頭部圖像訓(xùn)練 集和非頭部圖像訓(xùn)練集通過計算TGF特征來訓(xùn)練的，用于基于ROI圖像的TGF特征來確定 ROI圖像是否為頭部圖像。
17.根據(jù)權(quán)利要求12至16中任何一項所述的頭部檢測設(shè)備，其中，所述第二級頭部檢 測器是預(yù)先訓(xùn)練好的、基于形狀特征的統(tǒng)計分布的分類器。
18.根據(jù)權(quán)利要求17所述的頭部檢測設(shè)備，其中，所述基于形狀特征的統(tǒng)計分布的分 類器是SVM分類器或LDA分類器，是預(yù)先利用頭部圖像訓(xùn)練集和非頭部圖像訓(xùn)練集通過計 算形狀特征來訓(xùn)練的，用于基于ROI圖像的形狀特征來確定ROI圖像是否為頭部圖像，以及其中所述形狀特征是梯度直方圖(HOG)特征或圖像距特征。
19.根據(jù)權(quán)利要求12至18中任何一項所述的頭部檢測設(shè)備，其中，所述原始圖像是輸 入的靜態(tài)圖像或動態(tài)圖像，或者是從輸入的視頻中提取的幀圖像。
20.根據(jù)權(quán)利要求12至19中任何一項所述的頭部檢測設(shè)備，其中，所述頭部邊緣模板 是預(yù)先通過以下方式從頭部圖像訓(xùn)練集得到的對于頭部圖像訓(xùn)練集中的每一個圖像，計算圖像中各個像素點的圖像梯度，統(tǒng)計各個 圖像的梯度幅值在每一像素點上出現(xiàn)的頻率，并生成歸一化的頻率圖像，然后對歸一化的 頻率圖像進(jìn)行二值化處理，從而得到頭部邊緣模板。
21.根據(jù)權(quán)利要求20所述的頭部檢測設(shè)備，其中，所述頭部邊緣模板具有如下的扇區(qū) 劃分按照預(yù)定比例將頭部邊緣模板劃分為位于上部的頭部區(qū)域和位于下部的肩部區(qū)域，頭 部區(qū)域被以頭部邊緣模板的中心為原點按照預(yù)定角度劃分為多個扇區(qū)，而肩部區(qū)域被以頭 部邊緣模板的底部中心為原點按照所述預(yù)定角度劃分為多個扇區(qū)。
22.根據(jù)權(quán)利要求12至21中任何一項所述的頭部檢測設(shè)備，其中，所述頭部邊緣模板 及其扇區(qū)劃分方式、所述第一級頭部檢測器的判別參數(shù)和所述第二級頭部檢測器的判別參 數(shù)中的一個或者多個被定期地遠(yuǎn)程更新。
23.一種用于對利用根據(jù)權(quán)利要求1至11中任何一項所述的頭部檢測方法從輸入的原 始圖像中檢測出的頭部圖像進(jìn)行類別判斷的頭部檢測及類別判斷方法，包括以下步驟對于利用根據(jù)權(quán)利要求1至11中任何一項所述的頭部檢測方法從輸入的原始圖像中檢測出的頭部圖像中的每一個圖像，提取由圖像的顏色和紋理特征構(gòu)成的頭部分類特征；以及基于所提取的頭部分類特征，利用預(yù)先訓(xùn)練好的頭部類別判斷器，判斷該圖像是正面 頭部圖像、背面頭部圖像或側(cè)面頭部圖像，還是被所述頭部檢測方法誤檢為頭部圖像的非 頭部圖像。
24.根據(jù)權(quán)利要求23所述的頭部檢測及類別判斷方法，其中，所述紋理特征是局部二 值模式(LBP)特征或者Gabor特征。
25.根據(jù)權(quán)利要求23或24所述的頭部檢測及類別判斷方法，其中，所述顏色特征是 HSV顏色空間中的HS直方圖特征或者RGB顏色空間中的RGB直方圖特征。
26.根據(jù)權(quán)利要求23至25中任何一項所述的頭部檢測及類別判斷方法，其中，所述頭 部類別判斷器是預(yù)先訓(xùn)練好的、基于圖像的紋理和顏色特征的統(tǒng)計分布的多類分類器。
27.根據(jù)權(quán)利要求23至26中任何一項所述的頭部檢測及類別判斷方法，其中，所述多 類分類器是多類SVM分類器或多類LDA分類器，是預(yù)先利用正面、側(cè)面和背面三類的頭部圖 像訓(xùn)練集和非頭部圖像訓(xùn)練集、通過計算所述紋理和顏色特征來訓(xùn)練的，能夠同時完成正 面頭部圖像、側(cè)面頭部圖像、背面頭部圖像和非頭部圖像四個類別的分類判斷。
28.根據(jù)權(quán)利要求23至26中任何一項所述的頭部檢測及類別判斷方法，進(jìn)一步包括定期地遠(yuǎn)程更新所述頭部類別判斷器的判別參數(shù)。
29.一種用于經(jīng)過兩級頭部檢測從輸入的原始圖像中檢測出頭部圖像并對檢測出的頭 部圖像進(jìn)行類別判斷的頭部檢測及類別判斷裝置，包括根據(jù)權(quán)利要求12至22中任何一項所述的、用于從輸入的原始圖像中檢測出頭部圖像 的頭部檢測設(shè)備；頭部分類特征提取器，用于從所述頭部檢測設(shè)備所檢測出的頭部圖像中的每一個圖像 中提取由圖像的顏色和紋理特征構(gòu)成的頭部分類特征；以及頭部類別判斷器，用于針對所述頭部檢測設(shè)備所檢測出的頭部圖像中的每一個圖像， 基于所提取的該圖像的頭部分類特征，判斷該圖像是正面頭部圖像、背面頭部圖像或側(cè)面 頭部圖像，還是被所述頭部檢測設(shè)備誤檢為頭部圖像的非頭部圖像。
30.根據(jù)權(quán)利要求29所述的頭部檢測及類別判斷裝置，其中，所述紋理特征是局部二 值模式(LBP)特征或者Gabor特征。
31.根據(jù)權(quán)利要求29或30所述的頭部檢測及類別判斷裝置，其中，所述顏色特征是 HSV顏色空間中的HS直方圖特征或者RGB顏色空間中的RGB直方圖特征。
32.根據(jù)權(quán)利要求29至31中任何一項所述的頭部檢測及類別判斷裝置，其中，所述頭 部類別判斷器是預(yù)先訓(xùn)練好的、基于圖像的紋理和顏色特征的統(tǒng)計分布的多類分類器。
33.根據(jù)權(quán)利要求29至32中任何一項所述的頭部檢測及類別判斷裝置，其中，所述多 類分類器是多類SVM分類器或多類LDA分類器，是預(yù)先利用正面、側(cè)面和背面三類的頭部圖 像訓(xùn)練集和非頭部圖像訓(xùn)練集、通過計算所述紋理和顏色特征來訓(xùn)練的，能夠同時完成正 面頭部圖像、側(cè)面頭部圖像、背面頭部圖像和非頭部圖像四個類別的分類判斷。
34.根據(jù)權(quán)利要求29至33中任何一項所述的頭部檢測及類別判斷裝置，其中，所述頭 部類別判斷器的判別參數(shù)被定期地遠(yuǎn)程更新。
35.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有用于執(zhí)行根據(jù)權(quán)利要求1至11中的任何一項所述的頭部檢測方法或根據(jù)權(quán)利要求23至28中的任何一項所述的頭部檢測及類別判斷方法的計算機(jī)程序。
全文摘要
公開了用于從輸入的原始圖像中檢測出其中包含的頭部圖像的頭部檢測方法和設(shè)備，以及用于從輸入的原始圖像中檢測出其中包含的頭部圖像并對其進(jìn)行類別判斷的頭部檢測及類別判斷方法和設(shè)備。根據(jù)本發(fā)明的實施例，通過基于TGF特征的第一級頭部檢測快速地剔除原始圖像中包含的明顯不是頭部圖像的ROI圖像，然后通過基于形狀特征的第二級頭部檢測，從其余的ROI圖像中確定出頭部圖像。此外，還可以根據(jù)需要對經(jīng)過兩級頭部檢測后被確定為是頭部圖像的ROI圖像進(jìn)行進(jìn)一步的驗證和類別判斷，從而確定這些ROI圖像是正面、側(cè)面或背面頭部圖像，還是實際上被誤檢為頭部圖像的非頭部圖像。根據(jù)本發(fā)明，可以在保證低漏檢率的同時提高頭部檢測的準(zhǔn)確度，降低誤檢率。
文檔編號G06K9/62GK101826150SQ20091011784
公開日2010年9月8日 申請日期2009年3月6日 優(yōu)先權(quán)日2009年3月6日
發(fā)明者吳偉國, 李亮 申請人:索尼株式會社