基于稀疏子空間聚類(lèi)的視頻人體行為識(shí)別方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺(jué)模式識(shí)別和視頻圖像處理方法，特別是一種采用稀疏子空 間（SSC)聚類(lèi)、細(xì)分及將層數(shù)較多的基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，拆分為幾個(gè)層數(shù)較少的較 淺的基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的視頻行為識(shí)別方法。
【背景技術(shù)】
[0002] 基于視頻的人體行為識(shí)別是近幾年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域的熱點(diǎn)問(wèn)題，作為典型的視 頻理解問(wèn)題，通過(guò)分析視頻圖像序列中的人體動(dòng)作特征，識(shí)別判定人體行為模式。更具體而 言，是從視頻圖像序列中提取能夠描述行為的特征信息，利用機(jī)器學(xué)習(xí)等技術(shù)對(duì)其進(jìn)行理 解，采用分類(lèi)器進(jìn)行分類(lèi)，以達(dá)到識(shí)別人體行為的目的。
[0003] 隨著現(xiàn)代信息技術(shù)的發(fā)展和社會(huì)公共安全需求的提高，對(duì)日常生活中人體行為的 理解已成為日益需求。人體行為識(shí)別在智能視頻監(jiān)控、視頻內(nèi)容檢索、新型人機(jī)交互、虛擬 現(xiàn)實(shí)、視頻編碼與傳輸、游戲控制等多方面具有廣闊的應(yīng)用場(chǎng)景，備受關(guān)注。視頻人體行為 識(shí)別包括：基于時(shí)空法的人體行為識(shí)別、基于序列法的人體行為識(shí)別和基于深度學(xué)習(xí)的人 體行為識(shí)別三類(lèi)。
[0004] 其中：1.基于時(shí)空法的人體行為識(shí)別，是將3D視頻看成由2D圖像在時(shí)間尺度上 排列所形成的立體，并進(jìn)行時(shí)空表示，又包括：基于三維時(shí)空的人體行為識(shí)別，基于三維時(shí) 空局部特征的人體行為識(shí)別和基于軌跡的人體行為識(shí)別；此類(lèi)方法存在人體行為特征大多 是人工手動(dòng)設(shè)計(jì)，受設(shè)計(jì)者經(jīng)驗(yàn)影響較大，計(jì)算量大或自適應(yīng)性差等缺陷；
[0005] 2.基于序列的人體行為識(shí)別，是對(duì)視頻的每一幀圖像提取特征向量，將相關(guān)的特 征向量組成特征序列，最終表征該視頻的人體行為，在此基礎(chǔ)上進(jìn)行識(shí)別分類(lèi)。常見(jiàn)的方法 是基于狀態(tài)模型序列的人體行為識(shí)別，將視頻表征為狀態(tài)序列，對(duì)人體靜態(tài)姿勢(shì)定義為一 個(gè)狀態(tài)，不同的狀態(tài)之間通過(guò)概率相聯(lián)系，人體連貫的行為可以看作這些靜態(tài)姿勢(shì)的不同 狀態(tài)間的迀移；通過(guò)此理論，生成概率模型，利用相似度進(jìn)行識(shí)別，隱馬爾可夫模型（Hidden Markov models, HMMs)是此方法的典型代表。
[0006] 3.基于深度學(xué)習(xí)的人體行為識(shí)別方法，則是借鑒于生物神經(jīng)學(xué)理論，是機(jī)器學(xué)習(xí) 中的一個(gè)熱門(mén)新領(lǐng)域，其動(dòng)機(jī)在于建立并模擬人腦神經(jīng)網(wǎng)絡(luò)，即模擬人腦的大腦皮層對(duì)數(shù) 據(jù)進(jìn)行層次化解讀。近幾年來(lái)，深度學(xué)習(xí)已在人體行為識(shí)別領(lǐng)域得到廣泛應(yīng)用。該方法從 原始數(shù)據(jù)中直接自動(dòng)學(xué)習(xí)獲取特征，與傳統(tǒng)的特征提取不同，該類(lèi)特征無(wú)需人工手動(dòng)設(shè)計(jì) 干預(yù)，具有較高的自適應(yīng)性、通用性和不變性（如平移不變性、尺度不變性和旋轉(zhuǎn)不變性）。 3D卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional Neural Networks, 3D CNNs)是該方法的典型代表，它 將傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)從圖像2維空間擴(kuò)展到時(shí)域，直接從原始視頻序列中自動(dòng)學(xué)習(xí)時(shí)空特 征，取代了傳統(tǒng)的時(shí)空興趣點(diǎn)和描述子，能對(duì)簡(jiǎn)單的人體行為如鼓掌、揮手等獲得較好的識(shí) 別率。該方法雖然是目前最流行且有效的人體行為識(shí)別方法，但是容易出現(xiàn)神經(jīng)網(wǎng)絡(luò)中常 存在的過(guò)擬合現(xiàn)象；另外隨著基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)的層數(shù)增加，誤差反向傳播進(jìn)行參 數(shù)調(diào)優(yōu)時(shí)容易出現(xiàn)梯度擴(kuò)散問(wèn)題，影響訓(xùn)練過(guò)程，且目前在較復(fù)雜場(chǎng)景下（如不同背景、不 同鏡頭角度和不同上下文環(huán)境等）的人體行為識(shí)別方面效果不佳。
[0007] 在公開(kāi)號(hào)為CN103955671A、發(fā)明名稱(chēng)為《基于快速判別公共向量算法的人體行為 識(shí)別方法》的專(zhuān)利文獻(xiàn)中公開(kāi)了一種基于快速判別公共向量的人體行為識(shí)別方法，以快速 判別公共向量算法提高分類(lèi)速率，并解決人體行為識(shí)別中的小樣本問(wèn)題。首先對(duì)輸入的視 頻序列進(jìn)行分幀處理、灰度處理和去噪處理；然后采用時(shí)間差分法對(duì)分幀后的圖像進(jìn)行運(yùn) 動(dòng)人體目標(biāo)檢測(cè)，提取目標(biāo)前景；而后對(duì)目標(biāo)區(qū)域大小進(jìn)行歸一化處理；再采用k-means聚 類(lèi)的方法得到行為序列的關(guān)鍵幀；最后采用快速判別公共向量對(duì)行為進(jìn)行分類(lèi)。該方法 雖然能一定程度的地提高識(shí)別效率，解決了人體行為識(shí)別中的小樣本問(wèn)題，在理想環(huán)境下 (即簡(jiǎn)單背景，無(wú)明顯噪聲干擾等）的人體行為識(shí)別準(zhǔn)確率較高，但該方法主要利用傳統(tǒng)的 圖像處理手段，提取到的特征局限性大，易受外界環(huán)境影響，在較復(fù)雜場(chǎng)景下的人體行為識(shí) 別方面效果較差。
[0008] 在公開(kāi)號(hào)為CN103810496A、發(fā)明名稱(chēng)為《基于圖像深度信息的3D高斯空間人體行 為識(shí)別方法》的專(zhuān)利文獻(xiàn)中公開(kāi)了一種基于圖像深度信息的3D高斯空間人體行為識(shí)別方 法，首先提取深度信息中的人體骨骼3D坐標(biāo)并對(duì)其進(jìn)行歸一化操作，過(guò)濾對(duì)人體行為識(shí)別 率低的關(guān)節(jié)及冗余關(guān)節(jié)；然后針對(duì)各個(gè)行為構(gòu)建興趣關(guān)節(jié)群，基于高斯距離核對(duì)人體動(dòng)作 空間特征進(jìn)行AP聚類(lèi)，獲得行為特征單詞表并對(duì)其進(jìn)行數(shù)據(jù)清理；最后構(gòu)建人體行為條件 隨機(jī)場(chǎng)識(shí)別模型，據(jù)此實(shí)現(xiàn)對(duì)人體行為的分類(lèi)。該方法雖然對(duì)人體具體方向、骨骼尺寸、空 間位置都具有較強(qiáng)的抗干擾性，具一定程度的泛化能力，可應(yīng)用于較理想環(huán)境下的人體行 為識(shí)別，但是需使用成本較高的3D深度攝像機(jī)，另外該方法的算法較為復(fù)雜，且在較復(fù)雜 場(chǎng)景下人體行為識(shí)別方面的效果仍不理想。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明的目的是針對(duì)【背景技術(shù)】存在的缺陷，研宄設(shè)計(jì)一種基于稀疏子空間聚類(lèi)的 視頻人體行為識(shí)別方法，該方法能自動(dòng)提取出更具有判別性、自適應(yīng)性、通用性和不變性的 人體行為特征，降低神經(jīng)網(wǎng)絡(luò)中的過(guò)擬合現(xiàn)象和梯度擴(kuò)散問(wèn)題，以達(dá)到有效提高復(fù)雜環(huán)境 下（如不同背景、不同鏡頭角度和不同上下文環(huán)境等）人體行為識(shí)別準(zhǔn)確率，可廣泛運(yùn)用于 現(xiàn)場(chǎng)視頻監(jiān)控和視頻內(nèi)容檢索等目的。
[0010] 本發(fā)明的解決方案是
[0011] 本發(fā)明針對(duì)鏡頭遠(yuǎn)近、不同的上下文環(huán)境、各異的背景等諸多因素影響，在較復(fù)雜 場(chǎng)景下（如不同背景、不同鏡頭角度和不同上下文環(huán)境等）的同一類(lèi)人體行為的特征往往 具備細(xì)分的可行性；在對(duì)輸入的人體行為視頻樣本完成特征提取之后、即將樣本空間映射 到特征空間后，利用稀疏子空間聚類(lèi)（Sparse Subspace Clustering:SSC)對(duì)同一類(lèi)人體行 為的特征進(jìn)行聚類(lèi)、細(xì)分為若干子行為，然后更新相應(yīng)人體行為類(lèi)別標(biāo)簽并重新學(xué)習(xí)訓(xùn)練； 同時(shí)將層數(shù)較多的基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，拆分為幾個(gè)層數(shù)較少的較淺的基于深度學(xué)習(xí) 的神經(jīng)網(wǎng)絡(luò)，以提升神經(jīng)網(wǎng)絡(luò)性能，緩解過(guò)擬合和梯度擴(kuò)散問(wèn)題；在識(shí)別時(shí)將若干子行為的 識(shí)別結(jié)果重新歸類(lèi)到原始行為進(jìn)行識(shí)別率統(tǒng)計(jì)。本發(fā)明即以此將一個(gè)基于深度學(xué)習(xí)的行為 識(shí)別算法的識(shí)別率在原有的基礎(chǔ)上進(jìn)一步提高，最終達(dá)到對(duì)較復(fù)雜場(chǎng)景下的人體行為具較 高識(shí)別準(zhǔn)確率的要求，從而實(shí)現(xiàn)其發(fā)明目的。因而本發(fā)明方法包括：
[0012] A.建立視頻人體行為識(shí)別的模型：
[0013] Al.建立三維時(shí)空子幀立方體：將用于學(xué)習(xí)的人體行為數(shù)據(jù)庫(kù)的同一類(lèi)別人體行 為視頻上的每一幀劃分為相同大小的子幀，然后將組成相應(yīng)人體行為視頻的部分連續(xù)幀的 時(shí)間序列長(zhǎng)度作為其厚度，以建立三維時(shí)空子幀立方體，并對(duì)所得各子幀立方體在原人體 行為視頻相同的類(lèi)別標(biāo)簽；
[0014] A2.建立人體行為特征空間：將步驟Al所建各三維時(shí)空子幀立方體連同其人體 行為視頻的類(lèi)別標(biāo)簽輸入到基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)、進(jìn)行第一次訓(xùn)練，以提取超過(guò)人體 行為數(shù)據(jù)庫(kù)中給定行為類(lèi)別50%的用于分類(lèi)的特征，建立第一次訓(xùn)練后的人體行為特征空 間；
[0015] A3.聚類(lèi)處理：對(duì)步驟A2所建人體行為特征空間，利用稀疏子空間聚類(lèi)（SSC)方 法分別對(duì)行為特征空間中的每一類(lèi)人體行為特征進(jìn)行聚類(lèi)（細(xì)分）處理，以將同一類(lèi)人體 行為特征再細(xì)分為子類(lèi)行為特征；行為特征子類(lèi)的個(gè)數(shù)根據(jù)稀疏子空間聚類(lèi)（SSC)方法自 動(dòng)確定；
[0016] A4.標(biāo)簽的更新：根據(jù)步驟A3中稀疏子空間聚類(lèi)方法細(xì)分的結(jié)果，在原人體行為 視頻相同的類(lèi)別標(biāo)簽下分別對(duì)聚類(lèi)細(xì)分后的各行為特征子類(lèi)視頻賦予其子標(biāo)簽，得更新標(biāo) 簽后的樣本；
[0017] A5.建立視頻人體行為識(shí)別模型：將步驟A4所得更新標(biāo)簽后的樣本輸入到與步驟 A2相同的基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)進(jìn)行第二次訓(xùn)練，以進(jìn)一步提取人體行為特征，然后將 提取出的行為特征輸入分類(lèi)器進(jìn)行分類(lèi)處理，從而建立用于視頻人體行為識(shí)別的模型；并 保存第二次訓(xùn)練后神經(jīng)網(wǎng)絡(luò)參數(shù)，待用；
[0018] B.人體行