一種基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法
【專利摘要】本發(fā)明公開了一種基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法，其特征在于，包括以下步驟：（ 1 ）利用 SIFT 特征對(duì)圖像進(jìn)行局部描述，生成原始圖像對(duì)應(yīng)的 SIFT 特征圖，經(jīng)過(guò)時(shí)間的變化，原始圖像對(duì)應(yīng)的特征之間就會(huì)有相對(duì)位置上的變化，這種變化構(gòu)成了流場(chǎng)，形成了動(dòng)態(tài)視頻 SIFT 流；（ 2 ）對(duì)動(dòng)態(tài)視頻 SIFT 流場(chǎng)圖像進(jìn)行均勻分塊，分為 網(wǎng)格對(duì)每一個(gè)分塊按 SIFT 流的方向量化為 8 個(gè)柄的直方圖，形成 72 維特征矢量，利用 K-mean 聚類形成為視覺單詞；（ 3 ）引入單詞先驗(yàn)信息擴(kuò)展原始 TMBP 模型，并將原始 TMBP 模型和 Konwledge-TMBP 模型利用量化后的視覺單詞建模，得到場(chǎng)景分類的結(jié)果。利用 SIFT 流信息 描述動(dòng)態(tài)場(chǎng)景中的動(dòng)態(tài)信息生成視覺單詞，并考慮視覺單詞對(duì)表達(dá)主題是否有意義的問(wèn)題，在主題模型的推理中加入視覺單詞的權(quán)重，從而達(dá)到提高動(dòng)態(tài)場(chǎng)景的分類速度與精度的目的。
【專利說(shuō)明】一種基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視頻處理技術(shù)，具體涉及一種基于主題模型的動(dòng)態(tài)場(chǎng)景分類方 法。

【背景技術(shù)】
[0002] 隨著科學(xué)技術(shù)的發(fā)展，圖像數(shù)據(jù)的規(guī)模變得越來(lái)越大，數(shù)字圖像更是成為信息傳 播的重要媒體，特別是動(dòng)態(tài)的數(shù)字圖像。如何快速地對(duì)動(dòng)態(tài)圖像進(jìn)行分類管理，這就需要對(duì) 動(dòng)態(tài)的場(chǎng)景進(jìn)行分類?；ヂ?lián)網(wǎng)上的大量視頻信息，對(duì)這些數(shù)據(jù)的智能管理的要求也越來(lái)越 高。通過(guò)對(duì)視頻場(chǎng)景的自動(dòng)分類，有助于人們?cè)诓檎易约焊信d趣的數(shù)字視頻內(nèi)容時(shí)，能夠準(zhǔn) 確、快速定位。例如，若想獲取某次森林火災(zāi)的視頻，我們可以先利用場(chǎng)景分類，先對(duì)可以搜 尋的視頻進(jìn)行分類，然后在森林火災(zāi)這一類場(chǎng)景的視頻片段當(dāng)中尋找特定的目標(biāo)物體，以 達(dá)到搜索的目的。
[0003] 所謂場(chǎng)景分類，即根據(jù)圖像場(chǎng)景的語(yǔ)義內(nèi)容對(duì)圖像進(jìn)行分類，這不僅包含了人們 對(duì)一幅圖像總體上的認(rèn)識(shí)，而且也提供了圖像中出現(xiàn)目標(biāo)的上下文信息。動(dòng)態(tài)場(chǎng)景分類是 指在大量的視頻庫(kù)中，根據(jù)視頻的語(yǔ)義內(nèi)容對(duì)視頻進(jìn)行分類，進(jìn)而為圖像檢索、目標(biāo)識(shí)別的 研究提供強(qiáng)有力的基礎(chǔ)。
[0004] 由上述的例子可知，對(duì)視頻中動(dòng)態(tài)圖像的檢索依賴于對(duì)動(dòng)態(tài)場(chǎng)景的分類，所以對(duì) 動(dòng)態(tài)場(chǎng)景的分類是基礎(chǔ)性的工作，因此動(dòng)態(tài)場(chǎng)景分類也是圖像理解與機(jī)器視覺中最為基礎(chǔ) 和關(guān)鍵的研究?jī)?nèi)容之一。
[0005] 目前，智能的場(chǎng)景的分類主要有以下幾種應(yīng)用：
[0006] 1、輔助人工標(biāo)注。如果大量的數(shù)字圖像、視頻數(shù)據(jù)能夠被自動(dòng)地分成不同場(chǎng)景類 另IJ，人工標(biāo)注的工作就得到了大大的簡(jiǎn)化。監(jiān)控者只要通過(guò)觀察自動(dòng)分類后的不同圖像場(chǎng) 景類型截圖，就可以較為清楚地了解容易發(fā)生異常事件的場(chǎng)景類型，從而可以更多地關(guān)注 這個(gè)特定的場(chǎng)景類型。這樣不僅能夠減少人工的工作量，也可以提高監(jiān)控的準(zhǔn)確率。例如， 在交通十字路口或高速公路這類人流多、車輛多且復(fù)雜的場(chǎng)景里，人流、車流的突然聚攏或 者分散情況是一種特殊的場(chǎng)景類型，它們相對(duì)于正常的單向人流前進(jìn)或其他自然場(chǎng)景來(lái) 說(shuō)，發(fā)生異常事件的概率要高的多。因此，通過(guò)智能的對(duì)圖像、視頻場(chǎng)景分類后，監(jiān)控人員可 以更多的專注此類易發(fā)生異常事件的數(shù)字圖像數(shù)據(jù)。
[0007] 2、管理數(shù)字圖像數(shù)據(jù)。近年來(lái)數(shù)字圖像視頻數(shù)據(jù)的迅猛增長(zhǎng)，對(duì)這些數(shù)據(jù)的智能 管理的要求也越來(lái)越高。通過(guò)對(duì)圖像、視頻場(chǎng)景的自動(dòng)分類，有助于人們?cè)诓檎易约焊信d趣 的數(shù)字視頻內(nèi)容時(shí)，能夠準(zhǔn)確、快速定位。同時(shí)，通過(guò)給同一個(gè)數(shù)字視頻源不同的場(chǎng)景片段 標(biāo)注標(biāo)簽，在以后的搜索和回顧過(guò)程中會(huì)更加方便快捷，查找視頻序列中的固定事件也會(huì) 變得更加簡(jiǎn)單。通過(guò)對(duì)數(shù)字視頻的場(chǎng)景類別分類，從而實(shí)現(xiàn)對(duì)這些不同的視頻文件的分類 管理。
[0008] 3、為更深層次的數(shù)字圖像、視頻分析提供支持。在計(jì)算機(jī)視覺領(lǐng)域，場(chǎng)景分類只是 眾多智能圖像、視頻分析算法中最為基礎(chǔ)和簡(jiǎn)單的一步，為了對(duì)圖像、視頻場(chǎng)景進(jìn)行分類， 往往需要提取并分析其中的不同特征，這些特征對(duì)于后續(xù)的視頻分析往往是有用的。場(chǎng)景 分類也為目標(biāo)識(shí)別與跟蹤、行為檢測(cè)、視頻理解之類的計(jì)算機(jī)視覺任務(wù)提供有效的相關(guān)信 息。例如，當(dāng)有一個(gè)明確的檢索目標(biāo)時(shí)，可以先利用場(chǎng)景分類，先對(duì)圖像或者視頻進(jìn)行分類， 然后在同一場(chǎng)景的圖像或視頻片段當(dāng)中尋找特定的目標(biāo)物體，這就使得目標(biāo)檢索變得簡(jiǎn) 化。如果用戶沒有明確的檢索目標(biāo)，需要根據(jù)條件尋找某類圖像、視頻的結(jié)果時(shí)，場(chǎng)景分類 就顯得更為重要，用戶可以瀏覽這一場(chǎng)景的所有圖像或者視頻，然后再在其中選擇需要尋 找的結(jié)果。
[0009] 4、為人工智能等其他計(jì)算機(jī)研究方向提供支持。例如機(jī)器人視覺的訓(xùn)練，機(jī)器人 的智能行走需要給它安裝一雙"眼睛"。如果能快速對(duì)圖像場(chǎng)景進(jìn)行識(shí)別，就相當(dāng)于將外部 的環(huán)境信息知識(shí)提供給了機(jī)器人，它就能夠利用獲取的外部信息快速響應(yīng)，并自動(dòng)完成工 作。
[0010] 除了以上這些應(yīng)用方面外，場(chǎng)景分類正在被越來(lái)越多的人關(guān)注而且被運(yùn)用到工業(yè) 設(shè)計(jì)的各個(gè)方面。通過(guò)對(duì)場(chǎng)景分類的不斷研究，人們?cè)谥悄芊治龅念I(lǐng)域就能得到更大的進(jìn) 步，而這正是場(chǎng)景理解與分析算法的研究目的所在。
[0011] 目前，對(duì)于動(dòng)態(tài)場(chǎng)景分類的研究方法主要可分為兩類。第一類是傳統(tǒng)的基于跟蹤 的動(dòng)態(tài)場(chǎng)景分類方法。這類方法的基本思想是對(duì)動(dòng)態(tài)場(chǎng)景內(nèi)的運(yùn)動(dòng)物體進(jìn)行跟蹤，得到它 的運(yùn)動(dòng)軌跡，通過(guò)對(duì)運(yùn)動(dòng)軌跡的分析實(shí)現(xiàn)動(dòng)態(tài)場(chǎng)景分類的目標(biāo)。首先，對(duì)視頻進(jìn)行目標(biāo)檢測(cè) 與跟蹤，檢測(cè)的結(jié)果觸發(fā)跟蹤，再根據(jù)跟蹤的軌跡強(qiáng)制檢測(cè)，隨著時(shí)間的推移，有效地更新 跟蹤路線，以提高檢測(cè)的結(jié)果。接著通過(guò)對(duì)運(yùn)動(dòng)軌跡的分析來(lái)實(shí)現(xiàn)動(dòng)態(tài)場(chǎng)景的分類。但是， 當(dāng)動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)的物體比較多時(shí)，需要跟蹤的目標(biāo)量就會(huì)迅猛增長(zhǎng)，計(jì)算復(fù)雜度也直線 上升，而且運(yùn)動(dòng)目標(biāo)之間會(huì)存在重疊、遮擋的情況，這時(shí)的檢測(cè)效果以及跟蹤的效果就會(huì)比 較差。
[0012] 針對(duì)第一類方法存在的問(wèn)題，就有研究者提出了第二類動(dòng)態(tài)場(chǎng)景分類的方法，即 基于特征提取的動(dòng)態(tài)場(chǎng)景分類算法。在特征提取的策略方面，又分為兩個(gè)層次，利用低層視 覺特征的場(chǎng)景分類與利用中層語(yǔ)義的場(chǎng)景分類。利用低層視覺特征的場(chǎng)景分類首先會(huì)提取 動(dòng)態(tài)場(chǎng)景中的底層特征，如：色彩、紋理和形狀等，然后將這些特征與有監(jiān)督的訓(xùn)練方法結(jié) 合起來(lái)，實(shí)現(xiàn)場(chǎng)景的分類。提取場(chǎng)景的低層特征對(duì)于簡(jiǎn)單場(chǎng)景的分類是十分有效的，但當(dāng)場(chǎng) 景較為復(fù)雜時(shí)，分類的效果并不理想。利用中層語(yǔ)義的場(chǎng)景分類是對(duì)場(chǎng)景進(jìn)行語(yǔ)義建模，填 補(bǔ)圖像低層特征與高層語(yǔ)義之間的鴻溝，從而解決場(chǎng)景分類的問(wèn)題?？偟膩?lái)說(shuō)，第二類動(dòng)態(tài) 場(chǎng)景分類的方法在提取場(chǎng)景特征后，將量化后的特征作為概率統(tǒng)計(jì)模型的輸入，完成動(dòng)態(tài) 場(chǎng)景的分類，常用的概率統(tǒng)計(jì)模型有LDA、HDP等。
[0013] 主題模型（topic models)是一種分析大規(guī)模數(shù)據(jù)的統(tǒng)計(jì)模型，近年來(lái)，主題模型 在文本處理領(lǐng)域得到了廣泛的應(yīng)用。在該領(lǐng)域中，主題模型建模過(guò)程是將訓(xùn)練數(shù)據(jù)看作 包含各個(gè)主題的混合物，利用主題模型模擬文檔的生成過(guò)程，再通過(guò)參數(shù)估計(jì)獲得各個(gè)文 檔的主題。在預(yù)測(cè)未知數(shù)據(jù)時(shí)，主題模型通過(guò)單詞在文檔中共現(xiàn)的詞頻數(shù)抽取語(yǔ)義相關(guān) 的主題集合，將單詞空間的文檔轉(zhuǎn)換到主題空間，學(xué)習(xí)到測(cè)試文檔集在低維空間表達(dá)。常 用的主題模型有 PLSA(Probabilistic Latent Semantic Analysis，PLSA)，LDA(Latent Dirichelet Allocation，LDA)，TMBP(Topic Model of Belief Propagation，TMBP)等。圖 像與文本類似，也是人們對(duì)客觀世界的描述，而且相對(duì)于文本來(lái)說(shuō)，圖像的描述更加形象、 具體，許多研究者也將主題模型引入到圖像的分析與理解的領(lǐng)域。2005年，F(xiàn)ei-fei Li等 人將LDA模型引入到圖像的主題分類的領(lǐng)域，提取圖像灰度特征與SIFT特征兩種方法描 述圖像，再利用K-means聚類算法將視覺特征聚類為相應(yīng)的視覺單詞，完成單詞與圖像的 對(duì)應(yīng)，最后利用文本分析中的LDA模型發(fā)現(xiàn)圖像的潛在語(yǔ)義，從而完成靜態(tài)圖像的場(chǎng)景分 類。2008年，Bosch等人利用潛在語(yǔ)義分析（PLSA)模型，用尺度不變特征SIFT描述圖像， 利用該特征生成視覺單詞詞典，分析圖像的語(yǔ)義內(nèi)容，實(shí)現(xiàn)了靜態(tài)圖像的場(chǎng)景分類。
[0014] 客觀世界普遍存在的是復(fù)雜背景和成像條件動(dòng)態(tài)改變的復(fù)雜動(dòng)態(tài)自然場(chǎng)景。如搖 擺的樹葉、密集人群、鳥群、流水、波浪、下雪、下雨和煙霧等環(huán)境。動(dòng)態(tài)場(chǎng)景與靜態(tài)場(chǎng)景相 t匕，包含更多的動(dòng)態(tài)信息與時(shí)序信息，并不能直接利用靜態(tài)場(chǎng)景中主題模型的分類方法。在 主題模型推理中，傳統(tǒng)主題模型（PLSA、LDA)在動(dòng)態(tài)場(chǎng)景分類中并沒有對(duì)視覺單詞的重要 性加以區(qū)分，沒有考慮視覺單詞對(duì)表達(dá)主題是否有意義的問(wèn)題。同時(shí)，傳統(tǒng)主題模型對(duì)于圖 像數(shù)據(jù)訓(xùn)練時(shí)間較長(zhǎng)、分類精度也有待進(jìn)一步提高。盡管目前國(guó)內(nèi)外的眾多學(xué)者已經(jīng)提出 了很多新穎的方法，但是算法往往具有很強(qiáng)的針對(duì)性和局限性，而且準(zhǔn)確性和速度依然有 待提高，所以動(dòng)態(tài)場(chǎng)景的分類仍然是一個(gè)未成熟的研究領(lǐng)域，還有許多問(wèn)題有待解決。


【發(fā)明內(nèi)容】

[0015] 本發(fā)明目的是：針對(duì)傳統(tǒng)主題模型在動(dòng)態(tài)場(chǎng)景分類的過(guò)程中對(duì)于圖像數(shù)據(jù)訓(xùn)練 時(shí)間較長(zhǎng)、分類精度不高的問(wèn)題，利用SIFT流信息描述動(dòng)態(tài)場(chǎng)景中的動(dòng)態(tài)信息生成視覺單 詞，并考慮視覺單詞對(duì)表達(dá)主題是否有意義的問(wèn)題，在主題模型的推理中加入視覺單詞的 權(quán)重，從而達(dá)到提高動(dòng)態(tài)場(chǎng)景的分類速度與精度的目的。
[0016] 本發(fā)明的技術(shù)方案是：一種基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法，其特征在于，包括 以下步驟：
[0017] (1)利用SIFT特征對(duì)圖像進(jìn)行局部描述，生成原始圖像對(duì)應(yīng)的SIFT特征圖，經(jīng)過(guò) 時(shí)間的變化，原始圖像對(duì)應(yīng)的特征之間就會(huì)有相對(duì)位置上的變化，這種變化構(gòu)成了流場(chǎng)，形 成了動(dòng)態(tài)視頻SIFT流；
[0018] (2)對(duì)動(dòng)態(tài)視頻SIFT流特征量化，并聚類形成視覺單詞；
[0019] (3)利用量化后的視覺單詞建模，得到場(chǎng)景分類的結(jié)果。
[0020] 優(yōu)選的，本發(fā)明采用的SIFT流的方式提取動(dòng)態(tài)圖像的特征，并將其按SIFT流的大 小和方向量化為視覺單詞。通過(guò)對(duì)利用圖像的SIFT特征的局部描述，生成原始圖像對(duì)應(yīng) 的SIFT特征圖，經(jīng)過(guò)時(shí)間的變化，對(duì)應(yīng)的特征之間就會(huì)有相對(duì)位置上的變化，這種變化構(gòu) 成了流場(chǎng)，形成SIFT流。提取動(dòng)態(tài)視頻SIFT流的基本步驟如下：
[0021] 1、將視頻處理為圖像序列。
[0022] 對(duì)于輸入的視頻，首先要將其處理為單幀的圖片序列。一方面是為了減少數(shù)據(jù)量， 方便后期的計(jì)算；另一方面，如果兩幀之間差異較小，運(yùn)動(dòng)就過(guò)于微小，運(yùn)動(dòng)信息就有可能 提取不到，所以關(guān)鍵幀的選取也有助于提取到兩幀之間運(yùn)動(dòng)信息。選取關(guān)鍵幀的方法有很 多，常見的有直接在視頻時(shí)間序列中固定間隔η幀選取一幀的做法，也有其他自適應(yīng)的關(guān) 鍵幀提取方法等。通過(guò)關(guān)鍵幀提取，輸入的視頻就轉(zhuǎn)變?yōu)榱藥в袝r(shí)間序列的圖像。
[0023] 2、構(gòu)建圖像稠密的SIFT特征描述
[0024] SIFT描述子是一個(gè)稀疏的特征描述，它包括特征的提取和檢測(cè)。在這里只用到特 征的提取。稠密SIFT特征的提取主要分為兩個(gè)步驟：
[0025] (1)計(jì)算單一像素點(diǎn)導(dǎo)數(shù)值與導(dǎo)數(shù)方向。
[0026] 對(duì)圖像中每一個(gè)像素點(diǎn)，按照式（1)與（2)計(jì)算其導(dǎo)數(shù)值m與導(dǎo)數(shù)方向Θ。
[0027]

【權(quán)利要求】
1. 一種基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法，其特征在于，包括以下步驟： (1) 利用SIFT特征對(duì)圖像進(jìn)行局部描述，生成原始圖像對(duì)應(yīng)的SIFT特征圖，經(jīng)過(guò)時(shí)間 的變化，原始圖像對(duì)應(yīng)的特征之間就會(huì)有相對(duì)位置上的變化，這種變化構(gòu)成了流場(chǎng)，形成了 動(dòng)態(tài)視頻SIFT流； (2) 對(duì)動(dòng)態(tài)視頻SIFT流特征量化，并聚類形成為視覺單詞； (3) 利用量化后的視覺單詞建模，得到場(chǎng)景分類的結(jié)果。
2. 根據(jù)權(quán)利要求1所述的基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法，其特征在于，所述步驟 (1) 具體為： (1) 將視頻處理為圖像序列； (2) 構(gòu)建圖像稠密的SIFT特征描述； (3) 匹配SIFT特征； (4) 計(jì)算SIFT流的運(yùn)動(dòng)場(chǎng)。
3. 根據(jù)權(quán)利要求1所述的基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法，其特征 在于，所述步驟（2)具體為：對(duì)動(dòng)態(tài)視頻SIFT流場(chǎng)圖像進(jìn)行均勻分塊，分為 ]X]網(wǎng)格對(duì)每一個(gè)分塊按SIFT流的方向量化為8個(gè)柄的直方圖，形成72維特征矢量，利用 K-means聚類形成為視覺單詞。
4. 根據(jù)權(quán)利要求1所述的基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法，其特征在于，所述步驟 (2) 和步驟（3)之間還包括以下步驟：按照視頻文件統(tǒng)計(jì)視覺單詞的頻率。
5. 根據(jù)權(quán)利要求1或4所述的基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法，其特征在于， 所述步驟（3)具體為：引入單詞先驗(yàn)信息擴(kuò)展原始TMBP模型，并將原始TMBP模型和 Knowledge-TMBP模型利用量化后的視覺單詞建模，根據(jù)模型輸出的每個(gè)測(cè)試數(shù)據(jù)對(duì)于各個(gè) 主題的概率分布，選擇概率最大的的主題作為該動(dòng)態(tài)場(chǎng)景的主題類別。
6. 根據(jù)權(quán)利要求2所述的基于主題模型的動(dòng)態(tài)場(chǎng)景分類方法，其特征在于，所述步驟 (2)稠密SIFT特征的提取主要分為兩個(gè)步驟： (1) 計(jì)算單一像素點(diǎn)導(dǎo)數(shù)值與導(dǎo)數(shù)方向； (2) 統(tǒng)計(jì)點(diǎn)像素的鄰域，形成直方圖，這樣每個(gè)描述子就形成了特征向量，對(duì)于每一幅 圖像，都得到了它們稠密的SIFT描述。
【文檔編號(hào)】G06K9/62GK104268546SQ201410229426
【公開日】2015年1月7日 申請(qǐng)日期:2014年5月28日 優(yōu)先權(quán)日:2014年5月28日
【發(fā)明者】劉純平, 林卉, 陳寧強(qiáng), 吳揚(yáng), 季怡, 龔聲蓉 申請(qǐng)人:蘇州大學(xué)