基于混合圖模型的圖像序列類別標(biāo)注方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體設(shè)及一種基于混合圖模型的圖像序列類別 標(biāo)注方法。
【背景技術(shù)】
[0002] 基于概率圖模型的圖像序列類別標(biāo)注是計(jì)算機(jī)視覺領(lǐng)域的重要研究問題，是自主 車環(huán)境感知、智慧城市交通系統(tǒng)構(gòu)建等應(yīng)用的關(guān)鍵支撐技術(shù)，其目的是賦予圖像序列中的 每個(gè)像素點(diǎn)一個(gè)類別標(biāo)簽。圖像序列類別標(biāo)注屬于標(biāo)簽問題，概率圖模型是對(duì)該一類標(biāo)簽 問題進(jìn)行全局優(yōu)化的有效工具。基于概率圖模型的標(biāo)簽類問題的關(guān)鍵思想是，將需要求解 的標(biāo)簽視為隨機(jī)變量，通過最小化整個(gè)概率場(chǎng)的能量，得到隨機(jī)變量的全局最優(yōu)解。
[0003] 傳統(tǒng)的方法中一般使用簡(jiǎn)單圖模型來構(gòu)建標(biāo)簽隨機(jī)變量的隨機(jī)場(chǎng)。簡(jiǎn)單圖模型由 頂點(diǎn)和簡(jiǎn)單構(gòu)成，其中頂點(diǎn)代表隨機(jī)變量，簡(jiǎn)單邊連接兩個(gè)頂點(diǎn)并用于描述兩個(gè)隨機(jī)變量 之間的關(guān)系，邊的權(quán)重定義為隨機(jī)場(chǎng)的勢(shì)能函數(shù)值。簡(jiǎn)單圖模型易于求解，但是只能描述兩 兩隨機(jī)變量之間對(duì)稱的關(guān)系，因此適合在單帖圖像中使用。在序列的圖像中，多個(gè)超像素在 時(shí)間域上存在著高階的、非對(duì)稱的關(guān)系，因此不能用簡(jiǎn)單邊進(jìn)行很好地描述。超圖中的超邊 可W用于描述多個(gè)變量之間高階的、非對(duì)稱的關(guān)系，但是傳統(tǒng)的超圖模型基于譜聚類的方 法求解，適用于求解聚類的問題，尚未應(yīng)用于圖像序列的類標(biāo)標(biāo)注問題。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的在于針對(duì)傳統(tǒng)簡(jiǎn)單圖模型對(duì)變量間關(guān)系描述的局限性、傳統(tǒng)超圖模 型求解方法的局限性，提供一種基于混合圖模型的圖像序列類別標(biāo)注方法，該方法使用混 合圖模型描述了序列圖像中超像素之間的關(guān)系，其中簡(jiǎn)單邊描述單帖圖像中超像素之間一 階的、對(duì)稱的關(guān)系，超邊描述圖像帖間超像素之間高階的、非對(duì)稱的關(guān)系，最后圖像序列的 類別標(biāo)注全局優(yōu)化問題轉(zhuǎn)化為對(duì)混合圖模型的隨機(jī)場(chǎng)能量最小化問題，通過線性優(yōu)化方法 進(jìn)行求解，該方法獲得了相比簡(jiǎn)單圖模型的方法更準(zhǔn)確、時(shí)序一致性更高的結(jié)果。
[0005] 本發(fā)明的目的是通過W下技術(shù)方案來實(shí)現(xiàn)的；一種基于混合圖模型的圖像序列類 別標(biāo)注方法，包括如下步驟：
[0006] (1)輸入圖像序列，使用化 1C算法（SimpleLinearIterativeClustering)對(duì)圖 像序列中每一帖圖像進(jìn)行超像素分割，獲得超像素P，將得到的第t帖圖像的第i個(gè)超像素 記為PiN
[0007] (2)使用Kernel描述符對(duì)步驟1中獲得的超像素進(jìn)行特征描述，得到超像素的特 征向量，將超像素Pi'的特征向量記為fft;
[0008] (3)采用KNN算法化-nearestnei曲bor)對(duì)步驟1中連續(xù)兩帖圖像的超像素進(jìn)行 時(shí)間域的匹配；
[000引 （4)構(gòu)建基于混合圖模型的全局優(yōu)化問題，該混合圖模型由頂點(diǎn)、兩種簡(jiǎn)單邊和一 種超邊組成；該混合圖模型的頂點(diǎn)的集合記為V，每一個(gè)頂點(diǎn)V表示一個(gè)超像素的類別標(biāo) 簽；該混合圖模型的第一種簡(jiǎn)單邊代表頂點(diǎn)V的先驗(yàn)信息，該先驗(yàn)信息用勢(shì)能函數(shù)向(f。） 描述；該混合圖模型的第二種簡(jiǎn)單邊代表單帖圖像空間域上鄰接的頂點(diǎn)之間對(duì)稱的、成對(duì) 的關(guān)系，該種關(guān)系用勢(shì)能函數(shù)Es(f。）描述；該混合圖模型的超邊代表連續(xù)帖圖像時(shí)間域上 匹配的頂點(diǎn)之間不對(duì)稱的、高階的關(guān)系，該種關(guān)系用勢(shì)能函數(shù)EH(f。）描述；
[0010] 所述勢(shì)能函數(shù)EE(f。）的定義為：
[0011]
…
[001引其中，擊miev表示的是存在類別種子點(diǎn)的超像素V，種子點(diǎn)通過人工標(biāo)注部分像 素點(diǎn)類別標(biāo)簽的方法獲得；f。是一個(gè)M維的列向量，由f；(v)，veEV組成，其中f；(v)為分 類函數(shù)，其值表示頂點(diǎn)V屬于類別C的置信度，取值范圍在[0, 1]之間；t(V)E陽l]，vGV 表示超像素V屬于類別C的置信度的觀測(cè)值，該觀測(cè)值通過卷積遞歸神經(jīng)網(wǎng)絡(luò)分類器獲得，CG(1，2,. . .，口，C表示類別總數(shù)；
[0013] 所述勢(shì)能函數(shù)Es(f。）的定義為：
[0014]
[001引其中，es(u，V)為一條第二種簡(jiǎn)單邊，即單帖圖像內(nèi)相鄰兩個(gè)超像素U，V之間的關(guān) 系，定義為：
[0016]es(u,V) =Ws(u,V) ?IIfc(u)-fc(v)I|2， (3)
[0017] 其中fc(u)G[0, 1]為超像素u屬于類別c的置信度，該置信度通過遞歸卷積神 經(jīng)網(wǎng)絡(luò)學(xué)習(xí)獲得，W,(u，V)為超像素U，V之間簡(jiǎn)單邊的權(quán)重：
[0018]
(4)
[0019] 0 ,是根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)設(shè)置的常數(shù)；
[0020] 所述勢(shì)能函數(shù)Eh化）的定義為：
[0021]
(5)
[00過其中，Eh表示混合圖模型中超邊的集合，曰8(曰）為一條超邊eGEh描述的帖間時(shí) 域上匹配的多個(gè)超像素之間的關(guān)系，定義為：
[0023]
(6)
[0024] 其中，每一條超邊eGeH的權(quán)重為WH(e)，定義為；
[0025]
(7)
[0026]M(v)表示在時(shí)序上與超像素V匹配的超像素的集合，H為關(guān)聯(lián)矩陣，該矩陣的大 小為|V|x|每I，H(V，e)的定義為；
[0036] 該混合圖模型的全局優(yōu)化問題描述如下：
[0037]
W)
[00測(cè)其中，A1和A2為調(diào)整立項(xiàng)勢(shì)能函數(shù)之間比例關(guān)系的權(quán)重；
[003引 妨對(duì)每一個(gè)類別C求解公式（蝴中的向量f。，得到頂點(diǎn)v'eV屬于類別C的置信 度，具體包括W下子步驟：
[0040] (5. 1)將全局優(yōu)化函數(shù)，公式（13)矩陣化為：
[0041]
(14)
[004引其中，S為種子點(diǎn)標(biāo)識(shí)矩陣，它是一個(gè)|v|x|v|維的對(duì)角矩陣，定義如下
[0043]
(15)
[0044]該對(duì)角矩陣僅在存在目標(biāo)假設(shè)種子點(diǎn)的超像素i對(duì)應(yīng)的位置S(i，i)值為1， 其它位置值為0, 是一個(gè)Kx|V|的稀疏矩陣，其每一行代表一對(duì)空間相鄰的兩個(gè)超像 素U，V之間的差運(yùn)算，分別用
作為對(duì)應(yīng)超像素點(diǎn)U，V位置的權(quán)重， A=/-0是超圖的拉普拉斯矩陣，I是一個(gè)MxM的單位陣，0=D//2冊(cè)化4肌)、4/2,〇、 是一個(gè)|V|x|V|的對(duì)角陣，每個(gè)對(duì)角線上的元素為超圖中對(duì)應(yīng)的頂點(diǎn)的度d(v)，D。是一個(gè) eJX|ej的對(duì)角陣，每個(gè)對(duì)角線上的元素為超圖中對(duì)應(yīng)的超邊的度5 (e)，Wh是一個(gè)eJX|ej的對(duì)角陣，每個(gè)對(duì)角線上的元素為超圖中對(duì)應(yīng)的超邊的權(quán)重Wh(6);
[004引 （5.。對(duì)全局優(yōu)化函數(shù)公式（14)中的每個(gè)類別C的置信度f。，進(jìn)行線性優(yōu)化，利 用一階導(dǎo)數(shù)等于零得到f。的全局最優(yōu)解：
[0046]
(16)
[0047] 做將步驟5中所有類別CG(1，2，...，口求解得到的向量用矩陣F= (fi，f2, . . .，fc)表示，每個(gè)頂點(diǎn)VEV的類別標(biāo)簽由該頂點(diǎn)的類別置信度最大值決定，如下 所示：
[0048] L=argmaxF, (17) c
[0049] 其中，L為每個(gè)頂點(diǎn)類別標(biāo)簽組成的列向量。
[0050] 進(jìn)一步地，所述步驟1中，所述采用化1C算法對(duì)圖像序列中每一帖圖像進(jìn)行超像 素分割具體按照W下步驟進(jìn)行：
[0051] (1. 1)對(duì)一張包含N個(gè)像素點(diǎn)的圖片，設(shè)置需要分割的超像素個(gè)數(shù)為K，初 始化圖片的超像素為K個(gè)大小為S=N/K的矩形圖像塊，第k個(gè)超像素的中屯、為Ck =山，3k,bk,Xk,yjT，其中是Ik，3k，bk是位置Xk,yk處像素點(diǎn)的CIELAB顏色空間數(shù)值， kG(1, 2,...,時(shí)；
[005引 （1.。將超像素中屯、移動(dòng)到初始點(diǎn)3X3的鄰域內(nèi)顏色梯度最小的位置，對(duì)每個(gè)像 素點(diǎn)i設(shè)置標(biāo)簽初始值1 (i) = -1，距離初始值為d(i) = ，迭代次數(shù)初始值為T= 0 ; [005引 （1.扣對(duì)每一個(gè)超像素的中屯、點(diǎn)Ck，計(jì)算該點(diǎn)2SX2S鄰域內(nèi)每個(gè)像素點(diǎn)i到該中 屯、點(diǎn)Ck的距離D，其定義如下：
[0054]D=I山，a。b。X。yjT-CkI，（18)
[0055] 若D<d(i)，則設(shè)置距離d(i) =D且標(biāo)簽l(i) =k，從而得到新的超像素分割， 其中第k個(gè)超像素由所有標(biāo)記為標(biāo)簽k的像素點(diǎn)構(gòu)成；
[0056] (1. 4)對(duì)每個(gè)超像素k重新計(jì)算超像素的中屯、點(diǎn)Ck;