一種基于稀疏表示的視覺顯著性檢測方法
【專利摘要】本發(fā)明公開了一種基于稀疏表示的視覺顯著性檢測方法，首先，通過鑒別性字典學(xué)習(xí)和分析，對字典中包含顯著性特征的原子和不含顯著性特征的原子進(jìn)行分類，從而構(gòu)建得到多個鑒別性字典；其次，通過對各圖像塊在鑒別性字典下的稀疏編碼系數(shù)的分析，對各圖像塊所屬的類別進(jìn)行分類，區(qū)分出含有視覺顯著性特征的前景圖像塊和不含顯著性特征的背景圖像塊；然后，通過對各圖像塊的稀疏重建誤差的分析，從鑒別性字典中去除對前景圖像塊重構(gòu)能力強(qiáng)，而對背景圖像塊重構(gòu)能力弱的原子；最后，進(jìn)行顯著圖計算。本發(fā)明通過深入挖掘稀疏表示模型本身來實(shí)現(xiàn)視覺顯著性檢測，故可以獲得比傳統(tǒng)基于稀疏表示的顯著性檢測方法更加精確的結(jié)果。
【專利說明】
一種基于稀疏表示的視覺顯著性檢測方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及一種在深入分析稀疏表示模型特征的情況下，對場景中的顯著性目標(biāo) 進(jìn)行精確檢測的方法，屬于計算機(jī)視覺技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002] 視覺顯著性檢測在目標(biāo)檢測、目標(biāo)識別、圖像修復(fù)等領(lǐng)域得到了廣泛的應(yīng)用，它是 模式識別、計算機(jī)視覺學(xué)科的一個重要研究內(nèi)容，對其的研究具有非常重要的理論與實(shí)際 意義。隨著稀疏表示理論的不斷發(fā)展，很多基于稀疏表示的顯著性檢測方法正在被研究學(xué) 者們不斷提出。然而，很多基于稀疏表示的顯著性檢測方法沒有充分挖掘過完備字典、稀疏 編碼系數(shù)以及稀疏重建誤差等特征，故無法取得十分理想的顯著性檢測結(jié)果。
[0003] 目前大多數(shù)基于稀疏表示的顯著性檢測方法是在一個局部或全局范圍內(nèi)用周圍 圖像塊作為字典來對中心圖像塊進(jìn)行稀疏重構(gòu)，然后用稀疏表示誤差來判斷中心圖像塊相 對于周圍圖像塊的顯著性。然而，這些方法只是簡單地根據(jù)周邊區(qū)域圖像塊對中心圖像塊 的重構(gòu)誤差來判斷中心圖像塊的顯著性強(qiáng)弱，沒有深入挖掘稀疏表示模型本身所包含的特 征。
[0004] 公開號為CN104392463A的一種基于聯(lián)合稀疏多尺度融合的圖像顯著區(qū)域檢測方 法，首先在不同尺度下對訓(xùn)練圖像集進(jìn)行字典訓(xùn)練，得到不同尺度下的字典。接著，對測試 圖像中的每一個像素點(diǎn)取圖像塊，聯(lián)合稀疏求解該圖像塊在各個尺度下的稀疏表示系數(shù)。 然后，將稀疏表示系數(shù)作為特征，進(jìn)行顯著性的計算。最后，融合多個尺度下的顯著結(jié)果得 到最終的顯著圖。
[0005] Zhu等人在2014年Image and Vision Computing上發(fā)表論文"Ensemble dictionary learning for saliency detection"，該方法通過分析挖掘過完備字典的特 征來實(shí)現(xiàn)對圖像顯著性區(qū)域的檢測。
[0006] Xia等人在2015年P(guān)attern Recognition上發(fā)表論文"Nonlocal center-surround reconstruction-based bottom-up saliency estimation"，該方法通過將待測圖像塊周 圍的多個圖像塊作為過完備字典，來對中心圖像塊進(jìn)行稀疏重建，而后，利用稀疏重建誤差 來判斷待測圖像塊的顯著性強(qiáng)弱。
[0007] 總之，現(xiàn)有的基于稀疏表示的顯著性檢測方法，其存在的局限性主要表現(xiàn)在：
[0008] 大多數(shù)基于稀疏表示的顯著性檢測方法是在一個局部或全局范圍內(nèi)用周圍圖像 塊作為字典來對中心圖像塊進(jìn)行稀疏重構(gòu)，然后，通過稀疏表示誤差來判斷中心圖像塊相 對于周圍圖像塊的顯著性，它們沒有深入挖掘過完備字典和稀疏編碼系數(shù)本身所包含的特 征，因此無法取得理想的顯著性檢測結(jié)果。

【發(fā)明內(nèi)容】

[0009] 發(fā)明目的：針對現(xiàn)有技術(shù)中存在的問題，本發(fā)明提供一種基于稀疏表示的視覺顯 著性檢測方法。該方法通過深入挖掘稀疏表示模型中過完備字典、稀疏編碼系數(shù)和稀疏重 建誤差的特征來實(shí)現(xiàn)對顯著性的精確檢測。
[0010]技術(shù)方案:一種基于稀疏表示的視覺顯著性檢測方法，包括如下步驟：
[0011] (1)步驟一:通過鑒別性字典學(xué)習(xí)和分析，對字典中包含顯著性特征的原子和不含 顯著性特征的原子進(jìn)行分類，從而構(gòu)建得到多個鑒別性字典。
[0012] 先基于隨機(jī)采樣的多字典學(xué)習(xí)。首先，在每一次隨機(jī)采樣過程中，用一個中心處于 圖像區(qū)域內(nèi)部任意像素位置，大小為HiXn的窗口對待測圖像進(jìn)行隨機(jī)采樣，得到一組小圖 像塊S= [S1，…，SK]。其中，S1ERmxn代表第i個圖像塊，K為圖像塊的總數(shù)。接著，提取每個圖 像塊的特征。在視覺注意機(jī)制模型中，由于ICOPPQntensity color opponent)特征可以實(shí) 現(xiàn)對圖像的良好表示，故本文用ICOPP模型來提取每個圖像塊的特征，從而得到特征矩陣F =比，~力]^^。其中土代表圖像塊 81的特征列向量。然后，對特征矩陣每一列進(jìn)行歸 一化操作，從而得到過完備字典DeRPXK(K>p)。字典D中的每個原子Cl 1是一個模值為1的單 位向量。具體的歸一化過程如下式所示：
[0013]
[0014] 最后，重復(fù)上述步驟Ns次，從而得到Ns個過完備字典D，每個過完備字典用Di表示，i = 1，···，Ν8。其中，每一個字典都是通過一組經(jīng)獨(dú)立隨機(jī)采樣獲得的圖像塊訓(xùn)練得到。Ns的值 越大，雖然算法的檢測效果越理想，但是運(yùn)算量也越大。故綜合考慮算法性能和效率，取N s =4〇
[0015] 下面進(jìn)行基于原子內(nèi)積的字典原子分類。第一，計算字典D中每個原子相對于其它 所有原子的內(nèi)積和，即：
[0016]
[0017]其中，P1代表第i個原子Cl1相對于其它所有原子的內(nèi)積總和，〈·，·>表示內(nèi)積運(yùn) 算。故對于字典D，通過上述運(yùn)算可以得到一個內(nèi)積和集合P=[P1，…，Ρκ]。第二，由于字典中 顯著性原子的個數(shù)遠(yuǎn)遠(yuǎn)小于非顯著性原子的個數(shù)，故顯著性原子的內(nèi)積和將會明顯小于非 顯著性原子的內(nèi)積和?；谶@個假設(shè)，可以通過如下方法來區(qū)分出字典中的顯著性原子和 非顯著性原子： ,[顯著性原子，（如果:巧屬于P中&個最小值中的一個)：
[_] 非顯著性原子，（其它）
[0019] 其中，選取的顯著性原子的數(shù)量值設(shè)為Ks = K X salAtomRatio，salAtomRatio e [0，1]代表選取的顯著性原子數(shù)量占整個字典原子數(shù)量的百分比。由于顯著性原子的數(shù)量 明顯低于非顯著性原子的數(shù)量，且確保Ks為整數(shù)，故設(shè)SalAtomRatio = O. 15。第三，將顯著 性原子和非顯著性原子分別存入顯著性原子集&和非顯著性原子集 e Q最后，可以求得一個新字典Dnew，即：
[0020] Dnew= [salAtomSet,nonsalAtomSet] e RpXK
[0021] 由于字典Dnew中的每個原子都有一個標(biāo)簽，故字典Dnew具有鑒別能力。因此，通過 對字典A，'··,?進(jìn)行原子內(nèi)積分析，最終可以得到Ns個鑒別性字典飾叫，·· ?
[0022] (2)步驟二:通過對各圖像塊在鑒別性字典下的稀疏編碼系數(shù)的分析，對各圖像塊 所屬的類別進(jìn)行分類，區(qū)分出含有視覺顯著性特征的前景圖像塊和不含顯著性特征的背景 圖像塊。
[0023]先對待測圖像中的所有圖像塊進(jìn)行稀疏編碼。第一，將輸入圖像分割為N個不重疊 的圖像塊Y=[yi，…，yN]，其中，yieRmXn為第i個圖像塊。第二，提取每個圖像塊的ICOPP特 征，從而可以得到一個特征矩陣G= [gl，…；gN] GRPxn。其中，gl代表圖像塊yi的特征向量。第 三，用OMP算法求取G在鑒別性字典Dnew下的稀疏編碼系數(shù)X= [X1，…，XN] eRkxn。其中，Xi e Rkx1代表第i個圖像塊的稀疏編碼系數(shù)。
[0024]接下去進(jìn)行基于稀疏編碼系數(shù)分析的顯著性/非顯著性原子鑒別。首先，將每個圖 像塊的稀疏編碼系數(shù)11分為8&10〇6；1^和11〇11831(]〇6；1^兩部分。其中，831&36；1^代表屬于顯著 性原子集的編碼系數(shù)和，而nonsalCoefJlj代表屬于非顯著性原子集的編碼系數(shù)和。 salCoefi和nonsalCoefi的計算方法如下：
[0025]
[0026]
[0027]其中，Xl(j)代表X1中的第j個元素。然后，比較每個圖像塊yi的顯著性稀疏編碼系 數(shù)和salCoefi以及非顯著性稀疏編碼系數(shù)和nonsalCoefi的大小。如果salCoefi> nonsalCoefi，則判定yi為顯著性圖像塊;否則，判定yi屬于非顯著性圖像塊。最后，將所有顯 著性圖像塊以及它們的特征向量和稀疏編碼系數(shù)分別存入集合Ysal，Gsal和Xsal。同時將 所有非顯著性圖像塊以及它們的特征向量和稀疏編碼系數(shù)分別存入集合YnonsalGnonsal 和Xnonsal〇
[0028] (3)步驟三:通過對各圖像塊的稀疏重建誤差的分析，從鑒別性字典中去除對前景 圖像塊重構(gòu)能力強(qiáng)，而對背景圖像塊重構(gòu)能力弱的原子。
[0029]先求取顯著性圖像塊和非顯著性圖像塊的稀疏重建誤差。首先，對于每個鑒別性 字典Dnew，逐一去除該字典中顯著性原子集salAtomSet中的原子，并計算顯著性圖像塊集 合Ysal和非顯著性圖像塊集合Ynonsal在去除當(dāng)前原子的字典下的稀疏重建誤差。令Dnew=J 代表從Dnew中去除第j列后的子矩陣，其中，KjSKsc 3Ysal和Ynonsal在字典Dnew"下的稀 疏重建誤差計算方法如下：
[0030]
[0031]
[0032] 其中，乂8&1-」和乂11〇1^&1-」分別代表￥8&1和￥11〇1^ &1去除第」行后的子矩陣。然后， 計算Errsalj和Errnonsalj的加權(quán)差，即：
[0033] Diffj = O XErrsalj-(l-α) XErrnonsaP
[0034] 其中，參數(shù)(Χα<1可以控制Errsalj和Errnonsal j的權(quán)重。
[0035] 下面進(jìn)行基于稀疏重建誤差分析的字典原子去除。第一，將求得的每個加權(quán)差系 數(shù)Diff j(l彡j彡Ks)存入加權(quán)差集合Diff。第二，從集合Diff中選出KsXinAtomRatio個值最 大的元素，并將其下標(biāo)存入集合A。此時，將鑒別性字典Dnew中具有與集合△中相同下標(biāo)的 原子視為顯著性特征非常強(qiáng)的原子。其中，參數(shù)inAt〇mRati〇e[0，l]代表從所有顯著性原 子中選出的顯著性特征非常強(qiáng)的原子的比率。第三，從字典Dnew中去除鑒別出的包含強(qiáng)顯 著性特征的原子，從而得到去除強(qiáng)顯著性原子后的字典Dnew :A。其中，Dnew:A代表從Dnew中 去除具有與集合A中相同下標(biāo)的原子后的子矩陣。
[0036] (4)步驟四：進(jìn)行顯著圖計算。
[0037]先根據(jù)去除強(qiáng)顯著性原子后的字典來生成多個顯著圖。第一，計算每個圖像塊yi e Rmxn在字典Dnew: Λ下的稀疏重建誤差：
[0038]
[0039] 其中，gleRPx^XleRKxl分別代表圖像塊…的特征列向量和稀疏編碼系數(shù)，幸代表 從^中去除具有與集合△中相同下標(biāo)的行向量后的子矩陣。第二，將每個圖像塊的重建誤差 直接作為該圖像塊的像素值，從而得到粗顯著圖Rawmap。第三，由于每個圖像塊不重疊，故 為了克服分塊效應(yīng)，用一個高斯濾波器對粗顯著圖進(jìn)行濾波操作，即：map = g*Rawmap。其 中，map代表初始顯著圖，g是一個標(biāo)準(zhǔn)差為〇的二維高斯濾波器。最后，由于具有Ns個去除強(qiáng) 顯著性原子后的字典，…,，可以得到N s個初始顯著圖· ·，_&。
[0040] 下面進(jìn)行基于初始顯著圖加權(quán)融合的最終顯著圖計算。將得到的初始顯著圖 [00411 mapi(i = 1，…,Ns)進(jìn)行加權(quán)相加，從而得到最終顯著圖MAP，即：
[0042]
[0043]其中，W1代表每幅初始顯著圖的權(quán)重系數(shù)。
[0044] 本發(fā)明采用上述技術(shù)方案，具有以下有益效果：
[0045] (1)本發(fā)明的方法通過對過完備字典的分析，對字典中包含顯著性特征的原子和 不含顯著性特征的原子進(jìn)行了有效的分類，從而可以大大增強(qiáng)字典對顯著性區(qū)域和非顯著 性區(qū)域的鑒別能力；
[0046] (2)本方法通過對稀疏編碼系數(shù)以及稀疏重建誤差的分析，有效區(qū)分出含有視覺 顯著性特征的前景圖像塊和不含顯著性特征的背景圖像塊，并從字典中去除了對前景圖像 塊重構(gòu)能力強(qiáng)，而對背景圖像塊重構(gòu)能力弱的原子，從而提高了顯著性檢測的精度。
【附圖說明】
[0047]圖1為本發(fā)明實(shí)施例的框架圖。
【具體實(shí)施方式】
[0048]下面結(jié)合具體實(shí)施例，進(jìn)一步闡明本發(fā)明，應(yīng)理解這些實(shí)施例僅用于說明本發(fā)明 而不用于限制本發(fā)明的范圍，在閱讀了本發(fā)明之后，本領(lǐng)域技術(shù)人員對本發(fā)明的各種等價 形式的修改均落于本申請所附權(quán)利要求所限定的范圍。
[0049]如圖1所示，進(jìn)一步的詳細(xì)描述如下：
[0050]首先，進(jìn)行鑒別性字典學(xué)習(xí)和分析。具體包括如下兩個步驟：
[0051 ] (1)基于隨機(jī)采樣的多字典學(xué)習(xí)。
[0052]首先，在每一次隨機(jī)采樣過程中，用一個中心處于圖像區(qū)域內(nèi)部任意像素位置，大 小為mXη的窗口對待測圖像進(jìn)行隨機(jī)采樣，得到一組小圖像塊S= [si,…，sk]。其中，SiGRm Xn代表第i個圖像塊，K為圖像塊的總數(shù)。接著，用ICOPP模型來提取每個圖像塊的特征，從而 得到特征矩陣？=比，~，妃￡1^ 1(。其中41代表圖像塊81的特征列向量。然后，對特征矩陣 每一列進(jìn)行歸一化操作，從而得到過完備字典DeRP XK(K>p)。字典D中的每個原子Cl1是一個 模值為1的單位向量。具體的歸一化過稈如下式所示：
[0053]
[0054]最后，重復(fù)上述步驟Ns次，從而得到Ns個過完備字典Di，i = 1，…，Ns。其中，每一個 字典都是通過一組經(jīng)獨(dú)立隨機(jī)采樣獲得的圖像塊訓(xùn)練得到。隊(duì)的值越大，雖然算法的檢測 效果越理想，但是運(yùn)算量也越大。故綜合考慮算法性能和效率，取N s = 4。
[0055] (2)基于原子內(nèi)積的字典原子分類。
[0056] 第一，計算字典D中每個原子相對于其它所有原子的內(nèi)積和，即：
[0057]
[0058] 其中，P1代表第i個原子Cl1相對于其它所有原子的內(nèi)積總和，〈·，·>表示內(nèi)積運(yùn) 算。故對于字典D，通過上述運(yùn)算可以得到一個內(nèi)積和集合P=[ P1，…，Ρκ]。第二，由于字典中 顯著性原子的個數(shù)遠(yuǎn)遠(yuǎn)小于非顯著性原子的個數(shù)，故顯著性原子的內(nèi)積和將會明顯小于非 顯著性原子的內(nèi)積和?；谶@個假設(shè)，可以通過如下方法來區(qū)分出字典中的顯著性原子和 非顯著性原子： ,f顯著性原子，（如果&屬于P中A：s個最小值中的一個）
[0059] d- e i ' ? f 1非顯著性原子，（其它）
[0060] 其中，選取的顯著性原子的數(shù)量值設(shè)為Ks = K X salAtomRatio，salAtomRatio e
[0，1]代表選取的顯著性原子數(shù)量占整個字典原子數(shù)量的百分比。由于顯著性原子的數(shù)量 明顯低于非顯著性原子的數(shù)量，且確保Ks為整數(shù)，故設(shè)SalAtomRatio = O. 15。第三，將顯著 性原子和非顯著性原子分別存入顯著性原子集畑和非顯著性原子集 /?〇/?.、丫///1_;5^/· e 最后，可以求得一個新字典Dnew，即：
[0061 ] Dnew= [ salAtomSet, nonsalAtomSet ] e RpXK
[0062] 由于字典Dnew中的每個原子都有一個標(biāo)簽，故字典Dnew具有鑒別能力。因此，通過 對字典1V ··，Avi進(jìn)行原子內(nèi)積分析，最終可以得到Ns個鑒別性字典Dwv1，…，DnW 7vs。
[0063] 接著，對稀疏編碼系數(shù)進(jìn)行分析，主要包括下面(3)-(4)這兩個步驟。
[0064] (3)對待測圖像中的所有圖像塊進(jìn)行稀疏編碼。
[0065]第一，將輸入圖像分割為N個不重疊的圖像塊Y=[yi,…，yN]，其中，yieRmXn為第i 個圖像塊。第二，提取每個圖像塊的ICOPP特征，從而可以得到一個特征矩陣G= [gl，…；gN] GRpxn。其中，gi代表圖像塊yi的特征向量。第三，用OMP算法求取G在鑒別性字典Dnew下的稀 疏編碼系數(shù)X= [X1，…，xn] e Rkxn。其中，Xl e Rkx1代表第i個圖像塊的稀疏編碼系數(shù)。
[0066] (4)基于稀疏編碼系數(shù)分析的顯著性/非顯著性原子鑒別。
[0067]首先，將每個圖像塊的稀疏編碼系數(shù)Xi分為SalCoefi和nonsalCoefi兩部分。其中， salCoefi代表屬于顯著性原子集的編碼系數(shù)和，而nonsalCoefi則代表屬于非顯著性原子集
[0068] 的編碼系數(shù)和。salCoefi和nonsalCoefi的計算方法如下：
[0069]
[0070]其中，Xl(j)代表X1中的第j個元素。然后，比較每個圖像塊yi的顯著性稀疏編碼系 數(shù)和salCoefi以及非顯著性稀疏編碼系數(shù)和nonsalCoefi的大小。如果salCoefi> nonsalCoefi，則判定yi為顯著性圖像塊;否則，判定yi屬于非顯著性圖像塊。最后，將所有顯 著性圖像塊以及它們的特征向量和稀疏編碼系數(shù)分別存入集合Ysal，Gsal和Xsal。同時將 所有非顯著性圖像塊以及它們的特征向量和稀疏編碼系數(shù)分別存入集合YnonsalGnonsal 和Xnonsal〇
[0071]然后，對稀疏重建誤差進(jìn)行分析。具體包括如下步驟：
[0072] (5)求取顯著性圖像塊和非顯著性圖像塊的稀疏重建誤差。
[0073] 首先，對于每個鑒別性字典Dnew，逐一去除該字典中顯著性原子集salAtomSet中 的原子，并計算顯著性圖像塊集合Ysal和非顯著性圖像塊集合Ynonsal在去除當(dāng)前原子的 字典下的稀疏重建誤差。令DnewU代表從Dnew中去除第j列后的子矩陣，其中，KjSKs 0 Ysal和Ynonsal在字典Dnew"下的稀疏重建誤差計算方法如下：
[0074]
[0075]
[0076] 其中，乂％1-」和乂11〇11%1-」分別代表￥仰1和￥11〇11%1去除第」行后的子矩陣。然后， 計算Errsalj和Errnonsalj的加權(quán)差，即：
[0077] Diffj = O XErrsalj-(l-α) XErrnonsaP
[0078] 其中，參數(shù)(Χα<1可以控制Errsalj和Errnonsal j的權(quán)重。
[0079] (6)基于稀疏重建誤差分析的字典原子去除。
[0080] 第一，將求得的每個加權(quán)差系數(shù)Diffj(KjSKs)存入加權(quán)差集合Diff。第二，從集 合0丨€€中選出1( 5\丨1^〇1111^丨〇個值最大的元素，并將其下標(biāo)存入集合八。此時，將鑒別性 字典 Dnew中具有與集合△中相同下標(biāo)的原子視為顯著性特征非常強(qiáng)的原子。其中，參數(shù) inAtomRati〇e[0，l]代表從所有顯著性原子中選出的顯著性特征非常強(qiáng)的原子的比率。第 三，從字典Dnew中去除鑒別出的包含強(qiáng)顯著性特征的原子，從而得到去除強(qiáng)顯著性原子后 的字典Dnew :A。其中，Dnew:A代表從Dnew中去除具有與集合△中相同下標(biāo)的原子后的子矩 陣。
[0081] 最后，進(jìn)行顯著圖計算。具體包括如下(7)-(8)這兩個步驟：
[0082] (7)根據(jù)去除強(qiáng)顯著性原子后的字典來生成多個顯著圖。
[0083]第一，計算每個圖像塊yi e Rmxn在字典Dnew:A下的稀疏重建誤差：
[0084]
[0085] 其中，S1GRPx^xieRKxl分別代表圖像塊"的特征列向量和稀疏編碼系數(shù)，^代 表從Xi中去除具有與集合A中相同下標(biāo)的行向量后的子矩陣。第二，將每個圖像塊的重建 誤差直接作為該圖像塊的像素值，從而得到粗顯著圖Rawmap。第三，由于每個圖像塊不重疊， 故為了克服分塊效應(yīng)，用一個高斯濾波器對粗顯著圖進(jìn)行濾波操作，即:map = g*Rawmap。其 中，map代表初始顯著圖，g是一個標(biāo)準(zhǔn)差為〇的二維高斯濾波器。最后，由于具有Ns個去除強(qiáng) 顯著性原子后的字典伽廳義，可以得到N s個初始顯著圖爾A 、麵pY [0086] (8)基于初始顯著圖加權(quán)融合的最終顯著圖計算。
[0087]將得到的初始顯著圖maPl(i = l，…，Ns)進(jìn)行加權(quán)相加，從而得到最終顯著圖MAP， 即
其中，W1代表每幅初始顯著圖的權(quán)重系數(shù)。
【主權(quán)項(xiàng)】
1. 一種基于稀疏表示的視覺顯著性檢測方法，其特征在于，包括如下步驟： 步驟一:通過鑒別性字典學(xué)習(xí)和分析，對字典中包含顯著性特征的原子和不含顯著性 特征的原子進(jìn)行分類，從而構(gòu)建得到多個鑒別性字典； 步驟二:通過對各圖像塊在鑒別性字典下的稀疏編碼系數(shù)的分析，對各圖像塊所屬的 類別進(jìn)行分類，區(qū)分出含有視覺顯著性特征的前景圖像塊和不含顯著性特征的背景圖像 塊； 步驟三:通過對各圖像塊的稀疏重建誤差的分析，從鑒別性字典中去除對前景圖像塊 重構(gòu)能力強(qiáng)，而對背景圖像塊重構(gòu)能力弱的原子； 步驟四：進(jìn)行顯著圖計算。2. 根據(jù)權(quán)利要求1所述的基于稀疏表示的視覺顯著性檢測方法，其特征在于，通過鑒別 性字典學(xué)習(xí)和分析，對字典中包含顯著性特征的原子和不含顯著性特征的原子進(jìn)行分類， 從而構(gòu)建得到多個鑒別性字典，其操作過程如下： (1) 基于隨機(jī)采樣的多字典學(xué)習(xí)； 首先，在每一次隨機(jī)采樣過程中，用一個中心處于圖像區(qū)域內(nèi)部任意像素位置，大小為 mXn的窗口對待測圖像進(jìn)行隨機(jī)采樣，得到一組小圖像塊S=[S1，…，SK];其中， SleRmXM 表第i個圖像塊，K為圖像塊的總數(shù)； 接著，用ICOPP(intensity color opponent)模型來提取每個圖像塊的特征，從而得到 特征矩陣？=比，~，妃^妒'其中41代表圖像塊81的特征列向量； 然后，對特征矩陣每一列進(jìn)行歸一化操作，從而得到過完備字典DeRPXK(K>p);字典D 中的每個原子cU是一個模值為1的單位向量。具體的歸一化過程如下式所示：最后，重復(fù)上述步驟Ns次，從而得到Ns個過完備字典D，每個過完備字典用Di表示，i = 1，…，Ns;其中，每一個字典都是通過一組經(jīng)獨(dú)立隨機(jī)采樣獲得的圖像塊訓(xùn)練得到。 (2) 進(jìn)行基于原子內(nèi)積的字典原子分類； 第一，計算字典D中每個原子相對于其它所有原子的內(nèi)積和，即：其中，Pi代表第i個原子cU相對于其它所有原子的內(nèi)積總和，〈·，·>表示內(nèi)積運(yùn)算;故 對于字典D，通過上述運(yùn)算可以得到一個內(nèi)積和集合P=[P1，…，pk]; 第二，由于字典中顯著性原子的個數(shù)遠(yuǎn)遠(yuǎn)小于非顯著性原子的個數(shù)，故顯著性原子的 內(nèi)積和將會明顯小于非顯著性原子的內(nèi)積和;基于這個假設(shè)，可以通過如下方法來區(qū)分出 字典中的顯著性原子和非顯著性原子： j顯著性原子，（如果屬于尸中足5個最小值中的一個） 非顯著性原子，（其它） 其中，選取的顯著性原子的數(shù)量值設(shè)為Ks = KX salAtomRatio，salAtomRatio e [〇，1 ]代 表選取的顯著性原子數(shù)量占整個字典原子數(shù)量的百分比；由于顯著性原子的數(shù)量明顯低于 非顯著性原子的數(shù)量，且為了確保Ks為整數(shù)，故設(shè)salAtomRatio = 0.15; 第三，將顯著性原子和非顯著性原子分別存入顯著性原子集.犯//^期6>?￡/?〃夂和非 顯著性原子集e /?/>χ(λ-; 最后，可以求得一個新字典Dnew，即： Dnew= [salAtomSet ,nonsalAtomSet] eRpXK 由于字典Dnew中的每個原子都有一個標(biāo)簽，故字典01^具有鑒別能力；因此，通過對字 典ZV…，、進(jìn)行原子內(nèi)積分析，最終可以得到ns個鑒別性字典￡>?，，:···。3. 根據(jù)權(quán)利要求1所述的基于稀疏表示的視覺顯著性檢測方法，其特征在于，通過對各 圖像塊在鑒別性字典下的稀疏編碼系數(shù)的分析，對各圖像塊所屬的類別進(jìn)行分類，其操作 過程如下： (1) 對待測圖像中的所有圖像塊進(jìn)行稀疏編碼； 第一，將輸入圖像分割為Ν個不重疊的圖像塊Y=[yi，…，yN]，其中，yieR mXn為第i個圖 像塊； 第二，提取每個圖像塊的IC0PP特征，從而可以得到一個特征矩陣G=[gl，…；gN]eRP XN; 其中，gl代表圖像塊yi的特征向量； 第三，用0MP算法求取G在鑒別性字典Dnew下的稀疏編碼系數(shù)X= [X1，…，xn] e RKXN。其 中，XleRKxl代表第i個圖像塊的稀疏編碼系數(shù)； (2) 基于稀疏編碼系數(shù)分析的顯著性/非顯著性原子鑒別； 首先，將每個圖像塊的稀疏編碼系數(shù)Xi分為salCoefi和nonsalCoefi兩部分；其中， salCoefi代表屬于顯著性原子集的編碼系數(shù)和，而nonsalCoefi則代表屬于非顯著性原子集 的編碼系數(shù)和;salCoefi和nonsalCoefi的計算方法如下：其中，xdj)代表X:中的第j個元素； 然后，比較每個圖像塊yi的顯著性稀疏編碼系數(shù)和salCoefi以及非顯著性稀疏編碼系 數(shù)和nonsalCoefi的大小;如果salCoefi>nonsalCoefi，則判定yi為顯著性圖像塊;否則，判 定又:屬于非顯著性圖像塊； 最后，將所有顯著性圖像塊以及它們的特征向量和稀疏編碼系數(shù)分別存入集合Ysal， Gsal和Xsal;同時將所有非顯著性圖像塊以及它們的特征向量和稀疏編碼系數(shù)分別存入集 合Ynonsal，Gnonsal和Xnonsal〇4. 根據(jù)權(quán)利要求1所述的基于稀疏表示的視覺顯著性檢測方法，其特征在于，通過對各 圖像塊的稀疏重建誤差的分析，從鑒別性字典中去除對前景圖像塊重構(gòu)能力強(qiáng)，而對背景 圖像塊重構(gòu)能力弱的原子，其操作過程如下： (1)求取顯著性圖像塊和非顯著性圖像塊的稀疏重建誤差； 首先，對于每個鑒別性字典Dnew，逐一去除該字典中顯著性原子集salAtomSet中的原 子，并計算顯著性圖像塊集合Ysal和非顯著性圖像塊集合Ynonsal在去除當(dāng)前原子的字典 下的稀疏重建誤差;令Dnew :j代表從Dnew中去除第j列后的子矩陣，其中，1彡j彡Ks;Ysal和 Ynonsal在字典Dnew"下的稀疏重建誤差計算方法如下：其中，乂8&1^和乂110118&1^分別代表￥8&1和￥110118 &1去除第」行后的子矩陣； 然后，計算ErrsaP和ErrnonsaP的加權(quán)差，即： Diffj = α X Errsalj-( 1-α) X ErrnonsaP 其中，參數(shù)(Χα^? 1可以控制Errsalj和Errnonsalj的權(quán)重； (2)基于稀疏重建誤差分析的字典原子去除； 第一，將求得的每個加權(quán)差系數(shù)DifTj(l<j<Ks)存入加權(quán)差集合Diff; 第二，從集合Diff中選出KsX inAtomRatio個值最大的元素，并將其下標(biāo)存入集合Δ ;此 時，將鑒別性字典Dnew中具有與集合△中相同下標(biāo)的原子視為顯著性特征非常強(qiáng)的原子； 其中，參數(shù)inAtomRati〇e[〇，l]代表從所有顯著性原子中選出的顯著性特征非常強(qiáng)的原子 的比率； 第三，從字典Dnew中去除鑒別出的包含強(qiáng)顯著性特征的原子，從而得到去除強(qiáng)顯著性 原子后的字典Dnew:A;其中，Dnew:A代表從Dnew中去除具有與集合△中相同下標(biāo)的原子后的 子矩陣。5.根據(jù)權(quán)利要求1所述的基于稀疏表示的視覺顯著性檢測方法，其特征在于，進(jìn)行顯著 圖計算： (1) 根據(jù)去除強(qiáng)顯著性原子后的字典來生成多個顯著圖； 第一，計算每個圖像塊yi e RmXn在字典Dnew: Λ下的稀疏重建誤差：其中，gl e RPx$PXl e RKX1分別代表圖像塊"的特征列向量和稀疏編碼系數(shù)，Δ代表從Xl 中去除具有與集合△中相同下標(biāo)的行向量后的子矩陣； 第二，將每個圖像塊的重建誤差直接作為該圖像塊的像素值，從而得到粗顯著圖 Rawmap； 第三，由于每個圖像塊不重疊，故為了克服分塊效應(yīng)，用一個高斯濾波器對粗顯著圖進(jìn) 行濾波操作，即:map = g*Rawmap;其中，map代表初始顯著圖，g是一個標(biāo)準(zhǔn)差為〇的二維高斯 濾波器； 最后，由于具有Ns個去除強(qiáng)顯著性原子后的字典，可以得到Ns個初始 顯著圖瓶奶，…，脫，； (2) 基于初始顯著圖加權(quán)融合的最終顯著圖計算； 將得到的初始顯著圖maPl(i = l，"_，Ns)進(jìn)行加權(quán)相加，從而得到最終顯著圖其中，Wl代表每幅初始顯著圖的權(quán)重系數(shù)。
【文檔編號】G06T9/00GK106056592SQ201610356541
【公開日】2016年10月26日
【申請日】2016年5月26日
【發(fā)明人】王鑫, 沈思秋, 張春燕, 周韻, 呂國芳, 徐玲玲
【申請人】河海大學(xué)