基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法
【專(zhuān)利摘要】本發(fā)明涉及一種基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法，首先對(duì)圖像運(yùn)用視覺(jué)顯著度模型算法選取人眼關(guān)注的區(qū)域；接著，對(duì)關(guān)注區(qū)域利用左右視圖提取表征立體視覺(jué)信息的深度圖作為評(píng)價(jià)依據(jù)；然后，對(duì)該區(qū)域的深度值做特征統(tǒng)計(jì)處理，并且在這一過(guò)程考慮了人眼深度敏感特性對(duì)深度感的影響；最后，結(jié)合時(shí)域的特征信息計(jì)算視頻序列深度質(zhì)量值。本發(fā)明方法較傳統(tǒng)方法結(jié)果精度有較大提高，且具有較高的深度圖生成效率，在立體感質(zhì)量評(píng)價(jià)模型中增加表示深度級(jí)影響人眼深度敏感性的權(quán)重因子，對(duì)立體圖像質(zhì)量具有更準(zhǔn)確的評(píng)價(jià)。
【專(zhuān)利說(shuō)明】基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法。
【背景技術(shù)】
[0002]立體圖像深度感質(zhì)量評(píng)價(jià)指的是一種評(píng)價(jià)立體圖像內(nèi)容的立體感體驗(yàn)質(zhì)量好壞的方法，評(píng)價(jià)立體圖像質(zhì)量的方法分為主觀評(píng)價(jià)和客觀評(píng)價(jià)兩種。主觀評(píng)價(jià)方法[1]的結(jié)果雖然更準(zhǔn)確，但需要組織專(zhuān)門(mén)人員進(jìn)行觀測(cè)，代價(jià)昂貴且耗時(shí)，不適用于實(shí)時(shí)應(yīng)用和系統(tǒng)集成。因此，客觀質(zhì)量評(píng)價(jià)方法3]近年來(lái)已經(jīng)成為關(guān)注熱點(diǎn)。
[0003]在立體圖像客觀評(píng)價(jià)方法中，2008年，Benoit擴(kuò)展了傳統(tǒng)2D圖像客觀質(zhì)量評(píng)價(jià)方法，引入表示左右兩圖差異的視差圖，將視差圖的失真值與左右圖客觀質(zhì)量的平均值進(jìn)行線性結(jié)合，最終的值表示立體圖像質(zhì)量M。該方法在傳統(tǒng)2D圖像客觀質(zhì)量基礎(chǔ)上增加考慮了深度質(zhì)量，但是沒(méi)有討論視差圖對(duì)于深度質(zhì)量的影響。
[0004]2009年，Jiachen Yang等提出將圖像質(zhì)量和立體感知分開(kāi)評(píng)價(jià),通過(guò)左右圖相減得到的絕對(duì)視差圖來(lái)判斷圖像立體感，用視差圖的失真表示立體感知客觀質(zhì)量[5]。該方法計(jì)算簡(jiǎn)單，但是僅僅用實(shí)驗(yàn)表明絕對(duì)視差圖對(duì)立體感的作用，缺乏相關(guān)理論分析。
[0005]2010年，You等人通過(guò)將2D質(zhì)量評(píng)價(jià)算法應(yīng)用在立體圖像對(duì)和視差圖上進(jìn)一步擴(kuò)展預(yù)測(cè)3D立體圖像對(duì)質(zhì)量的方法[6]。他們應(yīng)用了大量的全參考2D質(zhì)量評(píng)價(jià)算法測(cè)試立體圖像對(duì)和視差圖，并得出結(jié)論，預(yù)測(cè)3D立體影像的質(zhì)量時(shí)使用SSIM計(jì)算立體圖像對(duì)質(zhì)量，應(yīng)用平均絕對(duì)差(MAD)估計(jì)視差圖質(zhì)量可以產(chǎn)生良好的性能。
[0006]2011年，Sarikan將深度圖分割成不同的深度平面，并利用SSM對(duì)層，幀，序列三個(gè)級(jí)別進(jìn)行了加權(quán)計(jì)算，將深度圖的評(píng)價(jià)擴(kuò)展到了立體視頻質(zhì)量評(píng)價(jià)[7]。
[0007]2012年，Lebreton深入分析了產(chǎn)生立體感知的原理，對(duì)視差圖的生成，深度圖分割和空時(shí)域信息的運(yùn)用都做出具體討論分析，從而建立了立體視頻深度感知模型[2]，同時(shí)不同于之前的方法，該模型是一種非參考質(zhì)量評(píng)價(jià)方法。
[0008]2013年，Sohn等人M利用立體圖像的感知質(zhì)量和視覺(jué)信息之間的關(guān)系，并引入雙目質(zhì)量感知模型，提出一種立體圖像無(wú)參考質(zhì)量方法。該方法在模糊和塊效應(yīng)失真的情況下建立人眼視覺(jué)系統(tǒng)的雙目質(zhì)量感知模型。左右圖像感知模糊強(qiáng)度和塊效應(yīng)的分?jǐn)?shù)被計(jì)算使用局部模糊強(qiáng)度，塊效應(yīng)強(qiáng)度和視覺(jué)顯著度信息，然后使用雙目質(zhì)量感知模型合成整體質(zhì)量索引。該方法適用于存在失真并且左右視點(diǎn)圖像不對(duì)稱(chēng)的應(yīng)用場(chǎng)景。
[0009]由文獻(xiàn)分析可知，利用視差信息的立體圖像質(zhì)量評(píng)價(jià)方法主要包含全參考和無(wú)參考兩種方法，全參考評(píng)價(jià)方法沿用2D圖像客觀質(zhì)量評(píng)價(jià)方法預(yù)測(cè)左右視圖和視差圖質(zhì)量，但是全參考方法需要原始圖像作參考，而許多應(yīng)用中無(wú)法滿足該條件，因而無(wú)參考方法成為近期的研究熱點(diǎn)。
[0010]前沿的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法M中，第一步，依據(jù)視差生成深度圖，視差代表著雙眼線索的差異，深度值通過(guò)視差、左右攝像機(jī)的焦距以及基線位置三個(gè)參數(shù)并量化計(jì)算轉(zhuǎn)化成8位數(shù)值可得，并以深度圖的形式保存。第二步，將所得的深度圖劃分成若干區(qū)域，進(jìn)行分割，當(dāng)這些區(qū)域的深度變化值小于某規(guī)定閾值時(shí)，則不考慮此塊對(duì)該立體圖像客觀評(píng)價(jià)結(jié)果的影響。第三步，對(duì)所選擇區(qū)域的特征統(tǒng)計(jì)，特征統(tǒng)計(jì)的方法是計(jì)算選擇區(qū)域的每個(gè)像素點(diǎn)的標(biāo)準(zhǔn)差，并取對(duì)數(shù)標(biāo)準(zhǔn)化，所得結(jié)果為前沿的立體圖像質(zhì)量評(píng)價(jià)方法的評(píng)價(jià)結(jié)果。
[0011]在第一步中，前沿方法中生成深度圖的過(guò)程復(fù)雜度較高，而第二步中的區(qū)域分割所選取的區(qū)域與人眼關(guān)注區(qū)域也不一定相同，因此未先提取圖像中對(duì)人眼視覺(jué)有顯著影響的信息而生成深度圖不僅造成該質(zhì)量評(píng)價(jià)方法實(shí)現(xiàn)效率較低，且將影響到評(píng)價(jià)結(jié)果的準(zhǔn)確性。
[0012]在第三步中，區(qū)域內(nèi)的像素值到深度感質(zhì)量值的過(guò)程使用線性映射，沒(méi)有區(qū)分對(duì)待不同像素值的敏感度特點(diǎn)，這導(dǎo)致該方法獲得的深度感評(píng)價(jià)值與實(shí)際人眼感知不一致。
[0013]在立體圖像的無(wú)參考質(zhì)量評(píng)價(jià)方法中，分析影響立體圖像視覺(jué)效果的因素，準(zhǔn)確地提取反映立體圖像深度質(zhì)量的特征信息，是建立有效的質(zhì)量評(píng)價(jià)方法的前提和基礎(chǔ)。因此，本文方法首先對(duì)圖像運(yùn)用視覺(jué)顯著度模型算法選取人眼關(guān)注的區(qū)域，接著，對(duì)關(guān)注區(qū)域利用左右視圖提取了表征立體視覺(jué)信息的深度圖作為評(píng)價(jià)依據(jù)；然后對(duì)該區(qū)域的深度值做特征統(tǒng)計(jì)處理，并且在這一過(guò)程考慮了人眼深度敏感特性對(duì)深度感的影響；最后，結(jié)合時(shí)域的特征信息計(jì)算視頻序列深度質(zhì)量值。因此，模型的總體框架有4個(gè)主要步驟:1)視覺(jué)關(guān)注區(qū)域選取；2)深度圖生成；3)所選擇區(qū)域的特征統(tǒng)計(jì)；4)視頻深度質(zhì)量值計(jì)算；下面我們主要討論前3個(gè)具體步驟。
[0014]傳統(tǒng)方法需要依據(jù)深度信息評(píng)價(jià)立體圖像深度感知，深度圖的生成步驟成為評(píng)價(jià)過(guò)程的重要環(huán)節(jié)。該步驟通過(guò)估計(jì)左右視圖視差信息，進(jìn)而轉(zhuǎn)化成相應(yīng)的深度值，但視差估計(jì)要匹配左右圖相應(yīng)像素的位置，計(jì)算復(fù)雜度很高，導(dǎo)致評(píng)價(jià)效率低；由于深度圖中人眼關(guān)注區(qū)域?qū)ψ詈笊疃雀兄挠绊懘驧，而顯著度模型能夠計(jì)算圖像的人眼關(guān)注程度，我們利用基于圖形的視覺(jué)關(guān)注度模型M獲取關(guān)注度圖，該模型通過(guò)馬爾科夫鏈構(gòu)建節(jié)點(diǎn)間關(guān)系，計(jì)算簡(jiǎn)單并且性能優(yōu)秀。

【發(fā)明內(nèi)容】

[0015]本發(fā)明的目的在于提供一種計(jì)算簡(jiǎn)單并且性能優(yōu)秀的基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法。
[0016]為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案是:一種基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法，包括如下步驟，
步驟S1:視覺(jué)關(guān)注區(qū)域選取:對(duì)圖像運(yùn)用視覺(jué)顯著度模型算法選取人眼關(guān)注的區(qū)域； 步驟S2:深度圖生成:對(duì)上述關(guān)注區(qū)域的左右視圖提取表征立體視覺(jué)信息，生成深度
圖；
步驟S3:深度圖的特征統(tǒng)計(jì):對(duì)深度圖的深度值做特征統(tǒng)計(jì)處理，即通過(guò)深度最小可覺(jué)察誤差模型確定人眼對(duì)深度圖像素值的可感知范圍和敏感度因子，并結(jié)合計(jì)算深度的相對(duì)層次性，得出立體圖像的立體感客觀質(zhì)量值；
步驟S4:視頻深度質(zhì)量值計(jì)算:結(jié)合時(shí)域的特征信息計(jì)算視頻序列深度質(zhì)量值，即通過(guò)將連續(xù)相鄰多幀圖像的深度質(zhì)量估計(jì)值進(jìn)行平均。
[0017]在本發(fā)明實(shí)施例中，所述步驟SI中對(duì)圖像運(yùn)用視覺(jué)顯著度模型算法選取人眼關(guān)注的區(qū)域，具體方法如下，
選取絕對(duì)顯著圖A中像素值大于第75百分位數(shù)的區(qū)域A’，即通過(guò)設(shè)置一閾值ε選取
人眼關(guān)注區(qū)域，該人眼關(guān)注區(qū)域選取公式如下，
【權(quán)利要求】
1.一種基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法，其特征在于:包括如下步驟， 步驟S1:視覺(jué)關(guān)注區(qū)域選取:對(duì)圖像運(yùn)用視覺(jué)顯著度模型算法選取人眼關(guān)注的區(qū)域； 步驟S2:深度圖生成:對(duì)上述關(guān)注區(qū)域的左右視圖提取表征立體視覺(jué)信息，生成深度圖； 步驟S3:深度圖的特征統(tǒng)計(jì):對(duì)深度圖的深度值做特征統(tǒng)計(jì)處理，即通過(guò)深度最小可覺(jué)察誤差模型確定人眼對(duì)深度圖像素值的可感知范圍和敏感度因子，并結(jié)合計(jì)算深度的相對(duì)層次性，得出立體圖像的立體感客觀質(zhì)量值； 步驟S4:視頻深度質(zhì)量值計(jì)算:結(jié)合時(shí)域的特征信息計(jì)算視頻序列深度質(zhì)量值，即通過(guò)將連續(xù)相鄰多幀圖像的深度質(zhì)量估計(jì)值進(jìn)行平均。
2.根據(jù)權(quán)利要求1所述的基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法，其特征在于:所述步驟SI中對(duì)圖像運(yùn)用視覺(jué)顯著度模型算法選取人眼關(guān)注的區(qū)域，具體方法如下， 選取絕對(duì)顯著圖A中像素值大于第75百分位數(shù)的區(qū)域A’，即通過(guò)設(shè)置一閾值ε選取人眼關(guān)注區(qū)域，該人眼關(guān)注區(qū)域選取公式如下，
3.根據(jù)權(quán)利要求2所述的基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法，其特征在于:所述步驟S2的深度圖生成，具體包括如下步驟， 步驟S21:設(shè)上述關(guān)注區(qū)域的左視圖中的A’非零區(qū)域的分塊為Yi,在上述關(guān)注區(qū)域的右視圖中水平方向匹配尋找最相似分塊Yj ; 步驟S22:計(jì)算得分塊Yi的視差為: s=yi-yj(2) 其中，yi為分塊Yi中以左視圖中心為原點(diǎn)的特征點(diǎn)位置，yj為分塊Yj中以右視圖中心為原點(diǎn)的特征點(diǎn)位置，所述視差即雙眼線索的差異； 步驟S23:根據(jù)視差與像素間的關(guān)系可知: Z = fxb/s(3) 其中，Z為深度值，/為焦距，6為基線，即雙目攝像頭間距； 步驟S24:根據(jù)非線性8位深度量化函數(shù)將深度值量化為離散的深度級(jí)并保存為深度圖，該函數(shù)公式如下，
4.根據(jù)權(quán)利要求3所述的基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法，其特征在于:所述步驟S3深度圖的特征統(tǒng)計(jì)，具體方式為，利用標(biāo)準(zhǔn)差公式表示深度層次性，該公式如下，
5.根據(jù)權(quán)利要求4所述的基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法，其特征在于:當(dāng)深度值^的變化小于D-NOSE(V)范圍或深度最小可覺(jué)察誤差JNDD閾值時(shí)，人眼無(wú)法判別到立體感變化，因此，公式(5)的標(biāo)準(zhǔn)差計(jì)算之前需將每一個(gè)深度值依據(jù)JNDD閾值進(jìn)行預(yù)處理，該公式如下，
6.根據(jù)權(quán)利要求5所述的基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法，其特征在于:所述JNDD通用計(jì)算模型如公式(8)，并根據(jù)公式(8)，將雙眼視差的JNDD定義為
7.根據(jù)權(quán)利要求6所述的基于視覺(jué)感知特性的立體圖像無(wú)參考質(zhì)量評(píng)價(jià)方法，其特征在于:所述視頻深度質(zhì)量值計(jì)算，即在立體感質(zhì)量評(píng)價(jià)模型中增加表示深度級(jí)影響人眼深度敏感性的權(quán)重因子，假設(shè)該權(quán)重因子與JNDD成反比，則深度質(zhì)量可表示為:
【文檔編號(hào)】H04N17/00GK103763552SQ201410052909
【公開(kāi)日】2014年4月30日 申請(qǐng)日期:2014年2月17日 優(yōu)先權(quán)日:2014年2月17日
【發(fā)明者】蘭誠(chéng)棟, 吳宇笙, 李亞格, 楊秀芝, 陳建 申請(qǐng)人:福州大學(xué)