除噪聲；而在圖像劇烈變化的區(qū)域，像素值不相近的像素點(diǎn)的像素相似度因子趨近于0,此 時(shí)雙邊濾波用邊緣點(diǎn)鄰域內(nèi)像素值相似的像素點(diǎn)的平均代替了原像素值，運(yùn)是雙邊濾波具 有保留邊緣去除噪聲的原理。
[0067] S2.2如果需調(diào)整的圖像是建筑類別圖像，圖像質(zhì)量調(diào)整過(guò)程如下：
[006引 S2.2.1進(jìn)行化nny邊緣檢測(cè)，得到圖像邊緣的二分圖；
[0069] S2.2.2進(jìn)行霍夫變換的直線檢測(cè)，檢測(cè)出需調(diào)整的圖像中所有的直線，計(jì)算最長(zhǎng) 的直線與水平方向的夾角0;
[0070] S2.2.3對(duì)需調(diào)整的圖像進(jìn)行幾何變換:為了改善建筑類圖像的平衡性，需要對(duì)圖 像幾何變換，適當(dāng)旋轉(zhuǎn)圖像，使圖像中的建筑垂直于水平面，本發(fā)明使用仿射變換中旋轉(zhuǎn)變 換形式旋轉(zhuǎn)圖像。圖像的仿射變換通過(guò)一系列矩陣原子變換的組合來(lái)實(shí)現(xiàn)：
[0071] 使用仿射變換中旋轉(zhuǎn)變換形式旋轉(zhuǎn)圖像，其數(shù)學(xué)表達(dá)為：
[0072] . =M* UJ IfJ COS 0 sin 6*
[007；3] M 二 -Sin 6 COS O
[0074]其中M是旋轉(zhuǎn)矩陣，（X'，Y'）為旋轉(zhuǎn)后的需調(diào)整的圖像坐標(biāo)，（X，Y)為未經(jīng)旋轉(zhuǎn)的需 調(diào)整的圖像坐標(biāo)，0為旋轉(zhuǎn)的角度；
[0075] S2.3如果需調(diào)整的圖像是夜景類別圖像，進(jìn)行去模糊處理：
[0076] 基于需調(diào)整的圖像做分析，構(gòu)造出真實(shí)圖像與需調(diào)整的圖像之間的模糊核函數(shù)， 模糊核函數(shù)的估計(jì)方法本發(fā)明選用香港中文大學(xué)的二階段圖像去模糊技術(shù)，此技術(shù)發(fā)表在 ECCV2010年會(huì)議上（參考文獻(xiàn)詳情Xu L,Jia J.Two-phase kernel estimation for robust motion debIurring[M]//Computer Vision-ECCV 2010. Springer Berlin Heide化erg,2010:157-170.);
[0077] 假設(shè)真實(shí)圖像f(x，y)經(jīng)過(guò)模糊核K的作用后，加入隨機(jī)噪聲n(x，y)后輸出模糊圖 像g(x，y)，數(shù)學(xué)模型描述為：
[0078] 如V,.'!'）= A： f "(.、-? .V)
[0079] 圖像去模糊的過(guò)程是通過(guò)模糊圖像g(x，y)通過(guò)方法估計(jì)模糊核函數(shù)K，然后解卷 積得到真實(shí)圖像。本發(fā)明采用文獻(xiàn)中的基于空間先驗(yàn)知識(shí)和迭代的檢測(cè)方法(具體實(shí)現(xiàn)詳 情請(qǐng)參考文獻(xiàn)Xu L,Ji曰 J.Two-phase kernel estimation for robust motion deblurring[M]//Computer Vision-ECCV 2010. Springer Berlin Heidelberg,2010:157-170.)
[0080] S2.4如果需調(diào)整的圖像是其它類別圖像，通過(guò)修改圖像構(gòu)圖優(yōu)化圖像美學(xué)質(zhì)量， 過(guò)程如圖3所示：
[0081] S2.4.1采用基于圖像的顯著度的圖像主題區(qū)域檢測(cè)方法，提取圖像主題區(qū)域；其 實(shí)現(xiàn)過(guò)程是，將graphcut(圖切分)圖像分割方法成N個(gè)區(qū)域(本實(shí)施例中N=IOO),統(tǒng)計(jì)整個(gè) 圖像和每個(gè)分割后區(qū)域的直方圖信息。整體圖像的直方圖為D'，各個(gè)分割區(qū)域的直方圖為 化，i對(duì)應(yīng)其區(qū)域的編號(hào)。計(jì)算各個(gè)分割區(qū)域直方圖和整體圖像直方圖的卡方距離，選取P個(gè) 距離最大的區(qū)域(本發(fā)明P = 20)為圖像主題區(qū)域;N為正整數(shù);P為正整數(shù)。
[0082] S2.4.2根據(jù)主題區(qū)域裁剪子圖像:W大于等于75%的比例裁剪圖像；
[0083] S2.4.3使用圖像美學(xué)評(píng)分系統(tǒng)計(jì)算子圖像的美學(xué)評(píng)分;本實(shí)施例選用的圖像美學(xué) 評(píng)分系統(tǒng)實(shí)現(xiàn)過(guò)程是：選用圖像美學(xué)評(píng)分AVA數(shù)據(jù)庫(kù)（數(shù)據(jù)庫(kù)地址是http:// Iucamarchesotti . com/ava/)，利用LibSVM自回歸模型化ttps: //www. csie. n1:u. edu. tw/~ cjlin/libsvm/)進(jìn)行訓(xùn)練后，可得到擬合模型，此模型可W對(duì)輸入的圖像自動(dòng)擬合其圖像 美學(xué)分值進(jìn)行輸出。
[0084] S2.4.4選擇美學(xué)評(píng)分最高的子圖像并保存，最高評(píng)分的子圖像是構(gòu)圖優(yōu)化的結(jié) 果。
[0085] 上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受所述實(shí)施例的 限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化， 均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，其特征在于，包括以下步驟： Sl圖像內(nèi)容感知識(shí)別 SI. 1收集四大類別的圖像照片，分別是人臉、建筑、夜景和其它類別的圖像，并將圖像 組成訓(xùn)練集;所述其它類別的圖像為除人臉、建筑、夜景以外的圖像； SI.2提取訓(xùn)練集中每張圖像的SIFT特征，送入多類的SVM支持矢量機(jī)進(jìn)行訓(xùn)練，得到四 大類別圖像的分界面模型； SI.3將需調(diào)整的圖像送入SI.2步驟所得的四大類別圖像的分界面模型，得到其對(duì)應(yīng)的 類別輸出： S2根據(jù)需調(diào)整的圖像類別來(lái)進(jìn)行圖像質(zhì)量調(diào)整： S2.1如果需調(diào)整的圖像是人臉類別圖像，對(duì)人臉區(qū)域采用雙邊濾波器進(jìn)行膚色濾波； S2.2如果需調(diào)整的圖像是建筑類別圖像，圖像質(zhì)量調(diào)整過(guò)程如下： S2.2.1進(jìn)行Canny邊緣檢測(cè)，得到圖像邊緣的二分圖； S2.2.2進(jìn)行霍夫變換的直線檢測(cè)，檢測(cè)出需調(diào)整的圖像中所有的直線，計(jì)算最長(zhǎng)的直 線與水平方向的夾角Θ; S2.2.3對(duì)需調(diào)整的圖像進(jìn)行幾何變換：以步驟S2.2.2得到的最長(zhǎng)的直線為基準(zhǔn)，旋轉(zhuǎn) 圖像，使圖像中的建筑垂直于水平面； S2.3如果需調(diào)整的圖像是夜景類別圖像，進(jìn)行去模糊處理； S2.4如果需調(diào)整的圖像是其它類別圖像，通過(guò)修改圖像構(gòu)圖優(yōu)化圖像美學(xué)質(zhì)量： S2.4.1采用基于圖像的顯著度的圖像主題區(qū)域檢測(cè)方法，提取圖像主題區(qū)域； S2.4.2根據(jù)主題區(qū)域裁剪子圖像； S2.4.3使用圖像美學(xué)評(píng)分系統(tǒng)計(jì)算子圖像的美學(xué)評(píng)分； S2.4.4選擇美學(xué)評(píng)分最高的子圖像并保存，最高評(píng)分的子圖像是構(gòu)圖優(yōu)化的結(jié)果。2. 根據(jù)權(quán)利要求1所述的基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，其特征在于，步驟S2.1所 述采用雙邊濾波器對(duì)人臉區(qū)域進(jìn)行膚色濾波，具體為： 對(duì)像素 X，高斯濾波響應(yīng)Bx如下：其中，σ是高斯卷積核參數(shù)，S是領(lǐng)域關(guān)系，q是領(lǐng)域內(nèi)的所有像素點(diǎn)，p是當(dāng)前濾波的像 素點(diǎn)，y是像素點(diǎn)X的鄰域S中的像素點(diǎn)，Wp是歸一化因子，Ix、Iy分別是像素點(diǎn)X和y的像素值， Gs是傳統(tǒng)的高斯加權(quán)因子，Gr是像素相似度因子。3. 根據(jù)權(quán)利要求1或2所述的基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，其特征在于，步驟 S2.1中采用雙邊濾波器對(duì)人臉區(qū)域進(jìn)行膚色濾波之前，進(jìn)行以下步驟： 首先利用OpenCV自帶的人臉檢測(cè)模塊，對(duì)于人臉類別圖像進(jìn)行人臉檢測(cè)；檢測(cè)到人臉 區(qū)域后，計(jì)算人臉區(qū)域大小占整個(gè)人臉類別圖像大小的比例，如果超過(guò)設(shè)定的比例閾值，則 進(jìn)行膚色濾波，否則，不做任何處理。4. 根據(jù)權(quán)利要求1所述的基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，其特征在于，步驟S2.2.3 所述以步驟S2.2.2得到的最長(zhǎng)的直線為基準(zhǔn)，旋轉(zhuǎn)圖像，使圖像中的建筑垂直于水平面，具 體為： 使用仿射變換中旋轉(zhuǎn)變換形式旋轉(zhuǎn)圖像，其數(shù)學(xué)表達(dá)為：其中M是旋轉(zhuǎn)矩陣，（X'，Y'）為旋轉(zhuǎn)后的需調(diào)整的圖像坐標(biāo)，（X，Y)為未經(jīng)旋轉(zhuǎn)的需調(diào)整 的圖像坐標(biāo)，Θ為旋轉(zhuǎn)的角度。5. 根據(jù)權(quán)利要求1所述的基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，其特征在于，步驟S2.3所 述去模糊處理，具體為： 基于需調(diào)整的圖像做分析，構(gòu)造出真實(shí)圖像與需調(diào)整的圖像之間的模糊核函數(shù)； 假設(shè)真實(shí)圖像f(x，y)經(jīng)過(guò)模糊核K的作用后，加入隨機(jī)噪聲n(x，y)后輸出模糊圖像g (x，y)，數(shù)學(xué)模型描述為：6. 根據(jù)權(quán)利要求1所述的基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，其特征在于，步驟S2.4.2 所述根據(jù)主題區(qū)域裁剪子圖像，具體為：以大于等于75%的比例裁剪圖像。7. 根據(jù)權(quán)利要求1所述的基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，其特征在于，步驟S2.4.1 所述基于圖像的顯著度的圖像主題區(qū)域檢測(cè)方法，具體為:采用圖切分圖像分割方法將圖 像分割成N個(gè)區(qū)域，統(tǒng)計(jì)整個(gè)圖像和每個(gè)分割后區(qū)域的直方圖信息;計(jì)算各個(gè)分割區(qū)域直方 圖和整體圖像直方圖的卡方距離，選取P個(gè)距離最大的區(qū)域作為圖像的主題區(qū)域;N為正整 數(shù);P為正整數(shù)。8. 根據(jù)權(quán)利要求1所述的基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，其特征在于，步驟S2.4.1 所述圖像美學(xué)評(píng)分系統(tǒng)的實(shí)現(xiàn)過(guò)程為： 選用圖像美學(xué)評(píng)分AVA數(shù)據(jù)庫(kù)，利用LibSVM自回歸模型進(jìn)行訓(xùn)練后得到擬合模型，采用 模型對(duì)輸入的圖像自動(dòng)擬合，輸出圖像美學(xué)分值。
【專利摘要】本發(fā)明公開了一種基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，跟據(jù)預(yù)先訓(xùn)練好的類別分類器，對(duì)需調(diào)整的圖像進(jìn)行四大類別的圖像分類，分別是人臉類別圖像，建筑類別圖像，夜景類別圖像和其它類別圖像。針對(duì)四大類別圖像，分別對(duì)其進(jìn)行相應(yīng)的圖像美學(xué)質(zhì)量提升。人臉類別圖像采用雙邊濾波的人臉磨皮處理；建筑類別圖像采用調(diào)整水平和垂直平面的方法處理；夜景類別圖像采用去除動(dòng)態(tài)模糊處理；其它類別圖像通過(guò)圖像裁剪來(lái)調(diào)整圖像構(gòu)圖處理。本發(fā)明在圖像美學(xué)質(zhì)量提升上會(huì)根據(jù)圖像內(nèi)容進(jìn)行自適應(yīng)調(diào)節(jié)，并且算法實(shí)現(xiàn)簡(jiǎn)單，易適配于運(yùn)算能力弱的移動(dòng)終端上實(shí)現(xiàn)。
【IPC分類】G06T3/00, G06T3/60
【公開號(hào)】CN105528757
【申請(qǐng)?zhí)枴緾N201510898145
【發(fā)明人】郭禮華
【申請(qǐng)人】華南理工大學(xué)
【公開日】2016年4月27日
【申請(qǐng)日】2015年12月8日