一種基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及人工智能技術(shù)領(lǐng)域，特別設(shè)及一種基于內(nèi)容的圖像美學(xué)質(zhì)量提升方 法。
【背景技術(shù)】
[0002] 目前，在圖像質(zhì)量評價方面，有大量的發(fā)明專利公開，可是在圖像質(zhì)量提高方面， 只有個別的發(fā)明專利公開。其中專利申請CN104427347A，提出了一種網(wǎng)絡(luò)攝像機視頻監(jiān)控 系統(tǒng)圖像質(zhì)量提高方法，設(shè)及一種網(wǎng)絡(luò)攝像機視頻監(jiān)控系統(tǒng)圖像質(zhì)量提高方法，其特點是： 獲取基于EBMA準(zhǔn)則的最小匹配代價，將最小匹配代價與代價闊值進行比對，獲取最佳候選 運動矢量，根據(jù)得到的最佳候選運動矢量對丟失圖像進行質(zhì)量提高。由此，實現(xiàn)了多分塊模 式加權(quán)的時域錯誤隱藏數(shù)據(jù)處理。同時，簡單高效，能夠有效對運動矢量，極大提升畫面質(zhì) 量，尤其是提高網(wǎng)絡(luò)攝像機視頻監(jiān)控系統(tǒng)中終端的視頻圖像。專利申請CNl 757055，提出一 種有源矩陣陣列器件，具有有源矩陣陣列器件的電子設(shè)備和用于運種電子設(shè)備的圖像質(zhì)量 提高方法，利用硬件設(shè)計的方法，在在其充電周期的一部分期間過激勵被尋址矩陣陣列單 元。運樣，降低了對應(yīng)的電荷存儲單元和/和對應(yīng)的輸出單元的充電時間，從而最終達到提 高圖像感光質(zhì)量的提升。運些專利都未設(shè)及如何提升圖像質(zhì)量，尤其是圖像感觀美學(xué)質(zhì)量。

【發(fā)明內(nèi)容】

[0003] 為了克服現(xiàn)有技術(shù)的上述缺點與不足，本發(fā)明的目的在于一種基于內(nèi)容的圖像美 學(xué)質(zhì)量提升方法，簡單易實現(xiàn)，對于運算要求偏低。
[0004] 本發(fā)明的目的通過W下技術(shù)方案實現(xiàn)：
[0005] -種基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，包括W下步驟：
[0006] Sl圖像內(nèi)容感知識別
[0007] SI. 1收集四大類別的圖像照片，分別是人臉、建筑、夜景和其它類別的圖像，并將 圖像組成訓(xùn)練集;所述其它類別的圖像為除人臉、建筑、夜景W外的圖像；
[000引SI. 2提取訓(xùn)練集中每張圖像的SIFT特征，送入多類的SVM支持矢量機進行訓(xùn)練，得 到四大類別圖像的分界面模型；
[0009] SI.3將需調(diào)整的圖像送入SI.2步驟所得的四大類別圖像的分界面模型，得到其對 應(yīng)的類別輸出：
[0010] S2根據(jù)需調(diào)整的圖像類別來進行圖像質(zhì)量調(diào)整：
[0011] S2.1如果需調(diào)整的圖像是人臉類別圖像，對人臉區(qū)域采用雙邊濾波器進行膚色濾 波；
[0012] S2.2如果需調(diào)整的圖像是建筑類別圖像，圖像質(zhì)量調(diào)整過程如下：
[OOU] S2.2.1進行Canny邊緣檢測，得到圖像邊緣的二分圖；
[0014] S2.2.2進行霍夫變換的直線檢測，檢測出需調(diào)整的圖像中所有的直線，計算最長 的直線與水平方向的夾角0;
[0015] S2.2.3對需調(diào)整的圖像進行幾何變換：W步驟S2.2.2得到的最長的直線為基準(zhǔn)， 旋轉(zhuǎn)圖像，使圖像中的建筑垂直于水平面；
[0016] S2.3如果需調(diào)整的圖像是夜景類別圖像，進行去模糊處理；
[0017] S2.4如果需調(diào)整的圖像是其它類別圖像，通過修改圖像構(gòu)圖優(yōu)化圖像美學(xué)質(zhì)量：
[0018] S2.4.1采用基于圖像的顯著度的圖像主題區(qū)域檢測方法，提取圖像主題區(qū)域；
[0019] S2.4.2根據(jù)主題區(qū)域裁剪子圖像；
[0020] S2.4.3使用圖像美學(xué)評分系統(tǒng)計算子圖像的美學(xué)評分；
[0021] S2.4.4選擇美學(xué)評分最高的子圖像并保存，最高評分的子圖像是構(gòu)圖優(yōu)化的結(jié) 果。
[0022] 步驟S2.1所述采用雙邊濾波器對人臉區(qū)域進行膚色濾波，具體為：
[0023] 對像素 X，高斯濾波響應(yīng)Bx如下：
[0028] 其中，O是高斯卷積核參數(shù)，S是領(lǐng)域關(guān)系，q是領(lǐng)域內(nèi)的所有像素點，P是當(dāng)前濾波 的像素點，y是像素點X的鄰域S中的像素點，Wp是歸一化因子，Ix Jy分別是像素點X和y的像 素值，Gs是傳統(tǒng)的高斯加權(quán)因子，Gr是像素相似度因子。
[0029] 步驟S2.1中采用雙邊濾波器對人臉區(qū)域進行膚色濾波之前，進行W下步驟：
[0030] 首先利用化enCV自帶的人臉檢測模塊，對于人臉類別圖像進行人臉檢測；檢測到 人臉區(qū)域后，計算人臉區(qū)域大小占整個人臉類別圖像大小的比例，如果超過設(shè)定的比例闊 值，則進行膚色濾波，否則，不做任何處理。
[0031] 步驟S2.2.3所述W步驟S2.2.2得到的最長的直線為基準(zhǔn)，旋轉(zhuǎn)圖像，使圖像中的 建筑垂直于水平面，具體為：
[0032] 使用仿射變換中旋轉(zhuǎn)變換形式旋轉(zhuǎn)圖像，其數(shù)學(xué)表達為：
[0033] =M* UJ UJ COS 6^ sin 臺
[0034] M = --Sm 白 COSd^
[0035] 其中M是旋轉(zhuǎn)矩陣，（X'，Y'）為旋轉(zhuǎn)后的需調(diào)整的圖像坐標(biāo)，（X，Y)為未經(jīng)旋轉(zhuǎn)的需 調(diào)整的圖像坐標(biāo)，0為旋轉(zhuǎn)的角度。
[0036] 步驟S2.3所述去模糊處理，具體為：
[0037] 基于需調(diào)整的圖像做分析，構(gòu)造出真實圖像與需調(diào)整的圖像之間的模糊核函數(shù)；
[0038] 假設(shè)真實圖像f(x，y)經(jīng)過模糊核K的作用后，加入隨機噪聲n(x，y)后輸出模糊圖 像g(x，y)，數(shù)學(xué)模型描述為：
[0039] 占'(.、-〇.) =欠這)/(.、'-，1'）十C
[0040] 步驟S2.4.2所述根據(jù)主題區(qū)域裁剪子圖像，具體為：W大于等于75%的比例裁剪 圖像。
[0041] 步驟S2.4.1所述基于圖像的顯著度的圖像主題區(qū)域檢測方法，具體為：采用圖切 分圖像分割方法將圖像分割成N個區(qū)域，統(tǒng)計整個圖像和每個分割后區(qū)域的直方圖信息;計 算各個分割區(qū)域直方圖和整體圖像直方圖的卡方距離，選取P個距離最大的區(qū)域作為圖像 的主題區(qū)域;N為正整數(shù);P為正整數(shù)。
[0042] 步驟S2.4.1所述圖像美學(xué)評分系統(tǒng)的實現(xiàn)過程為：
[0043] 選用圖像美學(xué)評分AVA數(shù)據(jù)庫，利用LibSVM自回歸模型進行訓(xùn)練后得到擬合模型， 采用模型對輸入的圖像自動擬合，輸出圖像美學(xué)分值。
[0044] 與現(xiàn)有技術(shù)相比，本發(fā)明具有W下優(yōu)點和有益效果：
[0045] (1)本發(fā)明的圖像美學(xué)質(zhì)量簡單易實現(xiàn)，對于運算要求偏低，所W可W很好地移植 到手機等移動終端上。
[0046] (2)本發(fā)明針對不同類型的圖像內(nèi)容采用有針對性的圖像質(zhì)量提升方法，在人臉 類圖像采用磨皮處理，在建筑類圖像中采用水平和垂直線調(diào)整，在夜景圖像中采用去動態(tài) 模糊處理，在其它類圖像中通過調(diào)整圖像構(gòu)圖處理。
[0047] (3)本發(fā)明的圖像內(nèi)容感知是自動識別和處理的，通過學(xué)習(xí)四大類別圖像的特征， 并找尋四大類別的最大分類平面，從而自動判別當(dāng)前圖像所屬類別。
【附圖說明】
[004引圖1為本發(fā)明的實施例的圖像內(nèi)容感知識別的流程圖、
[0049] 圖2為本發(fā)明的實施例的針對人臉類別圖像的美學(xué)質(zhì)量提升方法的流程圖。
[0050] 圖3為本發(fā)明的針對其它類別圖像的美學(xué)質(zhì)量提升方法的流程圖。
【具體實施方式】
[0051] 下面結(jié)合實施例，對本發(fā)明作進一步地詳細說明，但本發(fā)明的實施方式不限于此。 [0化2] 實施例
[0053] 本實施例的基于內(nèi)容的圖像美學(xué)質(zhì)量提升方法，包括W下步驟：
[0054] Sl圖像內(nèi)容感知識別，過程如圖1所示：
[0055] SI. 1從互聯(lián)網(wǎng)上收集四大類別的圖像照片，分別是人臉、建筑、夜景和其它類別的 圖像，每個類別都有1萬張圖像，并將圖像組成訓(xùn)練集;所述其它類別的圖像為除人臉、建 筑、夜景W外的圖像；
[0056] SI.2提取訓(xùn)練集中每張圖像的SIFT特征（Scale-invariant fea1:ure transform， 尺度不變特征轉(zhuǎn)換），送入多類的SVM(Suppod Vector Machine)支持矢量機進行訓(xùn)練，得 到四大類別圖像的分界面模型；
[0057] SI.3將需調(diào)整的圖像送入SI.2步驟所得的四大類別圖像的分界面模型，得到其對 應(yīng)的類別輸出：
[005引S2根據(jù)需調(diào)整的圖像類別來進行圖像質(zhì)量調(diào)整
[0059] S2.1如果需調(diào)整的圖像是人臉類別圖像，根據(jù)人臉區(qū)域大小，決定是否采用雙邊 濾波器進行膚色濾波，過程如圖2所示：
[0060] 首先利用化enCV自帶的人臉檢測模塊，對于人臉類別圖像進行人臉檢測。檢測到 人臉區(qū)域后，計算當(dāng)前人臉區(qū)域大小占整個圖像大小的比例，如果人臉區(qū)域大小在整個圖 像的占比超過比例U(本發(fā)明比例選擇為50%)，則進行磨皮處理，否則，人臉圖像將不做任 何處理。本實施例所述的磨皮為采用雙邊濾波器進行膚色濾波，使面部區(qū)域光滑，與經(jīng)典的 高斯濾波類似，雙邊濾波也是濾波窗口內(nèi)像素點的鄰近加權(quán)平均，但雙邊濾波考慮了鄰近 像素間的差異。
[0061] 對像素 X，高斯濾波響應(yīng)Bx如下：
[0066] 其中，O是高斯卷積核參數(shù)，S是領(lǐng)域關(guān)系，q是領(lǐng)域內(nèi)的所有像素點，P是當(dāng)前濾波 的像素點，y是像素點X的鄰域S中的像素點，Wp是歸一化因子，Ix Jy分別是像素點X和y的像 素值，Gs是傳統(tǒng)的高斯加權(quán)因子，Gr是像素相似度因子;在鄰域像素點與中屯、像素點相近時， 像素相似度因子趨近于1，而在灰度相似度差異較大的情況下趨近于0。在圖像平緩的區(qū)域 內(nèi)，鄰域內(nèi)像素點的像素值相似，雙邊濾波器相當(dāng)于低通濾波器，它計算鄰域內(nèi)加權(quán)平均消