專利名稱：基于視頻分層的繪畫渲染方法
技術(shù)領(lǐng)域：
本發(fā)明是涉及一種基于視頻分層的繪畫渲染方法，具體涉及一種基于勾畫的視頻 分層以及風(fēng)格化繪畫渲染方法。
背景技術(shù)：
隨著計算機技術(shù)的發(fā)展，多媒體以及數(shù)字娛樂受到大眾越來越多的青睞，而計算 機風(fēng)格化渲染技術(shù)也逐漸成為研究熱點。視頻作為一種常見的多媒體形式，具有信息量大、 表現(xiàn)力強等優(yōu)點，因此視頻的風(fēng)格化渲染受到廣泛的重視。單幅圖像的風(fēng)格化繪畫渲染已 經(jīng)有了成熟的方法，但如果簡單的采用單幅圖像的渲染方法去繪制視頻的每一幀，會造成 嚴重的視覺閃爍。因此，如何減少視頻閃爍，提高幀間連續(xù)性是視頻風(fēng)格化繪制的關(guān)鍵。基 于視頻分層的風(fēng)格化繪制方法有效的解決了視頻閃爍的問題，它通過在視頻不同的分層上 布置筆刷進行繪制，從而取得一致的渲染效果，有效的增加了幀間連續(xù)性。傳統(tǒng)的計算機視覺中的分層技術(shù)對于視頻場景中的運動模型有嚴格的約束限制， 通常處理簡單的如仿射、投影等運動，而對于日常生活中的復(fù)雜的運動缺乏有效的處理，而 基于勾畫的分層方法不受具體運動的影響，能夠處理更多類型的視頻。傳統(tǒng)的視頻風(fēng)格化繪制通常直接在每一幀上布置筆刷，缺少筆刷的連續(xù)過度，從 而產(chǎn)生嚴重的視覺閃爍?；谝曨l分層的繪制方法，則是將筆刷在分層上根據(jù)其相應(yīng)的運 動進行布置，使得筆刷參數(shù)能夠適應(yīng)于視頻場景內(nèi)物體的運動變換，生成一致的繪制效果， 減少視頻閃爍。傳統(tǒng)的計算機視覺領(lǐng)域的視頻分層對于運動模型有嚴格的約束，因此不太適合一 般的風(fēng)格化繪制處理的視頻。為了處理更多的視頻，需要對運動約束進行必要的放寬，而這 通常需要添加額外的一些用戶交互指導(dǎo)分層。傳統(tǒng)的視頻風(fēng)格化繪制往往直接在每一幀上布置筆刷，使得相鄰幀之間缺乏必要 的過渡。這樣在不同幀繪制視頻場景中的同一物體時可能使用不同的筆刷參數(shù)，造成視覺 上的強烈變化，引起視頻閃爍。另外，傳統(tǒng)的視頻繪制在同一幀上使用統(tǒng)一的筆刷模型參 數(shù)，缺乏針對內(nèi)容的筆刷變化。為了藝術(shù)性的繪制視頻場景，應(yīng)該根據(jù)視頻場景包含的具體 內(nèi)容進行筆刷布置，進行多風(fēng)格的繪制渲染。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種適合于風(fēng)格化繪制的基于視頻分層的繪畫渲染方法， 并且在獲取準確的分層后，能夠在不同的分層上傳播筆刷參數(shù)、布置相應(yīng)的筆刷進行繪制， 生成幀間連續(xù)性更優(yōu)的風(fēng)格化繪畫渲染視頻。為達到上述目的，本發(fā)明采用的技術(shù)方案是1)根據(jù)輸入的視頻選取關(guān)鍵幀，用戶交互的在關(guān)鍵幀的不同區(qū)域進行勾畫，并指 定視頻場景的層數(shù)以及各個分層上的種子區(qū)域；2)利用基于勾畫的分層方法，借助光流將關(guān)鍵幀上的種子區(qū)域依次傳播到其余各幀，采用高斯混合模型對傳播的種子區(qū)域進行可靠性分析，保留可靠性高的區(qū)域作為該幀 用來視頻分層的種子區(qū)域；3)根據(jù)各幀上獲得的種子區(qū)域，利用圖割優(yōu)化方法對每一幀進行分層，進而在各 幀之間得到一致的分層區(qū)域及位于前景層的筆刷布置；4)在獲得關(guān)鍵幀上位于前景層的筆刷布置后，根據(jù)相鄰幀對應(yīng)層的薄板樣條變換 進行傳遞，生成所有視頻序列的前景的渲染結(jié)果；5)將背景層通過變換拼接為全景圖，在全景圖上進行筆刷布置并繪制全景圖，然 后利用逆變換反求每一幀背景層的渲染結(jié)果；6)在每一幀上依次將繪制的背景層和前景層進行融合，得到整個視頻的風(fēng)格化繪 畫渲染結(jié)果。其具體步驟如下步驟1 根據(jù)給定輸入的視頻，選取視頻序列中包含視頻場景中的顏色以及出現(xiàn) 的物體最多的做為關(guān)鍵幀，如果視頻序列太長，則將視頻序列分解為幾個片段，每一個片段 選取各自的關(guān)鍵幀；步驟2 在關(guān)鍵幀上采用勾畫方式指定分層的種子區(qū)域根據(jù)關(guān)鍵幀包含物體的 顏色、運動信息，在關(guān)鍵幀相對應(yīng)的區(qū)域進行勾畫，通過勾畫的不同的灰度值指定分層索
引，從而獲得關(guān)鍵幀上分層的種子區(qū)域 《1.
9對于灰度值為c的勾畫，其覆蓋區(qū)域作為c/40分層的種子區(qū)域，對于每一個勾畫， 利用高斯混合模型分別計算各個區(qū)域的顏色分布
MPr(c|/) = ^^|7W)
；=1其中P(j)是對應(yīng)于每個分枝的權(quán)因子，取為1/3，p(c|j)是高斯混合模型中每個 分枝的概率
,丨.、1J-(i-Mj)T^l(i-Mj)P(C\J) = ^-T^P2
2水I2ξ是RGB三個通道的顏色值，μ是每個勾畫的顏色均值，Σ是協(xié)方差矩陣，π是
圓周率常值；步驟3 采用對偶基方法計算相鄰兩幀之間的光流場對于每一幀上的每個像素 Pi，對應(yīng)一個光流向量Vi.對于帶有噪音的視頻，在得到光流場后，采用高斯濾波對光流場 進行光順處理，獲得更加穩(wěn)定的光流場；步驟4 在視頻序列之間傳播勾畫對于每一個勾畫，計算一組窗口 {WJ將勾畫的 邊界覆蓋，同時使得相鄰的窗口彼此相互覆蓋，對每個窗口 Wi計算其內(nèi)部的平均光流向量 Vx，做為該點處勾畫位移向量，那么在下一幀，勾畫將傳播至X +巧處；步驟5 計算傳播過程中種子區(qū)域的可信度對于每個勾畫&中每個像素i，其可 信度定義為RGB顏色相對于前一陣對應(yīng)勾畫的分布概率，即Pr (i)，如果Pr (i)小于0. 2，認 為該像素可信度比較低，不再適合做該層的種子，利用可信度對勾畫進行修正，通過優(yōu)化下 面的能量函數(shù)進行操作[式1]
6
E(I) = YjRi(Ii)^ Σ V-(IpJq)
i<p,q>GN其中λ是權(quán)因子，控制可信區(qū)域的大小，取值為0. 3 ；Ri (Ii)是高斯混合模型定義 的顏色概率，具體定義為Ri(Ii) = -In(Pr(Ci)Ii))prC I =盧巧)h ξ Mj)
噸I2V<p,q>高斯是定義相鄰像素的光滑性，使得勾畫仍然能夠保持相對的緊湊完整性V<P,q>Qp Jq)= 1 + |c _c J \lp ~lqI其中C是像素的顏色，Ip是像素所在的層數(shù)，式[1]采用圖割算法進行有效優(yōu)化求 解，將可信度低于30%的區(qū)域的勾畫一分為二，保留可信度高的部分區(qū)域做為該分層上的 種子區(qū)域，進而得到滿足分層要求的種子區(qū)域；步驟6 對每一幀上根據(jù)勾畫的種子區(qū)域進行分層分層的結(jié)果是將每一幀分割 為互不相交的平面區(qū)域，每一塊平面區(qū)域具有和種子區(qū)域相近的顏色、運動，這里顏色的相 近性采用式[1]中高斯混合模型定義的顏色概率描述，運動的相似性則采用位移后對應(yīng)像 素的顏色差異來描述，具體的運動差異定義為
M!(/!) = arctan(|/i(/)-/i+1(/')|2
其中τ是常值取值60，了增加相鄰兩幀分層的一致性，定義如下的時間一致性能
1,2 \ π -r + — ‘2
量
fl, I1 ^ /, 警0，其它
綜合考慮以上因素，在每一幀上計算分層通過優(yōu)化如下能量函數(shù)得到 [式2]
i<p,q>GN
其中權(quán)因子λ取值0.3，數(shù)衡量了將每個像素賦予某一層時的能量，通過極小化 該能量函數(shù)可以得到分層的視頻，將視頻的每一幀依次表示為不同分層區(qū)域的組合；步驟7 對于視頻的前景層，首先在關(guān)鍵幀的每一個前景層上采用各向異性的模 型布置筆刷，進而生成風(fēng)格化繪制的前景層；步驟8 為了使得繪制視頻各幀的每個分層時盡可能一致的布置筆刷，將關(guān)鍵幀 上的筆刷逐幀的傳播到其余各幀。為了盡可能光滑的傳遞筆刷，采用薄板樣條函數(shù)定義的 如下變換來進行筆刷的傳遞[式3]T(x, y) = (f^x, y), f2(x, y))f(x,y) = c0+clx + c2y + Yjwi'￥{\\(x,y)-(xt ,只)11)
!=1
其中Ψ(1·) =r2logr2是核函數(shù)，薄板樣條系數(shù)可以通過求解下面的線性方程組得
其中Kij = Ψ ( Il (xi; Yi)-(Xj, Yj) Il )，Pt 的第 i 列為(1，Xi, Yi)T, pk+1 是該幀上對 應(yīng)特征點。通過前景層的筆刷傳播，可以生成視頻序列所有前景的風(fēng)格化繪制；步驟9 將視頻序列所有的背景層在同一個坐標系下拼接成一個全景圖為了得 到精確的全景圖重構(gòu)，需要計算視頻序列各幀之間位于每個分層上的對應(yīng)特征點，假設(shè)位 于第k幀1層上的特征點為{乂}，與之對應(yīng)的第k+Ι幀上的特征點為{乂+1}，那么尋找最優(yōu)的 變換Hk使得變換后的特征點誤差最小，從而得到精確的全景圖重構(gòu)，變換Hk通過下面優(yōu)化 函數(shù)求解 在對于每一幀的背景層求解得變換后，可以將所有的背景層在同一個坐標系下拼 接生成全景圖；步驟10 對于拼接得到的背景層的全景圖，采用各向異性的模型布置筆刷，進而 生成風(fēng)格化繪制的背景層，然后，利用拼接變換的逆變換^^—1，將風(fēng)格化繪制后的全景圖中 相應(yīng)的部分映射回每一幀，從而得到每一幀上具有繪畫風(fēng)格的背景；步驟11 對于視頻序列中的每一幀，按照從后往前的順序?qū)⒗L制后的各個分層融 合起來，生成最終的風(fēng)格化繪制的視頻序列，即
這里P對應(yīng)第i幀第r分層，< 是融合系數(shù)，根據(jù)各個分層相應(yīng)的面積比例計算。本發(fā)明針對現(xiàn)有技術(shù)中所存在的問題首先從視頻的運動模型出發(fā)提出一種基于 勾畫的視頻分層方法；然后提出了針對不同分層的筆刷布置方法；最后在繪制時，本發(fā)明 提出一種不同分層之間的融合方法，從而能夠生成更加連續(xù)的繪畫風(fēng)格化視頻序列。該方 法首先根據(jù)頻場景中包含的運動模型，將關(guān)鍵幀采用勾畫指定的一些種子區(qū)域在各幀之間 進行傳播。然后根據(jù)前一幀的種子區(qū)域顏色分布計算下一幀上勾畫種子區(qū)域的可靠性，獲 得更加準確的種子區(qū)域。利用圖割優(yōu)化算法(Boykov Y，Veksler 0，Zabih R(2001)Fast approximate energy minimization via graph cuts. IEEE Transactions on Pattern Analysis and Machine Intelligence 2001, pp 509-522.)對每一幀進行分層，獲得視頻 序列的分層表示，將視頻表示成一個背景層的全景圖以及若干前景層。最后分別在背景層 的全景圖以及前景層上布置筆刷進行繪制渲染，通過圖像融合將渲染后的各個分層混合生 成最終的具有繪畫風(fēng)格的視頻。


圖1是本發(fā)明基于視頻分層的繪畫渲染算法的流程圖；圖2是顯示勾畫在每一幀的傳播方式；圖3是每一幀上勾畫可信度的計算以及采用可信度高的區(qū)域做為種子區(qū)域的分
層結(jié)果；圖4顯示基于勾畫的視頻分層結(jié)果。圖5顯示采用本發(fā)明創(chuàng)作出的風(fēng)格化繪制視頻的若干幀。C
具體實施例方式
下面將根據(jù)附圖對本發(fā)明進行詳細說明。圖1是本發(fā)明的流程圖。如圖一所示，本發(fā)明主要分為12個步驟步驟1 給定輸入的視頻，選取視頻序列中某一幀做為關(guān)鍵幀。該幀需要盡可能多 的包含視頻場景中的顏色以及出現(xiàn)的物體。如果視頻序列太長，需要將視頻序列分解為幾 個片段，每一個片段選取各自的關(guān)鍵幀。步驟2 在關(guān)鍵幀上采用勾畫方式指定分層的種子區(qū)域。根據(jù)關(guān)鍵幀包含物體的 顏色、運動等信息，在相應(yīng)的區(qū)域進行勾畫，通過勾畫的不同的灰度值指定分層索引，從而
獲得關(guān)鍵幀上分層的種子區(qū)域；對于灰度值為c的勾畫，其覆蓋區(qū)域作為c/40分層的種子區(qū)域，對于每一個勾畫， 利用高斯混合模型分別計算各個區(qū)域的顏色分布
M 其中P(j)是對應(yīng)于每個分枝的權(quán)因子，取為1/3，p(c|j)是高斯混合模型中每個 分枝的概率
,丨.、1-Ui-Mjf Σ (ξ-Mj) ξ是RGB三個通道的顏色值，μ是每個勾畫的顏色均值，Σ是協(xié)方差矩陣，π是
圓周率常值；步驟3 采用對偶基方法(Zach C, Pock T, Bischof H(2007)A dual based approach for realtime TV-Ll optical flow. Proceedings of the 29th DAGMSymposium on Pattern Recognition 2007.)計算相鄰兩幀之間的光流場。對于每一幀上的每個像素 Pi，對應(yīng)一個光流向量Vi.對于帶有噪音的視頻，在得到光流場后，采用高斯濾波對光流場 進行光順處理，獲得更加穩(wěn)定的光流場。步驟4 在視頻序列之間傳播勾畫。對于每一個勾畫，計算一組窗口 {WJ將勾畫的 邊界覆蓋，同時使得相鄰的窗口彼此相互覆蓋(如圖2所示)。對每個窗口 Wi計算其內(nèi)部 的平均光流向量巧，做為該點處勾畫位移向量，那么在下一幀，勾畫將傳播至x + l處。步驟5 計算傳播過程中種子區(qū)域的可信度。由于光流計算有時候不穩(wěn)定，簡單的 將傳播過來的勾畫做為種子區(qū)域會產(chǎn)生錯誤的分層結(jié)果，如圖3所示。因此，在對勾畫傳播 后，應(yīng)該對其在該幀上的可信度進行評估，保留可信度高的區(qū)域做為種子區(qū)域分層。對于每個勾畫《中每個像素i，其可信度定義為RGB顏色相對于前一陣對應(yīng)勾畫 的分布概率，即Pr(i)。如果Pr(i)小于0.2，認為該像素可信度比較低，不再適合做該層的 種子。利用可信度對勾畫進行修正，可以通過優(yōu)化下面的能量函數(shù)進行操作[式1] 其中λ是權(quán)因子，控制可信區(qū)域的大小，取值為0. 3 ；Ri (Ii)是高斯混合模型定義的顏色概率，具體定義為Ri(Ii) = -In(Pr(Ci)Ii))prC I=盧巧)、μ >
噸I2V<p,q>高斯是定義相鄰像素的光滑性，使得勾畫仍然能夠保持相對的緊湊完整性V<P,q>(lp Jq) = 1 + |c _c J \lp ~hI其中C是像素的顏色，15是像素所在的層數(shù)，式[1]可以采用圖割算法GBoykov Y， Veksler 0， Zabih R(2001)Fast approximate energy minimization via graph cuts. IEEE Transactions on Pattern Analysis and Machine Intelligence 2001，pp 509-522.)進行有效優(yōu)化求解，將可信度低于30%的區(qū)域的勾畫一分為二，保留可信度高 (大于70% )的部分區(qū)域做為該分層上的種子區(qū)域，進而得到滿足分層要求的種子區(qū)域 (如圖3所示)。步驟6 對每一幀上根據(jù)勾畫的種子區(qū)域進行分層。分層的結(jié)果是將每一幀分割 為互不相交的平面區(qū)域，每一塊平面區(qū)域具有和種子區(qū)域相近的顏色、運動等。這里顏色的 相近性采用式[1]中高斯混合模型定義的顏色概率描述，運動的相似性則采用位移后對應(yīng) 像素的顏色差異來描述，具體的運動差異可以定義為
M!(/!) = arctan(|/i(/)-/i+1(/')|2-
\ π r + — ‘2
其中τ是常值，在本方法中取值60。為了增加相鄰兩幀分層的一致性，定義如下 項文性能量
的時間-綜合考慮以上因素，在每一幀上計算分層可以通過優(yōu)化如下能量函數(shù)得到[式2]E{1) = YXR從)+Μ從)+ T1(I1)) + λ Σ V<M>{lp,lq)
i<p,q>GN其中權(quán)因子λ取值0.3。該函數(shù)衡量了將每個像素賦予某一層時的能量，通過極 小化該能量函數(shù)可以得到分層的視頻，將視頻的每一幀依次表示為不同分層區(qū)域的組合。 通常這些分層包含一個背景層和若干前景物體層背景層上包含的運動主要是攝像機的平 移、選擇等產(chǎn)生的，其運動模型相對簡單；前景物體層的運動則比較復(fù)雜。圖4顯示了對于 某一視頻序列分層的結(jié)果，其中不同灰度值區(qū)域代表不同的分層。步驟7 對于視頻的前景層，首先在關(guān)鍵幀的每一個前景層上采用各向異性的模 型(Huang H, Fu T N, Li C F(2010)Anisotropic brush for painterly rendering. In Computer Graphics International 2010.)布置筆刷，進而生成風(fēng)格化繪制的前景層。步驟8 為了使得繪制視頻各幀的每個分層時盡可能一致的布置筆刷，將關(guān)鍵幀 上的筆刷逐幀的傳播到其余各幀。為了盡可能光滑的傳遞筆刷，采用薄板樣條函數(shù)定義的 如下變換來進行筆刷的傳遞
10
T(x, y) = (f^x, y), f2(x, y))
ηf (x, y) = C0+c}x + c2y+ YjWix^ (\\(x,y)~ (Xi^yi)W)
i=l
其中Ψ(1·) =r2logr2是核函數(shù)，薄板樣條系數(shù)可以通過求解下面的線性方程組得
_—_ _—_
5 6 9 9
δ到
(K PVw^
M | = | P
)?！?1」
P1 0
vcy
0其中Kij= Ψ (II (xi yi)-(xJ, Yj) 11)，^的第土列為(1，Xi，yi)T，，χ，y 是像素的 幾何坐標，pk+1是該幀上對應(yīng)特征點。通過前景層的筆刷傳播，可以生成視頻序列所有前景 的風(fēng)格化繪制。步驟9 將視頻序列所有的背景層在同一個坐標系下拼接成一個全景圖。為了得 到精確的全景圖重構(gòu)，需要計算視頻序列各幀之間位于每個分層上的對應(yīng)特征點。假設(shè)位 于第k幀1層上的特征點為{乂}，與之對應(yīng)的第k+Ι幀上的特征點為{乂+1}，那么尋找最優(yōu)的 變換Hk使得變換后的特征點誤差最小，從而得到精確的全景圖重構(gòu)。變換Hk通過下面優(yōu)化 函數(shù)求解Hk = arg min ^ \p" _ T. ρ\+λ『
τ 1在對于每一幀的背景層求解得變換后，可以將所有的背景層在同一個坐標系下拼 接生成全景圖。步驟10 對于拼接得到的背景層的全景圖，采用各向異性的模型(Huang H，F(xiàn)u T N，Li C F(2010)Anisotropic brush for painterly rendering. In :Computer Graphics International 2010.)布置筆刷，進而生成風(fēng)格化繪制的背景層。然后，利用拼接變換的逆 變換Ht1，將風(fēng)格化繪制后的全景圖中相應(yīng)的部分映射回每一幀，從而得到每一幀上具有繪 畫風(fēng)格的背景。步驟11 對于視頻序列中的每一幀，按照從后往前的順序?qū)⒗L制后的各個分層融 合起來，生成最終的風(fēng)格化繪制的視頻序列，即，這里V對應(yīng)第i幀第r分層，< 是融合系數(shù)，根據(jù)各個分層相應(yīng)的面積比例計算。圖5是風(fēng)格化繪制的視頻中的幾幀，顯示了采用視頻分層的風(fēng)格化繪制效果?？?以看出，本發(fā)明可以生成具有特定藝術(shù)效果的繪畫風(fēng)格的視頻。如上所述，本發(fā)明提出了一種基于視頻分層的繪畫渲染方法，它借助于計算機視 覺中的視頻分層，獲得視頻序列的層次表示，然后通過在各個分層上布置筆刷繪制，有效減 少視覺閃爍，提高幀間連續(xù)性，生成更具藝術(shù)效果的風(fēng)格化繪制視頻。盡管已經(jīng)參考附圖對本發(fā)明進行了解釋和描述，專業(yè)技術(shù)人員應(yīng)該理解，在不脫 離本發(fā)明精神和范圍的情況下，可以在其中或?qū)ζ溥M行各種其他改變，增刪。
權(quán)利要求
一種基于視頻分層的繪畫渲染方法，其特征在于包含以下步驟1)根據(jù)輸入的視頻選取關(guān)鍵幀，用戶交互的在關(guān)鍵幀的不同區(qū)域進行勾畫，并指定視頻場景的層數(shù)以及各個分層上的種子區(qū)域；2)利用基于勾畫的分層方法，借助光流將關(guān)鍵幀上的種子區(qū)域依次傳播到其余各幀，采用高斯混合模型對傳播的種子區(qū)域進行可靠性分析，保留可靠性高的區(qū)域作為該幀用來視頻分層的種子區(qū)域；3)根據(jù)各幀上獲得的種子區(qū)域，利用圖割優(yōu)化方法對每一幀進行分層，進而在各幀之間得到一致的分層區(qū)域及位于前景層的筆刷布置；4)在獲得關(guān)鍵幀上位于前景層的筆刷布置后，根據(jù)相鄰幀對應(yīng)層的薄板樣條變換進行傳遞，生成所有視頻序列的前景的渲染結(jié)果；5)將背景層通過變換拼接為全景圖，在全景圖上進行筆刷布置并繪制全景圖，然后利用逆變換反求每一幀背景層的渲染結(jié)果；6)在每一幀上依次將繪制的背景層和前景層進行融合，得到整個視頻的風(fēng)格化繪畫渲染結(jié)果。
2.如權(quán)利要求1所述的基于視頻分層的繪畫渲染方法，其具體步驟如下步驟1 根據(jù)給定輸入的視頻，選取視頻序列中包含視頻場景中的顏色以及出現(xiàn)的物 體最多的做為關(guān)鍵幀，如果視頻序列太長，則將視頻序列分解為幾個片段，每一個片段選取 各自的關(guān)鍵幀；步驟2 在關(guān)鍵幀上采用勾畫方式指定分層的種子區(qū)域根據(jù)關(guān)鍵幀包含物體的顏色、 運動信息，在關(guān)鍵幀相對應(yīng)的區(qū)域進行勾畫，通過勾畫的不同的灰度值指定分層索引，從而獲得關(guān)鍵幀上分層的種子區(qū)域 《1.9對于灰度值為c的勾畫，其覆蓋區(qū)域作為c/40分層的種子區(qū)域，對于每一個勾畫，利用 高斯混合模型分別計算各個區(qū)域的顏色分布MPr(c I/) = I 力戶⑴；=1其中p(j)是對應(yīng)于每個分枝的權(quán)因子，取為1/3，p(c|j)是高斯混合模型中每個分枝 的概率p(p I J) =-FexP2 疋ξ是RGB三個通道的顏色值，μ是每個勾畫的顏色均值，Σ是協(xié)方差矩陣，π是圓周率常值；步驟3 采用對偶基方法計算相鄰兩幀之間的光流場對于每一幀上的每個像素Pi，對 應(yīng)一個光流向量Vi.對于帶有噪音的視頻，在得到光流場后，采用高斯濾波對光流場進行光 順處理，獲得更加穩(wěn)定的光流場；步驟4:在視頻序列之間傳播勾畫對于每一個勾畫，計算一組窗口 {WJ將勾畫的邊界 覆蓋，同時使得相鄰的窗口彼此相互覆蓋，對每個窗口 Wi計算其內(nèi)部的平均光流向量巧，做 為該點處勾畫位移向量，那么在下一幀，勾畫將傳播至x + l處；步驟5 計算傳播過程中種子區(qū)域的可信度對于每個勾畫《中每個像素i，其可信度定義為RGB顏色相對于前一陣對應(yīng)勾畫的分布概率，即Pr (i)，如果Pr (i)小于0. 2，認為該 像素可信度比較低，不再適合做該層的種子，利用可信度對勾畫進行修正，通過優(yōu)化下面的 能量函數(shù)進行操作 [式1]E(I) = YjRXI1^X Σ KmMMi<p,q>GN其中λ是權(quán)因子，控制可信區(qū)域的大小，取值為0.3 Ai(Ii)是高斯混合模型定義的顏 色概率，具體定義為Ri(Ii) = -In (Pr (Gi I Ii))Pr(CJZi)= 1 iexp—^^啡喝)2HWv<p,q>高斯是定義相鄰像素的光滑性，使得勾畫仍然能夠保持相對的緊湊完整性其中c是像素的顏色，Ip是像素所在的層數(shù)，式[ι]采用圖割算法進行有效優(yōu)化求解， 將可信度低于30%的區(qū)域的勾畫一分為二，保留可信度高的部分區(qū)域做為該分層上的種子 區(qū)域，進而得到滿足分層要求的種子區(qū)域；步驟6 對每一幀上根據(jù)勾畫的種子區(qū)域進行分層分層的結(jié)果是將每一幀分割為互 不相交的平面區(qū)域，每一塊平面區(qū)域具有和種子區(qū)域相近的顏色、運動，這里顏色的相近性 采用式[1]中高斯混合模型定義的顏色概率描述，運動的相似性則采用位移后對應(yīng)像素的 顏色差異來描述，具體的運動差異定義為 M!(/!) = arctan(||/i(/)-/i+1(/')||2-r) + |其中τ是常值取值60，了增加相鄰兩幀分層的一致性，定義如下的時間一致性能量fl, I1 ^ Iv 其它綜合考慮以上因素，在每一幀上計算分層通過優(yōu)化如下能量函數(shù)得到 [式2]Ei^YXRXiyrMX^T從))+ λ ^ V<M>(lpJq)i<p,q>GN其中權(quán)因子λ取值0.3，數(shù)衡量了將每個像素賦予某一層時的能量，通過極小化該能 量函數(shù)可以得到分層的視頻，將視頻的每一幀依次表示為不同分層區(qū)域的組合；步驟7 對于視頻的前景層，首先在關(guān)鍵幀的每一個前景層上采用各向異性的模型布 置筆刷，進而生成風(fēng)格化繪制的前景層；步驟8 為了使得繪制視頻各幀的每個分層時盡可能一致的布置筆刷，將關(guān)鍵幀上的 筆刷逐幀的傳播到其余各幀。為了盡可能光滑的傳遞筆刷，采用薄板樣條函數(shù)定義的如下 變換來進行筆刷的傳遞 [式3]T(x,y) = (fi (x,y), f2(x,y))3f(x,y) = c0+clx + c2y + Y4Wix￥(\\(x,y)-(X1 ,只)11)i=l其中ψ (r) = r2logr2是核函數(shù)，薄板樣條系數(shù)可以通過求解下面的線性方程組得到(Kpk+l^,ojm O y其中 Kij = Ψ ( Il (xi; Yi) "(Xj, Yj) Il )，Pt 的第 i 列為(1，Xi, Yi)T, pk+1 是該幀上對應(yīng)特 征點。通過前景層的筆刷傳播，可以生成視頻序列所有前景的風(fēng)格化繪制；步驟9 將視頻序列所有的背景層在同一個坐標系下拼接成一個全景圖為了得到精 確的全景圖重構(gòu)，需要計算視頻序列各幀之間位于每個分層上的對應(yīng)特征點，假設(shè)位于第k 幀1層上的特征點為{乂}，與之對應(yīng)的第k+Ι幀上的特征點為{尸廣}，那么尋找最優(yōu)的變換Hk 使得變換后的特征點誤差最小，從而得到精確的全景圖重構(gòu)，變換Hk通過下面優(yōu)化函數(shù)求 解A=argminz||w-r./r『τ ι在對于每一幀的背景層求解得變換后，可以將所有的背景層在同一個坐標系下拼接生 成全景圖；步驟10 對于拼接得到的背景層的全景圖，采用各向異性的模型布置筆刷，進而生成 風(fēng)格化繪制的背景層，然后，利用拼接變換的逆變換Ht1，將風(fēng)格化繪制后的全景圖中相應(yīng) 的部分映射回每一幀，從而得到每一幀上具有繪畫風(fēng)格的背景；步驟11 對于視頻序列中的每一幀，按照從后往前的順序?qū)⒗L制后的各個分層融合起 來，生成最終的風(fēng)格化繪制的視頻序列，即，這里斤對應(yīng)第i幀第r分層，<是融 合系數(shù)，根據(jù)各個分層相應(yīng)的面積比例計算。全文摘要
本發(fā)明提供了一種基于視頻分層的繪畫渲染方法。該方法借助計算機視覺領(lǐng)域的視頻分層方法，將輸入的視頻序列根據(jù)顏色、運動等參數(shù)分解為相應(yīng)的分層表示，然后在對每一分層上進行風(fēng)格化繪畫渲染。與傳統(tǒng)的直接在視頻每一幀上布置繪畫筆刷不同，本發(fā)明提出一種新的在分層上布置相應(yīng)的繪制筆刷的方法，能夠根據(jù)每個分層對應(yīng)的顏色、運動等參數(shù)在整個視頻序列進行筆刷的優(yōu)化傳播布置，從而可以大大降低視頻閃爍，生成幀間連續(xù)性更優(yōu)的風(fēng)格化的繪畫視頻。同時，通過在不同分層上布置預(yù)設(shè)風(fēng)格的筆刷，本發(fā)明可以方便的生成具有多種繪畫風(fēng)格的視頻，創(chuàng)作出更具藝術(shù)效果的風(fēng)格化渲染結(jié)果。
文檔編號G06T11/00GK101930614SQ20101025006
公開日2010年12月29日 申請日期2010年8月10日 優(yōu)先權(quán)日2010年8月10日
發(fā)明者付田楠, 張磊, 黃華 申請人:西安交通大學(xué)