一種光場(chǎng)編輯傳播方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)和圖像處理領(lǐng)域，特別是涉及一種光場(chǎng)編輯傳播方 法。
【背景技術(shù)】
[0002] 英國(guó)科學(xué)家 Michael Faraday 在 1846 年的一次題目為 "Thoughts on Ray Vibrations"的會(huì)議上指出光應(yīng)當(dāng)被描述為一種場(chǎng)，就像電磁場(chǎng)一樣。直到1936年，另一位 科學(xué)家ArunGershun在一篇經(jīng)典的論文中提出了"光場(chǎng)"概念，用來(lái)描述光在三維空間中的 輻射屬性。隨后，人們?cè)谟?jì)算機(jī)圖形學(xué)領(lǐng)域?qū)?光場(chǎng)"這一概念進(jìn)行了與其最初含義稍有不 同的重定義。當(dāng)前，關(guān)于光場(chǎng)的研宄方興未艾，相應(yīng)的研宄成果也層出不窮，尤其光場(chǎng)的應(yīng) 用研宄已取得豐碩的成果。美國(guó)斯坦福大學(xué)研宄員人員研制出一種光場(chǎng)相機(jī)，這種相機(jī)在 低光及影像高速移動(dòng)的情況下，仍能準(zhǔn)確對(duì)焦拍出清晰照片，這些優(yōu)勢(shì)都是傳統(tǒng)相機(jī)所難 以望其項(xiàng)背的，而這巨大的優(yōu)勢(shì)正是由于他們將光場(chǎng)的原理應(yīng)用于相機(jī)的設(shè)計(jì)中。圖像編 輯傳播方法是當(dāng)前計(jì)算機(jī)圖像處理、視頻處理等學(xué)科領(lǐng)域的研宄熱點(diǎn)，被廣泛應(yīng)用于影視 制作、動(dòng)畫制作，交互式視頻和圖像處理等領(lǐng)域。從單個(gè)視點(diǎn)的圖像的編輯傳播到視頻編輯 傳播都得到了深入的研宄，然而利用光場(chǎng)屬性和特征的編輯傳播卻少有人關(guān)注。
[0003] 圖像編輯傳播綜合利用了圖像的顏色，紋理，結(jié)構(gòu)，深度等特征，將用戶期望的編 輯效果傳播到整個(gè)圖像中。用戶期望的編輯包括圖像的顏色，紋理，色調(diào)等等。圖像或視頻 的編輯傳播基于目標(biāo)區(qū)域中像素或結(jié)構(gòu)與用戶設(shè)定的區(qū)域中的像素或結(jié)構(gòu)的相似度，將用 戶定義的編輯效果按照一定的準(zhǔn)則傳播到相似度很高的區(qū)域，相似度越高，編輯傳播的結(jié) 果就應(yīng)該越相似，反之亦然。
[0004] 基于光場(chǎng)的特殊結(jié)構(gòu)特點(diǎn)，除了考慮目標(biāo)區(qū)域和用戶指定區(qū)域像素的相似性之 外，還可以利用視點(diǎn)之間像素的映射關(guān)系以及像素在視點(diǎn)之間的連續(xù)性來(lái)提升用戶編輯傳 播的一致性。對(duì)于光場(chǎng)豐富信息的更充分的利用可以提升編輯傳播效果和簡(jiǎn)化編輯傳播過 程的復(fù)雜性。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明目的在于提出一種光場(chǎng)編輯傳播方法，以解決上述現(xiàn)有技術(shù)存在的編輯傳 播過程復(fù)雜以及編輯傳播效率低的技術(shù)問題。
[0006] 為此，本發(fā)明提出一種光場(chǎng)編輯傳播方法，包括以下步驟：
[0007] S1、獲取原始光場(chǎng)圖像陣列以及所述原始光場(chǎng)圖像陣列的圖像深度，所述原始光 場(chǎng)圖像陣列是對(duì)同一個(gè)物點(diǎn)進(jìn)行不同視點(diǎn)采樣得到的M行*N列個(gè)視點(diǎn)圖像，M和N都為正 奇數(shù)，所述原始光場(chǎng)圖像陣列中的(_
【主權(quán)項(xiàng)】
1. 一種光場(chǎng)編輯傳播方法，其特征在于，包括w下步驟： 51、 獲取原始光場(chǎng)圖像陣列W及所述原始光場(chǎng)圖像陣列的圖像深度，所述原始光場(chǎng)圖 像陣列是對(duì)同一個(gè)物點(diǎn)進(jìn)行不同視點(diǎn)采樣得到的M行*N列個(gè)視點(diǎn)圖像，M和N都為正奇數(shù)， 所述原始光場(chǎng)圖像陣列中的視點(diǎn)為中屯、視點(diǎn)； 52、 在所述中屯、視點(diǎn)處獲取原始用戶編輯； 53、 對(duì)所述原始光場(chǎng)圖像陣列中的所有像素進(jìn)行聚類得到K個(gè)類W及每個(gè)類的中屯、像 素，將原始光場(chǎng)圖像陣列中的每個(gè)像素歸屬于一個(gè)類中，K個(gè)中屯、像素構(gòu)成下采樣光場(chǎng)圖像 陣列； 54、 獲取所述K個(gè)中屯、像素的用戶編輯，得到K個(gè)下采樣用戶編輯；所述K個(gè)下采樣用 戶編輯中第j個(gè)下采樣用戶編輯6;由所述K個(gè)類中第j個(gè)類包括的所有像素的原始用戶編 輯值加權(quán)得到； 55、 將所述K個(gè)下采樣用戶編輯傳播到所述K個(gè)中屯、像素，得到所述下采樣光場(chǎng)圖像陣 列的編輯傳播結(jié)果； 56、 對(duì)所述下采樣光場(chǎng)圖像陣列的編輯傳播結(jié)果進(jìn)行上采樣，得到所述原始光場(chǎng)圖像 陣列的編輯傳播結(jié)果。
2. 如權(quán)利要求1所述的光場(chǎng)編輯傳播方法，其特征在于，所述原始光場(chǎng)圖像陣列中的 每個(gè)像素用^；：維坐標(biāo)表示為（X，y，U，V，r，g，b)，其中，X，y是所述像素在視點(diǎn)圖像的位置坐 標(biāo)，u，V是所述像素所在的視點(diǎn)圖像的坐標(biāo)，r，g，b是所述像素的顏色值； 在步驟S3中，根據(jù)像素走維坐標(biāo)的相似程度對(duì)所述原始光場(chǎng)圖像陣列中的所有像素 進(jìn)行聚類，將原始光場(chǎng)圖像陣列中的每個(gè)像素歸屬于與其走維空間距離最小的中屯、像素所 屬類。
3. 如權(quán)利要求2所述的光場(chǎng)編輯傳播方法，其特征在于，所述原始光場(chǎng)圖像陣列中的 每個(gè)像素用八維坐標(biāo)表示（X，y，U，V，r，g，b，d)，其中，X，y是所述像素在視點(diǎn)圖像的位置坐 標(biāo)，U，V是所述像素所在的視點(diǎn)圖像的坐標(biāo)，r，g，b是所述像素的顏色值，d是所述像素的視 差坐標(biāo)； 在步驟S3中，根據(jù)像素八維坐標(biāo)的相似程度對(duì)所述原始光場(chǎng)圖像陣列中經(jīng)過重參數(shù) 化處理的所有像素進(jìn)行聚類，將原始光場(chǎng)圖像陣列中的每個(gè)像素歸屬于與其八維空間距離 最小的中屯、像素所屬類。
4. 如權(quán)利要求3所述的光場(chǎng)編輯傳播方法，其特征在于，在步驟S2與步驟S3之間還包 括對(duì)所述原始光場(chǎng)圖像陣列中的每個(gè)像素進(jìn)行重參數(shù)處理，所述重參數(shù)處理包括公式： 公式一 ；x' =x-(曲(x，y)-l)*(u-Uc) 公式二巧'=y 其中，x'，y'表示所述像素x，y經(jīng)過重參數(shù)處理后在所述視點(diǎn)圖像上的位置坐標(biāo)，dD(x，y)表示所述像素的視差值，U表示所述像素所在的視點(diǎn)圖像的水平位置坐標(biāo)，U。表示 所述中屯、視點(diǎn)的水平位置坐標(biāo)。
5. 如權(quán)利要求2 -4任一項(xiàng)所述的光場(chǎng)編輯傳播方法，其特征在于，采用K-means聚類 算法。
6. 如權(quán)利要求1所述的光場(chǎng)編輯傳播方法，其特征在于，在步驟S4中，所述第j個(gè)下采 樣用戶編輯e,的計(jì)算包括公式；
其中，j為不大于K的正整數(shù)，Nj為所述K個(gè)類中第j個(gè)類包括的像素個(gè)數(shù)，i為不大 于Nj.的正整數(shù)，nj.i為第j個(gè)類中第i個(gè)像素處是否存在原始用戶編輯，若存在，則nj.i為1， 否則為0, 為第j個(gè)類中第i個(gè)像素的原始用戶編輯值。
7. 如權(quán)利要求3或4所述的光場(chǎng)編輯傳播方法，其特征在于，在步驟S5中，所述K個(gè)中 屯、像素中第i個(gè)中屯、像素的下采樣用戶編輯傳播結(jié)果eiW及第j個(gè)中屯、像素的下采樣用 戶編輯傳播結(jié)果的計(jì)算包括公式：
其中，i，j均為不大于K的正整數(shù)，6；^.是第j個(gè)中屯、像素對(duì)應(yīng)的下采樣用戶編輯，fi= (r。g。b。中），Pi=(X。y。U。Vi)，fj=(r非 &'，dj)，Pj=(X非Uj'，Vj)，是第i個(gè)中屯、 像素的顏色分量和視差分量，Pi是所述第i個(gè)中屯、像素的圖像位置坐標(biāo)和視點(diǎn)位置坐標(biāo)，fj 是第j個(gè)中屯、像素的顏色分量和視差分量，Pj.是所述第j個(gè)中屯、像素的圖像位置坐標(biāo)和視 點(diǎn)位置坐標(biāo)；zu是對(duì)所述第i個(gè)中屯、像素和所述第j個(gè)中屯、像素的相似度度量，0。和0S 是控制相似度度量的參數(shù);Wj.是所述第j個(gè)中屯、像素所對(duì)應(yīng)的用戶編輯權(quán)重，若所述第j個(gè) 中屯、像素存在用戶輸入，則Wj.為1，否則為0 ;A是控制編輯傳播效果的參數(shù)； 對(duì)公式五求導(dǎo)，獲得第i個(gè)中屯、像素的下采樣用戶編輯傳播結(jié)果eiW及第j個(gè)中屯、像 素的下采樣用戶編輯傳播結(jié)果6j.。
8. 如權(quán)利要求3或4所述的光場(chǎng)編輯傳播方法，其特征在于，在步驟S6中，對(duì)所述下采 樣光場(chǎng)圖像陣列的編輯傳播結(jié)果進(jìn)行上采樣，包括下步驟： 像素P'為所述原始光場(chǎng)圖像陣列中的像素P經(jīng)過重參數(shù)化處理后的對(duì)應(yīng)像素，使用像 素P'查詢K-D樹，找到像素P'的S個(gè)最近鄰的中屯、像素PiA，…，P點(diǎn)及所述S個(gè)最近 鄰的中屯、像素對(duì)應(yīng)的下采樣編輯傳播結(jié)果曰1，曰2,…，e,，其中，S為不大于K的正整數(shù)，所述 下采樣光場(chǎng)圖像陣列中所有中屯、像素構(gòu)成的集合為巧j}j. 所述Pi，P2,…，Ps構(gòu)成的集 合為A，A是巧的子集，所述下采樣光場(chǎng)圖像陣列的編輯傳播結(jié)果構(gòu)成的集合為kj}j= 1.2...K，所述6。62,…，6s構(gòu)成的集合為{ej}j=的子集； 使用雙邊濾波上采樣進(jìn)行處理，包括公式： 公式走：
其中，f和g是平滑函數(shù)，P(P)是經(jīng)上采樣得到的所述原始光場(chǎng)圖像陣列中像素P的編 輯傳播結(jié)果，P(t)是e。e,，…，e,的集合中的第t個(gè)元素值，t為不大于S的正整數(shù)。
【專利摘要】本發(fā)明公開了一種光場(chǎng)編輯傳播方法，包括以下步驟：S1、獲取原始光場(chǎng)圖像陣列以及原始光場(chǎng)圖像陣列的圖像深度；S2、在中心視點(diǎn)處獲取原始用戶編輯；S3、對(duì)原始光場(chǎng)圖像陣列中的所有像素進(jìn)行聚類得到K個(gè)類以及每個(gè)類的中心像素，K個(gè)中心像素構(gòu)成下采樣光場(chǎng)圖像陣列；S4、根據(jù)原始用戶編輯獲取K個(gè)中心像素的用戶編輯，得到K個(gè)下采樣用戶編輯；S5、將K個(gè)下采樣用戶編輯傳播到K個(gè)中心像素，得到下采樣光場(chǎng)圖像陣列的編輯傳播結(jié)果；S6、對(duì)下采樣光場(chǎng)圖像陣列的編輯傳播結(jié)果進(jìn)行上采樣，得到原始光場(chǎng)圖像陣列的編輯傳播結(jié)果。本發(fā)明提出的光場(chǎng)編輯傳播的方法可以用于處理超大規(guī)模的光場(chǎng)數(shù)據(jù)，提升編輯傳播的整體性能和效果。
【IPC分類】H04N5-262
【公開號(hào)】CN104796624
【申請(qǐng)?zhí)枴緾N201510188087
【發(fā)明人】張永兵, 敖紅波, 戴瓊海
【申請(qǐng)人】清華大學(xué)深圳研究生院
【公開日】2015年7月22日
【申請(qǐng)日】2015年4月20日