用于使用視點之間的相關(guān)性對圖像進行處理的設(shè)備和方法
【專利摘要】一種用于使用視點之間的相關(guān)性對圖像進行處理的設(shè)備和方法可包括：噪聲去除單元，用于從至少一個輸入的深度圖像去除噪聲；視點變換單元，用于執(zhí)行去除了噪聲的所述至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；加權(quán)均值濾波器單元，用于從第一視點的第一深度圖像和第一視點的深度空間產(chǎn)生至少一個加權(quán)系數(shù)，并且使用產(chǎn)生的加權(quán)系數(shù)來產(chǎn)生加權(quán)均值濾波器；深度圖像變換單元，用于通過應(yīng)用產(chǎn)生的加權(quán)均值濾波器從第一視點的第一深度圖像和深度空間變換第三深度圖像。
【專利說明】用于使用視點之間的相關(guān)性對圖像進行處理的設(shè)備和方法
[0001]本申請要求于2012年9月11日提交到韓國知識產(chǎn)權(quán)局的第10-2012-0100237號韓國專利申請的優(yōu)先權(quán)利益，其公開通過引用合并于此。
【技術(shù)領(lǐng)域】
[0002]下面描述的示例實施例涉及一種用于使用視點之間的相關(guān)性對圖像進行處理的設(shè)備和方法，更具體地講，涉及一種在深度圖像的壓縮中可支持前置濾波器(pre-filter)和環(huán)路濾波器中的恢復(fù)功能的圖像處理設(shè)備和方法。
【背景技術(shù)】
[0003]三維(3D)圖像壓縮系統(tǒng)可被用于對彩色圖像和深度圖像(例如，深度圖)進行壓縮。例如，H.264/先進視頻編碼(AVC)方案、H.264/多視點視頻編碼(MVC)方案、高效率視頻編碼(HEVC)方案可被用于有效地對彩色圖像進行壓縮。然而，深度圖像的圖像特征與彩色圖像的圖像特征完全不同。
[0004]用于對圖像進行壓縮或編碼的現(xiàn)有標準可包括例如H.261、H.263、運動圖像專家組(MPEG) -K MPEG-2, MPEG-4, H.264 和 HEVC 等。
[0005]現(xiàn)有壓縮標準彼此稍有不同，但通常配置有相似的結(jié)構(gòu)，其中，所述結(jié)構(gòu)包括運動估計、運動補償、變換編碼和熵編碼。
[0006]具體地，H.264和HEVC被公知為通過在恢復(fù)的圖像中最小化塊邊界失真來提高主觀圖像質(zhì)量并且在運動估計和壓縮處理中使得能夠進行更精確的預(yù)測，從而提高總編碼效率。
[0007]上面的去塊濾波器在具有低比特率的圖像中表現(xiàn)出良好的性能。然而，在高質(zhì)量圖像中，去塊濾波器的性能可能難以表現(xiàn)，或者可能甚至降低編碼性能。
[0008]另外，最近針對壓縮標準采用的自適應(yīng)環(huán)路濾波器(ALF)可被用于最小化原始圖像和恢復(fù)的圖像之間的誤差。當ALF和去塊濾波器兩者被應(yīng)用于高質(zhì)量圖像時，編碼效率可增加。
[0009]典型的ALF被用作基于維納濾波器的恢復(fù)濾波器。
[0010]最近，正提出一種用于通過在去塊濾波器之后設(shè)置ALF以提高客觀圖像質(zhì)量的方法。

【發(fā)明內(nèi)容】

[0011]通過提供一種圖像處理設(shè)備來實現(xiàn)前述和/或其他方面，其中，所述圖像處理設(shè)備包括:噪聲去除單元，用于從至少一個輸入的深度圖像去除噪聲；視點變換單元，用于執(zhí)行去除了噪聲的所述至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；加權(quán)均值濾波器單元，用于從第一視點的第一深度圖像和第一視點的深度空間產(chǎn)生至少一個加權(quán)系數(shù)，并且使用產(chǎn)生的加權(quán)系數(shù)來產(chǎn)生加權(quán)均值濾波器；深度圖像變換單元，用于通過應(yīng)用產(chǎn)生的加權(quán)均值濾波器從第一視點的第一深度圖像和深度空間變換第三深度圖像，其中，變換的第三深度圖像被用于對深度圖像進行編碼。
[0012]噪聲去除單元可使用范圍操作從所述至少一個輸入的深度圖像去除噪聲。
[0013]視點變換單元可將第二深度圖像變換為深度空間，并且可使用所述深度空間將第二深度圖像的第二視點變換到第一視點。
[0014]加權(quán)均值濾波器單元可使用第一視點的第一深度圖像和深度空間中的至少一個的標準差、方差、梯度以及分辨率中的至少一個來確定閾值，并且可使用確定的閾值來產(chǎn)生加權(quán)系數(shù)。
[0015]還通過提供一種圖像處理設(shè)備來實現(xiàn)前述和/或其他方面，其中，所述圖像處理設(shè)備包括:視點變換單元，用于執(zhí)行至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；加權(quán)均值濾波器單元，用于基于第一視點的第一深度圖像和第一視點的深度空間中的至少一個的圖像特征來確定閾值，并且基于確定的閾值來對深度空間執(zhí)行加權(quán)均值濾波；深度圖像變換單元，用于將經(jīng)過濾波的深度空間變換為圖像區(qū)域的第三深度圖像，并且將第三深度圖像發(fā)送到畫面緩沖器。
[0016]加權(quán)均值濾波器單元可基于第一視點的第一深度圖像和深度空間中的至少一個的圖像特征和壓縮條件來確定閾值。
[0017]加權(quán)均值濾波器單元可基于第一視點的第一深度圖像和深度空間中的至少一個的圖像特征和量化參數(shù)(QP)，針對每個訪問單元或針對每個條帶來確定閾值。
[0018]通過提供一種圖像處理方法來實現(xiàn)前述和/或其他方面，其中，所述圖像處理方法包括:由噪聲去除單元從至少一個輸入的深度圖像去除噪聲；由視點變換單元執(zhí)行去除了噪聲的所述至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；由加權(quán)均值濾波器單元從第一視點的第一深度圖像和第一視點的深度空間產(chǎn)生至少一個加權(quán)系數(shù)；由加權(quán)均值濾波器單元使用產(chǎn)生的加權(quán)系數(shù)產(chǎn)生加權(quán)均值濾波器；由深度圖像變換單元通過應(yīng)用產(chǎn)生的加權(quán)均值濾波器從第一視點的第一深度圖像和深度空間變換第三深度圖像，其中，變換的第三深度圖像被用于對深度圖像進行編碼。
[0019]執(zhí)行視點變換的步驟可包括:由視點變換單元將第二深度圖像變換為深度空間；由視點變換單元使用所述深度空間將第二深度圖像的第二視點變換到第一視點。
[0020]產(chǎn)生所述至少一個加權(quán)系數(shù)的步驟可包括:由加權(quán)均值濾波器單元使用第一視點的第一深度圖像和深度空間中的至少一個的標準差、方差、梯度以及分辨率中的至少一個來確定閾值；由加權(quán)均值濾波器單元使用確定的閾值來產(chǎn)生加權(quán)系數(shù)。
[0021]通過提供一種圖像處理方法來實現(xiàn)前述和/或其他方面，其中，所述圖像處理方法包括:由視點變換單元執(zhí)行至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；由加權(quán)均值濾波器單元基于第一視點的第一深度圖像和第一視點的深度空間中的至少一個的圖像特征和壓縮條件來確定閾值；由加權(quán)均值濾波器單元基于確定的閾值對深度空間執(zhí)行加權(quán)均值濾波；由深度圖像變換單元將經(jīng)過濾波的深度空間變換為圖像區(qū)域的第三深度圖像，并且將第三深度圖像發(fā)送到畫面緩沖器。[0022]確定閾值的步驟可包括:基于第一視點的第一深度圖像和深度空間中的至少一個的圖像特征和QP，針對每個訪問單元或針對每個條帶來確定閾值。
[0023]確定閾值的步驟可包括:使用多個閾值對深度空間執(zhí)行濾波，將所述多個閾值之中的與和原始圖像的圖像質(zhì)量最相似的圖像質(zhì)量相應(yīng)的閾值確定為最終閾值。
[0024]確定閾值的步驟可包括:使用多個權(quán)重對深度空間執(zhí)行濾波，將所述多個權(quán)重之中的與和原始圖像的圖像質(zhì)量最相似的圖像質(zhì)量相應(yīng)的權(quán)重確定為最終權(quán)重。
[0025]示例實施例的另外的方面、特征和/或優(yōu)點將在下面的描述中被部分闡明，還有一部分從描述中將是清楚的或可通過本公開的實施而被得知。
【專利附圖】

【附圖說明】
[0026]從下面結(jié)合附圖對示例實施例的描述中，這些和/或其他方面和優(yōu)點將變得清楚并更易于理解，其中:
[0027]圖1示出根據(jù)示例實施例的作為預(yù)處理位置的視點間濾波器(inter-viewfilter)操作的圖像處理設(shè)備的框圖；
[0028]圖2示出根據(jù)示例實施例的作為環(huán)路位置的視點間濾波器操作的圖像處理設(shè)備的框圖；
[0029]圖3示出根據(jù)示例實施例的三維(3D)圖像壓縮系統(tǒng)的編碼器的示圖；
[0030]圖4示出根據(jù)示例實施例的3D圖像壓縮系統(tǒng)的解碼器的示圖；
[0031]圖5示出根據(jù)示例實施例的深度圖像的視點變換的示圖；
[0032]圖6示出根據(jù)示例實施例的作為預(yù)處理位置的視點間濾波器操作的圖像處理設(shè)備的圖像處理方法的流程圖；
[0033]圖7示出根據(jù)示例實施例的作為環(huán)路位置的視點間濾波器操作的圖像處理設(shè)備的圖像處理方法的流程圖。
【具體實施方式】
[0034]現(xiàn)在將詳細參照示例實施例，其示例在附圖中示出，其中，相同的標號始終指示相同的元件。下面通過參照附圖來描述實施例以解釋本公開。
[0035]圖1示出根據(jù)示例實施例的作為預(yù)處理位置的視點間濾波器操作的圖像處理設(shè)備100的框圖。
[0036]圖1的圖像處理設(shè)備100可支持前置濾波器和環(huán)路濾波器中的恢復(fù)功能。圖1與前置濾波器的功能有關(guān)，并且示出具有用于提高鄰近視點之間的圖像的相似度并提高圖像的壓縮率的預(yù)處理濾波功能的圖像處理設(shè)備100。
[0037]預(yù)處理濾波可支持通過從原始圖像去除各種噪聲和非重要部分來最小化圖像的比特率以及提高壓縮率的功能，并且可支持通過提高鄰近視點之間的圖像的相似度來最大化圖像的質(zhì)量以及提高壓縮率的功能。
[0038]在圖1中，可提供聯(lián)合視點間濾波器(JVT)方案。JVT方案可被用于當多視點深度圖像被輸入時，通過使用鄰近視點中的深度圖像之間的高相關(guān)性來執(zhí)行濾波，以從深度圖像去除噪聲并提高壓縮效率。
[0039]圖像處理設(shè)備100可包括噪聲去除單元110、視點變換單元120、加權(quán)均值濾波單元130和深度圖像變換單元140。
[0040]噪聲去除單元110可從至少一個輸入的深度圖像去除噪聲。
[0041]例如，噪聲去除單元110可使用范圍操作(range operation)來從所述至少一個輸入的深度圖像去除噪聲。
[0042]具體地，噪聲去除單元110可使用下面的等式I從所述至少一個輸入的深度圖像去除噪聲:
[0043][等式I]
【權(quán)利要求】
1.一種圖像處理設(shè)備，包括: 噪聲去除單元，適用于從至少一個輸入的深度圖像去除噪聲； 視點變換單元，適用于執(zhí)行去除了噪聲的所述至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間； 加權(quán)均值濾波器單元，適用于從第一視點的第一深度圖像和第一視點的深度空間產(chǎn)生至少一個加權(quán)系數(shù)，并且使用產(chǎn)生的加權(quán)系數(shù)來產(chǎn)生加權(quán)均值濾波器； 深度圖像變換單元，適用于通過應(yīng)用產(chǎn)生的加權(quán)均值濾波器從第一視點的第一深度圖像和深度空間變換第三深度圖像， 其中，變換的第三深度圖像被用于對深度圖像進行編碼。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，噪聲去除單元使用范圍操作從所述至少一個輸入的深度圖像去除噪聲。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中，視點變換單元將第二深度圖像變換為深度空間，并且使用所述深度空間將第二深度圖像的第二視點變換到第一視點。
4.如權(quán)利要求1所述的圖像處理設(shè)備，其中，加權(quán)均值濾波器單元使用第一視點的第一深度圖像和深度空間中的至少一個的標準差、方差、梯度以及分辨率中的至少一個來確定閾值，并且使用確定的閾值來產(chǎn)生加權(quán)系數(shù)。
5.如權(quán)利要求1所述的圖像處理設(shè)備，還包括: 預(yù)測單元，適用于使用幀內(nèi)預(yù)測和幀間預(yù)測來輸出預(yù)測圖像；` 變換和量化單元，適用于輸出差分圖像； 熵編碼單元； 反量化和反變換單元，適用于對差分圖像執(zhí)行反量化和反變換； 畫面緩沖器，適用于存儲第三深度圖像，使得第三深度圖像可被用作參考圖像。
6.一種圖像處理設(shè)備，包括: 視點變換單元，適用于執(zhí)行至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間； 加權(quán)均值濾波器單元，適用于基于第一視點的第一深度圖像和第一視點的深度空間中的至少一個的圖像特征來確定閾值，并且基于確定的閾值來對第一視點的深度空間執(zhí)行加權(quán)均值濾波； 深度圖像變換單元，適用于將第一視點的經(jīng)過濾波的深度空間變換為圖像區(qū)域的第三深度圖像，并且將第三深度圖像發(fā)送到畫面緩沖器。
7.如權(quán)利要求6所述的圖像處理設(shè)備，其中，加權(quán)均值濾波器單元基于第一視點的第一深度圖像和深度空間中的至少一個的圖像特征和壓縮條件來確定閾值。
8.如權(quán)利要求7所述的圖像處理設(shè)備，其中，加權(quán)均值濾波器單元基于第一視點的第一深度圖像和深度空間中的至少一個的圖像特征和量化參數(shù)QP，針對每個訪問單元或針對每個條帶來確定閾值。
9.一種圖像處理方法，包括: 由噪聲去除單元從至少一個輸入的深度圖像去除噪聲； 由視點變換單元執(zhí)行去除了噪聲的所述至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間；由加權(quán)均值濾波器單元從第一視點的第一深度圖像和第一視點的深度空間產(chǎn)生至少一個加權(quán)系數(shù)； 由加權(quán)均值濾波器單元使用產(chǎn)生的加權(quán)系數(shù)產(chǎn)生加權(quán)均值濾波器； 由深度圖像變換單元通過應(yīng)用產(chǎn)生的加權(quán)均值濾波器從第一視點的第一深度圖像和深度空間變換第三深度圖像， 其中，變換的第三深度圖像被用于對深度圖像進行編碼。
10.如權(quán)利要求9所述的圖像處理方法，其中，執(zhí)行視點變換的步驟包括: 由視點變換單元將第二深度圖像變換為深度空間； 由視點變換單元使用所述深度空間將第二深度圖像的第二視點變換到第一視點。
11.如權(quán)利要求9所述的圖像處理方法，其中，產(chǎn)生所述至少一個加權(quán)系數(shù)的步驟包括: 由加權(quán)均值濾波器單元使用第一視點的第一深度圖像和深度空間中的至少一個的標準差、方差、梯度以及分辨率中的至少一個來確定閾值； 由加權(quán)均值濾波器單元使用確定的閾值來產(chǎn)生加權(quán)系數(shù)。
12.—種圖像處理方法，包括: 由視點變換單元執(zhí)行至少一個輸入的深度圖像之中的第二視點的第二深度圖像的視點變換，使得第二視點的第二深度圖像被變換為第一視點的深度空間； 由加權(quán)均值濾波器單元基于第一視點的第一深度圖像和第一視點的深度空間中的至少一個的圖像特征和壓縮條件來確定閾值； 由加權(quán)均值濾波器單元基于確定的閾值對深度空間執(zhí)行加權(quán)均值濾波； 由深度圖像變換單元將經(jīng)過濾波的深度空間變換為圖像區(qū)域的第三深度圖像，并且將第三深度圖像發(fā)送到畫面緩沖器。
13.如權(quán)利要求12所述的圖像處理方法，其中，確定閾值的步驟包括:基于第一視點的第一深度圖像和深度空間中的至少一個的圖像特征和量化參數(shù)QP，針對每個訪問單元或針對每個條帶來確定閾值。
14.如權(quán)利要求12所述的圖像處理方法，其中，確定閾值的步驟包括:使用多個閾值對深度空間執(zhí)行濾波，將所述多個閾值之中的與和原始圖像的圖像質(zhì)量最相似的圖像質(zhì)量相應(yīng)的閾值確定為最終閾值。
15.如權(quán)利要求12所述的圖像處理方法，其中，確定閾值的步驟包括:使用多個權(quán)重對深度空間執(zhí)行濾波，將所述多個權(quán)重之中的與和原始圖像的圖像質(zhì)量最相似的圖像質(zhì)量相應(yīng)的權(quán)重確定為最終權(quán)重。
【文檔編號】H04N19/597GK103686192SQ201310412382
【公開日】2014年3月26日 申請日期:2013年9月11日 優(yōu)先權(quán)日:2012年9月11日
【發(fā)明者】任一淳, 魏浩千, 李在濬 申請人:三星電子株式會社