基于圖像細(xì)化的視頻編碼和解碼的制作方法
【專(zhuān)利摘要】一種特定實(shí)施方式從逆量化和逆變換形成初始的重建圖像塊，并且利用來(lái)自相鄰的重建塊的像素來(lái)進(jìn)一步細(xì)化所重建的圖像塊。該圖像塊可以利用雙邊濾波器來(lái)細(xì)化，該雙邊濾波器的空間參數(shù)和范圍參數(shù)被適配于量化參數(shù)。在重建圖像塊時(shí)，該特定實(shí)施方式可以在編碼和解碼兩者中使用。當(dāng)在編碼中使用時(shí)，該特定實(shí)施方式可以與系數(shù)截?cái)嘟Y(jié)合使用，在系數(shù)截?cái)嘀袑⒁恍┓橇愕淖儞Q系數(shù)設(shè)定為0。在系數(shù)截?cái)嘀笫Ｓ嗟姆橇愕淖儞Q系數(shù)的數(shù)目可以被適配于量化參數(shù)，圖像塊的方差，圖像塊的非零的變換系數(shù)的數(shù)目，以及折線掃描順序中最后的非零變換系數(shù)的索引。
【專(zhuān)利說(shuō)明】基于圖像細(xì)化的視頻編碼和解碼
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻編碼和解碼，并且更具體地涉及利用圖像細(xì)化來(lái)進(jìn)行視頻編碼和解碼。
【背景技術(shù)】
[0002]為了實(shí)現(xiàn)高壓縮效率，圖像和視頻編碼方案通常采用預(yù)測(cè)和變換來(lái)調(diào)節(jié)視頻中的空間和時(shí)間冗余。通常，將幀內(nèi)或幀間預(yù)測(cè)用于開(kāi)發(fā)幀內(nèi)或幀間相關(guān)性，然后原始圖像與預(yù)測(cè)圖像之間的、通常稱(chēng)作預(yù)測(cè)誤差或預(yù)測(cè)殘差的差被變換、量化和熵編碼。為了重建視頻，將所壓縮的數(shù)據(jù)通過(guò)與預(yù)測(cè)、變換、量化和熵編碼對(duì)應(yīng)的逆處理來(lái)解碼。

【發(fā)明內(nèi)容】

[0003]根據(jù)一個(gè)概要方面，在編碼和解碼期間，首先利用逆量化和逆變換來(lái)重建圖像塊。然后利用相鄰重建塊的像素來(lái)細(xì)化該重建圖像塊。
[0004]根據(jù)另一概要方面，在編碼和解碼期間，首先利用逆量化和逆變換來(lái)重建圖像塊。然后通過(guò)雙邊濾波器利用相鄰的重建塊的像素來(lái)細(xì)化該重建圖像塊。雙邊濾波器的空間參數(shù)和范圍參數(shù)被適配于量化參數(shù)。
[0005]根據(jù)另一概要方面，變換系數(shù)被截?cái)啵瑥亩Ｓ嗟姆橇阕儞Q系數(shù)的數(shù)目被適配于量化參數(shù)、圖像塊的方差、非零系數(shù)的數(shù)目和/或掃描順序中最后的非零系數(shù)的索引。此外，在重建期間，首 先利用逆量化和逆變換來(lái)重建圖像塊，然后利用相鄰的重建塊的像素來(lái)細(xì)化該重建圖像塊。
[0006]一個(gè)或多個(gè)實(shí)現(xiàn)方式的細(xì)節(jié)在附圖和下面的描述中闡明。即使按一個(gè)特定模式進(jìn)行了描述，仍應(yīng)清楚的是，可以按照不同的方式來(lái)配置或具體化這些實(shí)現(xiàn)方式。例如，一個(gè)實(shí)現(xiàn)方式可以作為方法來(lái)執(zhí)行，或者具體化為裝置，諸如，例如，配置為執(zhí)行一組操作的裝置，或者存儲(chǔ)有用于執(zhí)行一組操作的指令的裝置，或者具體化在信號(hào)中。其它方面或特征將在結(jié)合附圖和權(quán)利要求進(jìn)行考慮的情況下從下面的詳細(xì)描述中變得顯然。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0007]圖1A是圖示示例，其示出了根據(jù)當(dāng)前原理的一個(gè)實(shí)施例可以如何利用相鄰塊來(lái)細(xì)化圖像塊，并且圖1B是圖示示例，其示出了根據(jù)當(dāng)前原理的該實(shí)施例可以如何利用滑動(dòng)窗口來(lái)應(yīng)用濾波器。
[0008]圖2是流程圖，其根據(jù)當(dāng)前原理的一個(gè)實(shí)施例示出了利用系數(shù)閾值處理(thresholding)和圖像細(xì)化進(jìn)行視頻編碼的一個(gè)示例。
[0009]圖3是流程圖，其根據(jù)當(dāng)前原理的一個(gè)實(shí)施例示出了利用圖像細(xì)化進(jìn)行視頻解碼的一個(gè)示例。
[0010]圖4是框圖，其根據(jù)當(dāng)前原理的一個(gè)實(shí)施例示出了視頻編碼器的一個(gè)示例。
[0011]圖5是框圖，其根據(jù)當(dāng)前原理的一個(gè)實(shí)施例示出了視頻解碼器的一個(gè)示例。[0012]圖6是框圖，其示出了可以與一個(gè)或多個(gè)實(shí)現(xiàn)方式一起使用的圖像處理系統(tǒng)的一個(gè)示例。
[0013]圖7是框圖，其示出了可以與一個(gè)或多個(gè)實(shí)現(xiàn)方式一起使用的圖像處理系統(tǒng)的另
一示例。
【具體實(shí)施方式】
[0014]在假設(shè)在解碼過(guò)程期間沒(méi)有或只有很少固有圖像性質(zhì)可以被進(jìn)一步開(kāi)發(fā)的情況下，壓縮數(shù)據(jù)通常被視作隨機(jī)數(shù)據(jù)。即，圖像是利用明確或隱含地編碼在壓縮數(shù)據(jù)中的信息
來(lái)重建的。
[0015]然而，關(guān)于視頻的某些先驗(yàn)知識(shí)可以在解碼器處被用于增強(qiáng)所解碼的視頻質(zhì)量。例如，可以應(yīng)用去塊濾波器以移除強(qiáng)的塊效應(yīng)(blockiness)，因?yàn)榇蠖鄨D像被已知為具有平滑的內(nèi)容。
[0016]在另一示例中，基于視頻信號(hào)可以稀疏地呈現(xiàn)的先驗(yàn)知識(shí)，標(biāo)題為“Video codingusing compressive sensing” 的共同所有的 PCT 申請(qǐng) N0.PCT/US11/000064 提出了在視頻壓縮中使用壓縮感知。壓縮感知是以小數(shù)目的測(cè)量呈現(xiàn)信號(hào)的一種技術(shù)，并且其可以在耐奎斯特采樣率以下高效地呈 現(xiàn)多種信號(hào)。利用在鄰近像素之間的差通常在自然圖像中很小并且因此梯度稀疏的先驗(yàn)知識(shí)，發(fā)展出了壓縮感知模式來(lái)以變換系數(shù)的子集重建塊。
[0017]當(dāng)前實(shí)施例提供了一種方法和裝置，其采用圖像細(xì)化來(lái)改進(jìn)視頻壓縮效率。諸如平滑度和奇異性的普通圖像性質(zhì)，可以被用于設(shè)計(jì)圖像細(xì)化工具。奇異性指的是圖像中可能存在邊緣和紋理(即，鄰近像素的灰度值可能顯著變化)的圖像性質(zhì)。良好的圖像細(xì)化工具應(yīng)該在考慮平滑度的同時(shí)保留圖像的奇異性。
[0018]圖1A示出了利用圖像特性來(lái)細(xì)化當(dāng)前塊的示例，其中，圖像塊140是待編碼或解碼的當(dāng)前塊，并且圖像塊110、120和130已經(jīng)被編碼或解碼。圖像塊140可以初始地利用現(xiàn)有方法來(lái)重建。例如，其可以通過(guò)根據(jù)H.264標(biāo)準(zhǔn)的逆變換、去量化來(lái)重建。
[0019]利用早先編碼過(guò)的相鄰塊(110，120, 130)可以細(xì)化初始重建的塊(140)。在一個(gè)實(shí)施例中，陰影區(qū)域150、160和170可以用于細(xì)化圖像塊140。陰影區(qū)域鄰近于當(dāng)前塊并且其是早先編碼的相鄰塊的部分。將由當(dāng)前塊(140)和陰影區(qū)域(150，160，170)形成的塊記做擴(kuò)展塊(180)，其中當(dāng)前塊(140)具有B*B個(gè)像素，并且擴(kuò)展塊(180)具有m*m(m = B+W)個(gè)像素。在一個(gè)更普遍的示例中，具有Bv*Bh個(gè)像素的當(dāng)前塊可以被擴(kuò)展為(Bv+Wv) * (Bh+Wh)塊。即，當(dāng)前塊的寬度(Bh)和高度(Bv)可以是不同的，并且在水平和豎直方向上的擴(kuò)展的長(zhǎng)度(分別為Wh和Wv)也可以是不同的。
[0020]在圖1A的示例中，來(lái)自上方和左方的塊的像素被用于形成擴(kuò)展塊。這是因?yàn)?，大多現(xiàn)有的視頻壓縮標(biāo)準(zhǔn)按照格柵掃描順序來(lái)編碼圖像塊，并且上方和左方的塊在當(dāng)前塊之前被編碼或解碼。從而，這些塊可以按相同的方式在編碼器和解碼器兩者處重建。當(dāng)使用不同的編碼順序時(shí)，來(lái)自其它位置的塊、例如右方的塊和下方的塊可以被選來(lái)細(xì)化當(dāng)前塊。
[0021]塊尺寸(Bv*Bh)可以基于編碼配置而變化(分辨率，比特率等)。其還可以在幀內(nèi)從塊到塊地變化。例如，其可以被選為4*4、8*8、16*16、8*4或者4*8,或者其可以被選擇為具有與變換或量化相同的尺寸。
[0022]擴(kuò)展塊(180)可以被看做由于壓縮而被噪聲劣化的圖像塊，并且因此其質(zhì)量可以通過(guò)圖像增強(qiáng)技術(shù)來(lái)細(xì)化。在所擴(kuò)展的區(qū)域中，當(dāng)前塊(140)中的邊界像素可以與該塊內(nèi)的其它像素一樣大地受益于濾波器支持域。
[0023]去噪聲濾波器或者其它圖像處理方法可以用于細(xì)化擴(kuò)展塊，例如但不限于可以使用中值濾波器、雙邊濾波器或者SA-DCT (適形DCT)方法。濾波器長(zhǎng)度可以基于計(jì)算復(fù)雜度和性能來(lái)選擇，并且擴(kuò)展區(qū)域的尺寸可以設(shè)計(jì)為適配于濾波器長(zhǎng)度，例如W =(濾波器長(zhǎng)度 _1)/2。
[0024]參考圖1B，示出了利用滑動(dòng)窗口濾波進(jìn)行圖像細(xì)化的一個(gè)示例。在一個(gè)示例中，對(duì)于擴(kuò)展塊(180)，采用雙邊濾波器來(lái)處理滑動(dòng)窗口(190)內(nèi)的像素。將滑動(dòng)窗口的尺寸記做(2n+l)*(2n+l)，然后對(duì)滑動(dòng)窗口的中間像素I(x，y)的濾波過(guò)程如下進(jìn)行:
[0025]步驟1:在滑動(dòng)窗口中對(duì)于每個(gè)像素I (i，j)計(jì)算親密度參數(shù):
[0026]
【權(quán)利要求】
1.一種方法，包括: 對(duì)圖像中的塊的變換系數(shù)進(jìn)行逆量化(238，330)，以形成去量化的變換系數(shù)； 對(duì)去量化的變換系數(shù)進(jìn)行逆變換(242，340)，以形成預(yù)測(cè)殘差； 利用預(yù)測(cè)殘差形成(246，350)重建圖像塊； 處理(250，370) —組像素以形成處理后像素，該組像素包括該重建圖像塊的像素和鄰近于該塊的重建塊的像素；以及 利用處理后像素細(xì)化(250，370)該重建圖像塊的像素，以形成細(xì)化后圖像塊。
2.根據(jù)權(quán)利要求1所述的方法，其中，鄰近于該塊的重建塊在該塊之前被編碼或解碼。
3.根據(jù)權(quán)利要求1所述的方法，其中，由該組像素形成擴(kuò)展圖像塊。
4.根據(jù)權(quán)利要求1所述的方法，其中，并不對(duì)于鄰近于該塊的重建塊的像素執(zhí)行所述細(xì)化。
5.根據(jù)權(quán)利要求1所述的方法，其中，由雙邊濾波器執(zhí)行所述處理。
6.根據(jù)權(quán)利要 求5所述的方法，其中，雙邊濾波器的空間參數(shù)和范圍參數(shù)隨著量化參數(shù)變化。
7.根據(jù)權(quán)利要求1所述的方法，所述細(xì)化包括以所述處理后像素取代所述重建圖像塊的像素。
8.根據(jù)權(quán)利要求1所述的方法，其中，所述細(xì)化后圖像塊被用于編碼或解碼圖像的其它塊。
9.根據(jù)權(quán)利要求1所述的方法，其還包括將所述變換系數(shù)中的一個(gè)或多個(gè)設(shè)定為0(225)。
10.根據(jù)權(quán)利要求9所述的方法，其中，在所述變換系數(shù)中的一個(gè)或多個(gè)被設(shè)定為O之后剩余的非零的變換系數(shù)的數(shù)目隨著如下中的至少一個(gè)而變化:量化參數(shù)、該塊的方差、該塊的非零系數(shù)的數(shù)目以及掃描順序中最后的非零系數(shù)的索引。
11.根據(jù)權(quán)利要求1所述的方法，還包括處理所述處理后像素。
12.一種裝置(400，500)，包括: 逆量化器(450，550)，其將圖像中的塊的變換系數(shù)逆量化為去量化的變換系數(shù)； 逆變換器(450，550)，其將去量化的變換系數(shù)逆變換為預(yù)測(cè)殘差； 加法器(455，525)，其利用預(yù)測(cè)殘差形成重建圖像塊；以及 處理器(465，565)，其處理一組像素以形成處理后像素，該組像素包括該重建圖像塊的像素和鄰近于該塊的重建塊的像素，并且利用處理后像素細(xì)化該重建圖像塊的像素以形成細(xì)化后圖像塊。
13.根據(jù)權(quán)利要求12所述的裝置，其中，鄰近于該塊的重建塊在該塊之前被編碼或解碼。
14.根據(jù)權(quán)利要求12所述的裝置，其中，由該組像素形成擴(kuò)展圖像塊。
15.根據(jù)權(quán)利要求12所述的裝置，其中，處理器是雙邊濾波器。
16.根據(jù)權(quán)利要求15所述的裝置，其中，雙邊濾波器將空間參數(shù)和范圍參數(shù)隨著量化參數(shù)改變。
17.根據(jù)權(quán)利要求12所述的裝置，所述細(xì)化包括以所述處理后像素取代所述重建圖像塊的像素。
18.根據(jù)權(quán)利要求12所述的裝置，其中，所述細(xì)化后圖像塊被用于編碼或解碼圖像的其它塊。
19.根據(jù)權(quán)利要求12所述的裝置，其中，所述變換系數(shù)中的一個(gè)或多個(gè)被設(shè)定為O，并且在所述變換系數(shù)中的一個(gè)或多個(gè)被設(shè)定為O后剩余的非零的變換系數(shù)的數(shù)目隨著如下中的至少一個(gè)而變化:量化參數(shù)，該塊的方差，該塊的非零系數(shù)的數(shù)目，以及掃描順序中最后的非零系數(shù)的索引。
20.—種處理器可讀介質(zhì)，具有存儲(chǔ)于其上的指令，該指令用于使得一個(gè)或多個(gè)處理器共同地執(zhí)行: 對(duì)圖像中的塊的變換系數(shù)進(jìn)行逆量化，以形成去量化的變換系數(shù)； 對(duì)去量化的變換系數(shù)進(jìn)行逆變換，以形成預(yù)測(cè)殘差； 利用預(yù)測(cè)殘差形成重建圖像塊； 處理一組像素以形成處理后像素，該組像素包括該重建圖像塊的像素和鄰近于該塊的重建塊的像素；以及 利用處理后像素細(xì)化 該重建圖像塊的像素以形成細(xì)化后圖像塊。
【文檔編號(hào)】H04N19/147GK104025589SQ201180074528
【公開(kāi)日】2014年9月3日 申請(qǐng)日期:2011年11月3日 優(yōu)先權(quán)日:2011年11月3日
【發(fā)明者】江文斐, 張帆, 陳志波 申請(qǐng)人:湯姆遜許可公司