動態(tài)圖像編碼裝置及其動作方法
【技術領域】
[0001]本發(fā)明涉及動態(tài)圖像編碼裝置及其動作方法，特別涉及對于減輕在填充處理時從動態(tài)圖像編碼裝置生成的編碼比特流的碼量的增加而有效的技術。
【背景技術】
[0002]如公知的那樣，利用在國際標準IS0/IEC 13818-2中標準化了的MPEG-2的標準的動態(tài)圖像(Moving Picture)的一般的壓縮方式基于通過從視頻流中刪除冗長的信息來削減視頻存儲容量和必要的頻帶寬度這樣的原理。另外，MPEG是Moving Picture ExpertsGroup (動態(tài)圖象專家組)的簡稱。
[0003]MPEG-2的標準僅規(guī)定了比特流的語法(壓縮編碼數據列的規(guī)則或者編碼數據的比特流的結構方法)以及譯碼過程，所以是在衛(wèi)星廣播/服務、有線電視、交互式電視、因特網等各種狀況下可充分利用的靈活的標準。
[0004]在MPEG-2的編碼過程中，為了最初規(guī)定數字視頻的各像素的彩色和亮度的分量，對視頻信號進行采樣并量化。在作為宏塊已知的構造中蓄積表示彩色和亮度的分量的值。使用離散余弦變換(DCT-Discrete Cosine Transform)，將在宏塊中蓄積了的彩色和亮度的值變換為頻率值。通過DCT得到的變換系數根據圖片的亮度和彩色而具有不同的頻率。針對被量化了的DCT變換系數，通過將視頻流進一步壓縮的可變長編碼(VLC VariableLength Coding)進行編碼。
[0005]在MPEG-2的編碼過程中，規(guī)定了基于運動壓縮技術的附加壓縮。在MPEG-2的標準中，存在I幀、P幀、B幀這3種圖片或者幀。I幀是在視頻流中不參照其他任意的圖片或者幀而再生的被幀內編碼了的幀。P幀和B幀是通過參照其他圖片或者幀而再生的被幀間編碼了的幀。例如，P幀和B幀包括關于參照幀而表示運動推測的運動矢量。通過運動矢量的使用，MPEG編碼器能夠降低在特定的視頻流中所需的頻帶寬度。另外，I幀被稱為獨立(intra-coded)幀，P幀被稱為單向預測(predictive-coded)幀，B幀被稱為雙向預測(b1-direct1nally predictive-coded)中貞。
[0006]因此，MPEG-2的動態(tài)圖像編碼裝置(Encoder)由幀存儲器、運動矢量檢測部、運動補償部、減法部、DCT變換部、量化部、逆量化部、逆DCT變換部以及可變長編碼部構成。編碼的動態(tài)圖像信號在為了 B幀的編碼、檢測運動矢量而被存儲于幀存儲器之后，從幀存儲器被讀出，在減法部中被減去來自運動補償部的運動補償預測信號，在DCT變換部和量化部中分別執(zhí)行DCT變換處理和量化處理。針對被量化了的DCT變換系數，在可變長編碼部中進行可變長編碼處理，并且在逆量化部和逆DCT變換部中執(zhí)行局部解碼處理之后，將該局部解碼處理結果經由運動補償部供給到減法部。
[0007]另一方面，MPEG-2的動態(tài)圖像解碼裝置(Decoder)由緩沖器存儲器、可變長解碼部、逆量化部、逆DCT變換部、運動補償部、加法部以及幀存儲器構成。MPEG-2的編碼比特流在被蓄積于緩沖器存儲器之后，通過可變長解碼部、逆量化部以及逆DCT變換部，分別執(zhí)行可變長解碼處理、逆量化處理以及逆DCT變換處理。將這些處理結果與根據在加法部中進行了可變長解碼處理的運動矢量生成的參照圖像相加，從加法部的輸出生成再生圖像信號。將該再生圖像信號儲存于幀存儲器，用于其他幀的預測。
[0008]接著MPEG-2的標準，還提出了基于在用于電視電話等低速率的編碼的國際標準IS0/IEC 14496中標準化了的MPEG-4的標準(H.263)的動態(tài)圖像的一般的壓縮方式?；贛PEG-4(H.263)的標準的壓縮方式是與MPEG-2同樣地使用幀間預測和離散余弦變換的被稱為“混雜型”的方式，還被導入了半像素(半圖素)單位下的運動補償。在該壓縮方式中，與MPEG-2同樣地，作為熵編碼，使用哈夫曼碼，但新導入對運行(RUN)、水平(LEVEL)以及末尾(LAST)同時進行編碼的三維可變長編碼(三維VLC)這樣的技術，大幅提高壓縮率。另外，運行和水平是與行程編碼的系數有關的參數，末尾是表示是否為最后的系數的參數。進而，在MPEG-4(H.263)的標準中，有被稱為Baseline的基本部分和被稱為Annex的擴展標準。
[0009]利用基于MPEG-4(H.263)的標準的壓縮方式的效率改善不充分，所以為了達成更高的編碼效率，通過國際標準IS0/IEC 14496-10對MPEG_4AVC(H.264)的標準進行了標準化。另外，AVC 是 Advanced Video Coding (高級視頻編碼)的簡稱，MPEG-4AVC (H.264)的標準被稱為H.264/AVCo
[0010]基于標準Η.246/AVC的視頻編碼由視頻編碼層(Video Coding Layer)和網絡抽象層(Network Abstract1n Layer)構成。即，視頻編碼層是被設計成有效地表現視頻內容的層，網絡抽象層是為了對視頻的VCL表現進行格式化并且利用各種傳送層、存儲介質進行傳送而按照適合的方法提供組頭信息的層。
[0011 ] 在MPEG-2、MPEG-4、MPEG-4AVC(H.264)等國際標準動態(tài)圖像編碼方法中，為了使用時間方向的相關性來實現高的編碼效率，使用了幀間編碼即幀間預測編碼。在幀的編碼模式中，有不使用幀間的相關性而使用幀內編碼的I幀、根據過去編碼了的1幀進行幀間預測的P幀以及能夠根據過去編碼了的2幀進行幀間預測的B幀。
[0012]在該幀間預測編碼中，執(zhí)行作為編碼對象的動態(tài)圖像和進行了運動補償的參照圖像(預測圖像)的減法，該減法所產生的預測殘差被編碼。編碼的處理包括DCT(離散余弦變換)等正交變換、量化以及可變長編碼的處理。運動補償(運動校正)包括使幀間預測的參照幀在空間上移動的處理，按照被編碼幀的塊單位進行運動補償的處理。當在圖像內容中無運動的情況下，使用無移動且位置與被預測像素相同的像素。在有運動的情況下，探索最類似的塊，將移動量設為運動矢量。運動補償的塊在MPEG-2的編碼方法中是16像素X 16像素/16像素X 8像素的塊，在MPEG-4的編碼方法中是16像素X 16像素/16像素X 8像素/8像素X 8像素的塊。運動補償的塊在MPEG-4AVC(H.264)的編碼方法中是16像素X 16像素/16像素X 8像素/8像素X 16像素/8像素X 8像素/8像素X 4像素/4像素X8像素/4像素X 4像素的塊。
[0013]上述編碼處理是針對每個影像畫面(幀或者字段)進行的處理，對畫面進行細分化而得到的塊(通常是16像素X 16像素，在MPEG中被稱為宏塊(MB))成為處理單位。SP，針對應該進行編碼的每個塊，從已經編碼了的參照圖像中選擇最類似的塊(預測圖像)，編碼圖像(塊)和預測圖像的差分信號被編碼(正交變換、量化等)。畫面內的被編碼的塊和預測信號的相對位置的差被稱為運動矢量。
[0014]另外，在下述非專利文獻1中，記載為利用H.246/AVC的視頻編碼層(VCL)依照被稱為基于塊的混合視頻編碼的方法。VCL設計由宏塊、切片(slice)構成，各圖片被分割為固定尺寸的多個宏塊，各宏塊在亮度分量中包括16X16樣本的四邊形圖片區(qū)域以及在與其對應的2個色差分量的各色差分量中包括的四邊形采樣區(qū)域。1個圖片能夠包括1個或者1個以上的切片。各切片在提供有效的序列參數組和圖片參數組這樣的意義上是自我包含的，切片表現基本上無需使用來自其他切片的信息而能夠被譯碼，所以語法元素能夠根據比特流和圖片的區(qū)域的采樣的值來解析。但是，為了進行更完全的解碼，跨切片邊界地應用去塊濾波器，需要來自其他切片的若干信息。
[0015]另一方面，處置動態(tài)圖像碼的系統(tǒng)是數字HDTV (High Definit1n Televis1n，高清晰度電視)廣播接收機、能夠對HDTV信號進行攝影的數字視頻照相機等，圖像尺寸大畫面化。在處理這些信號的圖像編碼裝置、圖像解碼裝置中，要求越來越高的處理性能。
[0016]根據這樣的背景，提出了作為標準H.264/MPEG-4AVC的后續(xù)標準的新標準
H.265(IS0/IEC 23008-2)，該新標準被稱為 HEVC (High Efficiency Video Coding，高效率視頻編碼)。HEVC標準是通過塊尺寸的適當化等而優(yōu)化了壓縮效率的標準，相比于MPEG-2的標準具有約4倍的壓縮性能，相比于標準H.264/AVC具有約2倍的壓縮性能。
[0017]另一方面，在下述專利文獻1中，在MPEG-1/2/4和Η.261/H.263/H.264-AVC等廣泛采用的各種編碼壓縮標準中，將由16X16像素構成的1個宏塊用作運動補償和后續(xù)處理的處理單位，相對于此，在HEVC標準中，將更靈活的塊構造用作處理單位。該靈活的塊構造的單位被稱為編碼單元(CU)，關于編碼單元，為了從最大編碼單元(LCU)出發(fā)達成良好的性能，被適當地分割為使用四叉樹(quadtree)的小的塊。最大編碼單元(LCU)的尺寸是遠大于宏塊的尺寸(16X16像素)的64X64像素。另外，在下述專利文獻1中說明了的最大編碼單元(LCU)相當于在HEVC標準中說明了的編碼樹塊(CTB)或者編碼樹塊(CTU)。在下述專利文獻1的圖1和與其相關的公開中，示出了基于四叉樹的編碼單元分割的例子，在其深度“零”下，最初的編碼單元(CU)是由64X64像素構成的最大編碼單元(LCU)。分裂標志(split flag) “0”表示該時間點的編碼單元(⑶)未被分割，另一方面，分裂標志“1”表示該時間點的編碼單元(CU)通過四叉樹被分割為4個小的編碼單元。在下述專利文獻1中還記載了對分割后的編碼單元(CU)進一步進行四叉樹分割直至達到預先確定的最小編碼單元(CU)的尺寸。
[0018]在下述非專利文獻2中，記載了 HEVC的標準的概況。以前的標準的編碼層的核是包括亮度樣本的16X 16塊和8X8塊這2個色度樣本的宏塊，相對于此，HEVC的標準的類似結構是比傳統(tǒng)的宏塊更大且通過編碼器選擇尺寸的編碼樹單元(CTU)。編碼樹單元(CTU)由亮度編碼樹塊(CTB)、色度編碼樹塊(CTB)以及語法要素構成。編碼樹單元(CTU)的四叉樹/語法指定其亮度和色度的編碼樹塊(CTB)的大小和位置。為了對圖片區(qū)域進行編碼，在編碼單元(CU)的水平下，進行是否使用幀間/圖片或者幀內/圖片的決定。預報(predict1n)單元(PU)的分割構造在編碼單元(CU)的水平下具有其根源。依賴于基本的預報類型的決定，亮度和色度的編碼塊(CB)能夠實現尺寸的分割，能夠根據亮度和色度的預報塊(PB)進行預測。HEVC標準支持從64X64樣本至4X4樣本的可變的預報塊(PB)的尺寸。預測殘差通過塊變換被編碼，轉換單元(TU)的樹構造在編碼單元(CU)的水平下具有其根源。亮度的編碼塊(CB)的殘差能夠設為與亮度的轉換塊(TB)相同，能夠分割為更小的亮度的轉換塊(TB)。這在色度的轉換塊(TB)下也是同樣的。為了 4X4、8X8、16X16、32X32樣本的四邊形的轉換塊(TB)的尺寸，定義了與離散余弦變換(DCT)的函數類似的基于整數的函數。
[0019]進而，在下述非專利文獻2中，記載了能夠生成依照HEVC的標準的比特流的混合視頻編碼器的結構，并還記載了在該幀間/圖片預測循環(huán)中，包括與在H.264/MPEG-4AVC的標準中使用的去塊濾波器類似的去塊濾波器。
[0020]在下述專利文獻2中，記載了為了對任意形狀的圖像高效地進行編碼，對埋入塊內的無圖像數據的空白區(qū)域的填充組件，供給從外部輸入的圖像信號的形狀信息。由于輸入圖像信號的橫和縱的尺寸需要是用于壓縮編碼的塊尺寸的整數倍，所以填充組件為了對任意形狀的圖像進行編碼，執(zhí)行按圖像區(qū)域的平均值埋入空白區(qū)域的動作、或者拷貝圖像區(qū)域的端的像素等而埋入的動作。
[0021]在下述專利文獻3中，記載了解決在對圖像信號進行編碼時，如果對在畫面的端的部分像素值不連續(xù)地變化的信號進行編碼，則由于信號的不連續(xù)性產生高頻分量而產生大量的碼量這樣的問題的編碼裝置。權重系數判定器根據同步信號計算圖像信號的畫面內的位置，輸出越接近畫面的端越接近0的權重系數w。第1乘法器對輸入圖像信號乘以權重系數w，第2乘法器對恒定值輸出器的輸出乘以系數1 一 w，加法器在對2個乘法器的輸出信號進行加法之后，加法器的輸出通過編碼器被編碼。記載為在畫面的端處將圖像信號平滑地設為恒定值，所以無需多余的碼量。
[0022]在下述專利文獻4中，記載了如下電視電話裝置:如果操作者在操作部中設定表示在發(fā)送圖像中包含的圖像的重要位置的信息，則圖像編碼部針對圖像的重要位置內的圖像數據以相比于它以外的位置的圖像數據提高畫質的方式進行編碼。
[0023]在下述專利文獻5中，記載了為了實現在MPEG-4標準中采用了的畫面外運動矢量(UMV Unrestricted Mot1n Vector)(為了將畫面邊界外部用作參照圖像)而將畫面內的像素值外插到畫面外的填充處理。進一步記載了填充處理的外插開始位置是有效圖像區(qū)域的端還是編碼宏塊的端在MPEG-4標準中是不統(tǒng)一的，所以防止在編碼器和解碼器中該填充處理的外插開始位置不統(tǒng)一的情況下在解碼器中產生的噪聲的方法。
[0024]專利文獻1:美國公開專利US2012/0106652A1說明書
[0025]專利文獻2:日本特開平10-23404號公報
[0026]專利文獻3:日本特開平5-91333號公報
[0027]專利文獻4:日本特開平7-203434號公報
[0028]專利文獻5:日本特開2009-100041公報
[0029]非專利文獻1:GARY J.SULLIVAN et al, “Video Compress1n-From Conceptto the H.264/AVC Standard”，PROCEEDING OF THE IEEE, VOL.93, N0.1, JANUARY2005, PP.18-31.
[0030]非專利文獻2:Gary J.Sullivan et al，“Overview of the High EfficiencyVideo Coding(HEVC)Standard”，IEEE TRANSACT1NS ON CIRCUITS AND SYSTEMS FOR VIDEOTECHNN0L0GY, VOL.22，N0.12，DECEMBER 2012，PP.1649-1668.

【發(fā)明內容】

[0031]本發(fā)明者等在本發(fā)明之前，從事了如下動態(tài)圖像編碼裝置(Video Encoder)的開發(fā)，該動態(tài)圖像編碼裝置依照作為現行標準H.264/MPEG-4AVC的后續(xù)標準的HEVC標準，通過動態(tài)圖像輸入信號的編碼能夠生成編碼比特流。該動態(tài)圖像編碼裝置不僅要求依照HEVC標準，而且還要求依照現行標準H.264/MPEG-4AVC對動態(tài)圖像輸入信號進行編碼。
[0032]在該HEVC標準中，由于塊尺寸的適當化等，壓縮效率優(yōu)良，相比于MPEG-2的標準具有約4倍的壓縮性能、相比于標準H.264/AVC具有約2倍的壓縮性能。伴隨數字HDTV(High Definit1n Televis1n)廣播接收機、能夠對HDTV信號進行攝影的數字視頻照相機等中的圖像尺寸的大畫面化，在動態(tài)圖像編碼裝置、動態(tài)圖像解碼裝置中，要求更高的處理性能，HEVC標準被期待滿足這些要求。
[0033]另一方面，近年來，具有高精細HD(High Definit1n，高清晰度)的像素尺寸(1920像素X 1080像素)的約4倍的4096像素X 2160像素或者3840像素X 2160像素的大小的顯示裝置的4KTV得到了注目。例如，在日本，總務省發(fā)表了從2014年7月開始4K電視廣播這樣的方針。這樣，在執(zhí)行與4KTV的顯示裝置的顯示畫面相當的1張幀(圖片)的動態(tài)圖像信號的編碼或者解碼的動態(tài)圖像編碼裝置或者動態(tài)圖像解碼裝置中，也要求高的處理性能。
[0034]圖10是示出能夠依照在本發(fā)明之前由本發(fā)明者等研究了的現行標準H.264和HEVC標準的被選擇了的方式通過動態(tài)圖像輸入信號的編碼生成編碼比特流的動態(tài)圖像編碼裝置1的結構的圖。
[0035]圖10所示的動態(tài)圖像編碼裝置1包括填充處理部100、減法器101、頻率變換部102、量化部103、逆量化部104、逆頻率變換部105、加法器106、可變長編碼部114以及視頻緩沖器115。進而，動態(tài)圖像編碼裝置1包括濾波器單元107、幀存儲器108、運動矢量檢測部109、運動補償部110、緩沖器存儲器111、幀內預測部112以及選擇器部113。
[0036]動態(tài)圖像信號VS被供給到填充處理部100的輸入端子，填充處理部100根據需要執(zhí)行填充處理。即，如上述專利文獻2記載，在對動態(tài)圖像編碼裝置1供給的動態(tài)圖像信號VS的橫和縱的尺寸并非編碼塊尺寸的整數倍的情況下，以使填充處理后的動態(tài)圖像信號的橫和縱的尺寸成為編碼塊尺寸的整數倍的方式，填充處理部100執(zhí)行填充處理。
[0037]圖11是說明圖10所示的在本發(fā)明之前由本發(fā)明者等研究了的動態(tài)圖像編碼裝置1的填充處理部100中的填充處理的圖。
[0038]在圖11中，示出了圖10所示的動態(tài)圖像編碼裝置1依照HEVC標準來執(zhí)行動態(tài)圖像信號VS的編碼處理的情況。即，該情況的編碼塊尺寸是通過HEVC標準定義了的編碼單元CU。因此，關于該編碼單元CU，存在是由64X64像素構成的最大編碼單元(LCU)的情況和是通過最大編碼單元(LCU)的分割而生成了的編碼單元的情況。
[0039]如圖11所示，對動態(tài)圖像編碼裝置1供給的動態(tài)圖像信號VS的橫和縱的尺寸未成為作為編碼塊尺寸的編碼單元CU的整數倍。因此，填充處理部100以使填充處理后的動態(tài)圖像信號的橫和縱的尺寸成為編碼塊尺寸的整數倍的方式執(zhí)行填充處理。即，如圖11所示，在動態(tài)圖像信號VS的右橫向和縱下方向上，通過填充處理部100的填充處理，被追加了填充處理數據ro。填充處理數據ro能夠通過拷貝例如動態(tài)圖像信號VS和填充處理數據PD的邊界附近的動態(tài)圖像信號VS的像素值自身或者像素值的平均值等而形成。其結果，以使填充處理后的動態(tài)圖像信號的橫和縱的尺寸成為編碼塊尺寸的整數倍的方式，對動態(tài)圖像信號VS追加填充處理數據ro，所以在由圖10所示的動態(tài)圖像編碼裝置1實施的動態(tài)圖像編碼處理時，能夠降低由于動態(tài)圖像信號的不連續(xù)性而產生的高頻分量。因此，能夠通過高頻分量的降低，降低從可變長編碼部114生成的壓縮視頻編碼比特流CVBS的碼量。
[0040]另外，圖11所示的填充處理部100的填充處理后的動態(tài)圖像信號VS需要通過動態(tài)圖像解碼裝置(Decoder)來顯示。相對于此，圖11所示的填充處理部100的填充處理后的填充處理數據不需要通過動態(tài)圖像解碼裝置(Decoder)來顯示。
[0041]另外，在圖10所示的動態(tài)圖像編碼裝置1依照現行標準H.264執(zhí)行動態(tài)圖像信號VS的編碼處理的情況下，編碼塊尺寸為宏塊(MB)。該宏塊(MB)在亮度分量中具有16像素X 16像素的尺寸。在該情況下，填充處理部100以使填充