運動圖像編碼裝置、運動圖像解碼裝置、運動圖像編碼方法、運動圖像解碼方法、及程序的制作方法
【技術領域】
[0001] 本發(fā)明涉及運動圖像編碼裝置,運動圖像解碼裝置,運動圖像編碼方法,運動圖像 解碼方法,以及程序。
【背景技術】
[0002] 目前已公開有HEVC(High Efficiency Video Coding高效率視頻編碼),其是利用 幀內預測和幀間預測,以及殘差變換的運動圖像編碼方法(例如,參照非專利文獻1)。
[0003] [運動圖像編碼裝置麗的結構以及動作]
[0004] 圖11是利用上述的運動圖像編碼方法對運動圖像進行編碼的、根據(jù)現(xiàn)有例子的 運動圖像編碼裝置麗的框圖。運動圖像編碼裝置麗包括:幀間預測部10,幀內預測部20, 變換·量化部30,熵編碼部40,逆量化?逆變換部50,環(huán)路濾波部60,第一緩沖部70,以及 第二緩沖部80。
[0005] 幀間預測部10,輸入輸入圖像a與從第一緩沖部70中提供的后述的本地解碼圖 像g。該幀間預測部10,利用輸入圖像a以及本地解碼圖像g進行幀間(Inter)預測(幀 (Frame)間預測)后,生成并輸出幀間預測圖像b。
[0006] 幀內預測部20,輸入輸入圖像a和從第二緩沖部80中提供的后述的本地解碼圖 像f。該幀內預測部20,利用輸入圖像a以及本地解碼圖像f進行幀內(Intra)預測(幀 (Frame)內預測)后,生成并輸出幀內預測圖像c。
[0007] 變換·量化部30,輸入輸入圖像a和、幀間預測圖像b或幀內預測圖像c之間的誤 差(殘差)信號。該變換·量化部30,將輸入后的殘差信號進行變換以及量化后,生成并輸 出量化系數(shù)d。
[0008] 熵編碼部40,輸入量化系數(shù)d和未圖不的彩度信息。該熵編碼部40,對輸入后的 信息進行熵編碼,并作為位流z (bit stream)輸出。
[0009] 逆量化?逆變換部50,輸入量化系數(shù)d。該逆量化?逆變換部50,對量化系數(shù)d進 行逆量化以及逆變換之后,生成并輸出逆變換后的殘差信號e。
[0010] 第二緩沖部80,積累本地解碼圖像f,并適當提供給幀內預測部20以及環(huán)路濾波 部60。本地解碼圖像f為幀間預測圖像b或幀內預測圖像c、和逆轉換后的殘差信號e相 加后的信號。
[0011] 環(huán)路濾波部60,輸入本地解碼圖像f。該環(huán)路濾波部60,將去塊濾波等濾波器應用 于本地解碼圖像f之后,生成并輸出本地解碼圖像g。
[0012] 第一緩沖部70,累積本地解碼圖像g,適當?shù)靥峁┙o幀間預測部10。
[0013] [運動圖像解碼裝置NN的結構以及動作]
[0014] 圖12是從運動圖像編碼裝置MM中生成的位流z中對運動圖像進行解碼的、根據(jù) 現(xiàn)有例子的運動圖像解碼裝置NN的框圖。運動圖像解碼裝置NN包括:熵解碼部110,逆變 換?逆量化部120,幀間預測部130,幀內預測部140,環(huán)路濾波部150,第一緩沖部160,以及 第二緩沖部170。
[0015] 熵解碼部110,輸入位流z。該熵解碼部110對位流z進行熵解碼之后,生成并輸 出量化系數(shù)B。
[0016] 逆變換?逆量化部120,幀間預測部130,幀內預測部140,環(huán)路濾波部150,第一緩 沖部160,以及第二緩沖部170分別與圖11示出的逆量化?逆變換部50,幀間預測部10,幀 內預測部20,環(huán)路濾波部60,第一緩沖部70,以及第二緩沖部80進行相同的動作。
[0017][幀內預測的詳細說明]
[0018] 對上述的幀內預測,進行詳細說明如下。對于幀內預測,非專利文獻1中公開了 按每個顏色分量,利用參考像素的像素值,預測編碼對象塊的像素值,其中,參考像素的像 素值為已完成編碼的再構成后的像素。并且,作為亮度分量的預測方法,添加至DC、Planar 后,示出了 32方向的所有的34種類。并且,作為色差分量的預測方法,示出了采用與亮度 分量相同的預測種類的方法和獨立于亮度分量的DC、Planar,水平,垂直。根據(jù)此,能夠按 每個分量削減空間的冗余性。
[0019] 并且,作為削減顏色分量間的冗余性的方法,在非專利文獻2示出了 LM模式。例 如,利用圖13來對LM模式用于YUV420格式的圖像上的情況進行說明。
[0020] 圖13㈧示出了色差分量的圖像,圖13⑶示出了亮度分量的像素。在LM模式中, 在通過圖13(B)的16個白圈示出的圖像上再構成亮度分量。利用所述亮度分量,利用以下 數(shù)學公式(1)中示出的預測公式來線性預測色差分量。
[0021] [數(shù) 1]
[0022] predc[x,y] =αX((PL[2x, 2y]+PL[2x, 2y+l]) >>1) +β· · · (1)
[0023] 在數(shù)學公式(1)中,PL表示亮度分量的像素值,pred。表示色差分量的預測像素 值。并且,α以及β,表示可利用參考像素求出的參數(shù),通過下面的數(shù)學公式(2),(3)來確 定。其中,參考像素由圖13㈧的8個黑圈和圖13⑶的8個黑圈表示。
[0024] [數(shù) 2]
'V /
[0025]
[0026]
[0027]
[0028] 數(shù)學公式(2),(3)中,P'c表示色差分量的參考像素的像素值。并且,示出了 將亮度和色差的相位考慮在內的亮度分量的像素值,通過以下數(shù)學公式(4)來確定。
[0029] [數(shù) 4]
[0030]
[0031] 其中,為了削減存儲器訪問,上部的參考像素處于相位偏差的狀態(tài)。并且,按每個 稱之為TU(TransformUnit)的最小處理塊進行色差預測。
[0032] 并且,對上述的YUV420格式的圖像進行LM模式的擴展之后,用于YUV422格式的 圖像上時,如圖14所示,增加垂直方向的參考像素。
[0033] 圖15是利用上述的LM模式進行幀內預測的幀內預測部20、140的框圖。幀內預 測部20、140分別包括:亮度參考像素獲取部21,色差參考像素獲取部22,預測系數(shù)導出部 23,以及色差線性預測部24。
[0034] 亮度參考像素獲取部21,輸入本地解碼像素f的亮度分量。該亮度參考像素獲取 部21,獲取位于亮度塊周圍的參考像素的像素值后調整相位,并作為亮度參考像素值h輸 出。其中,亮度塊對應于色差預測對象塊。
[0035] 色差參考像素獲取部22,輸入本地解碼像素f的色差分量。該色差參考像素獲取 部22,獲取位于色差預測對象塊的周圍的參考像素的像素值后,作為色差參考像素值i輸 出。
[0036] 預測系數(shù)導出部23,輸入亮度參考像素值h和色差參考像素值i。該預測系數(shù)導 出部23,利用這些已輸入的像素值,根據(jù)上述的數(shù)學公式(2)至(4)求出參數(shù)α、β,并作 為預測系數(shù)j輸出。
[0037] 色差線性預測部24,輸入本地解碼像素f的亮度分量和預測系數(shù)j。該色差線性 預測部24,利用這些已輸入的信號,根據(jù)上述的數(shù)學公式(1)求出色差分量的預測像素值, 作為色差預測像素值k輸出。
[0038] 然而,隨著半導體技術的發(fā)展而增加了可利用的存儲容量。但是,隨著存儲容量的 增加,存儲器訪問的粒度也變大。但是,與存儲容量的增加相比,存儲器帶寬沒有變寬。在 運動圖像的編碼以及解碼中,由于使用了存儲器,因此存儲器訪問的粒度或存儲器帶寬遇 到了瓶頸。
[0039] 并且,最接近于計算核心的存儲器(例如,SRAM等),相對于外部存儲器(例如, DRAM等)制造成本和消費功率都較高。因此,優(yōu)選地,盡量減少最接近于計算核心的存儲容 量。但是,即使是說明書中規(guī)定的最差值,必須要實現(xiàn)運動圖像的編碼以及解碼,因此,最接 近于計算核心的存儲器必須要滿足最差值的存儲要求,而不是平均的存儲要求(粒度,尺 寸,數(shù)量等)。
[0040] 如上述,LM模式中,每個TU都要進行參數(shù)的導出,因此參考像素數(shù)增加,且計算次 數(shù)及存儲器訪問次數(shù)也增加。
[0041] 例如,將LM模式用于YUV420格式的圖像中的、對于用于參數(shù)導出的計算次數(shù)以及 參考像素進行分析如下。最大處理塊IXU((LargestCodingUnit)的大小,在非專利文獻1 的mainprofile中規(guī)定在64X64以下,作為最小處理塊的最?、堑拇笮?X4。并且, 在YUV420格式中,色差為1/4的像素值,因此最小計算塊在亮度分量中為8X8。因此,用于 參數(shù)導出的計算次數(shù)為(64 + 8) 2= 64次,參考像素數(shù)為28X64次。
[0042] 因此,在非專利文獻2中公開有為了對削減非YUV420格式的圖像,削減參數(shù)導出 次數(shù)的最差值,而按每個⑶(CodingUnit)導出參數(shù)的方法。圖16示出了按每個TU導出 參數(shù)時和按每個CU導出參數(shù)時的計算次數(shù)以及參考像素數(shù)。
[0043] [現(xiàn)有技術文獻]
[0044] [非專利文獻]
[0045] 非專利文獻 1:JCTVC_L1003,Highefficiencyvideocoding(HEVC)text specificationdraft10(forFDIS&Consent)
[0046] 非專利文獻 2 :JCTVC_L0240,AHG7:Theperformanceofextendedintrachroma predictionfornon4:2:0format
【發(fā)明內容】
[0047] 本發(fā)明所要解決的技術問題
[0048] 如圖16的YUV444格式的圖像,在LCU單位上存在用于參數(shù)導出的最差值的參考 像素數(shù)較多的問題。
[0049] 因此,鑒于上述的問題,本發(fā)明的目的在于減少用于削減顏色分量間的冗余性而 參考的參考像素數(shù)。
[0050] 解決技術問題的技術手段
[0051 ] 為了解決上述問題,本發(fā)明提出了以下各項。
[0052] (1)本發(fā)明提出了一種運動圖像編碼裝置,其對包含多個顏色分量而構成的運動 圖像進行編碼,所述運動圖像編碼裝置(例如,相當于圖1的運動圖像編碼裝置AA)的特征 在于,包括:幀內預測單元(例如,相當于圖1的幀內預測部20A),其進行幀內預測;其中, 所述幀內預測單元包括:亮度參考像素抽取單元(例如,相當于圖2的亮度參考像素獲取部 21A),其抽取位于亮度塊周圍的參考像素,所述亮度塊對應于色差預測對象塊;亮度