運動圖像編碼方法以及運動圖像解碼方法
【專利摘要】本發(fā)明涉及運動圖像編碼方法以及運動圖像解碼方法。一種將輸入圖像信號分割成像素塊，對這些分割出的像素塊進行幀間預(yù)測的方法。該方法從保持有編碼結(jié)束區(qū)域中的運動信息的運動信息緩存器中選擇預(yù)測運動信息，使用所述預(yù)測運動信息對編碼對象塊的運動信息進行預(yù)測。進而該方法從編碼結(jié)束了的區(qū)域內(nèi)的多個運動信息中，依照表示所述預(yù)測運動信息的選擇方法的第1信息來取得代表運動信息，僅得到所述代表運動信息。
【專利說明】運動圖像編碼方法以及運動圖像解碼方法
[0001 ] 本申請是申請?zhí)枮?01180066693.9、申請日為2011年3月9日、名稱為“運動圖像編碼方法以及運動圖像解碼方法”的發(fā)明專利申請的分案申請。
技術(shù)領(lǐng)域
[0002]本發(fā)明的實施方式涉及運動圖像的編碼以及解碼中的運動信息壓縮方法、運動圖像編碼方法以及運動圖像解碼方法。
【背景技術(shù)】
[0003]近年來，使編碼效率大幅地提高的圖像編碼方法在ITU-T和IS0/IEC的共同使用下被建議為 11'1]-了1^(3.!1.264以及130/^(:14496-10(以下稱為!1.264)。在!1.264中，預(yù)測處理、變換處理以及熵編碼處理是以矩形塊為單位(例如、16X16像素塊單位、8X8像素塊單位等)來進行的。在預(yù)測處理中對于編碼對象的矩形塊(編碼對象塊)，參照已編碼結(jié)束的幀(參照幀)，進行運動補償，該運動補償進行時間方向的預(yù)測。在這樣的運動補償中，有必要對包含作為編碼對象塊與在參照幀內(nèi)所參照的塊的空間上的偏移信息的運動矢量的運動信息進行編碼并發(fā)送到解碼側(cè)。進而，在使用多個參照幀進行運動補償?shù)那闆r下，還需要將參照幀編號與運動信息一起進行編碼。因此，存在與運動信息以及參照幀編號有關(guān)的代碼量增大的情況。另外，有對參照幀的運動信息存儲器所保存的運動信息進行參照，導(dǎo)出編碼對象塊的預(yù)測運動信息的運動信息預(yù)測方法(專利文獻I以及非專利文獻2)，存在保存運動信息的運動信息存儲器的容量增加的情況。
[0004]作為削減運動信息存儲器的容量的方法的一個例子，在(非專利文獻2)中，在預(yù)定的塊內(nèi)導(dǎo)出代表的運動信息，僅將代表的運動信息保存于運動信息存儲器。
[0005]專利文獻I:日本專利第4020789號
[0006]非專利文獻I
[0007]J.Jung et al，“Temporal MV predictor modificat1n for MV-Comp，Skip，Direct and Merge schemes，，,Joint Collaborative T earn on Video Coding(JCT-VC)ofITU-T SG16ffP3and ISO/IE C JTC1/SC29/WG1IDocument，JCTVC_D164January 20110.
[0008]非專利文獻2
[0009]Yeping Su et al，“CE9:Reduced resolut1n storage of mot1 n vectordata”，Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16ffP3andIS0/IEC JTC1/SC29/WG1IDocu ment，JCTVC_D072January 20110.

【發(fā)明內(nèi)容】

[0010]但是，在非專利文獻I所示出的預(yù)測運動信息的導(dǎo)出方法和非專利文獻2所示出的代表運動信息的導(dǎo)出方法不同的情況下，存在因預(yù)測運動信息的時間相關(guān)性減少而與運動信息有關(guān)的代碼量增加的問題。
[0011]本發(fā)明為了解決上述問題點而被完成的，想要解決的課題是提供一種包含能夠提高編碼效率的運動信息壓縮裝置的運動圖像編碼裝置以及運動圖像解碼裝置。
[0012]根據(jù)實施方式，運動圖像編碼方法是將輸入圖像信號分割成像素塊，對這些分割了的像素塊進行幀間預(yù)測的方法。該方法包含從保持有編碼結(jié)束區(qū)域中的運動信息的運動信息緩存器中選擇預(yù)測運動信息，使用所述預(yù)測運動信息對編碼對象塊的運動信息進行預(yù)測。進而該方法包含從編碼結(jié)束了的區(qū)域內(nèi)的多個運動信息中，依照表示所述預(yù)測運動信息的選擇方法的第I信息，取得代表運動信息，僅得到所述代表運動信息。
【附圖說明】
[0013]圖1是概略地示出第I實施方式所涉及的圖像編碼裝置的結(jié)構(gòu)的框圖。
[0014]圖2A是像素塊的預(yù)測編碼順序的說明圖。
[0015]圖2B是像素塊尺寸的一個例子的說明圖。
[0016]圖2C是像素塊尺寸的其他的例子的說明圖。
[0017]圖2D是像素塊尺寸的其他的例子的說明圖。
[0018]圖3A是編碼樹單元中的像素塊的一個例子的說明圖。
[0019]圖3B是編碼樹單元中的像素塊的其他的例子的說明圖。
[0020]圖3C是編碼樹單元中的像素塊的其他的例子的說明圖。
[0021]圖3D是編碼樹單元中的像素塊的其他的例子的說明圖。
[0022]圖4是概略地不出圖1的熵編碼部的結(jié)構(gòu)的框圖。
[0023]圖5是概略地示出圖1的運動信息存儲器的結(jié)構(gòu)的說明圖。
[0024]圖6A是圖1的幀間預(yù)測部執(zhí)行的幀間預(yù)測處理的一個例子的說明圖。
[0025]圖6B是圖1的幀間預(yù)測部執(zhí)行的幀間預(yù)測處理的其他的例子的說明圖。
[0026]圖7A是預(yù)言(Predict)單元的一個例子的說明圖。
[0027]圖7B是預(yù)言單元的其他的例子的說明圖。
[0028]圖7C是預(yù)言單元的其他的例子的說明圖。
[0029]圖7D是預(yù)言單元的其他的例子的說明圖。
[0030]圖7E是預(yù)言單元的其他的例子的說明圖。
[0031 ]圖7F是預(yù)言單元的其他的例子的說明圖。
[0032]圖7G是預(yù)言單元的其他的例子的說明圖。
[0033]圖8是示出跳過模式、合并模式、幀間模式的說明圖。
[0034]圖9是概略地不出圖4的運動信息編碼部的結(jié)構(gòu)的框圖。
[0035]圖10是示出針對編碼對象預(yù)言單元的預(yù)測運動信息候補的位置的例子的說明圖。
[0036]圖11是示出針對編碼對象預(yù)言單元的預(yù)測運動信息候補的位置的另一其他的例子的說明圖。
[0037]圖12是示出表示多個預(yù)測運動信息候補的塊位置和索引MvpidX的關(guān)系的列表的例子的說明圖。
[0038]圖13A是示出編碼對象預(yù)言單元的尺寸為32X32的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的例子的說明圖。
[0039]圖13B是示出編碼對象預(yù)言單元的尺寸為32X16的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的例子的說明圖。
[0040]圖13C是示出編碼對象預(yù)言單元的尺寸為16X32的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的例子的說明圖。
[0041]圖13D是示出編碼對象預(yù)言單元的尺寸為16X16的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的例子的說明圖。
[0042]圖13E是示出編碼對象預(yù)言單元的尺寸為16X8的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的例子的說明圖。
[0043]圖13F是示出編碼對象預(yù)言單元的尺寸為8X16的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的例子的說明圖。
[0044]圖14A是示出編碼對象預(yù)言單元的尺寸為32X32的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的另一其他的例子的說明圖。
[0045]圖14B是示出編碼對象預(yù)言單元的尺寸為32X16的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的另一其他的例子的說明圖。
[0046]圖14C是示出編碼對象預(yù)言單元的尺寸為16X32的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的另一其他的例子的說明圖。
[0047]圖14D是示出編碼對象預(yù)言單元的尺寸為16X16的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的另一其他的例子的說明圖。
[0048]圖14E是示出編碼對象預(yù)言單元的尺寸為16X8的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的另一其他的例子的說明圖。
[0049]圖14F是示出編碼對象預(yù)言單元的尺寸為8X16的情況下的表示預(yù)言單元的中心的參照運動信息取得位置的另一其他的例子的說明圖。
[0050]圖15是與空間方向參照運動信息存儲器501以及時間方向參照運動信息存儲器502有關(guān)的說明圖。
[0051]圖16是示出圖1的運動信息壓縮部的動作的一個例子的流程圖。
[0052]圖17A是示出編碼對象預(yù)言單元的尺寸為32X 32的情況下的表示預(yù)言單元的左上端的參照運動信息取得位置的例子的說明圖。
[0053]圖17B是示出編碼對象預(yù)言單元的尺寸為32X 16的情況下的表示預(yù)言單元的左上端的參照運動信息取得位置的例子的說明圖。
[0054]圖17C是示出編碼對象預(yù)言單元的尺寸為16X 32的情況下的表示預(yù)言單元的左上端的參照運動信息取得位置的例子的說明圖。
[0055]圖17D是示出編碼對象預(yù)言單元的尺寸為16X 16的情況下的表示預(yù)言單元的左上端的參照運動信息取得位置的例子的說明圖。
[0056]圖17E是示出編碼對象預(yù)言單元的尺寸為16X8的情況下的表示預(yù)言單元的左上端的參照運動信息取得位置的例子的說明圖。
[0057]圖17F是示出編碼對象預(yù)言單元的尺寸為8X 16的情況下的表示預(yù)言單元的左上端的參照運動信息取得位置的例子的說明圖。
[0058]圖18A是示出代表運動信息位置的例子的說明圖。
[0059]圖18B是示出代表運動信息位置的其他的例子的說明圖。
[0060]圖19是示出各預(yù)言尺寸中的預(yù)言單元的中心的例子的說明圖。
[0061]圖20A是示出將每個運動信息壓縮塊的多個參照運動信息取得位置的重心設(shè)定為代表運動信息位置的情況下的代表運動信息位置的例子的說明圖。
[0062]圖20B是示出將每個運動信息壓縮塊的多個參照運動信息取得位置的重心設(shè)定為代表運動信息位置的情況下的代表運動信息位置的其他例子的說明圖。
[0063]圖21A是示出代表運動信息位置的例子的說明圖。
[0064]圖21B是示出代表運動信息位置的其他的例子的說明圖。
[0065]圖22是示出依照一實施方式的語法構(gòu)造的圖。
[0066]圖23A是示出依照一實施方式的序列參數(shù)集語法的一個例子的圖。
[0067]圖23B是示出依照一實施方式的序列參數(shù)集語法的另一例子的圖。
[0068]圖24是示出依照一實施方式的預(yù)言單元語法的一個例子的圖。
[0069]圖25是概略地示出第2實施方式所涉及的圖像解碼裝置的框圖。
[0070]圖26是概略地示出圖25的熵解碼部的框圖。
[0071 ]圖27是概略地不出圖26的運動信息解碼部的框圖。
[0072](符號說明)
[0073]100…圖像編碼裝置、101…減法部、102…正交變換部、103…量化部、104、2502...反量化部、105、2503...反正交變換部、106、2504、2706…加法部、107、2505...參照圖像存儲器、108、2506...幀間預(yù)測部、109…運動信息壓縮部、110…運動信息存儲器、112…熵編碼部、113…輸出緩存器、114…編碼控制部、401…參數(shù)編碼部、402…變換系數(shù)編碼部、403...運動信息編碼部、404…復(fù)用部、901…參照運動矢量取得部、902…預(yù)測運動矢量選擇開關(guān)、903…減法部、904…差分運動信息編碼部、905…預(yù)測運動信息位置編碼部、906…復(fù)用部、2500…運動圖像解碼裝置、2501...熵解碼部、2507...參照運動信息存儲器、2508...參照運動信息壓縮部、2510...解碼控制部、2601、2701…分離部、2602...參數(shù)解碼部、2603...變換系數(shù)解碼部、2604...運動信息解碼部、2702...差分運動信息解碼部、2503...預(yù)測運動信息位置解碼部、2704...參照運動信息取得部、2705...預(yù)測運動信息選擇開關(guān)。
【具體實施方式】
[0074]以下，參照附圖詳細說明各實施方式所涉及的運動圖像編碼裝置以及運動圖像解碼裝置。另外，在以后的說明中，“圖像”這樣的術(shù)語能夠適當(dāng)?shù)乩斫鉃椤坝跋瘛?、“像素”、“圖像信號”、“圖像數(shù)據(jù)”等術(shù)語。另外，在以下的實施方式中，設(shè)為關(guān)于帶有同樣編號的部分進行同樣的動作，并省略重復(fù)的說明。
[0075](第丨實施方式)
[0076]第I實施方式是關(guān)于圖像編碼裝置。與本實施方式所涉及的圖像編碼裝置對應(yīng)的運動圖像解碼裝置在第2實施方式中進行說明。該圖像編碼裝置能夠通過LSI (Large-Scale Integrat 1n:大規(guī)模集成電路)芯片、DSP(DigitalSignalProcessor:數(shù)字信號處理器)、FPGA(Field ProgrammableGateArray:現(xiàn)場可編程門陣列)等硬件來實現(xiàn)。另外，該圖像編碼裝置也可以通過使計算機執(zhí)行圖像編碼程序來實現(xiàn)。
[0077]如圖1所示那樣，本實施方式所涉及的圖像編碼裝置100具有減法部101、正交變換部102、量化部103、反量化部104、反正交變換部105、加法部106、參照圖像存儲器107、幀間預(yù)測部108、運動信息壓縮部109、運動信息存儲器110、以及熵編碼部112。編碼控制部114以及輸出緩存器113通常被設(shè)置于圖像編碼裝置100的外部。
[0078]圖1的圖像編碼裝置100將構(gòu)成輸入圖像信號的各幀或各場或各片分割為多個像素塊，對于這些分割出的像素塊進行預(yù)測編碼，輸出編碼數(shù)據(jù)163。在以后的說明中，為了簡化而假設(shè)如圖2A所示那樣從左上向右下進行像素塊的預(yù)測編碼。在圖2A中，在編碼處理對象的幀f中，編碼結(jié)束像素塊P與編碼對象像素塊c相比位于左側(cè)以及上側(cè)。
[0079]這里，像素塊是指例如、MXN尺寸的塊(N以及M為自然數(shù))、編碼單元、宏塊、子塊、I像素等的處理圖像的單位。另外，在以后的說明中，基本上將像素塊在編碼單元的意義下來使用，但通過適當(dāng)?shù)乩斫庹f明也能夠在上述的意義下解釋像素塊。編碼單元典型的情況是例如圖2B所示的16 X 16像素塊，但也可以是圖2C所示的32 X 32像素塊、圖2D所示的64 X 64像素塊，也可以是未圖示的8X8像素塊、4X4像素塊。另外，編碼單元未必一定是正方形。以下、也有時將輸入圖像信號151的編碼對象塊或者編碼單元稱為“預(yù)測對象塊”。另外，編碼單位不限于編碼單元那樣的像素塊，能夠使用幀或場、片、或者它們的組合。
[0080]圖3A到圖3D是示出了編碼單元的具體例子的圖。圖3A示出編碼單元的尺寸是64X64(N=32)的情況下的例子。這里，N表示成為基準(zhǔn)的編碼單元的尺寸，將被分割了的情況下的尺寸定義為N，將沒被分割的情況定義為2N。編碼樹單元具有四叉樹構(gòu)造，在被分割了的情況下對4個像素塊按照Z掃描順序附上索引。圖3B示出對圖3A的64X64像素塊進行了四叉樹分割的例子。圖中所示的編號表示Z掃描的次序。另外，能夠在編碼單元的I個四叉樹的索引內(nèi)進一步進行四叉樹分割。對于分割的深度用Depth來定義。即、圖3A示出D epth = 0的例子。圖3C示出D印th = I的情況下的32 X 32(N= 16)尺寸的編碼樹單元的例子。將這樣的編碼樹單元的最大的單元稱為大編碼樹單元或者樹塊，如圖2A所示，以該單位按照光柵掃描的順序?qū)斎雸D像信號進行編碼。
[0081]圖1的圖像編碼裝置100根據(jù)從編碼控制部114輸入的編碼參數(shù)，進行針對像素塊的幀間預(yù)測(還被稱為畫面間預(yù)測、幀間預(yù)測、運動補償預(yù)測等)或者沒被圖示的幀內(nèi)預(yù)測(還被稱為畫面內(nèi)預(yù)測、幀內(nèi)預(yù)測等)，生成預(yù)測圖像信號159。該圖像編碼裝置100對像素塊(輸入圖像信號151)和預(yù)測圖像信號159之間的預(yù)測誤差信號152進行正交變換以及量化，進行熵編碼而生成編碼數(shù)據(jù)163并輸出。
[0082]圖1的圖像編碼裝置100有選擇地應(yīng)用塊尺寸以及預(yù)測圖像信號159的生成方法不同的多個預(yù)測模式進行編碼。預(yù)測圖像信號159的生成方法進行大致劃分，有在編碼對象幀內(nèi)進行預(yù)測的幀內(nèi)預(yù)測和使用時間上不同的I個或者多個參照幀來進行預(yù)測的幀間預(yù)測這兩種。
[0083]以下，對圖1的圖像編碼裝置100所包含的各要素進行說明。
[0084]減法部101從輸入圖像信號151的編碼對象塊減去對應(yīng)的預(yù)測圖像信號159，得到預(yù)測誤差信號152。減法部101將預(yù)測誤差信號152輸入到正交變換部102。
[0085]正交變換部102對于來自減法部101的預(yù)測誤差信號152進行例如離散余弦變換(DCT)這樣的正交變換，得到變換系數(shù)153。正交變換部102將變換系數(shù)153輸出到量化部103。
[0086]量化部103對來自正交變換部102的變換系數(shù)153進行量化，得到量化變換系數(shù)154。具體而言，量化部103依照由編碼控制部114所指定的量化參數(shù)、量化矩陣等量化信息進行量化。量化參數(shù)表示量化的微細度。為了按每個變換系數(shù)的分量對量化的微細度加權(quán)而使用量化矩陣，量化矩陣的使用與不使用不是本發(fā)明的實施方式的本質(zhì)部分。量化部103將量化變換系數(shù)154輸出到熵編碼部112以及反量化部104。
[0087]熵編碼部112對來自量化部103的量化變換系數(shù)154、來自幀間預(yù)測部108的運動信息160、由編碼控制部114所指定的預(yù)測信息165、來自編碼控制部114的參照位置信息164、量化信息等的各種編碼參數(shù)進行熵編碼(例如、哈夫曼編碼、算術(shù)編碼等)，生成編碼數(shù)據(jù)163。另外，所謂編碼參數(shù)是預(yù)測信息165、與變換系數(shù)有關(guān)信息、與量化有關(guān)的信息等的解碼所需要的參數(shù)。例如、編碼控制部114具有內(nèi)部存儲器(未圖示)，在該存儲器中保持有編碼參數(shù)，在對預(yù)測對象塊進行編碼時使用鄰接的已編碼結(jié)束的像素塊的編碼參數(shù)。
[0088]具體而言，熵編碼部112如圖4所示那樣具備參數(shù)編碼部401、變換系數(shù)編碼部402、運動信息編碼部403、以及復(fù)用部404。參數(shù)編碼部401對從編碼控制部114接收到的預(yù)測信息165等的編碼參數(shù)進行編碼，生成編碼數(shù)據(jù)451A。變換系數(shù)編碼部402對從量化部103接收到的量化后的變換系數(shù)154進行編碼，生成編碼數(shù)據(jù)451B。
[0089I 運動信息編碼部403參照從運動信息存儲器110接收到的參照運動信息166、從編碼控制部114接收到的參照位置信息164，對從幀間預(yù)測部108接收到的運動信息160進行編碼，生成編碼數(shù)據(jù)451C。關(guān)于運動信息編碼部403，其詳細的內(nèi)容在以后進行說明。
[0090]復(fù)用部404對編碼數(shù)據(jù)451A、451B、451C進行復(fù)用，生成編碼數(shù)據(jù)163。所生成的編碼數(shù)據(jù)163包含運動信息160、預(yù)測信息165以及與變換系數(shù)有關(guān)的信息、與量化有關(guān)的信息等的解碼時所需要的所有的參數(shù)。
[0091]由熵編碼部112生成的編碼數(shù)據(jù)163例如經(jīng)過復(fù)用而被暫時蓄積在輸出緩存器113，依照編碼控制部114所管理的適當(dāng)?shù)妮敵龆〞r，作為編碼數(shù)據(jù)163而輸出。編碼數(shù)據(jù)163向例如未圖示的蓄積系統(tǒng)(蓄積介質(zhì))或者傳送系統(tǒng)(通信線路)輸出。
[0092]反量化部104對于來自量化部103的量化變換系數(shù)154進行反量化，得到恢復(fù)變換系數(shù)155。具體而言，反量化部104依照在量化部103中所使用的量化信息進行反量化。在量化部103中所使用的量化信息從編碼控制部114的內(nèi)部存儲器加載。反量化部104將恢復(fù)變換系數(shù)155輸出到反正交變換部105。
[0093]反正交變換部105對于來自反量化部104的恢復(fù)變換系數(shù)155進行與在例如反離散余弦變換等那樣的正交變換部102中進行的正交變換相對應(yīng)的反正交變換，得到恢復(fù)預(yù)測誤差信號156。反正交變換部105將恢復(fù)預(yù)測誤差信號156輸出到加法部106。
[0094]加法部106將恢復(fù)預(yù)測誤差信號156和對應(yīng)的預(yù)測圖像信號159相加，生成局部的解碼圖像信號157。解碼圖像信號157實施未圖示的去塊濾波、維納濾波等，然后向參照圖像存儲器107輸入。
[0095]參照圖像存儲器107在存儲器中蓄積局部解碼后的被濾波圖像信號158，在由幀間預(yù)測部108根據(jù)需要生成預(yù)測圖像時，作為參照圖像信號158來被參照。
[0096]幀間預(yù)測部108利用參照圖像存儲器107所保存的參照圖像信號158而進行幀間預(yù)測。具體而言，幀間預(yù)測部108在預(yù)測對象塊和參照圖像信號158之間進行塊匹配處理，導(dǎo)出運動的偏差量(運動矢量)O幀間預(yù)測部108根據(jù)該運動矢量進行運動補償(在小數(shù)精度的運動的情況下為插值處理)，生成幀間預(yù)測圖像。在H.264中，有可能實現(xiàn)達到1/4像素精度的插值處理。被導(dǎo)出的運動矢量作為運動信息160的一部分被進行熵編碼。
[0097]運動信息存儲器110具有運動信息壓縮部109，對于運動信息160適當(dāng)?shù)剡M行壓縮處理，削減信息量，并暫時保存為參照運動信息166。如圖5所示，運動信息存儲器110以幀(或者片)為單位進行保持，還具有將同一幀上的運動信息160作為參照運動信息166來保存的空間方向參照運動信息存儲器501;以及將已經(jīng)編碼結(jié)束的幀的運動信息160作為參照運動信息166來保存的時間方向參照運動信息存儲器502 ο時間方向參照運動信息存儲器502根據(jù)編碼對象幀在預(yù)測中使用的參照幀的數(shù)量也可以具有多個。
[0098]另外，空間方向參照運動信息存儲器501以及時間方向參照運動信息存儲器502也可以在物理上對同一存儲器進行邏輯地劃分。進而，還可以是空間方向參照運動信息存儲器501僅保持當(dāng)前進行著編碼的幀所需要的空間方向運動信息，依次壓縮參照所不需要的空間方向運動信息并保存在時間方向參照運動信息存儲器502。
[0099]參照運動信息166以規(guī)定的區(qū)域為單位(例如、4X4像素塊為單位)被保持在空間方向參照運動信息存儲器501以及時間方向參照運動信息存儲器502內(nèi)。參照運動信息166還具有表示該區(qū)域是按照后述的幀間預(yù)測進行編碼還是按照后述的幀內(nèi)預(yù)測進行編碼的信息。另外，編碼單元(或者預(yù)言單元)在如按照H.264所規(guī)定的跳過模式、直接模式或者后述的合并模式那樣不對運動信息160內(nèi)的運動矢量的值進行編碼而使用根據(jù)編碼結(jié)束的區(qū)域所預(yù)測的運動信息160來進行幀間預(yù)測的情況下，也將該編碼單元(或者預(yù)言單元)的運動信息作為參照運動信息16 6來保持。
[0100]如果編碼對象的幀或者片的編碼處理結(jié)束了，則該幀的空間方向參照運動信息存儲器501作為接下來進行編碼處理的幀中所使用的時間方向參照運動信息存儲器502，變更其處理。此時，為了削減時間方向參照運動信息存儲器502的存儲器容量，將通過后述的運動信息壓縮部109所壓縮的運動信息160保存于時間方向參照運動信息存儲器502。
[0101]預(yù)測信息165是依照編碼控制部114控制的預(yù)測模式的，如前所述，為了生成預(yù)測圖像信號159能夠選擇幀間預(yù)測或者未圖示的幀內(nèi)預(yù)測或者幀間預(yù)測，而幀內(nèi)預(yù)測和幀間預(yù)測的各自中還能夠選擇多個模式。編碼控制部114將幀內(nèi)預(yù)測以及幀間預(yù)測的多個預(yù)測模式中的一個判定為最佳的預(yù)測模式，設(shè)定預(yù)測信息165。
[0102]例如、編碼控制部114使用如下的數(shù)學(xué)式(I)所示的成本函數(shù)，判定最佳的預(yù)測模式。
[0103]【數(shù)學(xué)式I】
[0104]K = SAD+AX0H(1)
[0105]在數(shù)學(xué)式(1)(以下稱為簡易編碼成本)中，OH表示與預(yù)測信息160(例如、運動矢量信息、預(yù)測塊尺寸信息)有關(guān)的代碼量，SAD表示預(yù)測對象塊和預(yù)測圖像信號159之間的差分絕對值和(即、預(yù)測誤差信號152的絕對值的累積和)。另外，λ表示根據(jù)量化信息(量化參數(shù))的值所決定的拉格朗日未定乘數(shù)，K表示編碼成本。在使用數(shù)學(xué)式(I)的情況下，使編碼成本K最小化的預(yù)測模式根據(jù)發(fā)生代碼量和預(yù)測誤差的觀點被判定為最佳的預(yù)測模式。作為數(shù)學(xué)式(I)的變形，既可以僅根據(jù)OH或者SAD來估計編碼成本，也可以利用對SAD實施了哈達瑪(Hadamard)變換而得到的值或者其近似值來估計編碼成本。
[0106]另外，還能夠通過使用未圖示的臨時編碼單元來判定最佳的預(yù)測模式。例如、編碼控制部114使用下面的數(shù)學(xué)式(2)所示的成本函數(shù)來判定最佳的預(yù)測模式。
[0107]【數(shù)學(xué)式2】
[0108]j = d+AXR (2)
[0109]在數(shù)學(xué)式(2)中，D表示預(yù)測對象塊和局部解碼圖像之間的平方誤差和(S卩、編碼失真)，R表示關(guān)于預(yù)測對象塊和預(yù)測模式的預(yù)測圖像信號159之間的預(yù)測誤差利用臨時編碼所估計出的代碼量，J表示編碼成本。在導(dǎo)出數(shù)學(xué)式(2)的編碼成本J(以后稱為詳細編碼成本)的情況下，因為每個預(yù)測模式都需要臨時編碼處理以及局部解碼處理，所以電路規(guī)?；蛘哌\算量增大。另一方面，根據(jù)更準(zhǔn)確的編碼失真和代碼量來導(dǎo)出編碼成本J，所以容易高精度地判定最佳的預(yù)測模式而維持高效的編碼效率。另外，作為數(shù)學(xué)式(2)的變形，既可以僅根據(jù)R或者D來估計編碼成本，也可以利用R或者D的近似值來估計編碼成本。另外，也可以分階層地使用這些成本。編碼控制部114也可以根據(jù)關(guān)于預(yù)測對象塊事前得到的信息(周圍的像素塊的預(yù)測模式、圖像解析的結(jié)果等)，預(yù)先縮減進行使用了數(shù)學(xué)式(I)或者數(shù)學(xué)式(2)的判定的預(yù)測模式的候補數(shù)量。
[0110]作為本實施方式的變形例，通過進行組合了數(shù)學(xué)式(I)和數(shù)學(xué)式(2)的兩階段的模式判定，能夠維持編碼性能并且進一步削減預(yù)測模式的候補數(shù)量。這里，由數(shù)學(xué)式(I)所示出的簡易編碼成本由于與數(shù)學(xué)式(2)不同，不需要局部解碼處理，所以可以高速地進行運算。在本實施方式的運動圖像編碼裝置中，即使與H.264相比較預(yù)測模式數(shù)量也多，所以使用了詳細編碼成本的模式判定是不現(xiàn)實的。所以，作為第一步驟，對于在該像素塊中能夠使用的預(yù)測模式進行使用了簡易編碼成本的模式判定，導(dǎo)出預(yù)測模式候補。
[0111]這里，利用決定量化的粗細的量化參數(shù)的值越大則簡易編碼成本與詳細編碼成本的相關(guān)性就越高的性質(zhì)，變更預(yù)測模式候補數(shù)量。
[0112]接下來，對圖像編碼裝置100的預(yù)測處理進行說明。
[0113]圖1的圖像編碼裝置100雖未圖示，但準(zhǔn)備了多個預(yù)測模式，在各預(yù)測模式中，預(yù)測圖像信號159的生成方法以及運動補償塊尺寸相互不同。作為預(yù)測部108生成預(yù)測圖像信號159的方法，具體而言，大致劃分，存在使用編碼對象幀(或者場)的參照圖像信號158來生成預(yù)測圖像的幀內(nèi)預(yù)測(幀內(nèi)預(yù)測)、以及使用I個以上的編碼結(jié)束的參照幀(或者參照場)的參照圖像信號158生成預(yù)測圖像的幀間預(yù)測(幀間預(yù)測)。預(yù)測部108有選擇地切換幀內(nèi)預(yù)測以及幀間預(yù)測，生成編碼對象塊的預(yù)測圖像信號159。
[0114]圖6A示出幀間預(yù)測的一個例子。幀間預(yù)測典型的情況是按照預(yù)言單元的單位來執(zhí)行，有可能具有預(yù)言單元單位下不同的運動信息160。在幀間預(yù)測中，如圖6A所示那樣，使用根據(jù)運動信息160所包含的運動矢量而在空間上從塊601移動后的位置的塊602的參照圖像信號158，來生成預(yù)測圖像信號159，該塊601是已經(jīng)編碼完成的參照幀(例如、前I幀的編碼結(jié)束的幀)內(nèi)的像素塊，是與編碼對象的預(yù)言單元相同的位置的塊。即、在預(yù)測圖像信號159的生成中，使用通過編碼對象塊的位置(坐標(biāo))以及運動信息160所包含的運動矢量所確定的、參照幀內(nèi)的塊602的參照圖像信號158。
[0115]在幀間預(yù)測中，能夠?qū)崿F(xiàn)小數(shù)的像素精度(例如、1/2像素精度或者1/4像素精度)的運動補償，通過對參照圖像信號158進行濾波處理，生成插值像素的值。例如、在H.264中，能夠?qū)α炼刃盘栠M行達到1/4像素精度的插值處理。該插值處理處理除了由H.264所規(guī)定的濾波以外，還能夠通過使用任意的濾波來執(zhí)行。
[0116]另外，在幀間預(yù)測中，不限于使用圖6A所示那樣的前I幀的參照幀的例子，如圖6B所示那樣，還可以使用某個編碼結(jié)束的參照幀。在保持有時間位置不同的多個參照幀的參照圖像信號158的情況下，表示根據(jù)哪個時間位置的參照圖像信號158來生成了預(yù)測圖像信號159的信息是用參照幀編號來表示的。參照幀編號被包含于運動信息160。參照幀編號能夠按照區(qū)域單位(圖片、片、塊單位等)來進行變更。即、能夠針對每個預(yù)言單元使用不同的參照幀。作為一個例子，在預(yù)測中使用了編碼結(jié)束的前I幀的參照幀的情況下，該區(qū)域的參照幀編號被設(shè)定為O，在預(yù)測中使用了編碼結(jié)束的前2幀的參照幀的情況下，該區(qū)域的參照幀編號被設(shè)定為I。作為其他的例子，在參照圖像存儲器107中保持有I幀大小的參照圖像信號158(所保持的參照幀的數(shù)量僅有I個)的情況下，參照幀編號總是被設(shè)定為O。
[0117]進而，在幀間預(yù)測中，還能夠從預(yù)先準(zhǔn)備的多個預(yù)言單元的尺寸中選擇適合于編碼對象塊的尺寸來使用。例如，能夠針對圖7A到圖7G所示那樣的分割編碼樹單元而得到的預(yù)言單元的每個進行運動補償。另外，還能夠針對圖7F、圖7G所述那樣的被分割成矩形以外的形狀而得到的預(yù)言單元的每個進行運動補償。
[0118]如前所述，在幀間預(yù)測中使用的編碼對象幀內(nèi)的編碼結(jié)束的像素塊(例如、4X4像素塊)的運動信息160作為參照運動信息166來被保持，所以能夠依照輸入圖像信號151局部的性質(zhì)來利用最佳的運動補償塊的形狀以及運動矢量、參照幀編號。另外，編碼單元以及預(yù)言單元能夠任意地組合。在編碼樹單元為64X64像素塊的情況下，對于分割了64X64像素塊而得的4個編碼樹單元(32X32像素塊)的各個，能夠通過進一步將編碼樹單元分割成4個來分階層地從64 X 64像素塊中使用16 X 16像素塊。同樣地，能夠分階層地從64 X 64像素塊中使用8X8像素塊。這里，如果設(shè)為預(yù)言單元是將編碼樹單元分割成4個的單元，則能夠執(zhí)行從64 X 64像素塊到4 X 4像素塊的分階層的運動補償處理。
[0119]另外，在幀間預(yù)測中，能夠執(zhí)行對于編碼對象像素塊使用了2種運動補償?shù)碾p向預(yù)測。在H.264中，對于編碼對象像素塊進行2種運動補償，通過對2種預(yù)測圖像信號進行加權(quán)平均，從而得到新的預(yù)測圖像信號(未圖示)。在雙向預(yù)測中，分別將2種運動補償稱為列表O預(yù)測、列表I預(yù)測。
[0120]〈跳過模式、合并模式、幀間模式的說明〉
[0121]本實施方式所涉及的圖像編碼裝置100使用圖8所示的編碼處理不同的多個預(yù)測模式。圖中的跳過模式是僅對后述的與預(yù)測運動信息位置954有關(guān)的語法進行編碼、而對其他的語法不進行編碼的模式。合并模式是僅對與預(yù)測運動信息位置954有關(guān)的語法、變換系數(shù)信息153進行編碼，對其他的語法不進行編碼的模式。幀間模式是對與預(yù)測運動信息位置954有關(guān)的語法、后述的差分運動信息953、變換系數(shù)信息153進行編碼的模式。這些模式根據(jù)編碼控制部114控制的預(yù)測信息165來進行切換。
[0122]〈運動信息編碼部403〉
[0123]以下、對于運動信息編碼部403，使用圖9來進行說明。
[0124]運動信息編碼部403具有參照運動矢量取得部901、預(yù)測運動矢量選擇開關(guān)(還被稱為預(yù)測運動信息選擇開關(guān))902、減法部903、差分運動信息編碼部904、預(yù)測運動信息位置編碼部905以及復(fù)用部906。
[0125]參照運動矢量取得部901將參照運動信息166以及參照位置信息164作為輸入，生成至少一個以上的預(yù)測運動信息候補(還被稱為預(yù)測運動矢量候補)951(951A、951B、…)。圖10、圖11示出針對對象預(yù)言單元的預(yù)測運動信息候補951的位置的一個例子。圖10示出與對象預(yù)言單元在空間上相鄰的預(yù)言單元的位置。ΑΧ(Χ = 0?nA-1)表示相對于對象預(yù)言單元在左側(cè)相鄰的預(yù)言單元，BY( Y = O?nB-1)表示相對于對象預(yù)言單元在上側(cè)相鄰的預(yù)言單元，C、D、E表示相對于對象預(yù)言單元分別在右上、左上、左下相鄰的預(yù)言單元。另外，圖11示出相對于編碼對象預(yù)言單元，已編碼結(jié)束的參照幀中的預(yù)言單元的位置。圖11中的Col表示在參照幀內(nèi)的處于與編碼對象預(yù)言單元相同的位置的預(yù)言單元。圖12表示多個預(yù)測運動信息候補951的塊位置和索引Mvpidx的關(guān)系的列表的一個例子。Mvpidx為O?2表示位于空間方向的預(yù)測運動矢量候補951，Mvpidx為3表示位于時間方向的預(yù)測運動矢量候補951。關(guān)于預(yù)言單元位置A，是圖10所示的AX內(nèi)的幀間預(yù)測、即具有參照運動信息166的預(yù)言單元，將X值為最小的位置設(shè)為預(yù)言單元位置A。另外，關(guān)于預(yù)言單元位置B，是圖10所示的BY內(nèi)的幀間預(yù)測、即具有參照運動信息166的預(yù)言單元，將Y的值為最小的位置設(shè)為預(yù)言單元位置A。在預(yù)言單元位置C不是幀間預(yù)測的情況下，將預(yù)言單元位置D的參照運動信息166置換為預(yù)言單元位置C的參照運動信息166。在預(yù)言單元位置C以及D不是幀間預(yù)測的情況下，將預(yù)言單元位置E的參照運動信息166置換為預(yù)言單元位置C的參照運動信息166。
[0126]在編碼對象預(yù)言單元的尺寸比最小預(yù)言單元大的情況下，預(yù)言單元位置Col能夠在時間方向參照運動信息存儲器502中保持多個參照運動信息166。該情況下，依照參照位置信息164取得位置Col的預(yù)言單元中的參照運動信息166。以后，將位置Col的預(yù)言單元中的參照運動信息166的取得位置稱為參照運動信息取得位置。圖13A?F針對每個編碼對象預(yù)言單元的尺寸(32X32?16X16)示出參照位置信息164表示位置Co I的預(yù)言單元的中心的情況下的參照運動信息取得位置的一個例子。圖中的塊分別示出4X4預(yù)言單元，圓記號表示作為預(yù)測運動信息候補951而取得的4X4預(yù)言單元的位置。參照運動信息取得位置的另一個例子在圖14A?F中示出。在圖14A?F中，關(guān)于圓記號的位置，由于不存在4X4預(yù)言單元，所以以與圓記號相鄰的4個4X4預(yù)言單元中的參照運動信息166的平均值、中間值這樣的預(yù)定方式來生成預(yù)測運動信息候補951。作為參照運動信息取得位置的又一其他的一個例子，也可以將位于位置Col的預(yù)言單元的左上端的4X4預(yù)言單元的參照運動信息166作為預(yù)測運動信息候補951。即使是上述的例子以外的方式，只要是預(yù)定的方式，則可以使用任意的位置以及方式來生成預(yù)測運動信息候補951。
[0127]另外，在參照運動信息166不存在的情況下，將具有零矢量的運動信息160作為預(yù)測運動信息候補951來輸出。
[0128]根據(jù)以上內(nèi)容，從參照運動塊輸出至少一個以上的預(yù)測運動信息候補951。在上述的預(yù)測運動信息候補951所具有的參照幀編號和編碼對象預(yù)言單元的參照幀編號不同的情況下，也可以將預(yù)測運動信息候補951依照預(yù)測運動信息候補951所具有的參照幀編號和編碼對象預(yù)言單元的參照幀編號來進行按比例縮放(scaling)。
[0129]預(yù)測運動信息選擇開關(guān)902根據(jù)來自編碼控制部114的指令從多個預(yù)測運動信息候補951中選擇一個，然后輸出預(yù)測運動信息952。另外，預(yù)測運動信息選擇開關(guān)902也可以輸出后述的預(yù)測運動信息位置信息954。上述選擇也可以使用數(shù)學(xué)式(1)、(2)這樣的評價函數(shù)來選擇。減法部903從運動信息160減去預(yù)測運動矢量信息952，將差分運動信息953輸出到差分運動信息編碼部904。差分運動信息編碼部904對差分運動信息953進行編碼處理，輸出編碼數(shù)據(jù)960A。另外，在跳過模式以及合并模式下，在差分運動信息編碼部904中不需要差分運動信息953的編碼。
[0130]預(yù)測運動信息位置編碼部905對圖12中所示的列表中的表示選擇哪個預(yù)測運動信息候補951的預(yù)測運動信息位置信息954(Mvpidx)進行編碼，輸出編碼數(shù)據(jù)960B。預(yù)測運動信息位置信息954使用根據(jù)預(yù)測運動信息候補951的總數(shù)來生成的等長編碼、可變長度編碼來進行編碼。也可以利用與鄰接塊的相關(guān)性來進行可變長度編碼。進而，也可以在多個預(yù)測運動信息候補951中具有重復(fù)的信息的情況下，根據(jù)刪除了重復(fù)的預(yù)測運動信息候補951的預(yù)測運動信息候補951的總數(shù)來制作代碼表，對預(yù)測運動信息位置信息954進行編碼。另外，在預(yù)測運動信息候補951的總數(shù)是一種的情況下，由于該預(yù)測運動信息候補951被決定為預(yù)測運動信息952，所以不需要對預(yù)測運動信息位置信息954進行編碼。
[0131]另外，在跳過模式、合并模式、幀間模式的各個中，不需要預(yù)測運動信息候補951的導(dǎo)出方法相同，可以分別獨立地設(shè)定預(yù)測運動信息候補951的導(dǎo)出方法。在本實施方式中，設(shè)跳過模式和幀間模式的預(yù)測運動信息候補951的導(dǎo)出方法相同、合并模式的預(yù)測運動信息候補951的導(dǎo)出方法不同來進行說明。
[0132]〈運動信息壓縮部109的詳細內(nèi)容〉
[0133]首先，關(guān)于運動信息壓縮處理使用圖15來進行說明。在圖15中，對空間方向參照運動信息存儲器501的參照運動信息166進行壓縮，并保存到時間方向參照運動信息存儲器502。在空間方向參照運動信息存儲器501中針對每個運動信息壓縮塊(在同圖中為16X16像素塊)將代表運動信息位置所保持的參照運動信息166保存于時間方向參照運動信息存儲器502。在進行上述的運動信息編碼處理的情況下，將之前所述的參照運動信息取得位置所保持的參照運動信息166設(shè)定為預(yù)測運動信息候補951。此時，也可以假想地設(shè)為運動信息壓縮塊內(nèi)具有相同的參照運動信息166，將之前所述的參照運動信息取得位置所保持的參照運動信息166設(shè)定為預(yù)測運動信息候補951(導(dǎo)出相同的預(yù)測運動信息候補951)。
[0134]接下來，關(guān)于運動信息壓縮部109使用圖16所示的流程圖來進行說明。運動信息壓縮部109在幀(或者片、編碼單元等任意的單位)的編碼處理結(jié)束了時，對運動信息160進行壓縮，并將運動信息160保存于時間方向參照運動信息存儲器502。
[0135]首先，從編碼控制部114取得參照位置信息164(步驟S1601)，將幀分割為作為運動信息160的壓縮單位的運動信息壓縮塊(步驟S1602)。運動信息壓縮塊是比通過運動補償處理而保持運動信息160的單位(典型情況為4X4像素塊)大的像素塊，典型情況為16 X 16像素塊。運動信息壓縮塊也可以是64X64像素塊、32X32像素塊、8X8像素塊、長方形像素塊、任意的形狀的像素區(qū)域。
[0136]其次，依照參照位置信息164來生成代表運動信息位置(步驟S1603)。作為生成代表運動信息位置的一個例子，將運動信息壓縮塊為16X 16像素塊的情況以及圖13D、圖14D、圖17D分別示出的預(yù)言單元的尺寸為16X16的情況下的參照運動信息取得位置作為代表運動信息位置。接下來，將所生成的代表運動信息位置的參照運動信息166設(shè)定為代表運動信息(步驟S1604)，將該代表運動信息保存于時間方向參照運動信息存儲器(步驟S1605)。對全部的運動信息壓縮塊執(zhí)行上述的步驟S1604?S1605。
[0137]當(dāng)將保持有運動信息160的單位設(shè)為MXM塊，將運動信息壓縮塊的尺寸設(shè)為NXN(N為M的倍數(shù))時，通過執(zhí)行上述運動信息壓縮處理，能夠?qū)⒄者\動信息存儲器的容量削減為(MXM)/(NXN)。
[0138]〈代表運動信息位置的其他的實施方式〉
[0139]作為生成代表運動信息位置的其他的例子，可以將多個參照運動信息取得位置的中心位置設(shè)為代表運動信息位置。圖18A以及圖18B示出尺寸為16X16的每個運動壓縮塊的代表運動信息位置。圖18A示出參照運動信息取得位置是圖13D所示出的位置的情況下的代表運動信息位置，同樣圖18B示出參照運動信息取得位置是圖17D所示出的位置的情況下的代表運動信息位置。圖18A以及圖18B中圓記號表示預(yù)言單元是16 X 16塊時的參照運動信息取得位置，在4點的參照運動信息取得位置的中心位置(也稱為重心位置)配置用叉記號表示的代表運動信息位置。
[0140]作為生成代表運動信息位置又一其他的例子，也可以具有多個預(yù)言單元的每個尺寸的參照運動信息取得位置作為參照位置信息164，根據(jù)多個參照運動信息取得位置來生成代表運動信息位置。
[0141]作為生成代表運動信息位置的一個例子，也可以具有多個預(yù)言單元的每個尺寸的參照運動信息取得位置作為參照位置信息164，根據(jù)多個參照運動信息取得位置來生成代表運動信息位置。圖19分別示出樹塊為64 X 64像素塊的情況下的預(yù)言單元的尺寸為16 X 16以上的各尺寸下的預(yù)言單元的中心(參照運動信息取得位置)。
[0142]作為生成代表運動信息位置其他的例子，也可以使用針對每個運動信息壓縮塊所配置的參照運動信息取得位置來設(shè)定代表運動信息位置。圖20A示出將每個運動信息壓縮塊的多個參照運動信息取得位置的重心設(shè)定為代表運動信息位置的情況下的例子。在重心位置與4 X 4塊的位置不一致的情況下，既可以將最接近的4 X 4塊作為代表運動信息位置，也可以使用雙線性內(nèi)插法等內(nèi)插法來生成重心位置的參照運動矢量166。
[0143]另外，圖20B示出針對每個運動信息壓縮塊選擇多個參照運動信息取得位置中的某一個，設(shè)定為代表運動信息位置的情況下的例子。
[0144]進一步，圖21A、圖21B中進一步示出在樹塊內(nèi)在各運動信息壓縮塊中將參照運動信息取得位置設(shè)為相同的情況下的例子。由于在全部運動信息壓縮塊內(nèi)是相同的代表運動信息位置，所以不需要根據(jù)樹塊內(nèi)的位置來切換代表運動信息位置。另外，代表運動信息位置除了圖21A、圖21B以外，還可以處于運動信息壓縮塊內(nèi)的左上端、右上端等任意的位置。
[0145]作為生成代表運動信息位置的一個例子，也可以使用按照Z掃描順序示出運動信息壓縮塊內(nèi)的4X4塊位置的BlkIdx來示出代表運動信息位置。在運動信息壓縮塊的尺寸為16 X 16的情況下，圖21A所示的代表運動信息位置相當(dāng)于BlkIdx= 12的位置。另外，圖21B所示的代表運動信息位置相當(dāng)于BI k I dx = 15的位置。
[0146]作為運動信息壓縮處理中的其他的一個例子，為了削減與參照幀編號有關(guān)的存儲器容量，可以在運動信息壓縮處理中包含參照幀編號。該情況下，將代表運動信息位置所保持的參照幀編號保存于與參照幀編號有關(guān)的存儲器容量中。因此，圖5所示的空間方向參照運動信息存儲器501以及時間方向參照運動信息存儲器502在運動矢量信息中追加，保存參照幀編號。
[0147]作為運動信息壓縮處理中的又一其他的一個例子，在運動信息壓縮處理中不包含參照幀編號的情況下，也可以對于位于代表運動信息位置的運動信息內(nèi)的運動矢量信息，使用參照幀編號來實施按比例縮放處理并保存于運動信息存儲器110。作為按比例縮放處理的典型例子，有將參照幀編號零作為基準(zhǔn)的線性按比例縮放處理。這是在參照幀編號為零以外的值的情況下運動矢量信息以參照與參照幀編號零對應(yīng)的參照幀的方式進行線性按比例縮放處理的處理。上述按比例縮放處理的基準(zhǔn)也可以是參照幀編號為零以外的值。在進行上述的線性按比例縮放處理的情況發(fā)生除法的情況下，可以預(yù)先使除法處理表格化，每次通過查表來實現(xiàn)上述除法。
[0148]在運動信息壓縮塊的尺寸為16X 16塊以外的情況下，使用與上述同樣的處理來生成代表運動信息位置。在一個例子中，運動信息壓縮塊的尺寸為64X64的情況下，將預(yù)言單元的尺寸為64X64中的參照運動信息取得位置設(shè)為代表運動信息位置。在又一其他的一個例子中，也可以將對圖21A、圖21B等中所示的運動信息壓縮塊的尺寸為16X16塊中的代表運動信息位置依照運動信息壓縮塊的尺寸在水平方向以及垂直方向進行按比例縮放而得到的位置設(shè)為代表運動信息位置。
[0149]在代表運動信息位置設(shè)為圖片、片之外，不存在參照運動信息的情況下，也可以將在運動信息壓縮塊的左上端這樣的運動信息壓縮塊內(nèi)能夠取得參照運動信息的位置置換為新的代表運動信息位置。另外，代表運動信息位置是應(yīng)用了幀內(nèi)預(yù)測的區(qū)域，在參照運動信息不存在的情況下也可以執(zhí)行同樣的處理，置換為新的代表運動信息位置。
[0150]〈語法結(jié)構(gòu)〉
[0151]以下，關(guān)于圖1的圖像編碼裝置100所使用的語法進行說明。
[0152]語法示出圖像編碼裝置在對運動圖像數(shù)據(jù)進行編碼時的編碼數(shù)據(jù)(例如、圖1的編碼數(shù)據(jù)163)的構(gòu)造。在對該編碼數(shù)據(jù)進行解碼時，參照同樣的語法構(gòu)造，由運動圖像解碼裝置進行語法解釋。在圖22中例示了圖1的運動圖像編碼裝置所使用的語法2200。
[0153]語法2200包含高級語法2201、片級語法2202以及編碼樹級語法2203這3個部分。高級語法2201包含比片上位的層的語法信息。所謂片是指幀或者場所包含的矩形區(qū)域或者連續(xù)區(qū)域。片級語法2202是包含為了對各片進行解碼所需要的信息。編碼樹級語法2203包含為了對各編碼樹(即、各編碼樹單元)進行解碼所需要的信息。這些各部分進一步包含詳細的語法。
[0154]高級語法2201包含序列參數(shù)集語法2204以及圖片參數(shù)集語法2205等的序列以及圖片級的語法。片級語法2202包含片頭語法2206以及片數(shù)據(jù)語法2207等。編碼樹級語法2203包含編碼樹單元語法2208、變換單元語法2209以及預(yù)言單元語法2210等。
[0155]編碼樹單元語法2208能夠具有四叉樹構(gòu)造。具體而言，作為編碼樹單元語法2208的語法要素，能夠進一步對編碼樹單元語法2208進行遞歸調(diào)用。即、能夠用四叉樹對I個編碼樹單元進行細化。另外，編碼樹單元語法2208內(nèi)包含變換單元語法2209以及預(yù)言單元語法2210。變換單元語法2209以及預(yù)言單元語法2210在四叉樹的最末端的各編碼樹單元語法2208中被調(diào)用。預(yù)言單元語法2210記述了關(guān)于預(yù)測的信息，變換單元語法2209記述了關(guān)于反正交變換以及量化等的信息。
[0156]圖23例示了本實施方式所涉及的序列參數(shù)集語法2204。圖23A以及圖23B所示出的mot1n_vector_buffer_comp_flag是關(guān)于該序列表示本實施方式所涉及的運動信息壓縮的有效/無效的語法。在mot1n_vector_buffer_comp_f lag為O的情況下，關(guān)于該序列，本實施方式所涉及的運動信息壓縮為無效。因此，圖1所示出的運動信息壓縮部的處理被跳過。作為一個例子，在!1101:；[011_^(31:01'_1311打61'_(3011^1_；1^138為I的情況下，關(guān)于該序列，本實施方式所涉及的運動信息壓縮為有效。圖23以及圖23B所示出的mot1n_vector_buffer_comp_rat1_log2是表示運動信息壓縮處理的單位的信息，在mot1n_vector_buffer_comp_f lag為I的情況下被示出。mot1n_vector_buffer_comp_rat1_log2表示例如本實施方式所涉及的運動信息壓縮塊的尺寸的信息，關(guān)于mot1n_vector_buffer_comp_rat1_log2，對運動補償?shù)淖钚挝怀艘远玫降闹禐檫\動信息壓縮塊的尺寸。以下示出運動補償?shù)淖钚挝粸? X 4像素塊的、即參照運動信息存儲器以4 X 4像素塊為單位保持的情況下例子。在mot1n_vector_buffer_comp_rat1_log2為I的情況下，本實施方式所涉及的運動信息壓縮塊的尺寸為8 \8像素塊。同樣地，在!1101:；[011_^(31:01'_131^€61'_(:01^_作^0_1呢2為2的情況下，本實施方式所涉及的運動信息壓縮塊的尺寸為16\16像素塊。圖23B所示出的mot1n_vector_buffer_comp_posit1n是示出運動信息壓縮塊內(nèi)的代表運動信息位置的信息，在mot1n_vector_buffer_comp_f lag為I的情況下被示出。1]101:;[011_^(31:01'_131^€61'_(3011^)_口08；[1:;[011也可以不出例如圖214、圖2113所不那樣的運動信息壓縮塊內(nèi)的參照運動信息位置，或者圖20A、圖20B所示那樣示出每個運動信息壓縮塊的參照運動信息位置。另外，也可以處于多個塊的中心。
[0157]另外，作為其他的例子，也可以在比mot1n_vector_buffer_comp_flag、mot1n_vector_buffer_comp_rat1_log2、mot1n_vector_bufTer_comp_posit1n下位的層(圖片參數(shù)集語法、片級語法、編碼樹單元、變換單元等)的語法中不針對該片內(nèi)部的每個局部區(qū)域規(guī)定本實施方式所涉及的預(yù)測的有效/無效。
[0158]圖24中示出預(yù)言單元語法的一個例子。圖中的skip_flag是表示預(yù)言單元語法所屬的編碼單元的預(yù)測模式是否是跳過模式的標(biāo)志。在skip_flag為I的情況下，示出不對預(yù)測運動信息位置信息954以外的語法(編碼單元語法、預(yù)言單元語法、變換單元語法)進行編碼。NumMVPCand (LO)、NumMVPCand (LI)分別示出列表O預(yù)測、列表I預(yù)測中的預(yù)測運動信息候補951的數(shù)量。在存在預(yù)測運動信息候補951(NumMVPCand(LX)>0、X = 0或I)的情況下，對表示預(yù)測運動信息位置信息954的mvp_idx_lX進行編碼。
[0159]在skip_flag為O的情況下，示出預(yù)言單元語法所屬的編碼單元的預(yù)測模式不是跳過模式。NumMergeCandidates示出在圖12等中導(dǎo)出的預(yù)測運動信息候補951的數(shù)量。在存在預(yù)測運動信息候補951 (NumMergeCandidates>0)的情況下，對作為表示預(yù)言單元是否是合并模式的標(biāo)志的merge_flag進行編碼。merge_flag在其值為I的情況下，示出預(yù)言單元是合并模式，在其值是O的情況下，示出預(yù)言單元使用幀間模式。在merge_flag為I且預(yù)測運動信息候補951存在2個以上(NumMergeCandidates>l)的情況下，對預(yù)測運動信息候補951內(nèi)的表示從哪個塊進行合并的預(yù)測運動信息952S卩mergejdx進行編碼。
[Ο??Ο] 在merge_flag為I的情況下，不需要對merge_flag、merge_idx以外的預(yù)言單元語法進行編碼。
[0161]在merge_flag為O情況下，示出預(yù)言單元為幀間模式。在幀間模式中，在示出差分運動信息953所包含的差分運動矢量信息的mvd_lX(X = 0或者1)、參照幀編號為ref_idx_IX、B片的情況下，對示出預(yù)言單元為單向預(yù)測(列表O或者列表I)還是雙向預(yù)測的inter_pred_idc進行編碼。另外，與跳過模式同樣地，取得NumMVPCand(LO)、NumMVPCand(LI)，在存在預(yù)測運動信息候補951 (NumMVPCand (LX) >0、X = O或I)的情況下，對示出預(yù)測運動信息位置信息954的mvp_idx_lX進行編碼。
[0162]以上是本實施方式所涉及的語法結(jié)構(gòu)。
[0163](第2實施方式)
[0164]第2實施方式是關(guān)于運動圖像解碼裝置。與本實施方式所涉及的運動圖像解碼裝置相對應(yīng)的運動圖像編碼裝置如在第I實施方式中說明的那樣。即、本實施方式所涉及的運動圖像解碼裝置對由例如第I實施方式所涉及的運動圖像編碼裝置生成的編碼數(shù)據(jù)進行解碼。
[0165]如圖25所示，本實施方式所涉及的運動圖像解碼裝置包含熵解碼部2501、反量化部2502、反正交變換部2503、加法部2504、參照圖像存儲器2505、幀間預(yù)測部2506、參照運動信息存儲器2507、參照運動信息壓縮部2508以及解碼控制部2510。
[0166]圖25的運動圖像解碼裝置對編碼數(shù)據(jù)2550進行解碼，將解碼圖像信號2554蓄積于輸出緩存器2511，并作為輸出圖像進行輸出。編碼數(shù)據(jù)2550從例如圖1的運動圖像編碼裝置等中被輸出，經(jīng)由未圖示的蓄積系統(tǒng)或者傳送系統(tǒng)被輸入到運動圖像解碼裝置2500。
[0167]熵解碼部2501為了編碼數(shù)據(jù)2550的解碼而根據(jù)語法進行譯碼。熵解碼部2501依次對各語法的代碼串進行熵解碼，對運動信息2559、量化變換系數(shù)2551等的編碼對象塊的編碼參數(shù)進行再生。所謂編碼參數(shù)是預(yù)測信息、與變換系數(shù)有關(guān)的信息、與量化有關(guān)的信息等的解碼所需要的參數(shù)。
[0168]具體而言，熵解碼部2501如圖26所示，具備分離部2601、參數(shù)解碼部2602、變換系數(shù)解碼部2603、以及運動信息解碼部2604。分離部2601將編碼數(shù)據(jù)2550進行分離，將與參數(shù)有關(guān)的編碼數(shù)據(jù)2651A輸出給參數(shù)解碼部2602，將與變換系數(shù)有關(guān)的編碼數(shù)據(jù)2651B輸出給變換系數(shù)解碼部2603，將與運動信息有關(guān)的編碼數(shù)據(jù)2651C輸出給運動信息解碼部2604。參數(shù)解碼部2602對預(yù)測信息等的編碼參數(shù)2570進行解碼，輸出編碼參數(shù)2570，并輸出給解碼控制部2510。變換系數(shù)解碼部2603輸入編碼數(shù)據(jù)2651B，對變換系數(shù)信息2551進行解碼，并輸出給反量化部2502。
[0169]運動信息解碼部2604分別從分離部2601接收編碼數(shù)據(jù)2651C，從解碼控制部2510接收參照位置信息2560，從參照運動信息存儲器2507接收參照運動信息2558，輸出運動信息2559。被輸出的運動信息2559被輸入到幀間預(yù)測部2506。
[0170]運動信息解碼部2604如圖27所示那樣，包含分離部2701、差分運動信息解碼部2702、預(yù)測運動信息位置解碼部2503、參照運動信息取得部2704、預(yù)測運動信息選擇開關(guān)2705以及加法部2706。
[0171 ]將與運動信息有關(guān)的編碼數(shù)據(jù)2651C輸入到分尚部2701，分尚為與差分運動信息有關(guān)的編碼數(shù)據(jù)2751和與預(yù)測運動信息位置有關(guān)的編碼數(shù)據(jù)2752。差分運動信息編碼部2702輸入與差分運動信息有關(guān)的編碼數(shù)據(jù)2751，對差分運動信息2753進行解碼。差分運動信息2753在加法部2706與后述的預(yù)測運動信息2756進行相加，輸出運動信息2759。預(yù)測運動信息位置解碼部2703輸入與預(yù)測運動信息位置有關(guān)的編碼數(shù)據(jù)2752，對預(yù)測運動信息位置2754進行解碼。
[0172]預(yù)測運動信息位置2754被輸入到預(yù)測運動信息選擇開關(guān)2705，從預(yù)測運動信息候補2755中選擇預(yù)測運動信息2756。預(yù)測運動信息位置信息2560使用根據(jù)預(yù)測運動信息候補2755的數(shù)量生成的等長解碼、可變長度解碼來進行解碼。也可以利用與相鄰塊之間的相關(guān)性來進行可變長度解碼。進而，在多個預(yù)測運動信息候補2755中有重復(fù)的情況下，也可以利用根據(jù)刪除了重復(fù)的預(yù)測運動信息候補2755的總數(shù)生成的代碼表，解碼預(yù)測運動信息位置信息2560。另外，在預(yù)測運動信息候補2755的總數(shù)是I種的情況下，由于該預(yù)測運動信息候補2755被決定為預(yù)測運動信息2556，所以不需要對預(yù)測運動信息位置信息2754進行解碼。
[0173]參照運動信息取得部2704其結(jié)構(gòu)、處理內(nèi)容與在第I實施方式中說明過的參照運動信息取得部901相同。[Ο174] 參照運動信息取得部2704將參照運動信息2558以及參照位置信息2560作為輸入，生成至少一個以上的預(yù)測運動信息候補2755(2755Α、2755Β、...)。圖10、圖11示出針對解碼對象預(yù)言單元的預(yù)測運動信息候補2755的位置的一個例子。圖10示出與解碼對象預(yù)言單元在空間上相鄰的預(yù)言單元的位置。ΑΧ(Χ = 0?nA-1)表示相對于對象預(yù)言單元在左側(cè)相鄰的預(yù)言單元，BY( Y = O?nB-1)表示相對于對象預(yù)言單元在上側(cè)相鄰的預(yù)言單元，C、D、E表示相對于解碼對象預(yù)言單元分別在右上、左上、左下相鄰的預(yù)言單元。另外，圖11示出相對于解碼對象預(yù)言單元，已經(jīng)解碼結(jié)束的參照幀中的預(yù)言單元的位置。圖中的Col表示在參照幀內(nèi)且處于與解碼對象預(yù)言單元相同位置的預(yù)言單元。圖12示出表示多個預(yù)測運動信息候補2755的塊位置和索引Mvpidx的關(guān)系的列表的一個例子。Mvpidx為O?2表示位于空間方向的預(yù)測運動信息候補2755，Mvpidx為3表示位于時間方向的預(yù)測運動矢量候補2755。關(guān)于預(yù)言單元位置A，是圖10所示的AX內(nèi)的幀間預(yù)測、即具有參照運動信息2558的預(yù)言單元，將X的值為最小的位置設(shè)為預(yù)言單元位置A。另外，關(guān)于預(yù)言單元位置B，是圖10所示的BY內(nèi)的幀間預(yù)測、即具有參照運動信息2558的預(yù)言單元，將Y的值最小的位置設(shè)為預(yù)言單元位置A。在預(yù)言單元位置C不是幀間預(yù)測的情況下，將預(yù)言單元位置D的參照運動信息2558置換為預(yù)言單元位置C的參照運動信息2558。在預(yù)言單元位置C以及D不是幀間預(yù)測的情況下，將預(yù)言單元位置E的參照運動信息2558置換為預(yù)言單元位置C的參照運動信息2558。
[0175]在解碼對象預(yù)言單元的尺寸比最小預(yù)言單元大的情況下，預(yù)言單元位置Col能夠?qū)⒍鄠€參照運動信息2558保持在時間方向參照運動信息存儲器2507。在該情況下，依照參照位置信息2560來取得位置Col的預(yù)言單元中的參照運動信息2558。以后，將位置Col的預(yù)言單元中的參照運動信息2558的取得位置稱為參照運動信息取得位置。圖13A?F針對每個解碼對象預(yù)言單元的尺寸(32 X 32?16 X 16)示出參照位置信息2560表示位置Col的預(yù)言單元的中心的情況下的參照運動信息取得位置的一個例子。圖中的塊分別表示4X4預(yù)言單元，圓記號表示作為預(yù)測運動信息候補2755而取得的4X4預(yù)言單元的位置。在圖14A?F中示出參照運動信息取得位置的其他的一個例子。在圖14A?F中，由于圓記號的位置不存在4X4預(yù)言單元，所以以與圓記號相鄰的4個4X4預(yù)言單元中的參照運動信息2558的平均值、中間值這樣的預(yù)定方式來生成預(yù)測運動信息候補2755。作為參照運動信息取得位置的又一其他的一個例子，也可以將位于位置Col的預(yù)言單元的左上端的4X4預(yù)言單元的參照運動信息2558設(shè)為預(yù)測運動信息候補2755。在上述的例子以外，只要是預(yù)定的方式，則可以使用任意的位置以及方式來生成預(yù)測運動信息候補2755。
[0176]另外，在不存在參照運動信息2558的情況下，將具有零矢量的運動信息2559作為預(yù)測運動信息候補2755進行輸出。
[0177]根據(jù)以上內(nèi)容，從參照運動塊輸出至少一個以上的預(yù)測運動信息候補2755。在上述的預(yù)測運動信息候補2755具有的參照幀編號與解碼對象預(yù)言單元的參照幀編號不同的情況下，也可以依照預(yù)測運動信息候補2755所具有的參照幀編號和解碼對象預(yù)言單元的參照幀編號，對預(yù)測運動信息候補2755進行按比例縮放。預(yù)測運動信息選擇開關(guān)2705依照預(yù)測運動信息位置2754從多個預(yù)測運動信息候補2755中選擇一個，輸出預(yù)測運動信息2756。
[0178]反量化部2502對來自熵解碼部2501的量化變換系數(shù)2551進行反量化，得到恢復(fù)變換系數(shù)2552。具體而言，反量化部2502按照由熵解碼部2501解碼了的與量化有關(guān)的信息進行反量化。反量化部2502將恢復(fù)變換系數(shù)2552輸出到反正交變換部2503。
[0179]反正交變換部2503對于來自反量化部2502的恢復(fù)變換系數(shù)2552進行與在編碼側(cè)進行的正交變換相對應(yīng)的反正交變換，得到恢復(fù)預(yù)測誤差信號2553。反正交變換部2503將恢復(fù)預(yù)測誤差信號2553輸入到加法部2504。
[0180]加法部2504將恢復(fù)預(yù)測誤差信號2553和對應(yīng)的預(yù)測圖像信號2556相加，生成解碼圖像信號2554。解碼圖像信號2554實施未圖示的去塊濾波、維納濾波等，為了輸出圖像而臨時蓄積在輸出緩存器2511，并且為了參照圖像信號2555還被保存于參照圖像存儲器2505。在參照圖像存儲器2505所保存的解碼圖像信號2554設(shè)為參照圖像信號2555，通過幀間預(yù)測部2506根據(jù)需要以幀為單位或者以場為單位來被參照。臨時蓄積在輸出緩存器2511的解碼圖像信號2554依照由解碼控制部2510管理的輸出定時而被輸出。
[0181]幀間預(yù)測部2506利用保存于參照圖像存儲器2505的參照圖像信號2555進行幀間預(yù)測。具體而言，幀間預(yù)測部2506從熵解碼部2501取得包含預(yù)測對象塊和參照圖像信號2555之間的運動的偏差量(運動矢量)的運動信息2559，根據(jù)該運動矢量進行插值處理(運動補償)，生成幀間預(yù)測圖像。關(guān)于幀間預(yù)測圖像的生成，與第一實施方式相同，所以省略說明。
[0182]解碼控制部2510對圖25的運動圖像解碼裝置的各要素進行控制。具體而言，解碼控制部2510將后述的參照位置信息2560輸出到熵解碼部2501、或者進行用于包含上述動作的解碼處理的各種控制。
[0183]〈跳過模式、合并模式、幀間模式的說明〉
[0184]本實施方式所涉及的圖像解碼裝置2500使用圖8所示的解碼處理不同的多個預(yù)測模式。圖中的跳過模式是僅對與后述的預(yù)測運動信息位置2754有關(guān)的語法進行解碼、對于其他的語法不進行解碼的模式。合并模式是僅對與預(yù)測運動信息位置2754有關(guān)的語法、變換系數(shù)信息2551進行解碼，對其他的語法不進行解碼的模式。幀間模式是對與預(yù)測運動信息位置2754有關(guān)的語法、后述的差分運動信息2753、變換系數(shù)信息2551進行解碼的模式。這些模式通過解碼控制部2510所控制的預(yù)測信息2571來進行切換。
[0185]另外，圖25的運動圖像解碼裝置使用與圖28說明的語法相同或者類似的語法，所以省略其詳細的說明。
[0186]〈運動信息壓縮部2508的詳細內(nèi)容〉
[0187]接著，關(guān)于運動信息壓縮部2508，使用圖16所示的流程圖來進行說明。運動信息壓縮部2508在幀(或者片、編碼單元等任意的單位)的解碼處理結(jié)束了時，對運動信息2559進行壓縮，在時間方向參照運動信息存儲器502中保存運動信息2559。
[0188]首先，從解碼控制部2510取得參照位置信息2560(步驟S1601)，將幀分割為作為運動信息2559的壓縮單位的運動信息壓縮塊(步驟S1602)。運動信息壓縮塊是比利用運動補償處理保持運動信息2559的單位(典型的情況是4X4像素塊)大的像素塊，典型的情況是16X 16像素塊。運動信息壓縮塊也可以是32 X 32像素塊、8X8像素塊、長方形像素塊、任意形狀的像素區(qū)域。
[0189]其次，按照參照位置信息2560生成代表運動信息位置(步驟S1603)。作為生成代表運動信息位置的一個例子，將運動信息壓縮塊為16 X 16像素塊的情況下、圖13D、圖14D、圖17D分別示出的預(yù)言單元的尺寸為16X16的情況下的參照運動信息取得位置設(shè)為代表運動信息位置。其次，將生成的代表運動信息位置的參照運動信息2558設(shè)定為代表運動信息(步驟S1605)，將該代表運動信息保存于時間方向參照運動信息存儲器(步驟S1606)。對于全部的運動信息壓縮塊執(zhí)行上述的步驟S1604?S1605。
[0190]將保持運動信息2559的單位設(shè)為MXM塊，將運動信息壓縮塊的尺寸設(shè)為NX N(N是M的倍數(shù))，通過執(zhí)行上述運動信息壓縮處理能夠?qū)⒄者\動信息存儲器的容量削減為(MXM)/(NXN)0
[0191]〈代表運動信息位置的其他的實施方式〉
[0192]作為生成代表運動信息位置的其他的例子，也可以將多個參照運動信息取得位置的中心位置設(shè)為代表運動信息位置。圖18A以及圖18B示出尺寸為16X16的每個運動壓縮塊的代表運動信息位置。圖18A示出參照運動信息取得位置是圖13D所示出的位置的情況下的代表運動信息位置，同樣地圖18B示出參照運動信息取得位置是圖17D所示出的位置的情況下的代表運動信息位置。圖18A以及圖18B中圓記號表示預(yù)言單元為16 X 16時的參照運動信息取得位置，在4點的參照運動信息取得位置的中心位置配置用叉記號表示的代表運動信息位置。
[0193]作為生成代表運動信息位置的又一其他的例子，也可以具有多個預(yù)言單元的尺寸中的每個尺寸的參照運動信息取得位置作為參照位置信息2560，根據(jù)多個參照運動信息取得位置生成代表運動信息位置。圖19分別示出樹塊為64 X 64像素塊的情況下的預(yù)言單元的尺寸為16X16以上的各尺寸下的預(yù)言單元的中心(參照運動信息取得位置)。
[0194]作為生成代表運動信息位置的其他的一個例子，代表運動信息位置可以使用針對每個運動信息壓縮塊而配置的參照運動信息取得位置來進行設(shè)定。圖20A示出將每個運動信息壓縮塊的多個參照運動信息取得位置的重心設(shè)定為代表運動信息位置的情況下的例子。在重心位置與4X4塊的位置不一致的情況下，既可以將最接近的4X4塊作為代表運動信息位置，也可以使用雙線性內(nèi)插法等的內(nèi)插法來生成重心位置的參照運動矢量166。
[0195]另外，圖20B示出針對每個運動信息壓縮塊選擇多個參照運動信息取得位置中的某一個，設(shè)定為代表運動信息位置的情況下的例子。
[0196]進而，在圖21A、B進一步示出在樹塊內(nèi)在各運動信息壓縮塊中將參照運動信息取得位置設(shè)為相同的情況下的例子。由于在全部的運動信息壓縮塊內(nèi)是相同的代表運動信息位置，所以不需要根據(jù)樹塊內(nèi)的位置來切換代表運動信息位置。另外，代表運動信息位置除了圖21A、B以外，還可以位于運動信息壓縮塊內(nèi)的左上端、右上端等任意位置。
[0197]作為生成代表運動信息位置的一個例子，可以使用按照Z掃描順序來表示運動信息壓縮塊內(nèi)的4 X 4塊位置的BlkIdx來表示代表運動信息位置。在運動信息壓縮塊的尺寸為16乂16的情況下，圖214所示出的代表運動信息位置相當(dāng)于犯1^1辦=12的位置。另外，圖218所示出的代表運動信息位置相當(dāng)于BI k I dx = 15的位置。
[0198]作為運動信息壓縮處理的其他的一個例子，為了削減與參照幀編號有關(guān)的存儲器容量，可以在運動信息壓縮處理中包含參照幀編號。在該情況下，將代表運動信息位置所保持的參照幀編號保存于與參照幀編號有關(guān)的存儲器容量。因此，圖5所示出的空間方向參照運動信息存儲器501以及空間方向參照運動信息存儲器502在運動矢量信息中追加并保存參照幀編號。
[0199]作為運動信息壓縮處理的又一其他的一個例子，在運動信息壓縮處理中不包含參照幀編號的情況下，也可以對位于代表運動信息位置的運動信息內(nèi)的運動矢量信息使用參照幀編號實施按比例縮放處理，并保存于運動信息存儲器110。作為按比例縮放處理的典型例子，有將參照幀編號零設(shè)為基準(zhǔn)的線性按比例縮放處理。這是在參照幀編號為零以外的值的情況下，運動矢量信息以參照與參照幀編號零對應(yīng)的參照幀的方式進行線性按比例縮放處理的處理。上述的按比例縮放處理的基準(zhǔn)也可以是參照幀編號為零以外的值。在進行上述的線性按比例縮放處理時發(fā)生除法的情況下，也可以預(yù)先使除法處理進行表格化，每次通過查表來實現(xiàn)上述除法。
[0200]在運動信息壓縮塊的尺寸為16X 16塊以外的情況下，使用與上述相同的處理來生成代表運動信息位置。在一個例子中，在運動信息壓縮塊的尺寸為64X64的情況下，設(shè)預(yù)言單元的尺寸為64X64中的參照運動信息取得位置為代表運動信息位置。在又一其他的一個例子中，也可以將對在圖21A、圖21B等示出的運動信息壓縮塊的尺寸為16X16塊中的代表運動信息位置按照運動信息壓縮塊的尺寸在水平方向以及垂直方向進行按比例縮放了的位置設(shè)為代表運動信息位置。
[0201]在代表運動信息位置設(shè)為是圖片、片以外而不存在參照運動信息的情況下，可以將在運動信息壓縮塊的左上端這樣的運動信息壓縮塊內(nèi)能夠取得參照運動信息的位置置換為新的代表運動信息位置。另外，在代表運動信息位置是應(yīng)用了幀內(nèi)預(yù)測的區(qū)域，并且不存在參照運動信息的情況下，也可以執(zhí)行同樣的處理，置換為新的代表運動信息位置。
[0202]以下，以各實施方式的變形例為例子來進行介紹。
[0203]在第I以及第2實施方式中，對將幀分割為16X 16像素尺寸等的矩形塊，從畫面左上的塊向右下依次進行編碼/解碼的例子進行說明(參照圖2A)。但是，編碼順序以及解碼順序不限于該例子。例如、既可按照從右下向左上的順序進行編碼以及解碼，也可以從畫面中央向畫面端部以繪出螺旋的方式進行編碼以及解碼。進而，既可以從右上向左下按順序進行編碼以及解碼，也可以從畫面端部向畫面中央以繪出螺旋的方式進行編碼以及解碼。
[0204]在第I以及第2實施方式中，例示出4X4像素塊、8X8像素塊、16X 16像素塊等的預(yù)測對象塊尺寸來進行說明，但預(yù)測對象塊即使不是均勻的塊形狀也可以。例如、預(yù)測對象塊(預(yù)言單元)尺寸可以是16X8像素塊、8 X 16像素塊、8X4像素塊、4 X 8像素塊等。另外，在I個編碼樹單元內(nèi)不需要使全部的塊尺寸統(tǒng)一，可以混合存在多個不同塊尺寸。在I個編碼樹單元內(nèi)混合存在多個不同塊尺寸的情況下，伴隨著分割數(shù)的增加，用于對分割信息進行編碼或者解碼的代碼量也增加。于是，希望考慮分割信息的代碼量和局部解碼圖像或者解碼圖像的品質(zhì)之間的平衡來選擇塊尺寸。
[0205]在第I以及第2實施方式中，為了簡化，不區(qū)分亮度信號和色差信號，關(guān)于色信號分量記述了總括性的說明。但是預(yù)測處理在亮度信號和色差信號之間不同的情況下，也可以使用相同或者不同的預(yù)測方法。如果在亮度信號和色差信號之間使用不同的預(yù)測方法，則能夠以與亮度信號相同的方法對針對色差信號選擇出的預(yù)測方法來進行編碼或者解碼。
[0206]在第I以及第2實施方式中，為了簡化，不區(qū)分亮度信號和色差信號，關(guān)于色信號分量記述了總括性的說明。但是在正交變換處理在亮度信號和色差信號之間不同的情況下，也可以使用相同的或者不同的正交變換方法。如果在亮度信號與色差信號之間使用不同的正交變換方法，則能夠以與亮度信號同樣的方法對針對于色差信號選擇出的正交變換方法來進行編碼或者解碼。
[0207]在第I以及第2實施方式中，既可以在語法結(jié)構(gòu)所示出的表的行間插入在實施方式未規(guī)定的語法要素，也可以包含與其以外的條件分支有關(guān)的記述。或者，還能夠?qū)⒄Z法表分害J、統(tǒng)合成多個表。另外，未必需要使用相同的術(shù)語，可以根據(jù)所使用的方式而進行任意地變更。
[0208]如以上說明那樣，各實施方式能夠在緩解硬件安裝以及軟件安裝中的困難性的同時，實現(xiàn)高效的正交變換以及反正交變換。因此，根據(jù)各實施方式，編碼效率提高，進而主觀畫質(zhì)也提尚。
[0209]另外，上述實施方式中所示出的處理步驟所示的指示能夠根據(jù)作為軟件的程序來執(zhí)行。也能夠使通用的計算機系統(tǒng)預(yù)先存儲該程序，通過讀取該程序得到與上述的實施方式的運動圖像編碼裝置以及運動圖像解碼裝置實現(xiàn)的效果同樣的效果。在上述的實施方式中記述的指示作為能夠由計算機執(zhí)行的程序，被記錄于磁盤(軟盤、硬盤等)、光盤(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±R W等)、半導(dǎo)體存儲器、或者與這些類似的記錄介質(zhì)。只要是計算機或者嵌入式系統(tǒng)能夠讀取的記錄介質(zhì)，則其存儲形式可以是任意的方式。計算機從該記錄介質(zhì)讀取程序，只要根據(jù)該程序在CPU中執(zhí)行程序所記述的指示，則能夠?qū)崿F(xiàn)與上述的實施方式的運動圖像編碼裝置以及運動圖像解碼裝置相同的動作。當(dāng)然，在計算機取得或讀入程序的情況下，也可以通過網(wǎng)絡(luò)來取得或者讀入。
[0210]另外，根據(jù)從記錄介質(zhì)安裝到計算機或者嵌入式系統(tǒng)的程序的指示而在計算機上進行工作的OS(操作系統(tǒng))、數(shù)據(jù)庫管理軟件、網(wǎng)絡(luò)等的MW(中間軟件)等可以執(zhí)行用于實現(xiàn)本實施方式的各處理的一部分。
[0211]進而，本申請發(fā)明的實施方式中的記錄介質(zhì)不限于與計算機或者嵌入式系統(tǒng)獨立的介質(zhì)，還包含下載并存儲或者臨時存儲通過LAN、因特網(wǎng)等所傳達的程序的記錄介質(zhì)。另夕卜，也可以將實現(xiàn)上述各實施方式的處理的程序保存于與因特網(wǎng)等的網(wǎng)絡(luò)連接的計算機(服務(wù)器)上，經(jīng)由網(wǎng)絡(luò)使計算機(客戶機)下載。
[0212]另外，記錄介質(zhì)不限于I個，在從多個介質(zhì)執(zhí)行本實施方式的處理的情況下，也可以包含于本發(fā)明的實施方式的記錄介質(zhì)中，介質(zhì)的結(jié)構(gòu)可以是任意的結(jié)構(gòu)。
[0213]另外，本申請發(fā)明的實施方式中的計算機或者嵌入式系統(tǒng)是根據(jù)記錄介質(zhì)所存儲的程序執(zhí)行本實施方式的各處理的裝置，可以是個人電腦、微型計算機等之一構(gòu)成的裝置、網(wǎng)絡(luò)連接了多個裝置的系統(tǒng)等任意的結(jié)構(gòu)。
[0214]另外，所謂本申請發(fā)明的實施方式中的計算機不限于個人電腦，還包含信息處理設(shè)備所包含的運算處理裝置、微型計算機等，是對能夠通過程序來實現(xiàn)本發(fā)明的實施方式的功能的設(shè)備、裝置的總稱。
[0215]對本發(fā)明的一些實施方式進行了說明，但是這些實施方式是作為例子而被提示的，并不意圖限定本發(fā)明的范圍。這些新的實施方式能夠通過其他各種各樣的方式來實施，在不脫離發(fā)明的要旨的范圍內(nèi)進行各種省略、置換、變更。這些實施方式、及其變形被包含于發(fā)明的范圍和主旨中，并且包含于權(quán)利要求書記載的發(fā)明和其均等的范圍中。
【主權(quán)項】
1.一種運動圖像編碼方法，將輸入圖像信號分割成像素塊，對這些分割出的像素塊進行幀間預(yù)測， 在該運動圖像編碼方法中，從編碼結(jié)束了的區(qū)域內(nèi)的多個運動信息中，根據(jù)依照表示預(yù)測運動信息的選擇方法的第I信息而取得的信息，選擇預(yù)測運動信息，使用所述預(yù)測運動信息來預(yù)測編碼對象塊的運動信息， 所述第I信息包含用于選擇所述運動信息的確定所述編碼對象塊內(nèi)的位置的第2信息。2.—種運動圖像編碼裝置，將輸入圖像信號分割成像素塊，對這些分割出的像素塊進行幀間預(yù)測， 所述運動圖像編碼裝置具備預(yù)測部，所述預(yù)測部從編碼結(jié)束了的區(qū)域內(nèi)的多個運動信息中，根據(jù)依照表示預(yù)測運動信息的選擇方法的第I信息而取得的信息，選擇預(yù)測運動信息，使用所述預(yù)測運動信息來預(yù)測編碼對象塊的運動信息， 所述第I信息包含用于選擇所述運動信息的確定所述編碼對象塊內(nèi)的位置的第2信息。3.—種運動圖像解碼方法，將輸入圖像信號分割成像素塊，對這些分割出的像素塊進行幀間預(yù)測， 在該運動圖像解碼方法中，從解碼結(jié)束了的區(qū)域內(nèi)的多個運動信息中，根據(jù)依照表示預(yù)測運動信息的選擇方法的第I信息而取得的信息，選擇預(yù)測運動信息，使用所述預(yù)測運動信息來預(yù)測解碼對象塊的運動信息， 所述第I信息包含用于選擇所述運動信息的確定所述解碼對象塊內(nèi)的位置的第2信息。4.一種運動圖像解碼裝置，將輸入圖像信號分割成像素塊，對這些分割出的像素塊進行幀間預(yù)測， 所述運動圖像解碼裝置具備預(yù)測部，所述預(yù)測部從解碼結(jié)束了的區(qū)域內(nèi)的多個運動信息中，根據(jù)依照表示預(yù)測運動信息的選擇方法的第I信息而取得的信息，選擇預(yù)測運動信息，使用所述預(yù)測運動信息來預(yù)測解碼對象塊的運動信息， 所述第I信息包含用于選擇所述運動信息的確定所述解碼對象塊內(nèi)的位置的第2信息。5.—種運動圖像解碼方法，該運動圖像解碼方法進行幀間預(yù)測，該運動圖像解碼方法具有以下步驟: 從解碼結(jié)束區(qū)域中的多個運動信息中，依照表示在時間附近幀中與解碼對象塊相同位置的區(qū)域的中心的信息，從處于在時間附近幀中與所述解碼對象塊相同位置的區(qū)域的中心的像素塊取得第I運動信息； 使用所述第I運動信息來預(yù)測所述解碼對象塊的運動信息；以及使用通過預(yù)測取得的運動信息來進行幀間預(yù)測。6.—種運動圖像解碼裝置，該運動圖像解碼裝置進行幀間預(yù)測，該運動圖像解碼裝置具備: 從解碼結(jié)束區(qū)域中的多個運動信息中，依照表示在時間附近幀中與解碼對象塊相同位置的區(qū)域的中心的信息，從處于在時間附近幀中與所述解碼對象塊相同位置的區(qū)域的中心的像素塊取得第I運動信息的單元； 使用所述第I運動信息來預(yù)測所述解碼對象塊的運動信息的單元；以及 使用通過預(yù)測取得的運動信息來進行幀間預(yù)測的單元。
【文檔編號】H04N19/52GK105933709SQ201610422977
【公開日】2016年9月7日
【申請日】2011年3月9日
【發(fā)明人】鹽寺太郎, 鹽寺太一郎, 谷沢昭行, 山影朋夫, 中條健
【申請人】株式會社東芝