圖像預(yù)測(cè)解碼裝置、方法、以及編碼/解碼系統(tǒng)和方法
【專(zhuān)利說(shuō)明】圖像預(yù)測(cè)解碼裝置、方法、以及編碼/解碼系統(tǒng)和方法
[0001]本申請(qǐng)是申請(qǐng)日為2009年12月25日,申請(qǐng)?zhí)枮?00980147613.5,發(fā)明名稱(chēng)為“圖像預(yù)測(cè)編碼裝置、方法和程序、圖像預(yù)測(cè)解碼裝置、方法和程序、以及編碼/解碼系統(tǒng)和方法”的發(fā)明專(zhuān)利申請(qǐng)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及圖像預(yù)測(cè)編碼裝置、方法和程序、圖像預(yù)測(cè)解碼裝置、方法和程序、以及編碼/解碼系統(tǒng)和方法,特別涉及伴有畫(huà)面內(nèi)預(yù)測(cè)的圖像預(yù)測(cè)編碼/解碼。
【背景技術(shù)】
[0003]為了高效地進(jìn)行靜態(tài)圖像數(shù)據(jù)和動(dòng)態(tài)圖像數(shù)據(jù)的傳送和蓄積,使用壓縮編碼技術(shù)。在動(dòng)態(tài)圖像的情況下,廣泛使用MPEGl?4或H.261?H.264的方式。
[0004]在這些編碼方式中,在將作為編碼對(duì)象的圖像分割成多個(gè)塊之后,進(jìn)行編碼/解碼處理。在MPEG4或H.264中,為了進(jìn)一步提高編碼效率,在畫(huà)面內(nèi)的預(yù)測(cè)編碼中,使用位于與對(duì)象塊相同的畫(huà)面內(nèi)的鄰接的已再現(xiàn)的圖像信號(hào)(對(duì)被壓縮的圖像數(shù)據(jù)進(jìn)行復(fù)原后的圖像信號(hào))生成預(yù)測(cè)信號(hào)后,對(duì)從對(duì)象塊的圖像信號(hào)中減去預(yù)測(cè)信號(hào)而得到的殘差信號(hào)進(jìn)行編碼。在畫(huà)面間的預(yù)測(cè)編碼中,參照位于與對(duì)象塊不同的畫(huà)面內(nèi)的鄰接的已再現(xiàn)的圖像信號(hào),進(jìn)行運(yùn)動(dòng)的校正,生成預(yù)測(cè)信號(hào),對(duì)從對(duì)象塊的圖像信號(hào)中減去預(yù)測(cè)信號(hào)而得到的殘差?目號(hào)進(jìn)行編碼。
[0005]具體而言,在H.264的畫(huà)面內(nèi)預(yù)測(cè)編碼中,采用了在規(guī)定方向插值與作為編碼對(duì)象的塊鄰接的已再現(xiàn)的像素值來(lái)生成預(yù)測(cè)信號(hào)的方法。圖15是用于說(shuō)明在H.264中使用的畫(huà)面內(nèi)預(yù)測(cè)方法的示意圖。在圖15㈧中,塊1302是對(duì)象塊,由與該對(duì)象塊的邊界鄰接的像素A?M(鄰接像素1301)構(gòu)成的像素組是鄰接區(qū)域,是在過(guò)去的處理中已再現(xiàn)的圖像信號(hào)。該情況下,向下方拉伸鄰接像素1301中的位于對(duì)象塊1302正上方的已再現(xiàn)像素A?D來(lái)生成預(yù)測(cè)信號(hào)。并且,在圖15(B)中,向右拉伸鄰接像素1303中的位于對(duì)象塊1304左側(cè)的已再現(xiàn)像素I?L來(lái)生成預(yù)測(cè)信號(hào)。生成預(yù)測(cè)信號(hào)的具體方法例如記載于專(zhuān)利文獻(xiàn)I中。這樣,對(duì)利用圖15(A)?圖15(1)所示的方法生成的9個(gè)預(yù)測(cè)信號(hào),分別取得與對(duì)象塊的像素信號(hào)之間的差分,將差分值最小的預(yù)測(cè)方法作為最佳預(yù)測(cè)方法。這些插值方法能夠如圖16那樣總結(jié)。圖16的箭頭表示拉伸已再現(xiàn)像素的方向,在各方向中記載的編號(hào)是各自的識(shí)別編號(hào)(也稱(chēng)為“預(yù)測(cè)模式”)。另外,在通過(guò)周邊的已再現(xiàn)像素的平均來(lái)生成預(yù)測(cè)信號(hào)的方法中,如圖15(C)所示,賦予識(shí)別編號(hào)“2”,在圖16中示出“DC”。即,圖16示出沒(méi)有拉伸已再現(xiàn)像素的方向識(shí)別編號(hào)“2”的方法(通過(guò)周邊的已再現(xiàn)像素的平均來(lái)生成預(yù)測(cè)信號(hào)的方法)、以及通過(guò)箭頭示出拉伸已再現(xiàn)像素的方向的8個(gè)方法,示出合計(jì)9個(gè)方法。
[0006]專(zhuān)利文獻(xiàn)1:美國(guó)專(zhuān)利公報(bào)第6765964號(hào)
[0007]但是,在現(xiàn)有技術(shù)的畫(huà)面內(nèi)預(yù)測(cè)信號(hào)生成方法中,將正方形的塊作為對(duì)象,所以,存在針對(duì)與已再現(xiàn)像素的某個(gè)邊界分開(kāi)較遠(yuǎn)的像素的預(yù)測(cè)精度降低的課題。例如,使用圖15(A),考慮影像的信號(hào)在垂直方向稍微變化的情況。該情況下,關(guān)于對(duì)象塊1302中位于上方的像素(例如位于鄰接像素I的右側(cè)的像素),即使利用鄰接像素A?D近似,誤差也很小,但是,關(guān)于對(duì)象塊1302中位于下方的像素(例如位于鄰接像素L的右側(cè)的像素),由于與鄰接像素A?D較遠(yuǎn),所以,當(dāng)利用鄰接像素A?D近似時(shí),誤差較大。其結(jié)果,編碼量增加,壓縮的效率降低。圖15(A)以外的預(yù)測(cè)方法也示出同樣的傾向。
【發(fā)明內(nèi)容】
[0008]因此,本發(fā)明的目的在于,解決上述課題,提高針對(duì)與對(duì)象塊的邊界分開(kāi)較遠(yuǎn)的像素的預(yù)測(cè)精度,提高編碼效率。
[0009]為了實(shí)現(xiàn)上述目的,本發(fā)明的圖像預(yù)測(cè)編碼裝置的特征在于,具有:區(qū)域分割單元,其將輸入圖像分割為多個(gè)塊;預(yù)測(cè)信號(hào)生成單元,其針對(duì)所述多個(gè)塊中作為處理對(duì)象的對(duì)象塊所包含的像素信號(hào),生成預(yù)測(cè)信號(hào);殘差信號(hào)生成單元,其生成所述對(duì)象塊的像素信號(hào)與所述生成的預(yù)測(cè)信號(hào)之間的殘差信號(hào);信號(hào)編碼單元,其對(duì)所述殘差信號(hào)進(jìn)行編碼,從而生成壓縮信號(hào);以及存儲(chǔ)單元,其對(duì)所述壓縮信號(hào)進(jìn)行復(fù)原,存儲(chǔ)復(fù)原后的信號(hào)作為再現(xiàn)像素信號(hào),所述預(yù)測(cè)信號(hào)生成單元將所述對(duì)象塊再分割為多個(gè)小區(qū)域,所述小區(qū)域中的至少一個(gè)為非正方形,所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比與所述第I邊不同的第2邊的長(zhǎng)度長(zhǎng)。
[0010]另外,在上述圖像預(yù)測(cè)編碼裝置中,優(yōu)選構(gòu)成為,所述預(yù)測(cè)信號(hào)生成單元使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào),生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0011]并且,在上述圖像預(yù)測(cè)編碼裝置中,優(yōu)選構(gòu)成為,所述非正方形的小區(qū)域的所述第I邊與已再現(xiàn)的像素相鄰,所述第2邊不與已再現(xiàn)的像素相鄰,所述預(yù)測(cè)信號(hào)生成單元使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào),生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0012]并且,在上述圖像預(yù)測(cè)編碼裝置中,優(yōu)選構(gòu)成為,所述信號(hào)編碼單元對(duì)表示所述小區(qū)域的預(yù)測(cè)信號(hào)的生成方法的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息進(jìn)行編碼,將通過(guò)該編碼而得到的信號(hào)與所述壓縮信號(hào)一起輸出。
[0013]為了實(shí)現(xiàn)上述目的,本發(fā)明的圖像預(yù)測(cè)解碼裝置的特征在于,具有:輸入單元,其其輸入包含殘差信號(hào)和預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息的壓縮圖像數(shù)據(jù),其中,該殘差信號(hào)是這樣生成的:將圖像分割為多個(gè)塊,進(jìn)一步將所述塊再分割為多個(gè)小區(qū)域,所述小區(qū)域中的至少一個(gè)為非正方形,所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比與所述第I邊不同的第2邊的長(zhǎng)度長(zhǎng),對(duì)所述小區(qū)域所包含的像素信號(hào)進(jìn)行預(yù)測(cè)編碼,該預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息表示所述預(yù)測(cè)編碼中的所述小區(qū)域的預(yù)測(cè)信號(hào)的生成方法;復(fù)原單元,其從所述壓縮圖像數(shù)據(jù)中提取所述小區(qū)域的殘差信號(hào),將其復(fù)原為再現(xiàn)殘差信號(hào);預(yù)測(cè)信號(hào)生成單元,其從所述壓縮圖像數(shù)據(jù)中提取所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息,根據(jù)所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息生成所述小區(qū)域的預(yù)測(cè)信號(hào);圖像復(fù)原單元,其將所述小區(qū)域的所述預(yù)測(cè)信號(hào)與所述再現(xiàn)殘差信號(hào)相加,從而復(fù)原所述小區(qū)域的像素信號(hào);以及存儲(chǔ)單元,其存儲(chǔ)所述復(fù)原后的像素信號(hào)作為再現(xiàn)像素信號(hào),所述預(yù)測(cè)信號(hào)生成單元使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào),生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0014]另外,在上述圖像預(yù)測(cè)解碼裝置中,優(yōu)選構(gòu)成為,所述非正方形的小區(qū)域的所述第I邊與已再現(xiàn)的像素相鄰,所述第2邊不與已再現(xiàn)的像素相鄰。
[0015]并且,在上述圖像預(yù)測(cè)解碼裝置中,優(yōu)選構(gòu)成為,所述預(yù)測(cè)信號(hào)生成單元由所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息確定所述小區(qū)域的形狀,與所確定的小區(qū)域的形狀相應(yīng)地根據(jù)所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息,生成所述小區(qū)域的預(yù)測(cè)信號(hào)。
[0016]并且,在上述圖像預(yù)測(cè)解碼裝置中,優(yōu)選構(gòu)成為,所述復(fù)原單元由所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息確定所述小區(qū)域的形狀,與所確定的小區(qū)域的形狀相應(yīng)地進(jìn)行逆量化和逆頻率轉(zhuǎn)換,從而將所述小區(qū)域的殘差信號(hào)復(fù)原為所述再現(xiàn)殘差信號(hào)。
[0017]但是,上述圖像預(yù)測(cè)編碼裝置的發(fā)明還能夠記載為圖像預(yù)測(cè)編碼方法的發(fā)明和圖像預(yù)測(cè)編碼程序的發(fā)明,能夠如下所述來(lái)記載。
[0018]本發(fā)明的圖像預(yù)測(cè)編碼方法由圖像預(yù)測(cè)編碼裝置執(zhí)行,該圖像預(yù)測(cè)編碼方法的特征在于,該圖像預(yù)測(cè)編碼方法具有以下步驟:區(qū)域分割步驟,將輸入圖像分割為多個(gè)塊;預(yù)測(cè)信號(hào)生成步驟,針對(duì)所述多個(gè)塊中作為處理對(duì)象的對(duì)象塊所包含的像素信號(hào),生成預(yù)測(cè)信號(hào);殘差信號(hào)生成步驟,生成所述對(duì)象塊的像素信號(hào)與所述生成的預(yù)測(cè)信號(hào)之間的殘差信號(hào);信號(hào)編碼步驟,對(duì)所述殘差信號(hào)進(jìn)行編碼,從而生成壓縮信號(hào);以及存儲(chǔ)步驟,對(duì)所述壓縮信號(hào)進(jìn)行復(fù)原,存儲(chǔ)復(fù)原后的信號(hào)作為再現(xiàn)像素信號(hào),在所述預(yù)測(cè)信號(hào)生成步驟中,將所述對(duì)象塊再分割為多個(gè)小區(qū)域,所述小區(qū)域中的至少一個(gè)為非正方形,所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比與所述第I邊不同的第2邊的長(zhǎng)度長(zhǎng)。
[0019]另外,優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中,使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào),生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0020]并且,優(yōu)選所述非正方形的小區(qū)域的所述第I邊與已再現(xiàn)的像素相鄰,所述第2邊不與已再現(xiàn)的像素相鄰,在所述預(yù)測(cè)信號(hào)生成步驟中,使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào),生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0021]并且,優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中,對(duì)表示所述小區(qū)域的預(yù)測(cè)信號(hào)的生成方法的預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息進(jìn)行編碼,將通過(guò)該編碼而得到的信號(hào)與所述壓縮信號(hào)一起輸出。
[0022]本發(fā)明的圖像預(yù)測(cè)編碼程序的特征在于,該圖像預(yù)測(cè)編碼程序使計(jì)算機(jī)作為以下單元進(jìn)行工作:區(qū)域分割單元,其將輸入圖像分割為多個(gè)塊;預(yù)測(cè)信號(hào)生成單元,其針對(duì)所述多個(gè)塊中作為處理對(duì)象的對(duì)象塊所包含的像素信號(hào),生成預(yù)測(cè)信號(hào);殘差信號(hào)生成單元,其生成所述對(duì)象塊的像素信號(hào)與所述生成的預(yù)測(cè)信號(hào)之間的殘差信號(hào);信號(hào)編碼單元,其對(duì)所述殘差信號(hào)進(jìn)行編碼,從而生成壓縮信號(hào);以及存儲(chǔ)單元,其對(duì)所述壓縮信號(hào)進(jìn)行復(fù)原,存儲(chǔ)復(fù)原后的信號(hào)作為再現(xiàn)像素信號(hào),所述預(yù)測(cè)信號(hào)生成單元將所述對(duì)象塊再分割為多個(gè)小區(qū)域,所述小區(qū)域中的至少一個(gè)為非正方形,所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比與所述第I邊不同的第2邊的長(zhǎng)度長(zhǎng)。
[0023]另一方面,上述圖像預(yù)測(cè)解碼裝置的發(fā)明還能夠記載為圖像預(yù)測(cè)解碼方法的發(fā)明和圖像預(yù)測(cè)解碼程序的發(fā)明,能夠如下所述來(lái)記載。
[0024]本發(fā)明的圖像預(yù)測(cè)解碼方法由圖像預(yù)測(cè)解碼裝置執(zhí)行,該圖像預(yù)測(cè)解碼方法的特征在于,該圖像預(yù)測(cè)解碼方法具有以下步驟:輸入步驟,輸入包含殘差信號(hào)和預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息的壓縮圖像數(shù)據(jù),其中,該殘差信號(hào)是這樣生成的:將圖像分割為多個(gè)塊,進(jìn)一步將所述塊再分割為多個(gè)小區(qū)域,所述小區(qū)域中的至少一個(gè)為非正方形,所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比與所述第I邊不同的第2邊的長(zhǎng)度長(zhǎng),對(duì)所述小區(qū)域所包含的像素信號(hào)進(jìn)行預(yù)測(cè)編碼,該預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息表示所述預(yù)測(cè)編碼中的所述小區(qū)域的預(yù)測(cè)信號(hào)的生成方法;復(fù)原步驟,從所述壓縮圖像數(shù)據(jù)中提取所述小區(qū)域的殘差信號(hào),將其復(fù)原為再現(xiàn)殘差信號(hào);預(yù)測(cè)信號(hào)生成步驟,從所述壓縮圖像數(shù)據(jù)中提取所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息,根據(jù)所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息生成所述小區(qū)域的預(yù)測(cè)信號(hào);圖像復(fù)原步驟,將所述小區(qū)域的所述預(yù)測(cè)信號(hào)與所述再現(xiàn)殘差信號(hào)相加,從而復(fù)原所述小區(qū)域的像素信號(hào);以及存儲(chǔ)步驟,存儲(chǔ)所述復(fù)原后的像素信號(hào)作為再現(xiàn)像素信號(hào),在所述預(yù)測(cè)信號(hào)生成步驟中,使用與所述第I邊相鄰的已再現(xiàn)的像素信號(hào),生成所述非正方形的小區(qū)域的預(yù)測(cè)信號(hào)。
[0025]另外,優(yōu)選所述非正方形的小區(qū)域的所述第I邊與已再現(xiàn)的像素相鄰,所述第2邊不與已再現(xiàn)的像素相鄰。
[0026]并且,優(yōu)選在所述預(yù)測(cè)信號(hào)生成步驟中,由所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息確定所述小區(qū)域的形狀,與所確定的小區(qū)域的形狀相應(yīng)地根據(jù)所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息,生成所述小區(qū)域的預(yù)測(cè)信號(hào)。
[0027]并且,優(yōu)選在所述復(fù)原步驟中,由所述預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息確定所述小區(qū)域的形狀,與所確定的小區(qū)域的形狀相應(yīng)地進(jìn)行逆量化和逆頻率轉(zhuǎn)換,從而將所述小區(qū)域的殘差信號(hào)復(fù)原為所述再現(xiàn)殘差信號(hào)。
[0028]本發(fā)明的圖像預(yù)測(cè)解碼程序的特征在于,該圖像預(yù)測(cè)解碼程序使計(jì)算機(jī)作為以下單元進(jìn)行工作:輸入單元,其輸入包含殘差信號(hào)和預(yù)測(cè)信號(hào)生成關(guān)聯(lián)信息的壓縮圖像數(shù)據(jù),其中,該殘差信號(hào)是這樣生成的:將圖像分割為多個(gè)塊,進(jìn)一步將所述塊再分割為多個(gè)小區(qū)域,所述小區(qū)域中的至少一個(gè)為非正方形,所述非正方形的小區(qū)域的第I邊的長(zhǎng)度比