專利名稱：圖像解碼裝置、程序、方法、及圖像編碼裝置、程序、方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像解碼裝置、圖像解碼程序、圖像解碼方法、圖像編碼裝置、圖像編 碼程序以及圖像編碼方法。
背景技術(shù)：
已知從通過把視頻編碼數(shù)據(jù)進行解碼所再生的多個低清晰圖像(以下，把「低 清晰」記為LR)生成高清晰圖像(以下，把「高清晰」記為HR)的超清晰技術(shù)(以下，把 「超清晰」記為 SR)(例如，參照「C. A. Segal 1 et al.，“High-Resolution Images from Low-Resolution Compressed Vidio，，，IEEE Signal Processing Magazine, 2003 年 5 月， pp. 37-48」(以下稱為「非專利文獻1」))。在SR技術(shù)中，把多個LR圖像與1張HR圖像的關(guān)系建模，通過統(tǒng)計性地處理已知 信息以及推測信息，能夠從多個LR圖像生成HR圖像。圖1表示LR圖像與HR圖像之間的 模型。在該模型中，假定從1張原圖像HR圖像101生成多幀(L張)的原圖像LR圖像104。
在該假定中，為了生成原圖像LR圖像104-1、104-2........104-L，對于原圖像HR圖像101
適用動態(tài)模型201-1,201-2........201-L。這時，如果對于HR圖像，根據(jù)低通濾波器和降
抽樣的取樣模型202，實施取樣處理，則生成原圖像LR圖像104-1、104-2........104-L。這
里，如果把通過解碼視頻編碼數(shù)據(jù)生成的再生LR圖像102-1、102-2.......102-L與原圖像
LR 圖像 104-1、104-2、......、104-L 的差分假定為量化噪聲 103-1、103-2、......、103_L，
則幀k的原圖像HR圖像f k(x，z)，1彡x彡2M，1彡z彡2N與幀1的再生LR圖像y_l (m， n)，l彡m彡M，1彡n彡N的關(guān)系能夠按照以下的公式1建模。y_l = AHC(d_lk) f_k+e_l......(式 1)式中，1是從1到L的整數(shù)，C (d_lk)是幀k與幀1的HR圖像之間的動態(tài)模型的矩 陣，AH是取樣模型的矩陣(H是表示HR圖像的濾波處理的4MNX4MN的矩陣，A是麗X4MN 的降抽樣矩陣)，e_l表示幀1的再生LR圖像的量化噪聲。這樣，視頻編碼數(shù)據(jù)的某個再生LR圖像與1張HR圖像能夠用表示LR-HR圖像之 間的時空對應(yīng)的動態(tài)模型和在從HR圖像向LR圖像的惡化過程中發(fā)生的噪聲的信號模型建 模。從而，為了從多個再生LR圖像生成1張HR圖像，使用統(tǒng)計性的方法定義評價動態(tài)模型 或者信號模型的推測值的成本函數(shù)，求解非線性的優(yōu)化處理。在該優(yōu)化處理中，對于多個LR 圖像的每一個，求表示LR圖像-HR圖像之間的時空對應(yīng)的動態(tài)信息(SR動態(tài)信息)和HR 圖像的解。作為優(yōu)化處理的方法，例如有coordinate decent法(參照「H. He, L. P. Kondi, "MAP Based Resolution Enhancement of Video SequencesUsing a Huber-Markov Random Field Image Prior Model, Proc. OfIEEE International Conference on ImageProcessing Vol. II，(西班牙)”，2003年9月，pp. 933-936」(以下，稱為「非專利文獻2」))。 在該方法中，首先，從再生LR圖像通過內(nèi)插處理生成虛擬HR圖像(伴隨著利用了反復(fù)處理 的優(yōu)化的暫時的HR圖像)。把HR圖像固定，利用成本函數(shù)，求表示虛擬HR圖像與多個LR 圖像之間的時空對應(yīng)的動態(tài)信息。接著，把求出的動態(tài)信息固定，利用成本函數(shù)更新虛擬HR 圖像。進而，把虛擬HR圖像固定，更新動態(tài)信息。反復(fù)進行該處理，使解收斂。

發(fā)明內(nèi)容
在現(xiàn)有的超清晰技術(shù)中，在從多個圖像生成清晰度更高的圖像的清晰度擴充處理 中，由于低清晰度圖像的編碼噪聲以及取樣不清楚，以及作為假定的模型的不確定性等的 影響，難以高精度地進行低清晰圖像與高清晰圖像之間的動態(tài)檢測。另外，為了進行圖像之 間的動態(tài)檢測或者優(yōu)化處理，在清晰度擴充處理中需要巨大的運算量。本發(fā)明是為解決上述課題而完成的，其目的在于提供減輕圖像清晰度擴充處理中 的運算量，同時能夠提高圖像之間的動態(tài)檢測精度的圖像解碼裝置、圖像解碼程序、圖像解 碼方法、圖像編碼裝置、圖像編碼程序以及圖像編碼方法。本發(fā)明的圖像解碼裝置具備接收視頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像的 視頻數(shù)據(jù)解碼單元；接收輔助數(shù)據(jù)進行解碼，得到輔助動態(tài)信息的輔助數(shù)據(jù)解碼單元；根 據(jù)由上述輔助數(shù)據(jù)解碼單元得到的輔助動態(tài)信息，生成表示上述多個再生圖像之間的時空 對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和由上述視頻數(shù)據(jù)解碼單元得到的多個再生圖 像，生成空間清晰度比上述多個再生圖像高的高清晰圖像的清晰度擴充單元。如果依據(jù)上述的圖像解碼裝置，則根據(jù)輔助動態(tài)信息生成動態(tài)矢量，使用所生成 的動態(tài)矢量和多個再生圖像，生成空間清晰度比該多個再生圖像高的高清晰圖像。另外，在上述圖像解碼裝置中，最好采用以下的形態(tài)。即，在上述圖像解碼裝置中， 最好構(gòu)成為輔助動態(tài)信息包括輔助動態(tài)矢量，清晰度擴充單元把輔助動態(tài)矢量用作為動態(tài) 矢量。另外，在上述圖像解碼裝置中，最好采用輔助動態(tài)信息包括輔助動態(tài)矢量，清晰度 擴充單元使用多個再生圖像檢測中間動態(tài)矢量，通過該中間動態(tài)矢量與輔助動態(tài)矢量的加 法處理生成動態(tài)矢量的結(jié)構(gòu)。另外，在上述圖像解碼裝置中，最好采用輔助動態(tài)信息包括輔助動態(tài)矢量，清晰度 擴充單元把輔助動態(tài)矢量作為動態(tài)矢量的初始動態(tài)矢量，通過使用多個再生圖像更新初始 動態(tài)矢量，生成動態(tài)矢量的結(jié)構(gòu)。進而，在上述圖像解碼裝置中，最好采用輔助動態(tài)矢量包括作為用于生成動態(tài)矢 量所需要條件的動態(tài)矢量生成條件，清晰度擴充單元根據(jù)動態(tài)矢量生成條件從多個再生圖 像生成動態(tài)矢量的結(jié)構(gòu)。本發(fā)明的圖像編碼裝置具備把高清晰圖像變換為低清晰圖像的圖像取樣單元； 把由上述圖像取樣單元生成的多個低清晰圖像壓縮編碼，生成編碼視頻數(shù)據(jù)的視頻數(shù)據(jù)編 碼單元；把由上述視頻數(shù)據(jù)編碼單元生成的編碼視頻數(shù)據(jù)解碼，得到再生低清晰圖像的視 頻數(shù)據(jù)解碼單元；使用上述高清晰圖像或者上述低清晰圖像，生成在上述動態(tài)矢量的生成 中所需要的輔助動態(tài)信息的輔助動態(tài)信息生成單元；根據(jù)由上述輔助動態(tài)信息生成單元生 成的輔助動態(tài)信息，生成表示由上述視頻數(shù)據(jù)解碼單元得到的多個再生低清晰圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和上述多個再生低清晰圖像，生成再生高清 晰圖像的清晰度擴充單元；把由上述輔助動態(tài)信息生成單元生成的輔助動態(tài)信息作為輔助 數(shù)據(jù)進行編碼的輔助數(shù)據(jù)編碼單元。如果依據(jù)上述圖像編碼裝置，則使用高清晰圖像或者低清晰圖像，生成在動態(tài)矢 量的生成中所需要的輔助動態(tài)信息，根據(jù)所生成的輔助動態(tài)信息生成動態(tài)矢量，使用所生 成的動態(tài)矢量和多個再生低清晰圖像生成再生高清晰圖像，同時，把輔助動態(tài)信息作為輔 助數(shù)據(jù)進行編碼。另外，本發(fā)明的圖像解碼裝置具備接收編碼數(shù)據(jù)，進行熵解碼，得到作為用于生 成動態(tài)矢量所需要的條件的動態(tài)矢量生成條件和表示預(yù)測誤差圖像信號的編碼信息的編 碼數(shù)據(jù)解碼單元；用于保存解碼圖像信號的圖像存儲器；根據(jù)由上述編碼數(shù)據(jù)解碼單元得 到的動態(tài)矢量生成條件，從保存在上述圖像存儲器中的解碼圖像信號生成動態(tài)矢量的動態(tài) 矢量生成單元；使用由上述動態(tài)矢量生成單元生成的動態(tài)矢量和上述解碼圖像信號生成預(yù) 測圖像信號的預(yù)測圖像信號生成單元；把由上述編碼數(shù)據(jù)解碼單元得到的編碼信息解碼， 得到預(yù)測誤差圖像信號的解碼單元；把由上述預(yù)測圖像信號生成單元生成的預(yù)測圖像信號 與由上述解碼單元得到的預(yù)測誤差圖像信號相加，復(fù)原解碼圖像信號，把該解碼圖像信號 保存在上述圖像存儲器中的保存單元。如果依據(jù)上述圖像解碼裝置，則根據(jù)作為用于生成動態(tài)矢量所需要的條件的動態(tài) 矢量生成條件，從保存在圖像存儲器中的解碼圖像信號生成動態(tài)矢量，使用所生成的動態(tài) 矢量和解碼圖像信號生成預(yù)測圖像信號。另一方面，在把表示預(yù)測誤差圖像信號的編碼信 息解碼得到了預(yù)測誤差圖像信號以后，把上述生成的預(yù)測圖像信號與上述預(yù)測誤差圖像信 號相加，復(fù)原解碼圖像信號，把該解碼圖像信號保存在圖像存儲器中。另外，本發(fā)明的圖像編碼裝置具備把輸入圖像信號進行輸入的輸入單元；用于 保存解碼圖像信號的圖像存儲器；根據(jù)由上述輸入單元輸入的輸入圖像信號，決定作為用 于生成動態(tài)矢量所需要的條件的動態(tài)矢量生成條件的動態(tài)矢量生成條件決定單元；根據(jù)由 上述動態(tài)矢量生成條件決定單元決定的動態(tài)矢量生成條件，從保存在上述圖像存儲器中的 解碼圖像信號生成動態(tài)矢量的動態(tài)矢量生成單元；使用由上述動態(tài)矢量生成單元生成的動 態(tài)矢量和上述解碼圖像信號，生成預(yù)測圖像信號的預(yù)測圖像信號生成單元；從由上述輸入 單元輸入的輸入圖像信號和由上述預(yù)測圖像信號生成單元生成的預(yù)測圖像信號生成預(yù)測 誤差圖像信號的預(yù)測誤差圖像信號生成單元；把由上述預(yù)測誤差圖像信號生成單元生成的 預(yù)測誤差圖像信號編碼，得到編碼信息的編碼信息取得單元；把由上述編碼信息取得單元 取得的編碼信息解碼，得到解碼預(yù)測誤差圖像信號的局部解碼單元；從由上述預(yù)測圖像信 號生成單元生成的預(yù)測圖像信號和由上述局部解碼單元得到的解碼預(yù)測誤差圖像信號復(fù) 原解碼圖像信號，把該解碼圖像信號保存在上述圖像存儲器中的保存單元；把由上述動態(tài) 矢量生成條件決定單元決定的動態(tài)矢量生成條件和由上述編碼信息取得單元取得的編碼 信息進行熵編碼，生成編碼數(shù)據(jù)的編碼數(shù)據(jù)生成單元。如果依據(jù)上述圖像編碼裝置，則根據(jù)所輸入的輸入圖像信號，決定作為用于生成 動態(tài)矢量所需要的條件的動態(tài)矢量生成條件，根據(jù)所決定的動態(tài)矢量生成條件，從保存在 圖像存儲器中的解碼圖像信號生成動態(tài)矢量，使用所生成的動態(tài)矢量和解碼圖像信號，生 成預(yù)測圖像信號。另一方面，從所輸入的輸入圖像信號和上述所生成的預(yù)測圖像信號生成預(yù)測誤差圖像信號，把所生成的預(yù)測誤差圖像信號編碼得到編碼信息，把所得到的編碼信 息解碼得到解碼預(yù)測誤差圖像信號。而且，從所生成的預(yù)測圖像信號和上述得到的解碼預(yù) 測誤差圖像信號復(fù)原解碼圖像信號，把該解碼圖像信號保存在圖像存儲器中，同時，把上述 動態(tài)矢量生成條件和編碼信息進行熵編碼，生成編碼數(shù)據(jù)。另外，本發(fā)明的圖像解碼裝置能夠采用以下的形態(tài)。本發(fā)明的圖像解碼裝置能夠采用如下的結(jié)構(gòu)，該結(jié)構(gòu)的特征是具備接收視頻編 碼數(shù)據(jù)進行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼單元；接收輔助數(shù)據(jù)進行解碼，得到輔 助動態(tài)信息的輔助數(shù)據(jù)解碼單元；生成表示由上述視頻數(shù)據(jù)解碼單元得到的多個再生圖像 與1張高清晰圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和上述多個再生圖 像，生成空間清晰度比上述多個再生圖像高的高清晰圖像的清晰度擴充單元，上述清晰度 擴充單元根據(jù)由上述輔助數(shù)據(jù)解碼單元得到的輔助動態(tài)信息和先前生成的高清晰圖像，反 復(fù)實施生成上述動態(tài)矢量的動態(tài)矢量生成處理、從所生成的動態(tài)矢量和上述多個再生圖像 生成高清晰圖像的高清晰圖像生成處理。上述中，清晰度擴充單元在每次動態(tài)矢量生成處理和高清晰圖像生成處理的反復(fù) 處理中，也可以采用每次根據(jù)輔助動態(tài)信息實施動態(tài)矢量生成處理的結(jié)構(gòu)，輔助動態(tài)信息 包括在表示動態(tài)矢量生成處理和高清晰圖像生成處理的反復(fù)處理中的特定次數(shù)的特定次 數(shù)信息，清晰度擴充單元也可以采用在特定次數(shù)信息所表示的特定次數(shù)的動態(tài)矢量生成處 理中，實施基于輔助動態(tài)信息的動態(tài)矢量生成處理的結(jié)構(gòu)。本發(fā)明的圖像解碼裝置能夠采用如下的結(jié)構(gòu)，該結(jié)構(gòu)具備接收視頻編碼數(shù)據(jù)進 行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼單元；用于保存清晰度擴充完畢的高清晰圖像 的圖像存儲器；生成表示上述多個再生圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動 態(tài)矢量和由上述視頻數(shù)據(jù)解碼單元得到的多個再生圖像，生成空間清晰度比上述多個再生 圖像高的第1高清晰圖像，使用所生成的第1高清晰圖像和保存在上述圖像存儲器中的高 清晰圖像生成第2高清晰圖像的清晰度擴充單元；把由上述清晰度擴充單元生成的第1或 者第2高清晰圖像保存在圖像存儲器中的圖像保存單元。另外，本發(fā)明的圖像解碼裝置能夠采用如下的結(jié)構(gòu)，該結(jié)構(gòu)具備接收視頻編碼數(shù) 據(jù)進行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼單元；接收輔助數(shù)據(jù)進行解碼，得到輔助動 態(tài)信息的輔助數(shù)據(jù)解碼單元；用于保存清晰度擴充完畢的高清晰圖像的圖像存儲器；生成 表示上述多個再生圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和由上述視頻 數(shù)據(jù)解碼單元得到的多個再生圖像，生成空間清晰度比上述多個再生圖像高的第1高清晰 圖像，根據(jù)由上述輔助數(shù)據(jù)解碼單元得到的輔助動態(tài)信息，使用所生成的第1高清晰圖像 和保存在上述圖像存儲器中的高清晰圖像生成第2高清晰圖像的清晰度擴充單元；把由上 述清晰度擴充單元生成的第1或者第2高清晰圖像保存在上述圖像存儲器中的圖像保存單元。另外，本發(fā)明的圖像解碼裝置能夠采用如下的結(jié)構(gòu)，該結(jié)構(gòu)的特征是具備接收視 頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像和再生動態(tài)矢量的視頻數(shù)據(jù)解碼單元；接收輔助 數(shù)據(jù)進行解碼，得到在上述再生動態(tài)矢量的修正中所需要的輔助動態(tài)信息的輔助數(shù)據(jù)解碼 單元；生成表示多個再生圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和由上 述視頻數(shù)據(jù)解碼單元得到的多個再生圖像，生成空間清晰度比上述多個再生圖像高的高清晰圖像的清晰度擴充單元，上述清晰度擴充單元把根據(jù)由上述輔助數(shù)據(jù)解碼單元得到的輔 助動態(tài)信息修正的再生動態(tài)矢量作為上述動態(tài)矢量的初始動態(tài)矢量，通過使用上述多個再 生圖像更新上述初始動態(tài)矢量，生成上述動態(tài)矢量。另外，本發(fā)明除去能夠像上述那樣記述為圖像解碼裝置以及圖像編碼裝置的發(fā)明 以外，還能夠像以下那樣記述為圖像解碼方法、圖像解碼程序、圖像編碼方法以及圖像編碼 程序的發(fā)明。這只是實施形態(tài)以及產(chǎn)品形態(tài)不同，但是起到相同的作用和效果。本發(fā)明的圖像解碼方法的特征是具備接收視頻編碼數(shù)據(jù)進行解碼，得到多個再 生圖像的視頻數(shù)據(jù)解碼步驟；接收輔助數(shù)據(jù)進行解碼，得到輔助動態(tài)信息的輔助數(shù)據(jù)解碼 步驟；根據(jù)在上述輔助數(shù)據(jù)解碼步驟中得到的輔助動態(tài)信息，生成表示上述多個再生圖像 之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和在上述視頻數(shù)據(jù)解碼步驟中得到的 多個再生圖像，生成空間清晰度比上述多個再生圖像高的高清晰圖像的清晰度擴充步驟。本發(fā)明的圖像編碼方法的特征是具備把高清晰圖像變換為低清晰圖像的圖像取 樣步驟；把在上述圖像取樣步驟中生成的多個低清晰圖像壓縮編碼，生成編碼視頻數(shù)據(jù)的 視頻數(shù)據(jù)編碼步驟；把在上述視頻數(shù)據(jù)編碼步驟中生成的編碼視頻數(shù)據(jù)解碼，得到再生低 清晰圖像的視頻數(shù)據(jù)解碼步驟；使用上述高清晰圖像或者上述低清晰圖像，生成在上述動 態(tài)矢量的生成中所需要的輔助動態(tài)信息的輔助動態(tài)信息生成步驟；根據(jù)在上述輔助動態(tài)信 息生成步驟中生成的輔助動態(tài)信息，生成在上述視頻數(shù)據(jù)解碼步驟中得到的多個再生低清 晰圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和上述多個再生低清晰圖像生 成再生高清晰圖像的清晰度擴充步驟；把在上述輔助動態(tài)信息生成步驟中生成的輔助動態(tài) 信息作為輔助數(shù)據(jù)進行編碼的輔助數(shù)據(jù)編碼步驟。另外，本發(fā)明的圖像解碼方法的特征是具備接收編碼數(shù)據(jù)進行熵解碼，得到作為 用于生成動態(tài)矢量所需要的條件的動態(tài)矢量生成條件和表示預(yù)測誤差圖像信號的編碼信 息的編碼數(shù)據(jù)解碼步驟；根據(jù)在上述編碼數(shù)據(jù)解碼步驟中得到的動態(tài)矢量生成條件，從保 存在圖像存儲器中的解碼圖像信號生成動態(tài)矢量的動態(tài)矢量生成步驟；使用在上述動態(tài)矢 量生成步驟中生成的動態(tài)矢量和上述解碼圖像信號，生成預(yù)測圖像信號的預(yù)測圖像信號生 成步驟；把在上述編碼數(shù)據(jù)解碼步驟中得到的編碼信息進行解碼，得到預(yù)測誤差圖像信號 的解碼步驟；把在上述預(yù)測圖像信號生成步驟中生成的預(yù)測圖像信號和在上述解碼步驟中 得到的預(yù)測誤差圖像信號相加，復(fù)原解碼圖像信號，把該解碼圖像信號保存在上述圖像存 儲器中的保存步驟。本發(fā)明的圖像編碼方法的特征是具備把輸入圖像信號進行輸入的輸入步驟；根 據(jù)在上述輸入步驟中輸入的輸入圖像信號，決定作為用于生成動態(tài)矢量所需要的條件的動 態(tài)矢量生成條件的動態(tài)矢量生成條件決定步驟；根據(jù)在上述動態(tài)矢量生成條件決定步驟中 決定的動態(tài)矢量生成條件，從保存在圖像存儲器中的解碼圖像信號生成動態(tài)矢量的動態(tài)矢 量生成步驟；使用在上述動態(tài)矢量生成步驟中生成的動態(tài)矢量和上述解碼圖像信號，生成 預(yù)測圖像信號的預(yù)測圖像信號生成步驟；從在上述輸入步驟中輸入的輸入圖像信號和在上 述預(yù)測圖像信號生成步驟中生成的預(yù)測圖像信號，生成預(yù)測誤差圖像信號的預(yù)測誤差圖像 信號生成步驟；把在上述預(yù)測誤差圖像信號生成步驟中生成的預(yù)測誤差圖像信號編碼，得 到編碼信息的編碼信息取得步驟；把在上述編碼信息取得步驟中得到的編碼信息解碼，得 到解碼預(yù)測誤差圖像信號的局部解碼步驟；從在上述預(yù)測圖像信號生成步驟中生成的預(yù)測圖像信號和在上述局部解碼步驟中得到的解碼預(yù)測誤差圖像信號復(fù)原解碼圖像信號，把該 解碼圖像信號保存在上述圖像存儲器中的保存步驟；把在上述動態(tài)矢量生成條件決定步驟 中決定的動態(tài)矢量生成條件和在上述編碼信息取得步驟中得到的編碼信息進行熵編碼，生 成編碼數(shù)據(jù)的編碼數(shù)據(jù)生成步驟。本發(fā)明的圖像解碼程序是使設(shè)置在圖像解碼裝置中的計算機起到以下各單元的 作用，這些單元是接收視頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼單元； 接收輔助數(shù)據(jù)進行解碼，得到輔助動態(tài)信息的輔助數(shù)據(jù)解碼單元；根據(jù)由上述輔助數(shù)據(jù)解 碼單元得到的輔助動態(tài)信息，生成表示上述多個再生圖像之間的空間對應(yīng)的動態(tài)矢量，使 用所生成的動態(tài)矢量和由上述視頻數(shù)據(jù)解碼單元得到的多個再生圖像，生成空間清晰度比 上述多個再生圖像高的高清晰圖像的清晰度擴充單元。本發(fā)明的圖像編碼程序是使設(shè)置在圖像編碼裝置中的計算機起到以下各單元的 作用，這些單元是把高清晰圖像變換為低清晰圖像的圖像取樣單元；把由上述圖像取樣 單元生成的多個低清晰圖像壓縮編碼，生成編碼視頻數(shù)據(jù)的視頻數(shù)據(jù)編碼單元；把由上述 視頻數(shù)據(jù)編碼單元生成的編碼視頻數(shù)據(jù)解碼，得到再生低清晰圖像的視頻數(shù)據(jù)解碼單元； 使用上述高清晰圖像或者上述低清晰圖像，生成在上述動態(tài)矢量的生成中所需要的輔助動 態(tài)信息的輔助動態(tài)信息生成單元；根據(jù)由上述輔助動態(tài)信息生成單元生成的輔助動態(tài)信 息，生成表示由上述視頻數(shù)據(jù)解碼單元得到的多個再生低清晰圖像之間的時空對應(yīng)的動態(tài) 矢量，使用所生成的動態(tài)矢量和上述多個再生低清晰圖像，生成再生高清晰圖像的清晰度 擴充單元；把由上述輔助動態(tài)信息生成單元生成的輔助動態(tài)信息作為輔助數(shù)據(jù)進行編碼的 輔助數(shù)據(jù)編碼單元。另外，本發(fā)明的圖像解碼程序是使設(shè)置在圖像解碼裝置中的計算機起到以下各單 元的作用，這些單元是接收編碼數(shù)據(jù)，進行熵解碼，得到作為用于生成動態(tài)矢量所需要的 條件的動態(tài)矢量生成條件和表示預(yù)測誤差圖像信號的編碼信息的編碼數(shù)據(jù)解碼單元；用于 保存解碼圖像信號的圖像存儲器；根據(jù)由上述編碼數(shù)據(jù)解碼單元得到的動態(tài)矢量生成條 件，從保存在上述圖像存儲器中的解碼圖像信號生成動態(tài)矢量的動態(tài)矢量生成單元；使用 由上述動態(tài)矢量生成單元生成的動態(tài)矢量和上述解碼圖像信號生成預(yù)測圖像信號的預(yù)測 圖像信號生成單元；把由上述編碼數(shù)據(jù)解碼單元得到的編碼信息解碼，得到預(yù)測誤差圖像 信號的解碼單元；把由上述預(yù)測圖像信號生成單元生成的預(yù)測圖像信號與由上述解碼單元 得到的預(yù)測誤差圖像信號相加，復(fù)原解碼圖像信號，把該解碼圖像信號保存在上述圖像存 儲器中的保存單元。另外，本發(fā)明的圖像編碼程序是使設(shè)置在圖像編碼裝置中的計算機起到以下各單 元的作用，這些單元是把輸入圖像信號進行輸入的輸入單元；用于保存解碼圖像信號的 圖像存儲器；根據(jù)由上述輸入單元輸入的輸入圖像信號，決定作為用于生成動態(tài)矢量所需 要的條件的動態(tài)矢量生成條件的動態(tài)矢量生成條件決定單元；根據(jù)由上述動態(tài)矢量生成條 件決定單元決定的動態(tài)矢量生成條件，從保存在上述圖像存儲器中的解碼圖像信號生成動 態(tài)矢量的動態(tài)矢量生成單元；使用由上述動態(tài)矢量生成單元生成的動態(tài)矢量和上述解碼圖 像信號，生成預(yù)測圖像信號的預(yù)測圖像信號生成單元；從由上述輸入單元輸入的輸入圖像 信號和由上述預(yù)測圖像信號生成單元生成的預(yù)測圖像信號生成預(yù)測誤差圖像信號的預(yù)測 誤差圖像信號生成單元；把由上述預(yù)測誤差圖像信號生成單元生成的預(yù)測誤差圖像信號編碼，得到編碼信息的編碼信息取得單元；把由上述編碼信息取得單元取得的編碼信息解碼， 得到解碼預(yù)測誤差圖像信號的局部解碼單元；從由上述預(yù)測圖像信號生成單元生成的預(yù)測 圖像信號和由上述局部解碼單元得到的解碼預(yù)測誤差圖像信號復(fù)原解碼圖像信號，把該解 碼圖像信號保存在上述圖像存儲器中的保存單元；把由上述動態(tài)矢量生成條件決定單元決 定的動態(tài)矢量生成條件和由上述編碼信息取得單元取得的編碼信息進行熵編碼，生成編碼 數(shù)據(jù)的編碼數(shù)據(jù)生成單元。 如果依據(jù)以上所述的本發(fā)明，則提高圖像之間的動態(tài)檢測的精度，提高再生高清 晰圖像的圖像品質(zhì)。另外，由于減少動態(tài)搜索的處理量，因此減少圖像清晰度擴充處理中的
運算量。


圖1表示多個再生低清晰圖像與高清晰圖像的關(guān)系。
圖2說明與本發(fā)明的輔助數(shù)據(jù)有關(guān)的動態(tài)信息的種類。
圖3說明本發(fā)明的編碼裝置的整體結(jié)構(gòu)。
圖4說明本發(fā)明的編碼處理的結(jié)構(gòu)。
圖5說明使用了本發(fā)明的編碼處理的清晰度擴充處理。
圖6說明本發(fā)明的解碼裝置的整體結(jié)構(gòu)。
圖7說明使用了本發(fā)明的解碼處理的清晰度擴充處理。
圖8表示本發(fā)明的輔助數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。
圖9表示本發(fā)明的編碼處理流程。
圖10表示使用了本發(fā)明的輔助數(shù)據(jù)的清晰度擴充處理流程。
圖11表示本發(fā)明的解碼處理流程。
圖12說明保存用于由計算機實現(xiàn)本發(fā)明實施形態(tài)的圖像編碼處理或者圖像解碼處理的程序的數(shù)據(jù)存儲媒體。圖13說明本發(fā)明編碼處理的結(jié)構(gòu)的其它例子。圖14說明使用了本發(fā)明的編碼處理的清晰度擴充處理的其它例子。圖15說明使用了本發(fā)明的解碼處理的清晰度擴充處理的其它例子。圖16說明塊匹配法。圖17說明解碼處理中的動態(tài)搜索。圖18說明使用了本發(fā)明的編碼處理的視頻編碼處理的結(jié)構(gòu)。圖19說明使用了本發(fā)明的解碼處理的視頻解碼處理的結(jié)構(gòu)。圖20說明視頻編碼數(shù)據(jù)的結(jié)構(gòu)。圖21說明本發(fā)明的編碼處理流程的其它例子。圖22說明本發(fā)明的解碼處理流程的其它例子。
具體實施例方式參照圖2到圖12說明本發(fā)明的實施形態(tài)。圖2說明包含在各種動態(tài)信息內(nèi)的數(shù)據(jù)中的動態(tài)矢量。另外，圖3到圖5表示本 發(fā)明的解碼裝置的結(jié)構(gòu)，圖6以及圖7表示本發(fā)明的解碼裝置的結(jié)構(gòu)。圖8表示本發(fā)明中
14的輔助數(shù)據(jù)的數(shù)據(jù)格式結(jié)構(gòu)。另外，圖9到圖11分別說明編碼的處理流程、超清晰圖像生 成的處理流程以及解碼的處理流程。圖12說明保存用于由計算機實現(xiàn)圖像編碼處理或者 圖像解碼處理的程序的數(shù)據(jù)存儲媒體。本發(fā)明中的輔助數(shù)據(jù)預(yù)先具有輔助動態(tài)信息，如后所述，在輔助動態(tài)信息中，有低 清晰動態(tài)信息(LR動態(tài)信息)、修正超清晰動態(tài)信息(修正SR動態(tài)信息)、高清晰動態(tài)信息 (HR動態(tài)信息)。另外，以下，適當?shù)匕选傅颓逦购喡詾長R，把「高清晰」簡略為HR，把「超 清晰」簡略為SR進行說明。另外，把清晰度比「低清晰圖像(LR圖像)」高的圖像作為「高 清晰圖像(HR圖像)」進行說明。首先，說明本發(fā)明實施形態(tài)的編碼裝置10。圖3表示本發(fā)明實施形態(tài)的編碼裝置10的整體結(jié)構(gòu)。編碼裝置10具備圖像取樣 單元302、塊分割單元303、編碼處理單元304、解碼處理單元305、數(shù)據(jù)存儲器308、幀存儲器 307、數(shù)據(jù)存儲器309和清晰度變換/編碼單元306。原圖像HR圖像101在具備低通濾波器和降抽樣處理單元的圖像取樣單元302中， 變換為清晰度比原圖像HR圖像低的原圖像LR圖像104。被變換了的原圖像LR圖像104在 塊分割單元303中，分割為編碼塊，例如，從圖像的左上方向右下方，按照光柵掃描順序輸 入到編碼處理單元304。編碼處理單元304把輸入塊進行活動圖像編碼，壓縮成視頻編碼數(shù) 據(jù)120。另外，編碼處理單元304把視頻編碼數(shù)據(jù)120輸出到解碼處理單元305。解碼處理 單元305通過把視頻編碼數(shù)據(jù)120進行解碼，生成再生LR圖像102以及解碼動態(tài)信息(以 下，稱為「DEC動態(tài)信息」)108。另外，編碼處理單元304由于在內(nèi)部具有局部解碼處理單 元，因此解碼處理單元305也可以由編碼處理單元304內(nèi)的局部解碼處理單元代用。編碼處理單元304以及解碼處理單元305把生成的再生LR圖像102、動態(tài)信息 (DEC動態(tài)信息)108以及量化參數(shù)114分別輸出到幀存儲器307、數(shù)據(jù)存儲器308以及數(shù) 據(jù)存儲器309。幀存儲器307、數(shù)據(jù)存儲器308以及數(shù)據(jù)存儲器309分別保存再生LR圖 像102、DEC動態(tài)信息102以及量化參數(shù)114的同時，把它們輸出到清晰度變換/編碼單元 306。另外，塊分割、編碼處理以及(局部)解碼處理的詳細過程例如記載在“MPEG-4 Video Verification Model versionl8. 0，，，Output document of MPEG Pisa Meeting, January 2001 (以下，作為參考文獻1)中。DEC動態(tài)信息108由預(yù)測類型、動態(tài)矢量(以下，把DEC動態(tài)信息中的動態(tài)矢量作 為「DECMV」)構(gòu)成，針對每個編碼塊分別決定了以后進行編碼。使用圖2 (a)，說明DEC動態(tài)信息的預(yù)測類型以及DECMV。在預(yù)測類型中，有使用動 態(tài)矢量進行動態(tài)預(yù)測的中間模式和不伴隨動態(tài)矢量而使用當前幀的編碼完畢的像素進行 空間預(yù)測的內(nèi)部模式。進而，在中間模式中，有針對當前幀的LR圖像910用顯示時刻以過 去的編碼完畢幀的LR圖像920a作為參考圖像進行時間預(yù)測的前向動態(tài)預(yù)測，以未來的編 碼完畢幀的LR圖像920b作為參考圖像進行時間預(yù)測的后向動態(tài)預(yù)測，以這兩種圖像作為 參考圖像分別進行時間預(yù)測，通過內(nèi)插處理合成預(yù)測圖像的雙向預(yù)測。在圖2(a)中，922a 表示前向預(yù)測的預(yù)測塊，921a表示前向的DECMV，922b表示后向預(yù)測的預(yù)測塊，921b表示后 向的DECMV，924a和924b表示雙向預(yù)測的內(nèi)插前預(yù)測塊，923a和923b表示雙向預(yù)測的前向 DECMV 和后向 DECMV。接著，使用圖4以及圖5說明清晰度變換/編碼單元306。清晰度變換/編碼單元306具備清晰度擴充處理單元310、輔助數(shù)據(jù)生成單元351、輔助數(shù)據(jù)編碼/速率控制單元 311、幀存儲器315。另外，輔助數(shù)據(jù)生成單元351具備低清晰動態(tài)補償單元312、超清晰動態(tài) 補償單元313、高清晰動態(tài)補償單元314。低清晰動態(tài)補償單元312把LR動態(tài)信息109 (后 述)生成為輔助數(shù)據(jù)，超清晰動態(tài)補償單元313把修正SR動態(tài)信息111 (后述)生成為輔 助信息，高清晰動態(tài)補償單元314把HR動態(tài)信息112 (后述)生成為輔助數(shù)據(jù)。清晰度變換/編碼單元306以在編碼處理單元304以及解碼處理單元305中生成 的多個再生LR圖像、DEC動態(tài)信息(包括DECMV)和量化參數(shù)作為輸入，進行局部清晰度擴 充處理。另外，在清晰度變換/編碼單元306中，清晰度擴充處理單元310通過局部清晰度 擴充處理生成再生HR圖像106，從外部輸入原圖像HR圖像101和原圖像LR圖像104。使 用這些圖像以及信息，清晰度變換/編碼單元306生成輔助清晰度擴充處理的輔助數(shù)據(jù)，在 輔助數(shù)據(jù)編碼/速率控制單元311中，實施輔助數(shù)據(jù)的編碼處理(即，生成輔助數(shù)據(jù)113)。在本實施形態(tài)中，在輔助數(shù)據(jù)113的生成中，使用再生HR圖像106、SR動態(tài)信息 (超清晰動態(tài)信息)110、量化參數(shù)114、原圖像HR圖像101和原圖像LR圖像104。另外，所 謂超清晰動態(tài)信息意味著表示再生HR圖像與多個LR圖像之間的時空對應(yīng)的動態(tài)信息。參照圖4，說明清晰度變換/編碼單元306的內(nèi)部結(jié)構(gòu)。使用涉及與在實施清晰 度擴充的幀上加入了顯示時刻前后的3個幀總計7個幀的信息實施清晰度變換/編碼單元 306的處理。即，在把3個幀前的幀編碼了以后，實施清晰度擴充處理。本實施形態(tài)中的編碼裝置10中的清晰度擴充處理以及輔助數(shù)據(jù)的編碼處理分為 7個步驟。以下，根據(jù)處理順序說明動作。在第1步驟中，在低清晰動態(tài)補償單元312中，使用原圖像LR圖像104，把DEC動 態(tài)信息108修正為高精度的LR動態(tài)信息109。LR動態(tài)信息由LR圖像的塊位置信息和輔助 動態(tài)矢量(以下，把LR動態(tài)信息中的動態(tài)矢量作為「LRMV」)構(gòu)成。低清晰動態(tài)補償單元 312接受在實施清晰度擴充處理的再生LR圖像上加入了其前后2個幀的再生LR圖像(在 視頻編碼時是動態(tài)預(yù)測的參考圖像)的總計3張再生LR圖像102、相對應(yīng)的3張原圖像LR 圖像104和DEC動態(tài)信息108的輸入，把LR動態(tài)信息109輸出到輔助數(shù)據(jù)編碼/速率控制 單元311和清晰度擴充處理單元310。使用圖2(b)，說明LR動態(tài)信息。在LR動態(tài)信息中，有在不具有DECMV的塊中新添 加輔助動態(tài)矢量(LRMV)的類型、以及雖然DECMV存在但是把其值變更為不同輔助動態(tài)矢量 (LRMV)的類型。在添加LRMV的類型中，對于不具有DECMV的塊915a，在實施清晰度擴充的幀的原 圖像LR圖像910和前幀的參考圖像即再生LR圖像920a之間實施動態(tài)搜索。而且，把評價 值(例如，塊內(nèi)的像素的差方和)為最小的動態(tài)矢量檢索為LRMV。在圖2(b)中，前幀的再 生LR圖像920a上的塊926a成為評價值最小，檢索相對應(yīng)的動態(tài)矢量LRMV925a。另外，在 最小的評價值大于預(yù)先設(shè)定的閾值的情況下，判斷為其塊的動態(tài)矢量無效，不進行LR動態(tài) 信息的添加。在最小的評價值小于閾值的情況下，把檢索出的動態(tài)矢量作為LRMV的LR動 態(tài)信息109輸出到輔助數(shù)據(jù)編碼/速率控制單元311和清晰度擴充處理單元310。另一方面，在變更為LRMV的類型中，對于具有DECMV的塊915b，在實施清晰度擴 充的幀的原圖像LR圖像910和參考圖像的原圖像LR圖像920b之間實施動態(tài)檢索。而且， 檢測評價值(例如，塊內(nèi)的像素的差方和)成為最小的動態(tài)矢量。在圖2(b)中，后方幀的LR圖像920b上的塊926b成為評價值最小，檢測出相對應(yīng)的動態(tài)矢量925b。把該動態(tài)矢量 與DECMV進行比較，在差分值大于預(yù)先設(shè)定的閾值的情況下，把以檢測出的動態(tài)矢量作為 LRMV的LR動態(tài)信息109輸出到輔助數(shù)據(jù)編碼/速率控制單元311和清晰度擴充處理單元 310。如后所述，把DECMV作為表示用SR技術(shù)檢測出的多個LR圖像與HR圖像之間的時 空對應(yīng)的動態(tài)信息(SR動態(tài)信息)的初始數(shù)據(jù)使用。該初始數(shù)據(jù)越接近實際的動態(tài)，越能 夠減少在SR動態(tài)信息的檢測中花費的時間。從而，通過使用把解碼動態(tài)信息進行修正所生 成的低清晰動態(tài)信息，能夠減少清晰度擴充處理中的運算時間。在第2步驟中，在清晰度擴充處理單元310中，實施再生HR圖像106和SR動態(tài)信 息110的生成處理。清晰度擴充處理單元310輸入在實施清晰度擴充的再生LR圖像102上 加入了前后3個幀的再生LR圖像102 (參照再生LR圖像)共7張再生LR圖像、在其編碼 中使用的DEC動態(tài)信息108和LR動態(tài)信息109，生成再生LR圖像106和SR動態(tài)信息110。圖5表示清晰度擴充處理單元310的內(nèi)部結(jié)構(gòu)。首先，在初始數(shù)據(jù)生成單元405 中，生成用于進行清晰度擴充處理的初始數(shù)據(jù)。具體地講，初始數(shù)據(jù)生成單元405把DEC動 態(tài)信息108和LR動態(tài)信息109作為輸入，計算由清晰度擴充處理單元310檢測的SR動態(tài) 信息110的動態(tài)矢量的初始數(shù)據(jù)。這里，說明SR動態(tài)信息。SR動態(tài)信息由再生LR圖像的幀號和動態(tài)矢量(以下， 把SR動態(tài)信息中的動態(tài)矢量作為「SRMV」)構(gòu)成。如在背景技術(shù)中說明過的那樣，為了實施 使用了 SR技術(shù)的清晰度擴充處理，對于6張參照再生HR圖像上的各像素，需要檢測以再生 HR圖像為參照圖像時的動態(tài)矢量(SRMV)。另外，原圖像LR圖像上的1個像素能夠通過在 原圖像HR圖像上的多個像素中實施低通濾波和降抽樣來生成。使用圖2(c)，說明SRMV。在圖2(c)中，1格表示1個像素。另外，如果關(guān)注6張參 照再生LR圖像的1張再生LR圖像920上的像素927，則像素927在再生HR圖像940的上 面，假定相當于與像素927相對應(yīng)的像素941和其周邊的8個像素構(gòu)成的像素塊942。這 時，能夠通過在由從再生HR圖像上的像素塊942用9個動態(tài)矢量檢測出的9個像素構(gòu)成 的像素塊944上實施低通濾波和降抽樣計算像素927的預(yù)測像素945。從而，像素927的 SRMV943成為像素927與預(yù)測像素945的誤差為最小的9個動態(tài)矢量。在本實施形態(tài)中的初始數(shù)據(jù)生成單元405中，對于6張參照再生LR圖像上的所有 像素計算再生LR圖像上的1個像素的預(yù)測中所需要的9個SRMV的初始值。如圖1所示， LR圖像通過在HR圖像上實施低通濾波和降抽樣而生成。因此，為了決定1張參照再生LR 圖像上的所有像素與再生HR圖像上的對應(yīng)，對于把參照再生LR圖像放大為HR圖像尺寸的 圖像(參照HR圖像)上的像素，可以把再生HR圖像的對應(yīng)點作為SRMV的初始值進行檢測。 即，在再生LR圖像上的1個像素的預(yù)測中所需要的9個像素塊944的初始SRMV中，與再生 LR圖像上的鄰接像素的初始SRMV重合的MV成為相同的值。這里，如果把圖2(c)的再生LR圖像920考慮為再生HR圖像940的緊前面的幀， 則圖2(a)以及(b)的再生LR圖像920a與圖像920相對應(yīng)，再生LR圖像910與再生HR圖 像940的清晰度擴充前的LR圖像相對應(yīng)。另外，通過沿著反方向搜索(從圖像920a向圖像 910的方向)把再生LR圖像920a作為參照圖像時的再生LR圖像910的DECMV或者LRMV， 求圖像920a上的像素與圖像910的對應(yīng)點。這時，對于不存在一致對應(yīng)點的像素，通過動態(tài)矢量的空間內(nèi)插處理計算對應(yīng)點。進而，把與對應(yīng)點相當?shù)腖R圖像單位的動態(tài)矢量擴充 為HR圖像單位的動態(tài)矢量。接著，通過沿著反方向搜索以圖像920a的緊前面幀的再生LR圖像為參照圖像時 的再生LR圖像920a的DECMV或者LRMV，求圖像920a的緊前面幀的再生LR圖像上的像素 與圖像920a的對應(yīng)點。這時，對于沒有一致對應(yīng)點的像素，通過動態(tài)矢量的空間內(nèi)插處理 求對應(yīng)點。進而，從圖像910與圖像920a之間的對應(yīng)點和圖像920a與圖像920a的緊前面 幀之間的對應(yīng)點，計算圖像920a的緊前面幀的再生LR圖像上的像素與圖像910的對應(yīng)點， 把與對應(yīng)點相當?shù)腖R圖像單位的動態(tài)矢量擴充為HR圖像單位的動態(tài)矢量。通過對于全部 6張參照再生LR圖像，沿著從再生HR圖像940離開的方向連續(xù)地實施該處理，生成SRMV檢 索的初始數(shù)據(jù)。接著，在超清晰圖像合成單元410生成再生HR圖像106。超清晰圖像合成單元410 把7張再生LR圖像102和在初始數(shù)據(jù)生成單元405生成的SRMV搜索的初始數(shù)據(jù)以及量化 參數(shù)114作為輸入，實施由動態(tài)檢索單元411進行的SR動態(tài)信息110的優(yōu)化和由編碼噪聲 推定單元412進行的再生HR圖像106的優(yōu)化的反復(fù)處理，輸出SR動態(tài)信息110和再生HR 圖像106 (使用了反復(fù)處理的優(yōu)化的詳細過程例如參照非專利文獻1)。在第3步驟中，在超清晰動態(tài)補償單元313中，把SR動態(tài)信息110使用原圖像修 正為高精度的修正SR動態(tài)信息111。超清晰動態(tài)補償單元313接受6張參照再生LR圖像 的原圖像LR圖像104、在清晰度擴充處理對象的再生LR圖像上加入了 6張參照再生LR圖 像的總計7張的原圖像即原圖像HR圖像101以及SR動態(tài)信息110的輸入，把修正SR動態(tài) 信息111輸出到清晰度擴充處理單元310和輔助數(shù)據(jù)編碼/速率控制單元311。修正SR動態(tài)信息由再生LR圖像上的塊位置信息、參照幀號、塊尺寸、輔助動態(tài)矢 量(以下，把修正SR動態(tài)信息中的動態(tài)矢量作為「修正SRMV」)構(gòu)成。塊尺寸在通過把 幾個像素部分匯總在一起編碼，用于減少輔助數(shù)據(jù)的代碼量的目的。屬于修正SR動態(tài)信 息的修正SRMV的數(shù)量在塊尺寸為1X1像素的情況下是9個，在NXN像素的情況下成為 (2XN+1) X (2XN+1)個。在超清晰動態(tài)補償單元313中，使用6張原圖像LR圖像和原圖像HR圖像，檢測6 張參照再生LR圖像上的像素與原圖像HR圖像之間的SRMV。進而，在原圖像LR圖像上的 對象像素與其預(yù)測像素的差分值大于預(yù)先確定的閾值的情況下，不進行基于低通濾波和降 抽樣的取樣處理，在原圖像LR圖像之間檢測SRMV。針對指定了的數(shù)種分割塊用平均值對 檢測出的SRMV與所輸入的SRMV的差分值進行比較，在差分值大于閾值的情況下，把檢測出 的SRMV的平均值和構(gòu)成要素數(shù)據(jù)作為修正SR動態(tài)信息111輸出。另外，即使在SRMV的差 分值小于閾值的情況下，在適用了檢測出的SRMV和所輸入的SRMV時的預(yù)測像素與原圖像 LR圖像上的像素的差分值的塊的差方和大于閾值的情況下，也把檢測出的SRMV的平均值 和構(gòu)成要素數(shù)據(jù)輸出為修正SR動態(tài)信息111。根據(jù)該修正SRMV，提高再生LR圖像與進行 了清晰度擴充的HR圖像之間的對應(yīng)點的推定精度，提高再生HR圖像的圖像品質(zhì)。另外，由 于能夠縮短SRMV的檢測中花費的時間，因此能夠縮短在超清晰圖像的生成中的運算時間。在第4步驟中，在清晰度擴充處理單元310中，再次調(diào)整再生HR圖像106和SR動 態(tài)信息110。清晰度擴充處理單元310把實施清晰度擴充的再生LR圖像102及其前后3個 幀的再生LR圖像102以及修正SR動態(tài)信息111作為輸入，更新并輸出再生HR圖像106和
18SR動態(tài)信息110。具體地講，在超清晰圖像合成單元410中，在把SRMV置換為修正SRMV以 后，實施由動態(tài)檢索單元411進行的SR動態(tài)信息110的優(yōu)化和由編碼噪聲推定單元412進 行的再生HR圖像106的優(yōu)化的反復(fù)處理，更新SR動態(tài)信息110和再生HR圖像106 (使用 了反復(fù)處理的優(yōu)化的詳細過程例如參照非專利文獻1)。在第5步驟中，在高清晰動態(tài)補償單元314中，使用生成完畢的前3個幀的再生HR 圖像(參照HR圖像)和原圖像HR圖像，生成用于進一步改善再生HR圖像的圖像品質(zhì)的動 態(tài)信息。高清晰動態(tài)補償單元314把多個參照HR圖像107、再生HR圖像106和再生HR圖 像的原圖像即原圖像HR圖像101作為輸入，把參照HR圖像107與再生HR圖像106之間的 HR動態(tài)信息112輸出到清晰度擴充處理單元310和輔助數(shù)據(jù)編碼/速率控制單元311。HR動態(tài)信息由參照HR圖像上的塊位置信息、參照幀號、塊尺寸、輔助動態(tài)矢量(以 下，把HR動態(tài)信息中的「動態(tài)矢量」作為HRMV)構(gòu)成。使用圖2 (d)說明HRMV。在圖2 (d)中，表示對于把再生HR圖像940上的塊946用 緊前面幀的參照HR圖像950上的塊952進行更新時，在參照HR圖像950上塊946與空間 上同一位置的塊951以及進行更新的塊952之間的空間動態(tài)矢量成為HRMV954的情況。塊 尺寸在通過把多個像素部分匯總在一起進行編碼，減少輔助數(shù)據(jù)的代碼量的目的下使用。在高清晰動態(tài)補償單元314中，首先，對于預(yù)先指定的多種分割塊，比較原圖像HR 圖像和再生HR圖像，檢測塊像素的差分值的差方和大于預(yù)先確定的閾值的塊。然后，從原 圖像HR圖像抽取檢測位置的塊，以多個參照HR圖像為對象搜索與抽取塊的差分值的差方 和為最小的塊位置。而且，在搜索的結(jié)果得到的塊與抽取塊的差分值的差方和小于閾值的 情況下，輸出相對應(yīng)的HR動態(tài)信息112。根據(jù)利用該原圖像高清晰圖像的信息的HR動態(tài)信 息，使用過去擴充了清晰度的高品質(zhì)的參照高清晰圖像，能夠修正再生高清晰圖像的畫質(zhì)， 提高再生HR圖像的圖像品質(zhì)。在第6步驟中，在清晰度擴充處理單元310中實施再生HR圖像106的畫質(zhì)改善處 理。清晰度擴充處理單元310把參照HR圖像107以及HR動態(tài)信息112作為輸入，更新并 輸出再生HR圖像106。具體地講，在圖5的圖像銳化單元420的動態(tài)補償單元421中基于 HR動態(tài)信息112，從參照HR圖像107 —個一個地抽取塊圖像，在畫質(zhì)修復(fù)單元422把抽取 出的塊圖像合成到再生HR圖像上。對于所有的HR動態(tài)信息實施該處理，輸出更新了的再 生HR圖像106。在合成方法中，使用與原來的再生HR圖像上的對應(yīng)塊的加權(quán)內(nèi)插。在第7步驟中，在輔助數(shù)據(jù)編碼/速率控制單元311中把由輔助數(shù)據(jù)生成單元351 生成的輔助信息即LR動態(tài)信息109、修正SR動態(tài)信息111和HR動態(tài)信息112編碼，生成輔 助數(shù)據(jù)113，向解碼裝置20輸出。圖8表示與1張再生HR圖像有關(guān)的輔助數(shù)據(jù)的數(shù)據(jù)格式。成為由輔助數(shù)據(jù)編碼 /速率控制單元311進行的編碼對象的輔助數(shù)據(jù)113從用于檢索1幀部分的輔助數(shù)據(jù)的起 始的開始代碼701開始。在開始代碼中，使用在輔助數(shù)據(jù)內(nèi)不發(fā)生其數(shù)據(jù)圖形的獨特代碼。 同步代碼707是用于針對后述的每種數(shù)據(jù)類型區(qū)別1幀的輔助數(shù)據(jù)的獨特代碼，緊接在開 始代碼以后進行省略。從數(shù)據(jù)類型702到動態(tài)矢量705用可變長度代碼進行編碼(關(guān)于可 變長度代碼，參照專利文獻1)。塊位置信息703表示在參照幀號和圖像(在LR動態(tài)信息以及修正SR動態(tài)信息中 是LR圖像，在HR動態(tài)信息中是HR圖像)上的像素位置。另外，在數(shù)據(jù)類型是LR動態(tài)信息的情況下，參照幀號由于根據(jù)DEC動態(tài)信息決定，因此僅把像素位置的信息編碼。塊尺寸信息704表示把上述的像素位置作為左上端的塊的尺寸。動態(tài)矢量密度信 息708對于上述塊范圍，表示編碼的輔助動態(tài)矢量的像素間隔。從而，除去像素間隔是0的 情況，即塊中編碼的輔助動態(tài)矢量是1個的情況以外，由反復(fù)環(huán)712把多個輔助動態(tài)矢量編 碼。動態(tài)矢量按照水平成分、垂直成分的順序把LRMV、修正SRMV或者HRMV的矢量值編碼。 實際上編碼的動態(tài)矢量作為與預(yù)測動態(tài)矢量的差分矢量。在LRMV中，對于不存在DECMV的塊，鄰接3個塊的動態(tài)矢量成分的中間值(動態(tài) 矢量的中間值預(yù)測參照參考文獻1)，對于存在DECMV的塊，DECMV的矢量值成為預(yù)測值。在 修正SRMV和HRMV中，對于相同數(shù)據(jù)類型的動態(tài)矢量，相鄰3個塊的動態(tài)矢量成分的中間值 成為預(yù)測值。輔助數(shù)據(jù)編碼/速率控制單元311在編碼的信息量多的情況下，根據(jù)優(yōu)先順序減 少信息量。在使高速優(yōu)先的情況下，按照LR動態(tài)信息、修正SR動態(tài)信息，HR動態(tài)信息的順 序優(yōu)先，在使再生HR圖像的圖像品質(zhì)優(yōu)先的情況下，按照HR動態(tài)信息、修正SR動態(tài)信息、 LR動態(tài)信息的順序優(yōu)先。另外，在同一種數(shù)據(jù)類型內(nèi)，使評價值(LR動態(tài)信息與DECMV的 差分值，修正SR動態(tài)信息與SRMV的差分值，HR動態(tài)信息從參照SR圖像抽取的塊與再生 HR圖像上的對應(yīng)塊之間的像素單位的差方和)大的塊優(yōu)先。接著，說明本發(fā)明實施形態(tài)的解碼裝置20。圖6表示本發(fā)明實施形態(tài)的解碼裝置20的整體結(jié)構(gòu)。解碼裝置20具備解碼處理 單元501、清晰度擴充處理單元502、幀存儲器503、數(shù)據(jù)存儲器504、數(shù)據(jù)存儲器505、幀存儲 器508和輔助數(shù)據(jù)解碼/分離單元531。首先，視頻編碼數(shù)據(jù)120在解碼處理單元501解碼為再生LR圖像102。解碼了的再 生LR圖像102保存在幀存儲器503中，解碼了的動態(tài)信息(DEC動態(tài)信息)108保存在數(shù)據(jù) 存儲器504中，解碼了的量化參數(shù)114保存在數(shù)據(jù)存儲器505中，依照來自清晰度處擴充處 理單元502的請求進行輸出。解碼處理的詳細過程例如記載在“Text ofIS0/IEC 14496-2 Third Edition", March 2003 (以下，作為參考文獻2)中。清晰度擴充處理單元502把再 生LR圖像102、DEC動態(tài)信息108、量化參數(shù)114、輔助數(shù)據(jù)113解碼的輔助信息(由輔助數(shù) 據(jù)解碼/分離單元531解碼以及分離了的LR動態(tài)信息109、修正SR動態(tài)信息111以及HR 動態(tài)信息112)以及參照HR圖像107 (從幀存儲器508輸出的在過去生成的再生HR圖像) 作為輸入，生成再生HR圖像106。圖7表示清晰度擴充處理單元502的內(nèi)部結(jié)構(gòu)以及輔助數(shù)據(jù)解碼 分離單元531。 清晰度擴充處理單元502請求輸入再生LR圖像102、DEC動態(tài)信息108、量化參數(shù)114、解碼 了的輔助數(shù)據(jù)113以及參照HR圖像107 (已經(jīng)生成的再生HR圖像)，而這時，再生LR圖像 和DEC動態(tài)信息需要與在實施清晰度擴充的幀中加入了顯示時刻前后的3個幀總計7個幀 有關(guān)的信息，或者參照HR圖像前面的3個幀部分的信息。即，在把3個幀前面的再生LR圖 像解碼后實施清晰度擴充處理。本發(fā)明實施形態(tài)的解碼裝置20中的清晰度擴充處理分為3個步驟。以下，根據(jù)處 理順序說明動作。在第1步驟中，進行LR動態(tài)信息109的解碼和SRMV搜索的初始數(shù)據(jù)生成。首先， 在輔助數(shù)據(jù)解碼/分離單元531從清晰度擴充處理對象幀的輔助數(shù)據(jù)113分離LR動態(tài)信息109的數(shù)據(jù)，進行可變長度解碼。接著，初始數(shù)據(jù)生成單元405把解碼了的LR動態(tài)信息 109和7個幀部分的DEC動態(tài)信息108作為輸入，生成SRMV檢索的初始數(shù)據(jù)。關(guān)于初始數(shù) 據(jù)生成單元405的動作由于已經(jīng)在圖5中說明過，因此在這里舍去說明。在第2步驟中，進行修正SR動態(tài)信息111的解碼和再生HR圖像106的生成。首 先，由輔助數(shù)據(jù)解碼/分離單元531從清晰度擴充對象幀的輔助數(shù)據(jù)113分離修正SR動態(tài) 信息111的數(shù)據(jù)，進行可變長度解碼。接著，超清晰圖像合成單元510把解碼了的修正SR動 態(tài)信息111、7張再生LR圖像102、SRMV搜索的初始數(shù)據(jù)以及量化參數(shù)114作為輸入，生成 再生HR圖像106。具體地講，在動態(tài)檢索單元511中，在根據(jù)修正SR動態(tài)信息111把SRMV 搜索的初始數(shù)據(jù)修正了以后，通過實施由動態(tài)檢索單元511進行的SRMV的優(yōu)化和由編碼噪 聲推定單元512進行的再生HR圖像106的優(yōu)化的反復(fù)處理，使再生HR圖像106收斂(關(guān) 于使用了反復(fù)處理的優(yōu)化的詳細過程例如參照非專利文獻1)。其中，關(guān)于用修正SR動態(tài)信 息修正了的SRMV，由于能夠推定為是精度高的值，因此僅進行限定在整數(shù)像素以下的實數(shù) 值范圍中的微調(diào)整。在第3步驟中，進行HR動態(tài)信息112的解碼和再生HR圖像106的畫質(zhì)改善處理。 首先，由輔助數(shù)據(jù)解碼/分離單元531從清晰度擴充對象幀的輔助數(shù)據(jù)113分離HR動態(tài)信 息112的數(shù)據(jù)，進行可變長度解碼。接著，圖像銳化單元520使用HR動態(tài)信息112和參照 HR圖像107實施畫質(zhì)改善處理。具體地講，由動態(tài)補償單元521基于HR動態(tài)信息112從參 照HR圖像107 —個一個地抽取塊圖像，在畫質(zhì)修復(fù)單元522通過把抽取出的塊圖像合成在 由超清晰圖像合成處理單元510所生成的再生HR圖像123上，更新再生HR圖像106。對于 所有的HR動態(tài)信息實施該處理，輸出更新了的再生HR圖像106。在合成方法中，使用與原 來再生HR圖像上的對應(yīng)塊的加權(quán)內(nèi)插。圖9表示實施本發(fā)明的編碼處理流程。另外，圖9的各步驟的詳細過程由于與圖 3、圖4、圖5的說明重復(fù)，因此在這里僅說明處理的流程。編碼處理開始601以后，在處理 602中，通過基于低通濾波和降抽樣的取樣處理，把原圖像HR圖像變換為原圖像LR圖像。 在處理603中，把變換了的原圖像LR圖像進行視頻編碼的同時，通過局部解碼處理生成再 生LR圖像和DEC動態(tài)信息。在處理604中，使用原圖像LR圖像，把DEC動態(tài)信息的至少一 部分修正為高精度的LR動態(tài)信息。在處理605中，使用多個幀的DEC動態(tài)信息和LR動態(tài) 信息，生成SRMV檢索的初始數(shù)據(jù)。在處理606中，通過清晰度擴充處理，從多個再生LR圖 像生成再生HR圖像和SR動態(tài)信息。在步驟607中，使用原圖像HR圖像和原圖像LR圖像， 把在處理606中生成的SR動態(tài)信息的一部分修正為高精度的修SR動態(tài)信息。在處理608 中，把SRMV置換為在處理607中生成的修正SRMV，再次實施清晰度擴充處理，更新再生HR 圖像和SR動態(tài)信息。在處理609中，使用參照HR圖像，檢測用參照HR圖像改善作為對象 的再生HR圖像的圖像品質(zhì)的參照HR圖像與再生HR圖像之間的動態(tài)信息(HR動態(tài)信息)。 在步驟610中，使用在處理609中檢測出的HR動態(tài)信息和參照HR圖像，改善再生HR圖像 的圖像品質(zhì)。在處理611中，把在處理604中生成的LR動態(tài)信息、在處理607中生成的修 正SR動態(tài)信息和在處理609中生成的HR動態(tài)信息編碼，生成輔助數(shù)據(jù)。在結(jié)束了處理611 以后，結(jié)束編碼處理(處理612)。圖10表示實施本發(fā)明的解碼處理內(nèi)的超清晰圖像生成處理流程。另外，圖10的 各步驟的詳細過程由于與圖7的說明重復(fù)，因此在這里僅說明處理的流程。在超清晰度圖像生成處理開始801以后，在處理802中，把LR動態(tài)信息解碼。在處理803中，使用在處理 802中解碼了的LR動態(tài)信息和多個幀DEC動態(tài)信息，生成SRMV搜索的初始數(shù)據(jù)。在處理 804中，把修正SR動態(tài)信息解碼。在處理805中，把在處理804中解碼了的修正SR動態(tài)信 息設(shè)定為SRMV搜索的初始數(shù)據(jù)的同時，在把修正SR動態(tài)信息的更新限定在整數(shù)像素以下 的范圍內(nèi)這樣的條件下，搜索SRMV，從多個幀的再生LR圖像生成再生HR圖像。在處理806 中，把HR動態(tài)信息解碼。在處理807中，基于在處理806中解碼了的HR動態(tài)信息，從參照 HR圖像改善再生HR圖像的圖像品質(zhì)。在結(jié)束了處理807以后，結(jié)束超清晰度圖像生成處理 (處理808)。圖11表示實施本發(fā)明的解碼處理流程。另外，圖11的各步驟的詳細過程由于與圖 6以及圖7的說明重復(fù)，因此在這里僅說明處理的流程。在解碼處理開始901以后，在處理 902中，把編碼視頻數(shù)據(jù)解碼，生成再生低清晰圖像、DEC動態(tài)信息和量化參數(shù)。接著，在處 理903中實施被編碼了的輔助數(shù)據(jù)的解碼，生成LR動態(tài)信息、修正SR動態(tài)信息和HR動態(tài) 信息。然后，在處理904中，使用在處理903中解碼了的LR動態(tài)信息和多個幀的DEC動態(tài) 信息，生成SRMV搜索的初始數(shù)據(jù)。在處理905中，把在處理903中解碼了的修正SR動態(tài)信 息設(shè)定為SRMV搜索的初始數(shù)據(jù)的同時，在把修正SR動態(tài)信息的更新限定在整數(shù)像素以下 的范圍內(nèi)這樣的條件下搜索SRMV，從多個幀的再生LR圖像生成再生HR圖像。在處理906 中，基于在處理903中解碼了的HR動態(tài)信息，從參照HR圖像改善再生HR圖像的圖像品質(zhì)。 在結(jié)束了處理906以后，結(jié)束解碼處理(處理907)。圖12用于說明使用保存了上述實施形態(tài)的圖像編碼處理或者圖像解碼處理的程 序的軟盤等存儲媒體，由計算機系統(tǒng)實施的情況。圖12(b)表示從軟盤的正面觀看的外觀、剖面構(gòu)造以及軟盤，圖12(a)表示作為存 儲媒體主體的軟盤的物理格式的例子。軟盤FD安裝在外殼F內(nèi)部，在該軟盤的表面上，同心 圓形地形成從外周向內(nèi)周的多個磁道Tr，各磁道沿著角度方向分割為16個扇區(qū)Se。從而， 在保存了上述程序的軟盤中，在上述軟盤FD上分配的區(qū)域上，記錄作為上述程序的數(shù)據(jù)。另外，圖12(c)表示用于在軟盤FD上進行上述程序的記錄再生的結(jié)構(gòu)。在把上述 程序記錄到軟盤FD中時，從計算機系統(tǒng)Cs經(jīng)過軟盤驅(qū)動器寫入作為上述程序的數(shù)據(jù)。另 外，在由軟盤內(nèi)的程序把上述編碼或者解碼裝置構(gòu)筑在計算機系統(tǒng)中的情況下，由軟盤驅(qū) 動器從軟盤讀出程序，傳送到計算機系統(tǒng)。另外，在上述說明中，作為數(shù)據(jù)記錄媒體使用軟盤進行了說明，而使用光盤也能夠 同樣進行。另外，記錄媒體不限于這些，IC卡、盒式ROM等只要是能夠記錄程序，則就能夠 同樣地實施。另外，作為計算機，包括具備CPU，進行由軟件實施的處理或者控制的DVD播放 器、機頂盒、便攜電話等。以上說明了本發(fā)明的實施形態(tài)，而也可以進行以下的變形，每種形態(tài)都包含在本 發(fā)明中。(1)涉及功能的利用部分的變形例并不需要齊備所有構(gòu)成本發(fā)明的輔助數(shù)據(jù)即輔助信息的LR動態(tài)信息、修正SR動 態(tài)信息、HR動態(tài)信息，在僅使用其一部分輔助動態(tài)信息，從低清晰圖像生成高清晰圖像的情 況下，也能夠得到同樣的效果。SP，即使在使用清晰度比原圖像LR圖像高的原圖像HR圖像和原圖像LR圖像的雙
22方或者其中一方生成本發(fā)明的輔助數(shù)據(jù)的情況下，也能夠提高圖像解碼裝置以及圖像編碼 裝置中的圖像之間的動態(tài)檢測的精度，提高再生高清晰圖像的圖像品質(zhì)。另外，由于減少圖 像解碼裝置以及圖像編碼裝置的動態(tài)搜索的處理量，因此能夠減少圖像清晰度擴充處理中
的運算量。具體地講，如果依據(jù)本發(fā)明的圖像解碼裝置以及圖像編碼裝置，則在采用僅把修 正SR動態(tài)信息構(gòu)成為輔助數(shù)據(jù)時，采用把修正SR動態(tài)信息和HR動態(tài)信息構(gòu)成為輔助數(shù)據(jù) 時，采用把修正SR動態(tài)信息、HR動態(tài)信息和LR動態(tài)信息構(gòu)成為輔助信息時的哪一種情況 下都能夠?qū)崿F(xiàn)上述那樣的提高像素品質(zhì)以及減少運算量。另外，在采取不使用一部分輔助 動態(tài)信息的結(jié)構(gòu)的情況下，在圖像編碼裝置10的輔助數(shù)據(jù)生成單元351中，不進行與其輔 助動態(tài)信息相對應(yīng)的動態(tài)信息的生成就能夠?qū)崿F(xiàn)。另外，即使沒有SRMV搜索初始數(shù)據(jù)也能夠?qū)嵤﹫D5、圖7的超清晰度圖像合成處 理。從而，在沒有實施初始數(shù)據(jù)生成和LR動態(tài)信息編碼的情況下，本發(fā)明的修正SR動態(tài)信 息和HR動態(tài)信息也是有效的。進而，即使沒有由圖像銳化處理進行的再生HR圖像的畫質(zhì)改善處理也能夠?qū)嵤?通過圖5、圖7的超清晰圖像合成處理生成的再生HR圖像。從而，在沒有實施圖像銳化處理 和HR動態(tài)信息的編碼的情況下，本發(fā)明的LR動態(tài)信息和修正SR動態(tài)信息也是有效的。另外，即使在不是從來自視頻編碼數(shù)據(jù)的解碼圖像，而是從通過照相機等單元取 得的多個圖像或者預(yù)先保存在硬盤等裝置中的多個圖像生成清晰度更高的超清晰圖像的 情況下，本發(fā)明的輔助數(shù)據(jù)也是有效的。在這種情況下，雖然不存在DEC動態(tài)信息，但是修 正SR動態(tài)信息和HR動態(tài)信息是有效的。(2)涉及功能定義的變更的變形例把在圖像銳化處理中抽取出的參照HR圖像上的塊合成到再生HR圖像中的方法不 限于加權(quán)合成處理。即使在抽取出的塊中置換再生HR圖像的部分的情況下，本發(fā)明的HR 動態(tài)信息也是有效的。另外，從HR圖像變換為LR圖像時的低通濾波器的種類沒有限制。在圖2(c)的說 明中，濾波器的分支數(shù)在水平/垂直方向都取為3個分支，而長分支數(shù)的濾波器或者系數(shù)不 同的濾波器也是有效的。除此以外，說明了 HR圖像上的9像素與LR圖像上的1個像素相 對應(yīng)的情況、但是并不限于這種對應(yīng)。具體地講，由于如果所對應(yīng)的HR圖像的像素是1個 像素則能夠生成LR圖像上的1個像素，因此也可以缺少濾波器產(chǎn)生影響的區(qū)域內(nèi)的像素的 一部分。進而，在圖2(c)中，把由降抽樣舍棄的像素作為濾波整理后的HR圖像的偶數(shù)列以 及偶數(shù)行的像素，但是并不限于這種情況。即使在由低通濾波處理的HR圖像上把實數(shù)位置 的樣品作為LR圖像上的像素樣品的情況下，本發(fā)明也是有效的。進而，SRMV搜索初始數(shù)據(jù)生成方法并不限于在圖5中說明過的方法。不是沿著從 再生HR圖像離開的方向搜索的方法，依照根據(jù)幀間隔把動態(tài)矢量定標的方法也是有效的。(3)涉及輔助數(shù)據(jù)的編碼方法的變形例本發(fā)明的成為編碼對象的輔助數(shù)據(jù)的數(shù)據(jù)格式并不限于圖8的格式。另外，動態(tài) 矢量的預(yù)測方法也不限于在圖8中說明過的方法。另外，在圖8的數(shù)據(jù)格式中，代替把塊位置信息作為參照幀號信息，把像素位置進 行編碼的方法，把圖像進行塊分割，把有無從左上方開始按照光柵掃描順序編碼的輔助動態(tài)信息進行編碼的方法也是有效的。這時，并不一定需要塊尺寸信息。進而，在圖8的數(shù)據(jù)格式中，代替把塊位置信息作為參照幀號信息，進而，把像素 位置信息、塊尺寸信息、動態(tài)矢量密度信息進行編碼的方法，把圖像進行塊分割，從左上方 開始按照光柵掃描順序把有無動態(tài)矢量進行編碼的方法也是有效的。另外，在圖8的數(shù)據(jù)格式中，針對每個幀把數(shù)據(jù)類型的信息進行編碼，也可以考慮 去除重復(fù)環(huán)713，對于輔助數(shù)據(jù)信息內(nèi)的各塊把數(shù)據(jù)類型進行編碼的情況。在該格式中，由 于針對每個塊的輔助動態(tài)信息添加同步碼，因此在希望從輔助數(shù)據(jù)檢索特定像素的輔助動 態(tài)信息的情況下是有效的。進而，動態(tài)矢量的編碼精度沒有限定。例如，記載在參考文獻2或者“Text of ISO/ IEC 14496-10 Advanced Video Coding 3rdEdition”，September 2004 (以下，作為參考文 獻3)中的高精度的動態(tài)矢量也是有效的。另外，在圖8的說明中，根據(jù)可變長度代碼進行輔助數(shù)據(jù)的構(gòu)成要素的編碼，但是 并不限于這種方法。記載在專利文獻3中的算術(shù)編碼方法等也是有效的。(4)涉及輔助數(shù)據(jù)的構(gòu)成要素的變形例輔助數(shù)據(jù)的構(gòu)成要素并不限于上述實施形態(tài)的記載。另外，圖8的輔助動態(tài)矢量信息還包括表示在2個像素圖像之間沒有相對應(yīng)的動 態(tài)矢量的情況。視頻順序的任意2個像素內(nèi)的像素完全一對一地相對應(yīng)的狀況極其稀少， 表示沒有對應(yīng)點的信息是有效的。進而，圖8的輔助動態(tài)矢量信息還包括不是按照矢量值，而是按照塊尺寸信息指 定的范圍的動態(tài)搜索范圍信息的情況。在這種情況下，省略動態(tài)矢量密度信息。根據(jù)該搜 索范圍指定，能夠縮減動態(tài)矢量的檢測時間。另外，圖8的輔助動態(tài)矢量信息在不是矢量值，而是表示旋轉(zhuǎn)、放大、變形等的動 態(tài)參數(shù)的情況下也是有效的。關(guān)于動態(tài)參數(shù)(仿射變換參數(shù)、投影變換參數(shù))等詳細內(nèi)容 記載在參考文獻1中。進而，在圖2(b)中，把LR動態(tài)信息的預(yù)測類型限定為DEC動態(tài)信息的預(yù)測類型或 者缺省值，然而并不限定于此。在這種情況下，在LR動態(tài)信息中包括預(yù)測類型(前向預(yù)測 /后向預(yù)測/雙向預(yù)測等)。另外，在適用記載在專利文獻3中的使用了多個參照幀的動態(tài) 預(yù)測的編碼/解碼方式的情況下，在DEC動態(tài)信息中包括參照幀號。進而，如在專利文獻 3中記載的那樣，在能夠從多種類型選擇實施動態(tài)預(yù)測的塊尺寸的編碼/解碼方式的情況 下，在DEC動態(tài)信息中還包括塊尺寸。在這種情況下，同樣地在LR動態(tài)信息中也包括參照 幀號和塊尺寸。另外，不需要對于再生LR圖像上的所有像素求出SRMV。根據(jù)包藏等的影響，在不 能夠通過再生HR圖像檢測的情況下，不使用該像素進行優(yōu)化處理也能夠生成有效的再生 HR圖像。進而，修正SR動態(tài)信息的塊位置信息不是采用以再生LR圖像為基準的值，而是采 用以再生HR圖像為基準的值也是有效的。在這種情況下，當動態(tài)密度信息是1時(對于塊 內(nèi)的所有像素把動態(tài)矢量編碼)，塊內(nèi)的像素數(shù)與像素單位的修正SRMV的數(shù)量一致。另外，輔助動態(tài)信息的塊的形狀也可以是任意形狀。在這種情況下，也可以把形狀 信息進行編碼。在形狀信息的編碼方法中，例如有在專利文獻2中所示的使用了算術(shù)編碼的方法。(5)涉及動態(tài)推定的方法的變形例上述中，在多個原圖像LR圖像與原圖像HR圖像之間實施修正SRMV的檢測，而由 于不是使用原圖像LR圖像而是使用HR圖像實施的方法也提高SRMV的精度，因此效果也很 高。這種情況下，塊位置信息的像素位置成為HR圖像上的值。另外，在上述中，在多個再生LR圖像與再生HR圖像之間實施SRMV的檢測，而由于 不是使用再生LR圖像而是使用參照HR圖像實施的方法也提高SRMV的精度，因此效果也很
尚o(6)涉及整體結(jié)構(gòu)的變形例上述中，把視頻順序的編碼/解碼方法采取為參考文獻1以及參考文獻2中的方 法，但是并不限于這些方法。另外，在上述中，用非專利文獻1和非專利文獻2說明了清晰度擴充方法以及推定 模型，而在從多個低清晰度圖像生成高清晰度圖像的技術(shù)中，由于能夠適用本發(fā)明的輔助 信息的編碼以及利用了該編碼的高畫質(zhì)處理，因此并不限定于該方法。進而，上述中，把在清晰度擴充處理中使用的再生LR圖像的數(shù)量取為7張，而由于 在除此以外的數(shù)量下也能夠?qū)嵤┍景l(fā)明，因此在數(shù)量上沒有限定。另外，參照HR圖像的數(shù) 量也沒有限定。本說明書中介紹的清晰度擴充處理是把1張未知的高清晰度圖像與多個已知 的低清晰圖像的關(guān)系建立公式，推測滿足這些公式的最佳的高清晰圖像和動態(tài)信息的 技術(shù)，非專利文獻1以及非專利文獻2是使用統(tǒng)計性的方法推定滿足評價函數(shù)的最佳 的高次矢量的技術(shù)的例子。如在文獻「Sung Cheol Park et al，“Super-Resolution ImageReconstruction :A Technical Overview", IEEE Signal ProcessingMagazine, May 2003」(以下，作為參考文獻4)中所示的那樣，在清晰度擴充處理中有各種方法，而本 說明書的輔助數(shù)據(jù)在使用動態(tài)矢量表現(xiàn)高清晰度圖像與多個低清晰圖像之間的關(guān)系的情 況下能夠適用所有方法。作為非專利文獻1或者2以外的方法，有求解聯(lián)立方程式的方 法，或者使用了向凸集合的投影幀構(gòu)架(projections onto convexsets)的方法(例如， 「A. M. Tekalp,M. K. Ozkan and M. I. Sezan,"High-resolution image reconstruction from low-resolution imagesequences and space varying image restoration", in Proc. IEEE Int. Conf. Acoustics,Speech and Signal Processing (ICASSP),SanFransisco,CA., vol. 3, Mar. 1992，pp. 169-172」，(以下，作為專利文獻5))等。在所生成的高清晰圖像中， 對于作為已知的多個低清晰度圖像，空間的清晰度升高，具有在圖像上生成在多個低清晰 度圖像之間的對位和合成處理(例如，鑲嵌)中不發(fā)生的高頻成分的特征。上述中，在圖5和圖7的編碼噪聲推定單元412的處理中，把量化參數(shù)114作為輸 入，而在不需要量化參數(shù)的編碼噪聲推定處理中也能夠?qū)嵤┍景l(fā)明。因此，有無清晰度擴充 處理中的量化參數(shù)并不影響實施本發(fā)明。上述中，根據(jù)預(yù)測類型、動態(tài)矢量(DECMV)構(gòu)成DEC動態(tài)信息108，但并不限定于該 構(gòu)成要素。例如，如參考文獻3那樣，在把多個再生LR圖像作為參考圖像的方式中，由于需 要針對每個預(yù)測塊選擇參照幀號，因此參照幀號也包含在DEC動態(tài)信息中。(7)輔助數(shù)據(jù)的生成方法
25
在上述圖4中的超清晰動態(tài)補償單元313的說明中，在原圖像LR圖像上的對象像 素與其預(yù)測像素的差分值大于預(yù)先確定的閾值的情況下，把在修正SRMV的檢測中使用的 參照圖像從原圖像LR圖像替換為原圖像HR圖像，但是原圖像HR圖像的利用并沒有限定于 該方法。例如，也可以不使用原圖像LR圖像，而對于所有的像素使用原圖像HR圖像。另外， 關(guān)于修正SR信息111的輸出條件，在圖4的說明中，規(guī)定為針對每個所指定的多種分割塊 中用平均值把檢測出的SRMV與包含在SR信息110中的SRMV的差分值進行比較，在差分值 大于閾值情況下進行輸出，但是并不限定于該方法。例如，也可以不是MV的差分值，而是把 檢測出的SRMV、適用了 SRMV時的預(yù)測值與原圖像上的像素的差分值用作為輸出條件。另 外，分割塊的尺寸選擇方法也不限定于一種方法。進而，在圖4的說明中把輸出的修正SRMV 作為檢測出的SRMV的塊平均值，但是并不限于這種方法。例如，也可以不是把檢測MV的平 均值而是把塊內(nèi)的SRMV作為恒定值，以塊單位進行檢測。關(guān)于低清晰動態(tài)補償單元以及高清晰動態(tài)補償單元中的輔助數(shù)據(jù)選擇方法，同樣 也沒有限定于一種方法。進而，關(guān)于涉及輔助數(shù)據(jù)編碼/速率控制單元中的輔助動態(tài)信息的選擇的優(yōu)先順 序以及評價方法，也不限定于在圖4的說明中表示的方法。例如，即使在使用了考慮代碼量 的評價方法的情況下，利用了本發(fā)明的輔助數(shù)據(jù)的清晰度擴充處理也是有效的。(8)變形例(5)的實施形態(tài)在超清晰合成單元410中，使用多張再生LR圖像102生成再生HR圖像106和多 個再生LR圖像之間的SR動態(tài)信息110，而如變形例(4)或者(5)所示，通過使用HR圖像之 間的動態(tài)推定，可以預(yù)料提高SR動態(tài)信息以及修正SR動態(tài)信息的推定精度。因此，使用圖 13、圖14以及圖15詳細地說明HR圖像之間的動態(tài)推定的實施形態(tài)。另外，這里，關(guān)于變形 例(1)，以清晰度擴充處理僅需要SR動態(tài)信息的情況為例進行說明。圖13表示清晰度變換/編碼單元306的結(jié)構(gòu)，即圖4的變形例。清晰度擴充處理 單元310是從多個再生LR圖像102生成再生HR圖像106和SR動態(tài)信息110的處理單元， 圖14示出其內(nèi)部結(jié)構(gòu)。圖14成為圖5的變形例。如從圖的輸入輸出端可知，清晰度擴充處理單元310和 超清晰動態(tài)補償單元313的結(jié)構(gòu)與圖4、圖5不同。即，在本發(fā)明中，使用SR信息的清晰度 擴充處理的方法不限于圖5，修正SR信息的生成方法也不限于圖4。在圖2(c)的說明中，把 SR信息作為表示再生HR圖像與多個LR圖像之間的時空對應(yīng)的動態(tài)信息。因此，在圖2(c) 的例子中，與LR圖像上的1個像素相對應(yīng)的SRMV(修正SRMV)的條數(shù)根據(jù)從HR圖像變換 為LR圖像時使用的低通濾波器的分支數(shù)決定(在圖2(4)中是9條)。然而，SRMV的結(jié)構(gòu) 如在變形例⑷和(5)中表示的那樣，沒有限定于圖2(c)的結(jié)構(gòu)，在本實施例中，為了成為 表示再生HR圖像與多個HR圖像之間的時空對應(yīng)的信息，SR信息如在變形例⑷中說明的 那樣，與HR圖像上的1個像素相對應(yīng)的SRMV (修正SRMV)成為1條。在從動態(tài)模型的觀點考慮2個例子的差別的情況下，圖2 (c)的SRMV包括圖1的 動態(tài)模型201和取樣模型202在內(nèi)，表示原圖像HR圖像101與多個原圖像LR圖像102的 時空對應(yīng)，對此，本實施例的SRMV表示動態(tài)模型201的動態(tài)矢量，即原圖像HR圖像101與 多個原圖像HR圖像的時空對應(yīng)。由于原圖像HR圖像和原圖像LR圖像是未知的，因此在圖 2(c)中，從虛擬生成的虛擬HR圖像和再生LR圖像生成SR信息。對此，在本實施例中，除去
26虛擬HR圖像以外，對于多個再生LR圖像也生成虛擬的HR圖像，通過HR之間的動態(tài)推定生 成SR信息。從而，由于2個例子SR信息的生成方法不同，因此雖然根據(jù)相同的動態(tài)模型， 但是所得到的結(jié)果不同。如果依據(jù)本實施例，則認為通過適當?shù)剡x擇虛擬HR圖像，能夠提 高再生HR圖像的品質(zhì)以及處理速度。另外，由于把原圖像HR圖像之間的動態(tài)矢量活用為 修正SRMV，因此認為輔助數(shù)據(jù)的導(dǎo)入效果也比圖2(c)高。在本實施例中，圖13的局部清晰度擴充處理單元310相當于圖5的超清晰圖像合 成單元410。在局部清晰度擴充處理單元310中，與圖5相同，把多個再生LR圖像102作為 輸入，但在輸入到動態(tài)檢測單元411之前，把它們在圖像放大處理單元406中變換為放大圖 像118。關(guān)于圖像放大處理單元406的處理，在本發(fā)明中沒有限定，可以考慮單純的線性內(nèi) 插處理、使用了 B-spline函數(shù)的樣條內(nèi)插處理，進而，可以考慮在通過內(nèi)插處理放大的圖 像中利用非專利文獻1記載的圖像修復(fù)模型改善畫質(zhì)的方法等。在清晰度擴充處理中，通過反復(fù)進行清晰度擴充處理單元310的處理，來謀求再 生HR圖像的高畫質(zhì)的情況很多。這種情況下，對于清晰度擴充對象的再生LR圖像，首先 (第1次反復(fù)處理)，把在圖像擴大處理單元406生成的擴大圖像118作為虛擬HR圖像119， 輸入到動態(tài)搜索單元411。然后，在生成了虛擬的再生HR圖像的第2次以后的反復(fù)處理中， 通過在開關(guān)407代替放大圖像118，把參照HR圖像107 (虛擬的再生HR圖像)選擇為虛擬 HR圖像119輸入到動態(tài)搜索單元411。對于參照再生LR圖像，在第1次反復(fù)處理之前，有 時已經(jīng)通過清晰度擴充處理生成再生HR圖像(參照HR圖像107)。在這種情況下，在開關(guān) 407，把參照HR圖像107選擇為虛擬HR圖像。這樣，通過利用參照HR圖像107，能夠期待提 高由動態(tài)搜索單元411生成的SR信息110的推定精度或者縮短處理運算時間這樣的效果。在動態(tài)搜索單元411中，通過2張HR圖像之間的動態(tài)推定，生成SR信息110。所 生成的SR信息110輸入到超清晰動態(tài)補償單元311。在超清晰動態(tài)補償單元311中，使用 原圖像把SR動態(tài)信息110修正成高精度的修正SR動態(tài)信息111。在本實施例中，超清晰 動態(tài)補償單元313接受在與多個(L張)參照再生LR圖像相對應(yīng)的原圖像HR圖像上加入 了清晰度擴充處理對象的再生HR圖像的總計(L+1)張原圖像HR圖像101和SR動態(tài)信息 110的輸入，檢測修正SRMV。而且，對于SRMV與修正SRMV的差(或者SRMV與適用了 SRMV 和修正SRMV時的預(yù)測誤差的差)大的區(qū)域或者在最佳的SRMV的檢測中需要大量運算時間 的區(qū)域，生成修正SR動態(tài)信息111，輸出到清晰度擴充處理單元310和輔助數(shù)據(jù)編碼/速 率控制單元311。另外，如在變形例(7)中所示的那樣，超清晰動態(tài)補償單元313中的修正 SR動態(tài)信息的生成方法并不限于一種方法。修正SR動態(tài)信息例如可以考慮由參照HR圖 像(把參照再生LR圖像放大為HR尺寸的圖像)上的塊位置信息、參照幀號、塊尺寸、修正 SRMV所構(gòu)成的信息。塊尺寸在通過把幾個像素部分匯總在一起進行編碼，用于減少輔助數(shù) 據(jù)的代碼量的目的。屬于修正SR動態(tài)信息的修正SRMV的數(shù)量當塊尺寸是NXN像素時成 為大于1小于等于NXN個。修正SRMV的數(shù)量通過在修正動態(tài)矢量信息中添加動態(tài)矢量密 度信息708等的信息，能夠在解碼一側(cè)明示。清晰度擴充處理單元310使用修正SR動態(tài)信息111，用動態(tài)搜索單元411更新SR 動態(tài)信息110。在編碼噪聲推定單元412中，使用實施清晰度擴充的再生LR圖像102和L 張再生LR圖像102，以及更新了的SR動態(tài)信息110，生成虛擬的再生HR圖像106。這樣，在 本實施例中，通過反復(fù)進行清晰度擴充處理和超清晰動態(tài)補償處理，優(yōu)化再生HR圖像106、SR動態(tài)信息110以及修正SR動態(tài)信息111。作為優(yōu)化方法，可以考慮確定輔助數(shù)據(jù)的代碼 量，調(diào)整修正SR動態(tài)信息111使得在其代碼量下再生HR圖像106與原圖像HR圖像的誤差 成為最小的方法等，然而本申請并沒有限定優(yōu)化方法。另外，在修正SR動態(tài)信息111的優(yōu) 化以后，需要根據(jù)修正SR動態(tài)信息的適用方法，再次生成再生HR圖像，使得在編碼一側(cè)和 解碼一側(cè)能夠生成相同的再生HR圖像106。優(yōu)化了的修正SR動態(tài)信息通過由輔助數(shù)據(jù)編 碼/速率控制單元311進行編碼，成為輔助數(shù)據(jù)113，向解碼裝置傳送。在本實施例中，也像在變形例(1)所示的那樣，即使在不是從來自視頻編碼數(shù)據(jù) 的解碼圖像，而是從多個圖像生成清晰度更高的圖像的情況下，本發(fā)明也是有效的。另外， 如變形例(4)所示，不需要對于所有的像素計算SRMV，對于沒有發(fā)現(xiàn)對應(yīng)點的像素，不使用 其像素的動態(tài)數(shù)據(jù)生成再生HR圖像106。從而，在本實施例中也如在變形例(4)中說明過 的那樣，作為修正SR動態(tài)信息，發(fā)送表示沒有使用對象像素的動態(tài)數(shù)據(jù)的信息是有效的。圖15表示本實施例的清晰度擴充處理單元502的內(nèi)部結(jié)構(gòu)以及輔助數(shù)據(jù)解碼/ 分離單元531。在本實施例中，圖15的清晰度擴充處理單元502相當于圖7的超清晰圖像 合成處理單元510。清晰度擴充處理單元502使用再生LR圖像102、解碼了的修正SR動態(tài)信息111以 及參考HR圖像107 (已經(jīng)生成的再生HR圖像)，生成再生HR圖像106和SR動態(tài)信息110。 首先，由輔助數(shù)據(jù)解碼/分離單元531從清晰度擴充對象幀的輔助數(shù)據(jù)113分離修正SR動 態(tài)信息111，進行可變長度代碼。然后，清晰度擴充處理單元502由圖像放大處理單元406 生成放大圖像118。如在圖14中所示那樣，按照預(yù)先確定的順序從放大圖像118和參照HR 圖像107選擇虛擬HR圖像119。然后，使用多個虛擬HR圖像119和修正SR動態(tài)信息111， 生成SR動態(tài)信息110和再生HR圖像106。具體地講，通過反復(fù)處理由動態(tài)檢索單元511進 行的SRMV的生成和由編碼噪聲推定單元512進行的再生HR圖像106的生成進行優(yōu)化。在本實施例中，在HR圖像之間進行SR動態(tài)信息110的生成，而在不存在參照HR 圖像(第1次反復(fù)處理)的情況下，省略圖像放大處理單元的處理，在再生LR圖像之間實 施動態(tài)推定，通過動態(tài)矢量值的內(nèi)插處理或者零次保持法放大為SRMV。因此，在本實施形態(tài) 中，依照反復(fù)處理的次數(shù)，有時修正SR動態(tài)信息的構(gòu)成要素即修正SRMV的意義或者數(shù)量不 同。另外，還可以考慮把不是由原圖像之間的動態(tài)搜索，而是由通常的再生圖像之間的動態(tài) 搜索檢測出的動態(tài)矢量作為修正SR動態(tài)信息，為了減少解碼一側(cè)的運算量進行傳送的情 況。關(guān)于修正SR動態(tài)信息的利用方法，可以考慮若干種方法，在本申請中并沒有限定 于一種方法。作為利用修正SRMV的方法，可以考慮不進行SRMV的動態(tài)搜索而適用修正SRMV 的方法、在適用了修正SRMV以后，通過動態(tài)搜索進行再次調(diào)整的方法，然后，從通過實施動 態(tài)搜索檢測出的SRMV和修正SRMV決定最終的SRMV的方法。關(guān)于再次調(diào)整，可以考慮實際 上考慮了在再生HR圖像的生成中使用的再生LR圖像的差別，進行調(diào)整使得再生HR圖像 成為高品質(zhì)的情況、把以塊單位傳送的修正SRMV改善為像素單位的SRMV的情況或者改善 修正SRMV像素精度等的情況等各種提高MV的精度的情況。關(guān)于從2個動態(tài)矢量決定最終 的動態(tài)矢量的方法，可以考慮修正SRMV是通過實施動態(tài)搜索檢測出的SRMV與最終的SRMV 的差分矢量的情況、或者修正SRMV與通過實施動態(tài)搜索檢測出的SRMV的平均值是最終的 SRMV的情況等。即，既可以是修正SR動態(tài)信息包括修正SRMV，把該修正SRMV用作為動態(tài)矢量的形態(tài)，還可以是修正SR動態(tài)信息包括修正SRMV，使用多個再生圖像檢測中間動態(tài)矢 量，通過該中間動態(tài)矢量與修正SRMV的相加處理，生成動態(tài)矢量。另外，修正SR動態(tài)信息 包括修正SRMV，把修正SRMV作為動態(tài)矢量的初始動態(tài)矢量，通過使用多個再生圖像更新初 始動態(tài)矢量也可以生成動態(tài)矢量。另外，關(guān)于與利用修正SR動態(tài)信息時的反復(fù)處理的對應(yīng)，也可以考慮多種方法。 如果大致區(qū)分，則有在所有次數(shù)的反復(fù)處理中適用相同的修正SRMV的方法和僅在反復(fù)處 理的特定次數(shù)中適用的方法。關(guān)于后者，根據(jù)用于減少運算量等的理由，進而可以考慮在相 同的區(qū)域或者塊中傳送對于反復(fù)次數(shù)不同的修正SRMV的情況。在該變形例中，說明了編碼裝置、解碼裝置，而關(guān)于圖9 圖11所示的處理流程， 同樣也能夠變形。在這種情況下，雖然沒有圖示，然而通過上述說明過的方法實施在圖10 的超清晰處理805中所示的虛擬HR圖像119的生成。另外，該變形例的圖像編碼處理或者 圖像解碼處理如在圖12中說明的那樣，能夠由基于程序的計算機系統(tǒng)實施。(9)涉及利用參照HR圖像的變形例在圖5和圖7中，利用HR動態(tài)信息112實施畫質(zhì)銳化處理，而即使是在高清晰動態(tài) 補償單元314中沒有使用HR輔助信息的方法，也能夠?qū)嵤┊嬞|(zhì)銳化處理。這種情況下，使 用多個參照HR圖像107、編碼噪聲推定單元412 (512)輸出的再生HR圖像123以及由畫質(zhì) 修復(fù)處理已經(jīng)修正了的清晰度擴充對象圖像的虛擬的再生HR圖像上的像素數(shù)據(jù)，由動態(tài) 補償單元421(521)檢測HRMV。這時，可以考慮通過利用再生HR圖像上的修正完畢的像素 數(shù)據(jù)，提高像素精度。例如，在以塊單位按照光柵掃描順序?qū)嵤┝诵拚幚淼那闆r下，能夠 在搜索中使用更新了的再生HR圖像上的當前塊的上端和左端的更新完畢的像素。在畫質(zhì) 修復(fù)單元422(522)中利用檢測出的HRMV改善再生HR圖像106的畫質(zhì)。另外，如在變形例 (2)中所示那樣，在圖像銳化處理中，使用參照HR圖像改善再生HR圖像的畫質(zhì)的方法并沒 有限定于一種。除去把2個圖像(從參照HR圖像107和HRMV生成的HR圖像與虛擬的再 生HR圖像1123)的像素部分地進行加權(quán)合成的方法以外，還有置換為參照HR圖像所生成 的HR圖像上的像素的方法，或者使用多個參照HR圖像107和虛擬HR圖像之間的SRMV謀求 優(yōu)化再生HR圖像的方法等。進而，這里，用HR動態(tài)信息112修正由動態(tài)補償單元421 (521) 檢測出的HRMV的方法作為提高畫質(zhì)銳化處理的性能的方法也是有效的。這種情況下，包含 在HR動態(tài)信息112中的動態(tài)矢量(修HRMV)成為由動態(tài)補償單元421檢測出的HRMV與最 終的HRMV之間的差分動態(tài)矢量。另外，作為畫質(zhì)銳化處理的方法，準備使用在圖5和圖7中 說明過的HRMV的方法、使用在這里說明了的修正HRMV的方法和由動態(tài)補償單元421 (521) 檢測HRMV的方法等，在HR動態(tài)信息的構(gòu)成要素中包括其選擇信息的方法作為提高畫質(zhì)銳 化處理的處理效率的方法也是有效的。另外，上述中，在圖5、圖7、圖14以及圖15的編碼噪聲推定單元中，使用多個再生 LR圖像102和SR動態(tài)信息110實施再生HR圖像123 (在圖14和圖15中是106)的優(yōu)化， 而對于存在生成完畢的再生HR圖像的幀，代替再生LR圖像102使用參照HR圖像107也是 有效的。在這種情況下，再生HR圖像107輸入到圖5和圖14的編碼噪聲推定單元412以 及圖7和圖15的編碼噪聲修正單元512中。另外，在該變形例中，還可以設(shè)想圖1中省略 了取樣模型202的模型。關(guān)于動態(tài)模型201，能夠利用在圖14和圖15的說明中表示的虛擬 HR圖像之間的SRMV。
(10)涉及輔助數(shù)據(jù)的構(gòu)成要素的利用方法的變形并不需要全部傳送構(gòu)成要素的數(shù)據(jù)，對于在編碼一側(cè)和解碼一側(cè)唯一決定的信 息，能夠從傳送的構(gòu)成要素去除。例如，在使用在編碼一側(cè)和解碼一側(cè)共同具有的圖像的特 征等信息，能夠規(guī)定構(gòu)成要素的一部分的情況下，能夠省略傳送其構(gòu)成數(shù)據(jù)。在構(gòu)成要素的 數(shù)據(jù)的組合中，對于不需要的數(shù)據(jù)，也能夠從所傳送的構(gòu)成要素去除。例如，當適用表示是 否針對每個塊傳送輔助動態(tài)矢量的方法時，不需要傳送塊位置信息，根據(jù)狀況，也不需要傳 送輔助動態(tài)矢量。另外，如在變形例(4)中說明過的那樣，在表示任意的區(qū)域或者塊的SRMV 在再生HR圖像的生成中無效的情況下，也不需要傳送修正SRMV。進而，還有不是根據(jù)編碼 一側(cè)和解碼一側(cè)的默認的規(guī)則來抑制傳送構(gòu)成要素的一部分數(shù)據(jù)的方法，而是在構(gòu)成要素 中包括表示進行哪種數(shù)據(jù)傳送的模式信息，明示地表示所傳送的構(gòu)成要素的方法。作為傳送輔助數(shù)據(jù)的方法，把構(gòu)成要素的數(shù)據(jù)分為序列單位、幀單位、片單位(由 多個塊構(gòu)成)、塊單位等分層傳送的方法也是用于減少代碼量的有效方法。即，通過依照其 分派的任務(wù)分層傳送構(gòu)成要素的數(shù)據(jù)能夠減少代碼量。在這種情況下，在上位層次中所傳 送的信息不需要在下位中傳送。例如，在作為幀單位的輔助信息傳送塊尺寸的情況下，在塊 單位中的輔助動態(tài)信息中，不需要傳送該信息。這種情況下，也把以塊單位傳送的共同要素 的數(shù)據(jù)分割在若干個傳送型(構(gòu)成要素數(shù)據(jù)不同的組合)或者傳送組(構(gòu)成要素數(shù)據(jù)的分 類)中，在解碼一側(cè)明示地表示與傳送型或者傳送組的組合相對應(yīng)的模式信息的方法是有 效的。進而，還有把模式信息作為片單位或者幀單位的信息傳送的方法，可以說作為控制反 映區(qū)域或者幀單位下的圖像的變化傾向的方法是有效的。作為其它的輔助數(shù)據(jù)傳送方法，有把構(gòu)成要素的數(shù)據(jù)根據(jù)其局部性分為若干個 組，傳送表示是否變更各組的構(gòu)成要素的值的信息的方法?？梢哉J為根據(jù)該方法能夠減少 輔助數(shù)據(jù)的代碼量。對于沒有變更組的數(shù)據(jù)，預(yù)先確定適用在前面剛傳送的值或者缺省值 的規(guī)定。變更的組的構(gòu)成要素的數(shù)據(jù)作為輔助數(shù)據(jù)傳送。如在變形例⑷中所示那樣，LR動態(tài)信息、修正SR動態(tài)信息以及HR動態(tài)信息的 構(gòu)成要素沒有限定。例如，也可以考慮用塊單位傳送LR動態(tài)信息、修正SR動的信息以及HR 動態(tài)信息的種類(數(shù)據(jù)類型702)的方法。另外，如在變形例(8)或者在上述中說明過的那 樣，明示輔助動態(tài)信息的構(gòu)成要素的數(shù)據(jù)的組合或者傳送方法的模式信息也包含在構(gòu)成要 素的變形例中。該模式信息的傳送方法不限于修正SR動態(tài)信息，對于LR動態(tài)信息或者HR 動態(tài)信息也能夠適用。進而，作為構(gòu)成要素的數(shù)據(jù)明示地表示在變形例⑶中所示的修正SR動態(tài)信息的 利用方法的方法也是有效的，使用原圖像，根據(jù)在編碼一側(cè)要求的信息，能夠有效地實施解 碼一側(cè)中的處理。關(guān)于該輔助動態(tài)信息的利用方法也不限于修正SR動態(tài)信息，對于LR動態(tài) 信息或者HR動態(tài)信息的利用方法也能夠同樣適用。在利用方法的信息中，包括調(diào)整輔助動 態(tài)信息的適用方法(不進行解碼器中的動態(tài)搜索，反映輔助動態(tài)信息，或者用解碼器調(diào)整 輔助動態(tài)信息)時的調(diào)整方法(生成更細微單位的動態(tài)矢量，調(diào)整動態(tài)矢量的像素精度)。 另外，還包括在變形例(8)中說明過的表示與反復(fù)處理的對應(yīng)的信息(在所有的反復(fù)處理 中適用輔助動態(tài)信息，僅在特定的反復(fù)次數(shù)的處理中適用)或者表示反復(fù)處理的特定次數(shù) 的信息。作為表示輔助動態(tài)信息的利用方法，還可以考慮通過把表示輔助動態(tài)信息的利用 目的(減少運算量，提高再生HR圖像的品質(zhì))的信息傳送到接收一側(cè)，變更接收一側(cè)中的
30處理的方法。另一方面，作為其它的例子，還可以考慮對于動態(tài)矢量密度信息707，不向接收一 側(cè)傳送而表示動態(tài)矢量數(shù)量的方法，或者根據(jù)塊尺寸信息唯一地決定的方法。進而，關(guān)于LR動態(tài)信息，由于有在不具有DECMV的塊中新添加LRMV的方法和雖然 存在DECMV但是把其值變更為不同的LRMV的方法，因此還可以考慮不是從DECMV生成而是 明示地傳送該LRMV利用信息。這種情況下，通過在構(gòu)成要素中包括塊尺寸，能夠為了清晰 度擴充處理而提供精度更高的動態(tài)信息。作為HR動態(tài)信息的變形例，首先，有動態(tài)推定的方法。作為是在再生HR圖像之間 (變形例(9))實施，還是使用原圖像HR圖像實施的適應(yīng)選擇，通過把動態(tài)推定方法作為HR 動態(tài)信息的構(gòu)成要素的數(shù)據(jù)傳送，能夠謀求減少HR動態(tài)信息的代碼量和優(yōu)化再生HR圖像 畫質(zhì)。另外，關(guān)于畫質(zhì)改善修復(fù)處理(使用參照HR圖像改善再生HR圖像的畫質(zhì)的處理)， 由于也有加權(quán)合成方法或者置換為參照HR圖像的方法等若干種候選，因此通過明示地傳 送表示合成方法的信息能夠期待再生HR圖像的畫質(zhì)改善。關(guān)于SR動態(tài)信息也可以考慮變形。例如，SRMV在圖5中是表示LR圖像與HR圖 像的時空對應(yīng)的數(shù)據(jù)，而在圖14中，是表示HR圖像之間或者LR圖像之間的時空對應(yīng)的數(shù) 據(jù)，表現(xiàn)方法不同。作為清晰度信息，通過以幀單位或者塊單位明示地傳送該差別，能夠進 行與局部的特征對應(yīng)的畫質(zhì)改善，帶來畫質(zhì)的進一步改善。因此，通過在修正SR信息的構(gòu) 成要素上添加該信息，代替修正SRMV進行傳送，即使不傳送SRMV，也能夠提高SRMV的檢測 精度。另外，如圖14或者圖15所示那樣，在SRMV的檢測中使用的虛擬HR圖像的候選中， 有放大圖像和參照HR圖像，可以選擇任一種。通過在修正SR信息的構(gòu)成要素上添加用于 明示地選擇虛擬HR圖像的種類的參照圖像信息，能夠預(yù)料將提高SRMV的檢測精度。這時 也不需要傳送修正SRMV。關(guān)于修正SR動的信息的變形例，除去上述示出的以外還可以考慮修正SRMV的清 晰度信息(LR圖像水平的MV或者HR圖像水平的MV)。通過傳送該數(shù)據(jù)，能夠明示地表示適 應(yīng)于區(qū)域的局部特征的清晰度，另外，還可以考慮通過明示地表示有效的反復(fù)處理次數(shù)，在 所指定的反復(fù)處理次數(shù)以后，向接收一側(cè)傳送不需要再次搜索該區(qū)域的SRMV的情況。根據(jù) 該信息，能夠抑制無效的動態(tài)搜索處理。(11)輔助數(shù)據(jù)的應(yīng)用至此為止，以修正SRMV等輔助動態(tài)矢量為中心說明了輔助動態(tài)信息的傳送以及 輔助動態(tài)信息。在這種情況下，通過將有用的動態(tài)矢量通知給接收一側(cè)，在接收一側(cè)能夠生 成更高品質(zhì)的再生HR圖像。另一方面，如果著眼于在清晰度擴充處理單元中生成的SRMV等 動態(tài)矢量，則在動態(tài)矢量的生成所需要的條件，例如用于實施動態(tài)搜索的方法和條件根據(jù) 預(yù)先確定的規(guī)則在接收一側(cè)實施。以下，以動態(tài)搜索為例進行說明。在該動態(tài)搜索中，有與 圖像的各種特征相對應(yīng)的多種方法，而在把搜索出的動態(tài)矢量向接收一側(cè)傳送的情況下， 能夠使用原數(shù)據(jù)在發(fā)送一側(cè)決定用于動態(tài)搜索的最佳方法以及條件。然而，如清晰度擴充 處理那樣，在使用解碼完畢的像素數(shù)據(jù)進行動態(tài)搜索的情況下，在不具有原數(shù)據(jù)的接收一 側(cè)需要確定其方法或者條件。因此，這里，表示在具有原始數(shù)據(jù)的編碼一側(cè)，實施用于動態(tài) 搜索的理想方法以及條件的選定，把該信息作為輔助動態(tài)信息向接收一側(cè)傳送的方法。該 方法由于也使用原圖像數(shù)據(jù)，具有提高動態(tài)矢量的精度的效果以及縮短在動態(tài)矢量的檢測
31中所需要的時間的效果，因此可以認為是提高再生HR圖像的品質(zhì)以及效率的有效方法。另 外，為了在以后的處理中利用再生HR圖像，需要在編碼一側(cè)和接收一側(cè)生成相同的再生HR 圖像，因此需要在編碼一側(cè)和接收一側(cè)共同具有動態(tài)搜索的方法和條件。為了實現(xiàn)共同具 有，有在編碼一側(cè)和接收一側(cè)預(yù)先進行動態(tài)搜索的方法或者預(yù)先決定條件的方法，而如在 這里所示，通過作為輔助動態(tài)信息進行傳送，能夠減少與圖像的局部性相對應(yīng)的運算量或 者提高HR圖像的畫質(zhì)。關(guān)于動態(tài)搜索的方法和的條件(以下，稱為動態(tài)搜索條件信息)的種類或者數(shù)量， 在本說明書中沒有限定。關(guān)于其種類的例子，有搜索范圍或者搜索方法等，詳細情況在后面 敘述。圖13中說明動態(tài)搜索條件信息的生成方法。雖然沒有圖示，然而在該情況下，認為 再生HR圖像106也輸出到超清晰動態(tài)補償單元313。超清晰動態(tài)補償單元313把動態(tài)搜索 條件信息的候選包含在修正SR動態(tài)信息111中，輸入到清晰度擴充處理單元310。在清晰 度擴充處理單元310中，根據(jù)包含在修正SR動態(tài)信息111中的動態(tài)搜索條件信息，生成SR 動態(tài)信息110和再生HR圖像106。超清晰動態(tài)補償單元313使用再生HR圖像106和原圖 像HR圖像，評價動態(tài)搜索條件信息(例如，評價值是絕對值差和)。對于多個動態(tài)搜索條件 信息的候選實施該處理，選擇評價結(jié)果為最佳的條件信息。另外，動態(tài)搜索條件信息的生成 方法的決定方法不限于該方法。例如，不是再生HR圖像與原圖像HR圖像的比較，而是把在 清晰度擴充處理單元中生成的SRMV與在超清晰動態(tài)補償單元313中生成的修正SRMV111 進行比較，選擇其差為最小時的動態(tài)搜索條件信息的方法也是有效的。在這種情況下，不需 要向超清晰動態(tài)補償單元313輸出再生HR圖像106。關(guān)于動態(tài)搜索條件信息的傳送方法，與動態(tài)矢量信息一樣可以考慮若干種方法， 分為幀單位或者塊單位分層傳送的方法也是用于減少代碼量的有效方法。關(guān)于所傳送的數(shù) 據(jù)，可以考慮直接傳送數(shù)據(jù)的方法，或者準備若干種候選，傳送選擇信息的方法。傳送數(shù)值 的方法的自由度高，但是另一方面將帶來代碼量的增大。因此，可以認為是在以序列單位或 者幀單位等批量單位傳送時可用的方法。在以塊單位或者像素單位傳送的情況下，基本上 適用從候選中選擇的方法。這里，說明了在利用輔助動態(tài)矢量和動態(tài)搜索條件信息的清晰度擴充處理中適用 的方法。而像本變形例這樣，在輔助動態(tài)信息有可能包括動態(tài)搜索條件信息的情況下，作為 圖像區(qū)域內(nèi)的局部的處理，需要根據(jù)能夠利用的輔助動態(tài)矢量以及動態(tài)搜索條件信息，實 施不同的處理。在輔助動態(tài)信息包括輔助動態(tài)矢量而不包括動態(tài)搜索條件信息的情況下，清晰度 擴充處理單元利用復(fù)原了的輔助動態(tài)矢量，檢測其區(qū)域(塊)的SRMV(HRMV)，生成再生HR 圖像。利用方法的詳細過程由于已經(jīng)在變形例⑶的修正SRMV的利用方法中說明過，因此 在這里省略。作為輔助動態(tài)矢量的復(fù)原方法，如在圖8的說明中所示，一般是把根據(jù)預(yù)先確 定的方法所求出的預(yù)測動態(tài)矢量與通過輔助數(shù)據(jù)的解碼得到的差分動態(tài)矢量相加的方法， 在本申請中并不限定于如在變形例(3)中所示那樣。例如，在解碼了的動態(tài)矢量是通過預(yù) 先確定的方法檢測出的SRMV (HRMV)與最終的SRMV(HRMV)的差分動態(tài)矢量的情況下，由于 即使直接編碼其代碼量也很少，因此能夠省略預(yù)測處理。另外，關(guān)于準備多種輔助動態(tài)矢量 的利用方法時的選定方法，有通過把選定信息作為輔助動態(tài)信息傳送，可以明示地傳送適 用方法的方法，或者根據(jù)條件(例如，輔助動態(tài)信息中的構(gòu)成要素的數(shù)據(jù)值)唯一決定的方法等。在輔助動態(tài)信息包括動態(tài)搜索條件信息而不包輔助動態(tài)矢量的情況下，清晰度擴 充處理單元根據(jù)解碼了的動態(tài)搜索方法或者條件，檢測其區(qū)域(塊)的SRMV(HRMV)，在再生 HR圖像的生成中利用。這時，在解碼了的動態(tài)搜索條件信息中沒有包括所必需的所有信息 的情況下，對于其信息，適用預(yù)先確定的值。例如，在比預(yù)先確定的值小的搜索范圍內(nèi)就足 夠的條件下，通過發(fā)送搜索范圍的信息，具有能夠減少動態(tài)搜索所需要的運算量的效果。另外，作為輔助動態(tài)信息包括動態(tài)搜索條件信息而不包括輔助動態(tài)矢量的其它例 子，可以考慮根據(jù)預(yù)先確定的動態(tài)搜索的條件信息檢測出SRMV(HRMV)以后，根據(jù)解碼了的 條件信息修正檢測出的SRMV(HRMV)的方法，或者根據(jù)解碼了的動態(tài)搜索條件信息修正通 過前面的反復(fù)處理檢測出的SRMV(HRMV)的方法等。例如，通過傳送用于修正SRMV(HRMV) 的小的搜索范圍，具有取得運算量與搜索性能的平衡等的效果。另外，關(guān)于具有多個動態(tài)搜 索條件信息的利用方法的候選時的選定方法，有通過把選定信息作為輔助動態(tài)信息傳送， 能夠明示地傳送適用方法的方法，或者依照條件(例如，輔助動態(tài)信息中的構(gòu)成要素的數(shù) 據(jù)值)唯一決定的方法等。在輔助動態(tài)信息同時包括輔助動態(tài)矢量和動態(tài)搜索條件信息的情況下，有從根據(jù) 動態(tài)搜索條件信息檢測出的SRMV(HRMV)和復(fù)原了的輔助動態(tài)矢量決定最終的SRMV(HRMV) 的方法。在這種情況下的例子中，包括輔助動態(tài)矢量是根據(jù)動態(tài)搜索條件信息檢測出的 SRMV(HRMV)與最終的SRMV(HRMV)的差分矢量的情況。例如，對于動態(tài)搜索條件信息用幀單 位或者片單位等大的區(qū)域單位替換，需要塊單位以上的精度的動態(tài)矢量，通過僅把來自推 斷值的差分值進行編碼能夠減少代碼量。在使用了動態(tài)矢量的分散性大的鄰接區(qū)域中的動 態(tài)矢量的動態(tài)矢量預(yù)測的性能惡化的區(qū)域中是有效的。另外，根據(jù)動態(tài)搜索條件信息以很 少的運算量檢測大致的動態(tài)矢量，通過把其與差分動態(tài)矢量相加這樣的順序，還具有能夠 減少動態(tài)搜索的運算量的效果。作為輔助動態(tài)信息同時包括輔助動態(tài)矢量和動態(tài)搜索條件信息的其它例子，有根 據(jù)動態(tài)搜索條件信息修正復(fù)原了的輔助動態(tài)矢量，把修正了的輔助動態(tài)矢量作為最終的動 態(tài)矢量的方法。如果依據(jù)該方法，則對于廣泛的區(qū)域(塊)傳送輔助動態(tài)矢量，根據(jù)動態(tài)搜 索條件信息，能夠把所傳送的輔助動態(tài)矢量修正為更狹窄區(qū)域(塊或者像素)的動態(tài)矢量。 因此，能夠減少代碼量。進而，還有在用輔助動態(tài)信息把SRMV(HRMV)修正了以后，根據(jù)動態(tài) 搜索條件信息再次調(diào)整修正SRMV(HRMV)的方法。關(guān)于是否有輔助動態(tài)矢量以及動態(tài)搜索條件信息，可以考慮作為變形例(10)的 前半部分所示那樣的模式信息明示地表示的方法等。另外，關(guān)于包含在動態(tài)搜索條件信息 中的方法或者條件等參數(shù)，通過分別使用分層傳送能夠減少代碼量。由于還有輔助動態(tài)信息既不包括輔助動態(tài)矢量也不包括動態(tài)搜索條件信息的情 況，因此說明這種情況下的清晰度擴充處理的順序的例子。其中之一是輔助動態(tài)信息包 括表示其區(qū)域(塊)的動態(tài)矢量在再生HR圖像的生成中無效的信息的情況。在這種情況 下，清晰度擴充處理單元不實施其區(qū)域(塊)的SRMV(HRMV)的動態(tài)搜索，不使用其區(qū)域的 SRMV(HRMV)生成再生HR圖像。如果以上述非專利文獻1 (圖1的模型)為例，則有對于矩 陣C (d_lk)，代替成為不可使用的動態(tài)矢量，使用相鄰像素的動態(tài)矢量，通過內(nèi)插處理生成 的動態(tài)矢量代用的方法，或者對于矩陣H，在使與成為不可使用的動態(tài)矢量相對應(yīng)的濾波器系數(shù)為0的基礎(chǔ)上，調(diào)整與成為不可使用的動態(tài)矢量關(guān)聯(lián)的像素相對應(yīng)的濾波器系數(shù)的方 法。另外，作為既不包括輔助動態(tài)矢量也不包括動態(tài)搜索條件信息的其它情況，有輔助動態(tài) 信息包括其區(qū)域(塊)的SRMV(SRMV)的更新處理為有效的反復(fù)處理的次數(shù)的情況。在這 種情況下，清晰度擴充處理單元在所指定的次數(shù)以后的反復(fù)處理中，不用再次搜索其區(qū)域 的SRMV(HRMV)，實施再生HR圖像的生成。以下，表示在動態(tài)搜索中必要條件的例子。a)動態(tài)檢索方法在圖2中，作為動態(tài)檢測方法使用塊匹配法進行了說明，而在動態(tài)搜索方法中，有 梯度法(例如，專利第3271369號(作為參考獻6))、像素匹配法(例如，專利第2934151號 (作為參考文獻7))、樣板匹配法(例如特開平1-228384 (作為參考文獻8))等多種方法。 這些方法的有效性由于根據(jù)像素內(nèi)區(qū)域的特征而不同，因此通過作為動態(tài)搜索的條件向解 碼一側(cè)通知適宜的方法，能夠期待提高解碼一側(cè)的動態(tài)檢測的性能。b)搜索范圍和搜索中心在進行動態(tài)輸出時，如果搜索圖像整體則需要巨大的運算量，因此通常設(shè)計搜索 范圍，在其范圍內(nèi)進行搜索。理想的輸出范圍由于根據(jù)圖像區(qū)域的特征而不同，因此其條件 對于輸出結(jié)果帶來的影響也很大。從而，通過明示地向解碼一側(cè)傳送適當?shù)乃阉鞣秶?，能?進行無浪費的動態(tài)搜索。另外，通過適當?shù)卦O(shè)定速度范圍的中心，能夠減小搜索范圍。從而， 通過向解碼一側(cè)明示地傳送決定搜索中心的方法，能夠提高解碼一側(cè)中的伴隨動態(tài)搜索的 處理效率。作為決定動態(tài)搜索中心的方法，例如有利用從鄰接區(qū)域的動態(tài)搜索結(jié)果推測出 的動態(tài)量的方法或者以動態(tài)量0為搜索中心的方法等。圖16中表示塊匹配的例子。圖中， 把alOO作為當前幀，把alOl作為搜索對象塊，把a200作為參照幀，把與塊alOl在空間上 一致的a201作為參照幀上的塊。a202是alOl的鄰接塊的動態(tài)矢量，在用于設(shè)定塊alOl 的搜索中心a204時使用。把搜索范圍a206設(shè)定在搜索中心a204的周圍，通過在搜索范圍 內(nèi)進行搜索，檢測動態(tài)矢量a203和預(yù)測塊a205。作為用于決定搜索中心的動態(tài)矢量，把塊 alOl的左、上、右上的3個塊的動態(tài)矢量作為候選，在編碼器中的動態(tài)搜索中頻繁使用從各 成分的中央值構(gòu)成的動態(tài)矢量。c)搜索塊尺寸關(guān)于實施動態(tài)搜索的單位，根據(jù)圖像區(qū)域的特征所適宜的尺寸也不同。例如，在塊 匹配的情況下，準備多種搜索塊尺寸，通過以序列單位、幀單位、片單位或者塊單位(比搜 索塊尺寸大)向解碼一側(cè)傳送搜索塊尺寸，提高動態(tài)搜索的精度。另外，也有不是按照塊單 位而是把任意形狀作為單位進行動態(tài)搜索的情況。在這種情況下，傳送形狀信息(三角片 等)或者區(qū)域分割的方法等。d)動態(tài)搜索方法在進行動態(tài)搜索時，由于如果在搜索范圍內(nèi)搜索整體則需要大量的運算量，因此 可以考慮在搜索范圍內(nèi)抽樣搜索的情況。從而，通過設(shè)置明示地向解碼一側(cè)傳送動態(tài)搜索 的方法的功能，能夠調(diào)整運算量和搜索性能。作為動態(tài)搜索方法，有在搜索范圍內(nèi)無遺漏地 進行搜索的全搜索，以縱橫數(shù)像素間隔進行搜索，按照以更狹窄的像素間隔搜索檢索出的 位置周圍這樣的順序縮小動態(tài)的樹形搜索等。另外，不是在搜索范圍內(nèi)進行一次搜索，而是 以大的塊尺寸搜索大的搜索范圍，根據(jù)其結(jié)果確定搜索中心，以小的塊尺寸搜索更小的搜
34索范圍這樣的分層搜索作為減少運算量的方法也是有效的。另外，在該分層搜索中，需要根 據(jù)層數(shù)傳送搜索范圍和搜索塊尺寸。e)搜索順序關(guān)于實施動態(tài)搜索時的搜索順序，有從左上向右下按照光柵掃描順序在動態(tài)搜索 的范圍內(nèi)進行搜索的方法，或者從動態(tài)搜索范圍的中心向外按照螺旋順序進行搜索的方法 等若干種方法。通過明示地向解碼一側(cè)傳送搜索順序，使得在編碼一側(cè)和解碼一側(cè)都能夠 得到同樣的結(jié)果。另外，為了實現(xiàn)高速，有設(shè)置中止搜索的條件的情況。關(guān)于該搜索中止條 件(預(yù)測誤差的閾值等)，通過明示地向解碼一側(cè)表示，也能夠減少解碼單元的動態(tài)搜索中 需要的運算時間。f)動態(tài)檢索精度關(guān)于動態(tài)搜索中的動態(tài)檢索精度，實際上在MPEG等標準方式中使用1像素精度、 1/2像素精度、1/4像素精度，進而1/8像素精度等多種精度。通過向解碼一側(cè)傳送該搜索 精度，也能夠謀求優(yōu)化運算時間和畫質(zhì)。另外，關(guān)于實數(shù)像素的生成方法，通過向解碼一側(cè) 傳送其方法，能夠謀求優(yōu)化畫質(zhì)。g)評價函數(shù)作為進行動態(tài)搜索時的評價函數(shù)，使用預(yù)測誤差信號的塊絕對值和、相同的差方 和、預(yù)測誤差信號的絕對值和以及從動態(tài)矢量代碼量計算出的評價值等多種方法。關(guān)于評 價函數(shù)，在具有原數(shù)據(jù)的編碼一側(cè)進行選擇，向解碼一側(cè)傳送，能夠謀求優(yōu)化運算時間和動 態(tài)搜索性能。除此以外，還有動態(tài)模式(平行移動模式、仿射變換模式、投影變換模式)、動 態(tài)搜索方法(前向、反向)等各種條件。至此為止，以清晰度擴充處理為前提，示出了把在動態(tài)矢量的生成中所需要的條 件進行編碼/傳送的方法，而向接收一側(cè)傳送在動態(tài)矢量的生成中所需要的條件的順序在 接收一側(cè)能夠沒有限制地適用在生成動態(tài)矢量的裝置或者軟件中。例如，在解碼一側(cè)生成 的視頻編碼等中能夠適用動態(tài)矢量。圖16說明在視頻編碼方式中，使用解碼完畢的像素數(shù) 據(jù)在解碼一側(cè)搜索動態(tài)矢量的方法。a200表示解碼完畢的前幀，alOO表示編碼對象的當前 幀。alOO以塊單位從左上向右下按照光柵掃描順序編碼，圖中，表示al03的區(qū)域的塊(7個 塊)編碼/解碼完畢。在搜索塊alOl的動態(tài)矢量時，從解碼完畢區(qū)域的解碼數(shù)像素數(shù)據(jù)構(gòu) 成樣板al08，檢測樣板內(nèi)的誤差和為最小的區(qū)域a208。這時，作為動態(tài)矢量檢測a203，塊 a205成為塊alOl的預(yù)測塊。在編碼一側(cè)，把編碼塊alOl與預(yù)測塊a205的誤差塊編碼，動 態(tài)矢量不編碼。在解碼一側(cè)，按照與編碼一側(cè)相同的條件進行動態(tài)搜索檢測動態(tài)矢量。然 后，通過把根據(jù)在解碼一側(cè)檢測出的動態(tài)矢量生成的預(yù)測塊和解碼了的誤差塊相加，求編 碼塊的再生值。從而，這樣在解碼一側(cè)，在包括生成與動態(tài)矢量關(guān)聯(lián)的信息的處理的視頻編 碼中，在具有原數(shù)據(jù)的編碼一側(cè)決定實施動態(tài)搜索的條件，通過把該條件向解碼一側(cè)傳送， 能夠提高編碼一側(cè)中的動態(tài)搜索的性能。關(guān)于在動態(tài)矢量的生成中所需要的條件的編碼方 法，分層的傳送方法是有效的。圖20表示一般的視頻編碼的數(shù)據(jù)構(gòu)造。一般的視頻數(shù)據(jù)由 表示序列整體的編碼條件的序列標題bll、表示幀單位的編碼條件的幀標題bl2、表示片單 位的編碼條件的片標題bl3、表示動態(tài)矢量或者預(yù)測方法等的塊單位的編碼條件的塊標題 bl4以及包括預(yù)測誤差信號的編碼數(shù)據(jù)的塊數(shù)據(jù)bl5構(gòu)成。依照其局部性，通過把在動態(tài)矢 量的生成中所需要的各種條件分為4種標題信息進行編碼，提高編碼效率。
35
圖18和圖19表示在解碼一側(cè)生成的動態(tài)矢量的視頻編碼的編碼裝置以及解碼 裝置的例子。圖18表示編碼裝置的結(jié)構(gòu)。當前幀alOO在塊分割單元cl02分割為編碼塊 alOl。編碼塊alOl輸入到動態(tài)搜索條件決定單元cll2和減法器cl03。動態(tài)搜索條件決定 單元cll2把在動態(tài)矢量的生成中所需要的條件的候選cll5輸出到動態(tài)搜索單元cll4。另 外，關(guān)于在動態(tài)矢量生成中所需要的條件中以序列單位或者幀單位選擇的條件，事先在動 態(tài)搜索條件單元使用原圖像選擇。作為選擇方法，例如，通過對于多種條件的候選實施使用 了原圖像的動態(tài)搜索處理，能夠選擇適當?shù)臈l件。動態(tài)搜索單元cll4從幀存儲器clll輸 入解碼完畢的前幀a200和樣板al08，根據(jù)在動態(tài)矢量的生成中所需要的條件cll5，檢測動 態(tài)矢量a203。動態(tài)補償單元cll3從幀存儲器clll的解碼完畢的前幀a200抽取與動態(tài)矢 量a203相對應(yīng)的預(yù)測塊cl20，輸出到動態(tài)搜索條件決定單元cll2。動態(tài)搜索條件決定單 元cll2把與在動態(tài)矢量的生成中所需要的條件的多個候選相對應(yīng)的預(yù)測塊cl20與輸入塊 alOl進行比較，決定預(yù)測誤差絕對值和為最小的預(yù)測塊a205。另外，把這時的條件作為在 動態(tài)矢量的生成中所需要的條件cll7輸出到動態(tài)搜索條件編碼單元cl20。動態(tài)搜索條件 編碼單元cl20把在動態(tài)矢量的生成中所需要的條件編碼，把編碼的信息輸出到熵編碼單 元。關(guān)于編碼方法沒有限定，如上所述，能夠使用分層構(gòu)造或者分成組的方法、限定使用模 式信息進行編碼的構(gòu)成要素的方法、直接傳送數(shù)值的方法、準備多種編碼信息的候選進行 選擇的方法、把來自從鄰接塊推定的預(yù)測值的差分編碼等。預(yù)測塊205輸出到減法器cl03和加法器cl08。在減法器cl03中，計算輸入塊alOl 與預(yù)測塊a205的誤差塊cl04，輸出到誤差塊編碼單元cl05。誤差塊編碼單元cl05進行誤 差塊的編碼處理，把誤差編碼數(shù)據(jù)cl06輸出到熵編碼單元cllO和誤差塊解碼單元cl07。 誤差塊解碼單元cl07把誤差編碼數(shù)據(jù)解碼，復(fù)原再生誤差塊cll8，輸出到加法器cl08。加 法器cl08通過再生誤差塊cll8與預(yù)測塊c205的相加處理生成再生塊cl09，合成到幀存儲 器內(nèi)的當前幀的再生圖像上。最后，熵編碼單元cllO把誤差編碼數(shù)據(jù)cl06和表示在動態(tài) 矢量的生成中所需要的條件的信息cll9以及各種標題信息進行合成，輸出編碼數(shù)據(jù)cll6。圖19表示解碼裝置的結(jié)構(gòu)。編碼數(shù)據(jù)cll6在熵解碼單元中解碼成解碼數(shù)據(jù)dl02， 由分離單元dl03分離為誤差編碼數(shù)據(jù)cl06和表示在動態(tài)矢量的生成中所需要的條件的 信息cll9。表示在動態(tài)矢量的生成中所需要的條件的信息cll9由動態(tài)搜索條件解碼單元 dl09解碼成在動態(tài)矢量的生成中所需要的條件cll7。動態(tài)搜索單元dl07從幀存儲器的 dl06輸入解碼完畢的前幀a200和樣板al08，根據(jù)在動態(tài)矢量的生成中所需要的條件cll7， 檢測動態(tài)矢量a203。動態(tài)補償單元dl08從幀存儲器dill的解碼完畢的前幀a200抽取與 動態(tài)矢量a203相對應(yīng)的預(yù)測塊c205，輸出到加法器dl05。誤差塊解碼單元dl04把誤差編 碼數(shù)據(jù)解碼，復(fù)原再生誤差塊cll8，輸出到加法器dl05。加法器dl05通過再生誤差塊cll8 與預(yù)測塊c205的相加處理生成再生塊cl09，合成到幀存儲器內(nèi)的當前幀的再生圖像上。在視頻編碼的例子中，也可以考慮塊共同具有動態(tài)矢量和在動態(tài)矢量的生成中所 需要的條件的情況。在這種情況下，根據(jù)在動態(tài)矢量的生成中所需要的條件，解碼器修正解 碼了的動態(tài)矢量。另外，在其它的例子中，從解碼器根據(jù)在動態(tài)矢量的生成中所需要的條件 生成的動態(tài)矢量和解碼了的動態(tài)矢量，生成最終的動態(tài)矢量。這種情況下，解碼動態(tài)矢量認 為是由解碼器生成的動態(tài)矢量與最終的動態(tài)矢量的差分動態(tài)矢量。這樣，在接收一側(cè)，在生 成動態(tài)矢量的裝置或者軟件中，能夠適用向接收一側(cè)一起傳送在動態(tài)矢量的生成中所需要的條件和動態(tài)矢量的方法。在該變形例中，說明了編碼裝置、解碼裝置，而對于編碼/解碼處理流程也同樣能 夠變形。另外，該變形例的圖像編碼處理或者圖像解碼處理如在圖12中所說明的那樣，能 夠通過基于程序的計算機系統(tǒng)實施。圖21和圖22中表示實施本變形例的編碼處理流程以及解碼處理流程中的塊處 理。對于序列標題、幀標題的編碼/解碼省略說明，在編碼處理中，在動態(tài)矢量生成中所需 要的條件中，把以幀單位以及序列單位傳送的信息按照它們的單位進行選擇。作為選擇的 方法，如在圖18的說明中所示的那樣，利用使用了原圖像的動態(tài)搜索。在解碼處理中，把序 列標題、幀標題的編碼數(shù)據(jù)解碼后保存，在進行各塊的解碼處理時使用。圖21中說明實施本變形例的編碼處理流程的塊處理。在塊編碼開始處理C201以 后，在處理c202中，輸入下一個編碼塊。在處理c203中，選定在動態(tài)矢量的生成中所需要 的條件的候選。在處理204中，根據(jù)該條件，如圖17所示那樣，使用解碼完畢的圖像和樣板 檢測動態(tài)矢量。在處理c205中，從解碼完畢的圖像取得與動態(tài)矢量相對應(yīng)的預(yù)測塊。在處 理c206中，評價編碼塊與預(yù)測塊的預(yù)測誤差絕對值和。關(guān)于在動態(tài)矢量的生成中所需要的 條件的多個候選，反復(fù)進行處理c203到處理c206，選擇預(yù)測誤差絕對值和最小時的動態(tài)矢 量生成條件和預(yù)測塊。在處理c207中，把編碼塊與預(yù)測塊的各像素相減，生成誤差塊。在 處理c208中，把誤差塊編碼(例如，離散余弦變換、量化)。在處理c209中，把誤差塊解碼 (例如，量化變換系數(shù)的反量化和反離散余弦變換)。在處理c210中，把解碼了的誤差塊與 預(yù)測塊相加，復(fù)原解碼塊。在處理c211中，把誤差塊的編碼信息(量化變換系數(shù))和在處 理c206中選擇的表示在動態(tài)矢量的生成中所需要的條件的信息進行熵編碼，生成編碼數(shù) 據(jù)，在處理c212中結(jié)束塊編碼處理。在圖22中說明實施本實施例的解碼處理流程的塊處理。在塊解碼的開始處理 d201以后，在處理d202中，輸入與下一個解碼塊相對應(yīng)的編碼數(shù)據(jù)。在處理d203中，把解 碼數(shù)據(jù)進行熵解碼，取得在動態(tài)矢量的生成中所需要的條件和誤差塊的編碼信息。在處理 d204中，根據(jù)該條件，如圖17所示，使用解碼完畢的圖像和樣板檢測動態(tài)矢量。在處理d205 中，從解碼完畢的圖像取得與動態(tài)矢量相對應(yīng)的預(yù)測塊。在處理d206中，把誤差塊的編碼 信息解碼(例如，量化系數(shù)的反量化和反離散余弦變換)。在處理d207中，把解碼了的誤差 塊與預(yù)測塊相加，復(fù)原解碼塊，在處理d208中結(jié)束塊編碼處理。除去動態(tài)矢量以外，對于在解碼一側(cè)生成參照幀、預(yù)測模式(單向預(yù)測、雙向預(yù) 測)、預(yù)測塊的生成方法(從2個預(yù)測塊生成1個預(yù)測塊的方法)等與動態(tài)矢量有關(guān)的信息 的情況，在編碼一側(cè)決定用于生成這些信息所需要的條件，通過把該信息傳送到解碼一側(cè)， 能夠提高其信息的生成性能。另外，還包括一次生成的用于修正這些信息的條件。
權(quán)利要求
一種圖像解碼裝置，其特征在于，具備接收視頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼單元；接收輔助數(shù)據(jù)進行解碼，得到輔助動態(tài)信息的輔助數(shù)據(jù)解碼單元；基于由上述輔助數(shù)據(jù)解碼單元得到的輔助動態(tài)信息，生成表示上述多個再生圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和由上述視頻數(shù)據(jù)解碼單元得到的多個再生圖像，生成空間清晰度高于上述多個再生圖像的高清晰圖像的清晰度擴充單元。
2.根據(jù)權(quán)利要求1所述的圖像解碼裝置，其特征在于 上述輔助動態(tài)信息包括輔助動態(tài)矢量，上述清晰度擴充單元把上述輔助動態(tài)矢量用作為上述動態(tài)矢量。
3.根據(jù)權(quán)利要求1所述的圖像解碼裝置，其特征在于 上述輔助動態(tài)信息包括輔助動態(tài)矢量，上述清晰度擴充單元使用上述多個再生圖像檢測中間動態(tài)矢量，通過該中間動態(tài)矢量 與上述輔助動態(tài)矢量的加法處理生成上述動態(tài)矢量。
4.根據(jù)權(quán)利要求1所述的圖像解碼裝置，其特征在于 上述輔助動態(tài)信息包括輔助動態(tài)矢量，上述清晰度擴充單元把上述輔助動態(tài)矢量作為上述動態(tài)矢量的初始動態(tài)矢量，通過使 用上述多個再生圖像更新上述初始動態(tài)矢量，生成上述動態(tài)矢量。
5.根據(jù)權(quán)利要求1所述的圖像解碼裝置，其特征在于上述輔助動態(tài)信息包括作為為了生成上述動態(tài)矢量所需要的條件的動態(tài)矢量生成條件，上述清晰度擴充單元基于上述動態(tài)矢量生成條件從上述多個再生圖像生成上述動態(tài)矢量。
6.一種圖像編碼裝置，其特征在于，具備 把高清晰圖像變換為低清晰圖像的圖像取樣單元；把由上述圖像取樣單元生成的多個低清晰圖像壓縮編碼，生成編碼視頻數(shù)據(jù)的視頻數(shù) 據(jù)編碼單元；把由上述視頻數(shù)據(jù)編碼單元生成的編碼視頻數(shù)據(jù)解碼，得到再生低清晰圖像的視頻數(shù) 據(jù)解碼單元；使用上述高清晰圖像或者上述低清晰圖像，生成在上述動態(tài)矢量的生成中所需要的輔 助動態(tài)信息的輔助動態(tài)信息生成單元；基于由上述輔助動態(tài)信息生成單元所生成的輔助動態(tài)信息，生成表示通過上述視頻數(shù) 據(jù)解碼單元得到的多個再生低清晰圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢 量和上述多個再生低清晰圖像，生成再生高清晰圖像的清晰度擴充單元；把由上述輔助動態(tài)信息生成單元生成的輔助動態(tài)信息作為輔助數(shù)據(jù)進行編碼的輔助 數(shù)據(jù)編碼單元。
7.一種圖像解碼裝置，其特征在于，具備接收編碼數(shù)據(jù)，進行熵解碼，得到作為為了生成動態(tài)矢量所需要的條件的動態(tài)矢量生 成條件和表示預(yù)測誤差圖像信號的編碼信息的編碼數(shù)據(jù)解碼單元； 用于保存解碼圖像信號的圖像存儲器；基于由上述編碼數(shù)據(jù)解碼單元得到的動態(tài)矢量生成條件，從保存在上述圖像存儲器中 的解碼圖像信號生成動態(tài)矢量的動態(tài)矢量生成單元；使用由上述動態(tài)矢量生成單元生成的動態(tài)矢量和上述解碼圖像信號，生成預(yù)測圖像信 號的預(yù)測圖像信號生成單元；把由上述編碼數(shù)據(jù)解碼單元得到的編碼信息進行解碼，得到預(yù)測誤差圖像信號的解碼 單元；把由上述預(yù)測圖像信號生成單元生成的預(yù)測圖像信號與由上述解碼單元得到的預(yù)測 誤差圖像信號相加，復(fù)原解碼圖像信號，把該解碼圖像信號保存在上述圖像存儲器中的保 存單元。
8.一種圖像編碼裝置，其特征在于，具備 把輸入圖像信號進行輸入的輸入單元； 用于保存解碼圖像信號的圖像存儲器；基于由上述輸入單元所輸入的輸入圖像信號，決定作為為了生成動態(tài)矢量所需要的條 件的動態(tài)矢量生成條件的動態(tài)矢量生成條件決定單元；基于由上述動態(tài)矢量生成條件決定單元所決定的動態(tài)矢量生成條件，從保存在上述圖 像存儲器中的解碼圖像信號生成動態(tài)矢量的動態(tài)矢量生成單元；使用由上述動態(tài)矢量生成單元生成的動態(tài)矢量和上述解碼圖像信號，生成預(yù)測圖像信 號的預(yù)測圖像信號生成單元；從由上述輸入單元輸入的輸入圖像信號和由上述預(yù)測圖像信號生成單元生成的預(yù)測 圖像信號，生成預(yù)測誤差圖像信號的預(yù)測誤差圖像信號生成單元；把由上述預(yù)測誤差圖像信號生成單元生成的預(yù)測誤差圖像信號編碼，得到編碼信息的 編碼信息取得單元；把由上述編碼信息取得單元取得的編碼信息解碼，得到解碼預(yù)測誤差圖像信號的局部 解碼單元；從由上述預(yù)測圖像信號生成單元所生成的預(yù)測圖像信號和由上述局部解碼單元得到 的解碼預(yù)測誤差圖像信號，復(fù)原解碼圖像信號，把該解碼圖像信號保存在上述圖像存儲器 中的保存單元；把由上述動態(tài)矢量生成條件決定單元所決定的動態(tài)矢量生成條件和由上述編碼信息 取得單元取得的編碼信息進行熵編碼，生成編碼數(shù)據(jù)的編碼數(shù)據(jù)生成單元。
9.一種圖像解碼裝置，其特征在于，具備接收視頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼單元； 接收輔助數(shù)據(jù)進行解碼，得到輔助動態(tài)信息的輔助數(shù)據(jù)解碼單元； 生成表示由上述視頻數(shù)據(jù)解碼單元所得到的多個再生圖像與1張高清晰圖像之間的 時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和上述多個再生圖像，生成空間清晰度比上 述多個再生圖像高的高清晰圖像的清晰度擴充單元，上述清晰度擴充單元反復(fù)實施基于由上述輔助數(shù)據(jù)解碼單元所得到的輔助動態(tài)信息 和先前生成的高清晰圖像生成上述動態(tài)矢量的動態(tài)矢量生成處理、從所生成的動態(tài)矢量和 上述多個再生圖像生成高清晰圖像的高清晰圖像生成處理。
10.根據(jù)權(quán)利要求9所述的圖像解碼裝置，其特征在于上述清晰度擴充單元在上述動態(tài)矢量生成處理和高清晰圖像生成處理的反復(fù)處理中， 每次基于上述輔助動態(tài)信息實施上述動態(tài)矢量生成處理。
11.根據(jù)權(quán)利要求9所述的圖像解碼裝置，其特征在于上述輔助動態(tài)信息包括在表示上述動態(tài)矢量生成處理和高清晰圖像生成處理的反復(fù) 處理中的特定次的特定次數(shù)信息，上述清晰度擴充單元在上述特定次信息所表示的特定次數(shù)的動態(tài)矢量生成處理中，實 施基于上述輔助動態(tài)信息的動態(tài)矢量生成處理。
12.—種圖像解碼裝置，其特征在于，具備接收視頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼單元； 用于保存清晰度擴充完畢的高清晰圖像的圖像存儲器；生成表示上述多個再生圖像之間時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和由上 述視頻數(shù)據(jù)解碼單元得到的多個再生圖像，生成空間清晰度比上述多個再生圖像高的第1 高清晰圖像，使用所生成的第1高清晰圖像和保存在上述圖像存儲器中的高清晰圖像生成 第2高清晰圖像的清晰度擴充單元；把由上述清晰度擴充單元生成的第1或者第2高清晰圖像保存在上述圖像存儲器中的 圖像保存單元。
13.一種圖像解碼裝置，其特征在于，具備接收視頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼單元； 接收輔助數(shù)據(jù)進行解碼，得到輔助動態(tài)信息的輔助數(shù)據(jù)解碼單元； 用于保存清晰度擴充完畢的高清晰圖像的圖像存儲器；生成表示上述多個再生圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和由 上述視頻數(shù)據(jù)解碼單元得到的多個再生圖像，生成空間清晰度比上述多個再生圖像高的第 1高清晰圖像，基于由上述輔助數(shù)據(jù)解碼單元得到的輔助動態(tài)信息，使用所生成的第1高清 晰圖像和保存在上述圖像存儲器中的高清晰圖像生成第2高清晰圖像的清晰度擴充單元； 把由上述清晰度擴充單元生成的第1或者第2高清晰圖像保存在上述圖像存儲器中的 圖像保存單元。
14.一種圖像解碼裝置，其特征在于，具備接收視頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像和再生動態(tài)矢量的視頻數(shù)據(jù)解碼單元；接收輔助數(shù)據(jù)進行解碼，得到在上述再生動態(tài)矢量的修正中所需要的輔助動態(tài)信息的 輔助數(shù)據(jù)解碼單元；生成表示多個再生圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和由上述 視頻數(shù)據(jù)解碼單元得到的多個再生圖像，生成空間清晰度比上述多個再生圖像高的高清晰 圖像的清晰度擴充單元，上述清晰度擴充單元把基于由上述輔助數(shù)據(jù)解碼單元得到的輔助動態(tài)信息修正的再 生動態(tài)矢量作為上述動態(tài)矢量的初始動態(tài)矢量，通過使用上述多個再生圖像把上述初始動 態(tài)矢量更新，生成上述動態(tài)矢量。
15.一種圖像解碼方法，其特征在于，具備接收視頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼步驟；接收輔助數(shù)據(jù)進行解碼，得到輔助動態(tài)信息的輔助數(shù)據(jù)解碼步驟； 基于在上述輔助數(shù)據(jù)解碼步驟中得到的輔助動態(tài)信息，生成表示上述多個再生圖像之 間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和在上述視頻數(shù)據(jù)解碼步驟中得到的多 個再生圖像，生成空間清晰度高于上述多個再生圖像的高清晰圖像的清晰度擴充步驟。
16.一種圖像編碼方法，其特征在于，具備 把高清晰圖像變換為低清晰圖像的圖像取樣步驟；把在上述圖像取樣步驟中生成的多個低清晰圖像壓縮編碼，生成編碼視頻數(shù)據(jù)的視頻 數(shù)據(jù)編碼步驟；把在上述視頻數(shù)據(jù)編碼步驟中生成的編碼視頻數(shù)據(jù)解碼，得到再生低清晰圖像的視頻 數(shù)據(jù)解碼步驟；使用上述高清晰圖像或者上述低清晰圖像，生成在上述動態(tài)矢量的生成中所需要的輔 助動態(tài)信息的輔助動態(tài)信息生成步驟；基于在上述輔助動態(tài)信息生成步驟中生成的輔助動態(tài)信息，生成表示在上述視頻數(shù)據(jù) 解碼步驟中得到的多個再生低清晰圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢 量和上述多個再生低清晰圖像生成再生高清晰圖像的清晰度擴充步驟；把在上述輔助動態(tài)信息生成步驟中生成的輔助動態(tài)信息作為輔助數(shù)據(jù)進行編碼的輔 助數(shù)據(jù)編碼步驟。
17.一種圖像解碼方法，其特征在于，具備接收編碼數(shù)據(jù)進行熵解碼，得到作為為了生成動態(tài)矢量所需要的條件的動態(tài)矢量生成 條件和表示預(yù)測誤差圖像信號的編碼信息的編碼數(shù)據(jù)解碼步驟；基于在上述編碼數(shù)據(jù)解碼步驟中得到的動態(tài)矢量生成條件，從保存在圖像存儲器中的 解碼圖像信號生成動態(tài)矢量的動態(tài)矢量生成步驟；使用在上述動態(tài)矢量生成步驟中生成的動態(tài)矢量和上述解碼圖像信號，生成預(yù)測圖像 信號的預(yù)測圖像信號生成步驟；把在上述編碼數(shù)據(jù)解碼步驟中得到的編碼信息進行解碼，得到預(yù)測誤差圖像信號的解 碼步驟；把在上述預(yù)測圖像信號生成步驟中生成的預(yù)測圖像信號和在上述解碼步驟中得到的 預(yù)測誤差圖像信號相加，復(fù)原解碼圖像信號，把該解碼圖像信號保存在上述圖像存儲器中 的保存步驟。
18.一種圖像編碼方法，其特征在于，具備 把輸入圖像信號進行輸入的輸入步驟；基于在上述輸入步驟中所輸入的輸入圖像信號，決定作為為了生成動態(tài)矢量所需要的 條件的動態(tài)矢量生成條件的動態(tài)矢量生成條件決定步驟；基于在上述動態(tài)矢量生成條件決定步驟中所決定的動態(tài)矢量生成條件，從保存在圖像 存儲器中的解碼圖像信號生成動態(tài)矢量的動態(tài)矢量生成步驟；使用在上述動態(tài)矢量生成步驟中生成的動態(tài)矢量和上述解碼圖像信號，生成預(yù)測圖像 信號的預(yù)測圖像信號生成步驟；從在上述輸入步驟中輸入的輸入圖像信號和在上述預(yù)測圖像信號生成步驟中生成的 預(yù)測圖像信號，生成預(yù)測誤差圖像信號的預(yù)測誤差圖像信號生成步驟；把在上述預(yù)測誤差圖像信號生成步驟中生成的預(yù)測誤差圖像信號編碼，得到編碼信息 的編碼信息取得步驟；把在上述編碼信息取得步驟中得到的編碼信息解碼，得到解碼預(yù)測誤差圖像信號的局 部解碼步驟；從在上述預(yù)測圖像信號生成步驟中所生成的預(yù)測圖像信號和在上述局部解碼步驟中 得到的解碼預(yù)測誤差圖像信號，復(fù)原解碼圖像信號，把該解碼圖像信號保存在上述圖像存 儲器中的保存步驟；把在上述動態(tài)矢量生成條件決定步驟中所決定的動態(tài)矢量生成條件和在上述編碼信 息取得步驟中得到的編碼信息進行熵編碼，生成編碼數(shù)據(jù)的編碼數(shù)據(jù)生成步驟。
19.一種圖像解碼程序，其特征在于使設(shè)置在圖像解碼裝置中的計算機發(fā)揮以下各單元的作用，這些單元是 接收視頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼單元； 接收輔助數(shù)據(jù)進行解碼，得到輔助動態(tài)信息的輔助數(shù)據(jù)解碼單元； 基于由上述輔助數(shù)據(jù)解碼單元得到的輔助動態(tài)信息，生成表示上述多個再生圖像之間 的空間對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和由上述視頻數(shù)據(jù)解碼單元得到的多個再 生圖像，生成空間清晰度高于上述多個再生圖像的高清晰圖像的清晰度擴充單元。
20.一種圖像編碼程序，其特征在于使設(shè)置在圖像編碼裝置中的計算機發(fā)揮以下各單元的作用，這些單元是 把高清晰圖像變換為低清晰圖像的圖像取樣單元；把由上述圖像取樣單元生成的多個低清晰圖像壓縮編碼，生成編碼視頻數(shù)據(jù)的視頻數(shù) 據(jù)編碼單元；把由上述視頻數(shù)據(jù)編碼單元生成的編碼視頻數(shù)據(jù)解碼，得到再生低清晰圖像的視頻數(shù) 據(jù)解碼單元；使用上述高清晰圖像或者上述低清晰圖像，生成在上述動態(tài)矢量的生成中所需要的輔 助動態(tài)信息的輔助動態(tài)信息生成單元；基于由上述輔助動態(tài)信息生成單元所生成的輔助動態(tài)信息，生成表示通過上述視頻數(shù) 據(jù)解碼單元得到的多個再生低清晰圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢 量和上述多個再生低清晰圖像，生成再生高清晰圖像的清晰度擴充單元；把由上述輔助動態(tài)信息生成單元生成的輔助動態(tài)信息作為輔助數(shù)據(jù)進行編碼的輔助 數(shù)據(jù)編碼單元。
21.—種圖像解碼程序，其特征在于，使設(shè)置在圖像解碼裝置中的計算機發(fā)揮以下各單元的作用，這些單元是 接收編碼數(shù)據(jù)，進行熵解碼，得到作為為了生成動態(tài)矢量所需要的條件的動態(tài)矢量生 成條件和表示預(yù)測誤差圖像信號的編碼信息的編碼數(shù)據(jù)解碼單元； 用于保存解碼圖像信號的圖像存儲器；基于由上述編碼數(shù)據(jù)解碼單元得到的動態(tài)矢量生成條件，從保存在上述圖像存儲器中 的解碼圖像信號生成動態(tài)矢量的動態(tài)矢量生成單元；使用由上述動態(tài)矢量生成單元生成的動態(tài)矢量和上述解碼圖像信號，生成預(yù)測圖像信 號的預(yù)測圖像信號生成單元；把由上述編碼數(shù)據(jù)解碼單元得到的編碼信息進行解碼，得到預(yù)測誤差圖像信號的解碼 單元；把由上述預(yù)測圖像信號生成單元生成的預(yù)測圖像信號與由上述解碼單元得到的預(yù)測 誤差圖像信號相加，復(fù)原解碼圖像信號，把該解碼圖像信號保存在上述圖像存儲器中的保 存單元。
22. —種圖像編碼程序，其特征在于，使設(shè)置在圖像編碼裝置中的計算機發(fā)揮以下各單元的作用，這些單元是把輸入圖像信號進行輸入的輸入單元；用于保存解碼圖像信號的圖像存儲器；基于由上述輸入單元所輸入的輸入圖像信號，決定作為為了生成動態(tài)矢量所需要的條 件的動態(tài)矢量生成條件的動態(tài)矢量生成條件決定單元；基于由上述動態(tài)矢量生成條件決定單元所決定的動態(tài)矢量生成條件，從保存在上述圖 像存儲器中的解碼圖像信號生成動態(tài)矢量的動態(tài)矢量生成單元；使用由上述動態(tài)矢量生成單元生成的動態(tài)矢量和上述解碼圖像信號，生成預(yù)測圖像信 號的預(yù)測圖像信號生成單元；從由上述輸入單元輸入的輸入圖像信號和由上述預(yù)測圖像信號生成單元生成的預(yù)測 圖像信號，生成預(yù)測誤差圖像信號的預(yù)測誤差圖像信號生成單元；把由上述預(yù)測誤差圖像信號生成單元生成的預(yù)測誤差圖像信號編碼，得到編碼信息的 編碼信息取得單元；把由上述編碼信息取得單元取得的編碼信息解碼，得到解碼預(yù)測誤差圖像信號的局部 解碼單元；從由上述預(yù)測圖像信號生成單元所生成的預(yù)測圖像信號和由上述局部解碼單元得到 的解碼預(yù)測誤差圖像信號，復(fù)原解碼圖像信號，把該解碼圖像信號保存在上述圖像存儲器 中的保存單元；把由上述動態(tài)矢量生成條件決定單元所決定的動態(tài)矢量生成條件和由上述編碼信息 取得單元取得的編碼信息進行熵編碼，生成編碼數(shù)據(jù)的編碼數(shù)據(jù)生成單元。
全文摘要
本發(fā)明提供圖像解碼裝置、圖像解碼程序、圖像解碼方法、圖像編碼裝置、圖像編碼程序以及圖像編碼方法。其中，圖像解碼裝置具備接收視頻編碼數(shù)據(jù)進行解碼，得到多個再生圖像的視頻數(shù)據(jù)解碼單元；接收輔助數(shù)據(jù)進行解碼，得到輔助動態(tài)信息的輔助數(shù)據(jù)解碼單元；基于由輔助數(shù)據(jù)解碼單元得到的輔助動態(tài)信息，生成表示多個再生圖像之間的時空對應(yīng)的動態(tài)矢量，使用所生成的動態(tài)矢量和由視頻數(shù)據(jù)解碼單元得到的多個再生圖像，生成空間清晰度高于多個再生圖像的高清晰圖像的清晰度擴充單元。
文檔編號H04N7/32GK101854544SQ20101011336
公開日2010年10月6日 申請日期2005年11月18日 優(yōu)先權(quán)日2004年11月19日
發(fā)明者文仲丞, 鈴木芳典, 陳朝慶 申請人:株式會社Ntt都科摩