用于對數(shù)字圖像的序列進(jìn)行編碼的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明提及用于對數(shù)字圖像的序列進(jìn)行編碼的方法以及提及對應(yīng)的解碼方法。更 進(jìn)一步地，本發(fā)明提及用于對數(shù)字圖像的序列進(jìn)行編碼的設(shè)備和用于對數(shù)字圖像的序列進(jìn) 行解碼的設(shè)備。
【背景技術(shù)】
[0002] 在許多不同的應(yīng)用中，例如，在監(jiān)視系統(tǒng)中或在醫(yī)療影像設(shè)備中，產(chǎn)生大量的圖像 和視頻數(shù)據(jù)。因此，存在壓縮該數(shù)據(jù)以便節(jié)約存儲容量或以在傳送該數(shù)據(jù)時減少帶寬的需 要。
[0003]在現(xiàn)有技術(shù)中，存在很多標(biāo)準(zhǔn)以便壓縮圖像和視頻數(shù)據(jù)。各標(biāo)準(zhǔn)的突出的示例是H. 264/AVC(AVC=高級視頻編碼，參見文獻(xiàn)[1])以及將可能也被標(biāo)準(zhǔn)化為ITU-T建議H. 265 的標(biāo)準(zhǔn)草案HEVC(HEVC=高效率視頻編碼，還參見文件[2])。標(biāo)準(zhǔn)HEVC還將允許對經(jīng)無損 編碼的圖像序列的實時傳送。標(biāo)準(zhǔn)ffiVC和H. 264/AVC包括基于同一圖像中的塊的不同的 幀內(nèi)預(yù)測模式。在那些模式中，針對鄰近的已經(jīng)被重構(gòu)的像素來預(yù)測當(dāng)前塊。編碼器通常 測試不同的預(yù)測類型并且選取相對于某個失真準(zhǔn)則而具有最小代價的一個類型。針對當(dāng)前 塊構(gòu)建預(yù)測誤差并且將預(yù)測誤差與預(yù)測類型一起傳送到解碼器。逐塊（block-wise)預(yù)測 具有以下缺點(diǎn)：離被用于預(yù)測的參考像素遠(yuǎn)的像素不與參考像素良好相關(guān)。因此，對于那些 像素，預(yù)測誤差通常更高。為了改善預(yù)測，可以減少塊的尺寸。然而，這造成圖像中的更高 數(shù)量的塊，其導(dǎo)致用于預(yù)測類型的信令的更高的比特率。更進(jìn)一步地，如果參考像素包含噪 聲，則那些像素對于預(yù)測而言而變得次佳。
[0004] 在文獻(xiàn)[3]中，描述了基于模板匹配的幀內(nèi)預(yù)測模式。在該方法中，基于相鄰于 候選塊和要被預(yù)測的塊的鄰近像素的模板，在搜索區(qū)域中確定被用于當(dāng)前塊的預(yù)測的候選 塊。與要被預(yù)測的塊的模板相比而具有最好地匹配的模板的候選塊將被用于預(yù)測。該預(yù)測 方案具有以下缺點(diǎn)：所預(yù)測的塊仍是有噪聲的，其對于有噪聲的圖像的壓縮而言是次佳的。
[0005] 在文獻(xiàn)[4]中提出了簡單且有效率的逐像素（pixel-wise)預(yù)測方法。名為L0C0-I 的該預(yù)測方法使用簡單且直接的前向算法來基于三個周圍的像素預(yù)測一像素。該預(yù)測方法 對于用于有噪聲的圖像的壓縮而言也不是最佳的。
[0006] 在文獻(xiàn)[5]中，呈現(xiàn)了用于預(yù)測的基于最小二乘的方法。在那些方法中，執(zhí)行要被 預(yù)測的鄰近的重構(gòu)像素的加權(quán)平均。為了得到用于平均處理的最佳權(quán)重，必須求解復(fù)雜的 方程組，造成相當(dāng)多的計算開銷。因此，在實際的應(yīng)用中，不使用這樣的預(yù)測方法。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是提供克服以上缺點(diǎn)并且使能具有低復(fù)雜度的有效率壓縮的對數(shù) 字圖像的序列的編碼。更進(jìn)一步地，本發(fā)明的目的是提供對應(yīng)的解碼方法以及用于編碼的 設(shè)備和用于解碼的設(shè)備。
[0008] 由獨(dú)立專利權(quán)利要求來解決該目的。在從屬權(quán)利要求中限定本發(fā)明的優(yōu)選實施 例。
[0009] 根據(jù)本發(fā)明的用于對數(shù)字圖像的序列進(jìn)行編碼的方法使用用于基于之前處理的 圖像區(qū)域中的像素的重構(gòu)值來預(yù)測圖像中的像素的值的很多預(yù)測模式（即，至少一個預(yù)測 模式)。術(shù)語"像素的重構(gòu)值"要被寬泛地解釋并且取決于所使用的編碼方案。對于無損編 碼而言，像素的重構(gòu)值與像素的原始值對應(yīng)。在有損編碼的情況下，像素的重構(gòu)值與像素的 經(jīng)編碼的并且之后經(jīng)解碼的值對應(yīng)。而且，像素的重構(gòu)值還可以提及在對應(yīng)的預(yù)測模式中 確定的像素的預(yù)測值。在當(dāng)預(yù)測當(dāng)前像素時還未執(zhí)行相應(yīng)的像素的編碼和解碼的情況下， 使用像素的預(yù)測值。
[0010] 在編碼方法中，像素的預(yù)測值和原始值之間的預(yù)測誤差被處理，用于生成經(jīng)編碼 的數(shù)字圖像序列。
[0011] 本發(fā)明的方法的特征在于特殊的預(yù)設(shè)的預(yù)測模式，預(yù)設(shè)的預(yù)測模式是基于單個圖 像的像素的幀內(nèi)預(yù)測模式。該預(yù)設(shè)的預(yù)測模式包括如在以下闡述的步驟i)和ii)。
[0012] 在步驟i)中，針對單個圖像中的具有重構(gòu)值的像素的區(qū)和針對圖像區(qū)域的模板， 把要被基于模板預(yù)測的第一像素周圍的區(qū)中的像素的第一小塊與若干第二小塊進(jìn)行比較， 每個第二小塊被分配給區(qū)中的第二像素并且由基于模板的第二像素周圍的區(qū)中的像素組 成?；谠摫容^，確定用于每個第二像素的相似度測量，相似度測量描述被分配給相應(yīng)的第 二像素的第二小塊的像素的重構(gòu)值與第一小塊的像素的重構(gòu)值之間的相似度。
[0013] 在根據(jù)本發(fā)明的方法的步驟ii)中，基于第二像素的(重構(gòu)）值的加權(quán)和來確定每 個第一像素的預(yù)測值，其中，通過加權(quán)因數(shù)來對每個第二像素的值進(jìn)行加權(quán)，加權(quán)因數(shù)取決 于由用于相應(yīng)的第二像素的相似度測量所描述的減小的相似度而單調(diào)地減小。此處并且在 以下，術(shù)語"單調(diào)地減小"意味著加權(quán)因數(shù)將至少針對相似度的更大減小而減小。換言之， 對于相似度中的更小減小，可以發(fā)生加權(quán)因數(shù)保持恒定。
[0014] 根據(jù)本發(fā)明的編碼方法基于以下思想：已知用于對像素降噪的非局部均值算法 (參見文獻(xiàn)[6])可以被適配以便被用于預(yù)測。為了這么做，被用于預(yù)測的模板被限制到圖 像中的只包括像素的重構(gòu)值的（因果）區(qū)。本發(fā)明的方法提供有效率的編碼，而沒有如在現(xiàn) 有技術(shù)方法中的情況那樣求解線性方程組的需要。更進(jìn)一步地，在被用于預(yù)測第一像素的 第二像素的數(shù)量上不存在限制。而且，不存在將邊信息從編碼器傳送到解碼器的需要，因為 根據(jù)本發(fā)明的預(yù)測方案是后向自適應(yīng)的。更進(jìn)一步地，基于樣本地執(zhí)行預(yù)測，從而預(yù)測誤差 不取決于像素位置。
[0015] 在本發(fā)明的一個實施例中，加權(quán)因數(shù)是相似度測量或相似度測量的近似值，從而 不是必須執(zhí)行加權(quán)因數(shù)的分離的計算。然而，加權(quán)因數(shù)還可以是在步驟i)中確定的所有相 似度測量上歸一化的相似度測量或在步驟i)中確定的所有相似度測量上歸一化的相似度 測量的近似值。
[0016] 在本發(fā)明的另一實施例中，針對預(yù)定的圖像塊中的第一像素逐塊地執(zhí)行預(yù)設(shè)的預(yù) 測模式。因此，該方法可以容易地與基于塊的編碼方案組合。
[0017] 在特定地優(yōu)選實施例中，相似度測量基于第一小塊和相應(yīng)的第二小塊中的對應(yīng)的 (重構(gòu)）像素之間的絕對或平方差之和。優(yōu)選地，絕對或平方差之和被包括在相似度測量中 作為基數(shù)的負(fù)指數(shù)的至少一部分。為了相似度測量的容易且直接的計算，該基數(shù)優(yōu)選地具 有值2。然而，也可以使用用于該基數(shù)的其它值。
[0018] 在本發(fā)明的特定地優(yōu)選實施例中，基于整數(shù)運(yùn)算來確定步驟i)中的相似度測量和 /或步驟ii)中的每個第一像素的預(yù)測值。這使能具有低計算工作的編碼。在詳細(xì)的描述 中，描述了在本發(fā)明的編碼方法中如何可以實現(xiàn)整數(shù)運(yùn)算的示例。
[0019] 在本發(fā)明的另一實施例中，在預(yù)先限定的表格中的查找被用于在步驟i)中確定相 似度測量。通過使用這樣的預(yù)先限定的表格，用于編碼的計算時間可以被進(jìn)一步減少。優(yōu) 選地，該表格針對第一小塊和相應(yīng)的第二小塊中的對應(yīng)像素之間的絕對或平方差之和的值 而提供相似度測量的值。
[0020] 在特定地優(yōu)選實施例中，預(yù)設(shè)的預(yù)測模式被用于圖像的序列的無損編碼。
[0021] 在該情況下，在步驟i)中使用的像素的重構(gòu)值等于像素的原始值。
[0022] 在本發(fā)明的另一實施例中，預(yù)設(shè)的預(yù)測模式被用于圖像的序列的有損編碼。優(yōu)選 地，有損編碼包括(經(jīng)變換的）預(yù)測誤差的變換和/或量化的已知步驟，其中，預(yù)測誤差的逆 變換和/或去量化被執(zhí)行，用于確定像素的重構(gòu)值。在用于像素的預(yù)測誤差還未經(jīng)受變換 和/或量化的情況下，該像素的預(yù)測值被用作重構(gòu)值。
[0023] 在特定地優(yōu)選實施例中，預(yù)測誤差的處理包括增強(qiáng)編碼效率的熵編碼步驟。
[0024] 在本發(fā)明的另一實施例中，基于以下任意準(zhǔn)則來針對要被預(yù)測的每個第一像素確 定：預(yù)設(shè)的預(yù)測模式還是另一預(yù)測模式要被用于第一像素；和/或使用第一預(yù)測模式的哪 個參數(shù)或哪些參數(shù)。
[0025] 在本發(fā)明的另一變形中，在步驟i)中確定的所有相似度測量是零的情況下，與預(yù) 設(shè)的預(yù)測模式不同的另一預(yù)測模式被用于第一像素。
[0026] 在本發(fā)明的方法中，預(yù)設(shè)的預(yù)測模式的參數(shù)中的一個或更多個可以是固定的和/ 或可變的。所述一個或更多個參數(shù)優(yōu)選地包括模板的形狀和尺寸和/或區(qū)的形狀和尺寸和 /或提及相似度測量的確定和/或第一像素的預(yù)測值的確定的一個或更多個參數(shù)。例如，參 數(shù)可以提及被用于計算相似度測量的以上描述的基數(shù)指數(shù)的值。
[0027] 在本發(fā)明的另一實施例中，在圖像的編碼序列中信令預(yù)設(shè)的預(yù)測模式和/或預(yù)設(shè) 的預(yù)測模式的參數(shù)。在詳細(xì)的描述中，描述用于信令預(yù)測模式或?qū)?yīng)的參數(shù)的不同變形。
[0028] 在本發(fā)明的特定地優(yōu)選變形中，預(yù)設(shè)的預(yù)測模式被用作標(biāo)準(zhǔn)HEVC/H. 265中的預(yù) 測模式，對于該標(biāo)準(zhǔn)，目前存在草案版本。
[0029] 除了以上方法之外，本發(fā)明還提及用于對通過本發(fā)明的方法或者本發(fā)明的方法的 一個或更多個優(yōu)選實施例來解碼的數(shù)字圖像的序列進(jìn)行解碼的方法。在解碼方法中，從以 下來重構(gòu)預(yù)測誤差：圖像的經(jīng)編碼的序列；以及在編碼期間通過預(yù)設(shè)的預(yù)測模式處理的并 且經(jīng)受包括如在以下描述的步驟i)到iii)的特殊的解碼處理的圖像的經(jīng)編碼的序列中的 像素的值。
[0030] 在步驟i)中，針對單個圖像中的、具有之前在解碼處理中已經(jīng)確定的經(jīng)解碼的值 的像素的區(qū)和針對圖像區(qū)域的模板，把要被基于模板預(yù)測的第一像素周圍的區(qū)中的像素的 第一小塊與若干第二小塊進(jìn)行比較，每個第二小塊被分配給區(qū)中的第二像素并且由基于模 板的第二像素周圍的區(qū)中的像素組成，從而確定用于每個第二像素的相似度測量，相似度 測量描述被分配給相應(yīng)的第二像素第二小塊的像素的經(jīng)解碼的值與第一小塊的像素的經(jīng) 解碼的值之間的相似度。
[0031] 在步驟ii)中，基于第二像素的(經(jīng)解碼的）值的加權(quán)和來確定每個第一像素的預(yù) 測值，其中，通過加權(quán)因數(shù)來對每個第二像素的值加權(quán)，加權(quán)因數(shù)取決于由用于相應(yīng)的第二 像素的相似度測量所描述的減小的相似度而單調(diào)地減小。
[0032] 在步驟iii)中，通過用于第一像素的對應(yīng)的重構(gòu)預(yù)測誤差來校正每個第一像素的 預(yù)測值，造成第一像素的經(jīng)解碼的值。
[0033] 本發(fā)明還提及用于對數(shù)字圖像的序列進(jìn)行編碼和解碼的方法，其中，通過本發(fā)明 的編碼方法來對數(shù)字圖像的序列進(jìn)行編碼，并且其中，通過本發(fā)明的解碼方法來對數(shù)字圖 像的經(jīng)編碼的序列進(jìn)行解碼。
[0034]本發(fā)明還包括用于對圖像的序列進(jìn)行編碼的設(shè)備，其中，該設(shè)備包括用于執(zhí)行用 于基于之前處理的圖像區(qū)域中的像素的重構(gòu)值來預(yù)測圖像中的像素的值的很多預(yù)測模式 的裝置，其中，像素的預(yù)測值和原始值之間的預(yù)測誤差被處理，用于生成數(shù)字圖像的經(jīng)編碼 的序列。
[0035] 在該設(shè)備中，用于執(zhí)行很多預(yù)測模式的裝置包括用于執(zhí)行預(yù)設(shè)的預(yù)測模式的裝 置，預(yù)設(shè)的預(yù)測模式是基于單個圖像的像素的幀內(nèi)預(yù)測模式，其中，所述用于執(zhí)行