視頻編碼、解碼方法及其幀間預(yù)測(cè)方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)涉及數(shù)字視頻編解碼技術(shù)領(lǐng)域，具體涉及一種視頻編碼、解碼方法及其幀 間預(yù)測(cè)方法和裝置。
【背景技術(shù)】
[0002] 目前，虛擬現(xiàn)實(shí)技術(shù)和相關(guān)應(yīng)用正在快速發(fā)展。在虛擬現(xiàn)實(shí)技術(shù)中，全景圖像和全 景視頻是一個(gè)重要的組成部分。由于全景視頻記錄了360度視角的全部畫(huà)面，具有極高的數(shù) 據(jù)量，因此全景視頻的壓縮是虛擬現(xiàn)實(shí)應(yīng)用中的一個(gè)關(guān)鍵技術(shù)。全景視頻作為一種新興的 媒體，和傳統(tǒng)的視頻相比，具有視野大，分辨率高，數(shù)據(jù)量大等特點(diǎn)。利用全景視頻，觀察者 視點(diǎn)不變，改變觀察方向能夠觀察到周?chē)娜繄?chǎng)景，而普通的二維視頻只反應(yīng)了全景視 頻的某個(gè)局部。
[0003] 柱面全景視頻是一種常見(jiàn)的全景視頻，它相當(dāng)于一個(gè)虛擬的攝像機(jī)，把空間中的 三維物體投影到柱面上。柱面全景視頻的生成可以利用多攝像頭或者單攝像頭采集系統(tǒng)采 集而成。
[0004] 由于全景視頻的視野范圍是普通視頻的5~6倍，在給用戶提供相同的視覺(jué)質(zhì)量的 情況下，全景視頻的數(shù)據(jù)量是普通視頻的5~6倍。如果按照傳統(tǒng)的視頻傳輸方案，全景視頻 在網(wǎng)絡(luò)環(huán)境下的使用變得困難重重。但是，由于在同一時(shí)刻，用戶所需要看到的內(nèi)容只是全 景視頻的某一部分，所以分塊編碼與傳輸成為了全景視頻網(wǎng)絡(luò)傳輸?shù)某Ｒ?jiàn)方案。
[0005] 請(qǐng)參考圖1，柱面全景視頻的傳輸方法主要包括下面步驟：
[0006] 對(duì)全景圖像進(jìn)行分塊，并對(duì)每個(gè)圖像塊的序列獨(dú)立進(jìn)行編碼。
[0007] 之后選擇所需要的編碼后的數(shù)據(jù)進(jìn)行傳輸。在此可以根據(jù)用戶當(dāng)前的視角選擇數(shù) 據(jù)。傳輸媒介可以是因特網(wǎng)、無(wú)線網(wǎng)絡(luò)、局域網(wǎng)、光學(xué)網(wǎng)絡(luò)、其它合適的傳輸媒介、或者這些 傳輸媒介的適當(dāng)組合。
[0008] 最后解碼端接收到數(shù)據(jù)之后，對(duì)這些塊序列進(jìn)行獨(dú)立的解碼和投影變換，得到所 需圖像。
[0009] 在全景視頻的分塊編碼中，分塊的尺寸對(duì)于全景視頻的編碼效率以及傳輸區(qū)域有 著重要的影響，而這兩項(xiàng)因素直接決定著需要傳輸?shù)臄?shù)據(jù)量。如果編碼塊尺寸小，則傳輸區(qū) 域較小，但是編碼效率會(huì)較低;如果編碼塊尺寸大，則編碼效率較高，但是傳輸區(qū)域也較大。 所以在相同的視覺(jué)質(zhì)量下，不同的編碼塊尺寸，需要傳輸?shù)臄?shù)據(jù)量是不一樣的。
[0010] 另外，由于全景視頻相對(duì)普通視頻具有一定的特殊性，例如全景視頻具有循環(huán)性， 畫(huà)面存在較大畸變等，需要使用一個(gè)特殊的編碼技術(shù)以提高全景視頻的壓縮效率。
[0011]傳統(tǒng)的視頻編解碼標(biāo)準(zhǔn)中，采用幀間預(yù)測(cè)的方法，幀間預(yù)測(cè)方法以圖像塊為單位， 在參考圖像上選取一個(gè)相同大小的塊作為當(dāng)前圖像塊的預(yù)測(cè)塊。而在全景視頻中，畫(huà)面存 在較大的畸變，當(dāng)物體在畫(huà)面中運(yùn)動(dòng)時(shí)，物體的大小會(huì)伴隨著運(yùn)動(dòng)出現(xiàn)放大或縮小的現(xiàn)象， 從而影響編碼的預(yù)測(cè)性能以及壓縮效率。

【發(fā)明內(nèi)容】

[0012] 本申請(qǐng)?zhí)峁┮环N視頻編碼、解碼方法及其幀間預(yù)測(cè)方法和裝置，解決了部分鏡頭 畸變嚴(yán)重的視頻編解碼過(guò)程中幀間預(yù)測(cè)性能差、壓縮效率差的問(wèn)題。
[0013] 根據(jù)本申請(qǐng)的第一方面，本申請(qǐng)?zhí)峁┝艘环N用于視頻編解碼的幀間預(yù)測(cè)方法，包 括：
[0014] 獲取當(dāng)前圖像塊的運(yùn)動(dòng)矢量以及當(dāng)前像素的相關(guān)空間位置信息；
[0015] 根據(jù)當(dāng)前圖像塊的運(yùn)動(dòng)矢量以及當(dāng)前像素的相關(guān)空間位置信息得到當(dāng)前像素的 運(yùn)動(dòng)矢量；
[0016] 根據(jù)得到的當(dāng)前像素的運(yùn)動(dòng)矢量得到當(dāng)前像素的預(yù)測(cè)值。
[0017] 根據(jù)本申請(qǐng)的第二方面，本申請(qǐng)還提供了一種用于視頻編解碼的幀間預(yù)測(cè)裝置， 包括：
[0018] 信息獲取模塊，用于獲取當(dāng)前圖像塊的運(yùn)動(dòng)矢量以及當(dāng)前像素的相關(guān)空間位置信 息；
[0019] 計(jì)算模塊，用于根據(jù)當(dāng)前圖像塊的運(yùn)動(dòng)矢量以及當(dāng)前像素的相關(guān)空間位置信息得 到當(dāng)前像素的運(yùn)動(dòng)矢量；
[0020] 預(yù)測(cè)模塊，用于根據(jù)得到的當(dāng)前像素的運(yùn)動(dòng)矢量得到當(dāng)前像素的預(yù)測(cè)值。
[0021 ]根據(jù)本申請(qǐng)的第三方面，本申請(qǐng)還提供了一種視頻編碼方法，包括：
[0022]將當(dāng)前圖像劃分為若干圖像塊；
[0023] 采用上述幀間預(yù)測(cè)方法得到當(dāng)前圖像塊的預(yù)測(cè)圖像塊；
[0024] 將當(dāng)前圖像塊與預(yù)測(cè)圖像塊相減，得到殘差塊；
[0025] 對(duì)殘差塊進(jìn)行變換、量化和熵編碼，以得到編碼碼流。
[0026] 根據(jù)本申請(qǐng)的第四方面，本申請(qǐng)還提供了一種視頻解碼方法，包括：
[0027] 對(duì)編碼碼流進(jìn)行熵解碼、反量化和反變換，以得到重建的殘差塊；
[0028] 采用上述幀間預(yù)測(cè)方法得到當(dāng)前圖像塊的預(yù)測(cè)圖像塊；
[0029] 將預(yù)測(cè)圖像塊和重建的殘差塊相加，得到重建的圖像塊。
[0030] 根據(jù)本申請(qǐng)的第五方面，本申請(qǐng)還提供了一種視頻編碼系統(tǒng)，包括：
[0031] 圖像塊劃分裝置，用于將當(dāng)前圖像劃分為若干圖像塊；
[0032] 上述幀間預(yù)測(cè)裝置，用于得到當(dāng)前圖像塊的預(yù)測(cè)圖像塊；
[0033]殘差計(jì)算裝置，用于將當(dāng)前圖像塊與預(yù)測(cè)圖像塊相減，得到殘差塊；
[0034] 碼流生成裝置，用于對(duì)殘差塊進(jìn)行變換、量化和熵編碼，以得到編碼碼流。
[0035] 根據(jù)本申請(qǐng)的第六方面，本申請(qǐng)還提供了一種視頻解碼系統(tǒng)，包括：
[0036] 殘差塊重建裝置，用于對(duì)編碼碼流進(jìn)行熵解碼、反量化和反變換，以得到重建的殘 差塊；
[0037] 上述幀間預(yù)測(cè)裝置，用于得到當(dāng)前圖像塊的預(yù)測(cè)圖像塊；
[0038]圖像塊重建裝置，用于將預(yù)測(cè)圖像塊和重建的殘差塊相加，得到重建的圖像塊。
[0039]本申請(qǐng)?zhí)峁┑囊曨l編碼、解碼方法及其幀間預(yù)測(cè)方法和裝置中，在進(jìn)行幀間預(yù)測(cè) 時(shí)，不僅僅考慮當(dāng)前圖像塊的運(yùn)動(dòng)矢量，還考慮當(dāng)前像素的相關(guān)空間位置信息，可以適應(yīng)不 同鏡頭畸變的特性以及當(dāng)物體在畫(huà)面中運(yùn)動(dòng)時(shí)產(chǎn)生的放大/縮小現(xiàn)象，從而提高計(jì)算像素 的運(yùn)動(dòng)矢量時(shí)的準(zhǔn)確性，提升視頻編解碼過(guò)程中幀間預(yù)測(cè)的性能和壓縮效率。
【附圖說(shuō)明】
[0040] 圖1為柱面全景視頻的傳輸方法示意圖；
[0041] 圖2為本申請(qǐng)一種實(shí)施例中全景視頻編碼方法的流程示意圖；
[0042] 圖3為本申請(qǐng)一種實(shí)施例中用于全景視頻編解碼的幀間預(yù)測(cè)的流程示意圖；
[0043] 圖4為本申請(qǐng)一種實(shí)施例中幀間預(yù)測(cè)的原理示意圖；
[0044] 圖5為本申請(qǐng)一種實(shí)施例中用于全景視頻編解碼的幀間預(yù)測(cè)裝置的模塊示意圖；
[0045] 圖6為本申請(qǐng)一種實(shí)施例中全景視頻解碼方法的流程示意圖；
[0046] 圖7為本申請(qǐng)一種實(shí)施例中全景視頻編碼系統(tǒng)的結(jié)構(gòu)示意圖；
[0047] 圖8為本申請(qǐng)一種實(shí)施例中全景視頻解碼系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0048] 首先需要說(shuō)明的是，本申請(qǐng)?zhí)峁┑囊曨l編碼、解碼方法及其幀間預(yù)測(cè)方法和裝置， 可以應(yīng)用在全景視頻編解碼中，也可以應(yīng)用在半全景或其他鏡頭畸變較大的序列的編解碼 中，為了便于對(duì)本申請(qǐng)進(jìn)行說(shuō)明，本申請(qǐng)僅以全景視頻編解碼為例進(jìn)行說(shuō)明。
[0049] 本申請(qǐng)的發(fā)明構(gòu)思在于:針對(duì)典型的全景視頻編碼，全景視屏通過(guò)柱面映射得到， 因此位于全景圖像頂部和底部的畫(huà)面會(huì)被橫向拉伸。當(dāng)物體從圖像中部向頂部或底部運(yùn)動(dòng) 時(shí)，物體在圖像中的寬度會(huì)增加;反之，物體在圖像中的寬度會(huì)減小。同時(shí)，拉伸或縮小的幅 度同物體在圖像中的縱向坐標(biāo)和縱向運(yùn)動(dòng)矢量相關(guān)，因此可以跟據(jù)這些數(shù)據(jù)（相關(guān)空間位 置信息)更