動態(tài)圖像壓縮裝置、動態(tài)圖像解碼裝置、圖像壓縮裝置、圖像解碼裝置、拍攝裝置以及程序的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及動態(tài)圖像壓縮裝置、動態(tài)圖像解碼裝置、圖像壓縮裝置、圖像解碼裝置、拍攝裝置以及程序。
【背景技術(shù)】
[0002]關(guān)于動態(tài)圖像的攝影，提出了具有RAW動態(tài)圖像的攝影模式的攝影裝置，所述RAW動態(tài)圖像的攝影模式對從拍攝元件輸出的圖像在相機(jī)內(nèi)不進(jìn)行顯像處理就進(jìn)行記錄。在該RAW動態(tài)圖像的記錄中，還提出有從拜耳陣列(Bayer array)分離各種顏色成分并對每一種顏色成分進(jìn)行壓縮編碼。
[0003]現(xiàn)有技術(shù)文獻(xiàn)
[0004]專利文獻(xiàn)
[0005]專利文獻(xiàn)1:日本特開2011-41144號公報

【發(fā)明內(nèi)容】

[0006]發(fā)明所要解決的問題
[0007]然而，拜耳陣列的兩個相同顏色成分具有較高的相關(guān)性。因此，如果利用該相關(guān)性，則能夠進(jìn)一步提高RAW動態(tài)圖像的壓縮編碼的效率。
[0008]用于解決問題的手段
[0009]作為本發(fā)明的一個例子的動態(tài)圖像壓縮裝置包括獲取部、圖像變換部、以及壓縮處理部。獲取部獲取將多個幀與拍攝順序相關(guān)聯(lián)的RAW動態(tài)圖像，所述多個幀中不同的3個顏色成分的像素按照2行2列的顏色排列周期性配置。圖像變換部將關(guān)注的幀中、與奇數(shù)行的第一顏色成分對應(yīng)的第一像素組和與偶數(shù)行的第一顏色成分對應(yīng)的第二像素組分別分離，并將包括第一像素組的第一圖像和包括第二像素組的第二圖像交替地排列在時間軸方向上。壓縮處理部對第一圖像和第二圖像進(jìn)行圖像間預(yù)測編碼壓縮。
[0010]作為本發(fā)明的其他例子的圖像壓縮裝置包括獲取部、分離部、以及壓縮處理部。獲取部獲取二維狀地配置有多個顏色成分的像素的RAW圖像。分離部將RAW圖像內(nèi)的第一顏色成分分離為第一圖像和第二圖像。壓縮處理部基于第一圖像和第二圖像的圖像間的差量對第一圖像進(jìn)行壓縮處理。
[0011]作為本發(fā)明的其他例子的動態(tài)圖像解碼裝置包括獲取壓縮RAW動態(tài)圖像數(shù)據(jù)的獲取部、解碼處理部、以及圖像變換部。壓縮RAW動態(tài)圖像數(shù)據(jù)是關(guān)于不同的3個顏色成分的像素按照2行2列的顏色排列周期性配置的多個幀，將與各幀的奇數(shù)行的第一顏色成分對應(yīng)的第一像素組和與偶數(shù)行的所述第一顏色成分對應(yīng)的第二像素組分別分離，并且將包括所述第一像素組的第一圖像和包括所述第二像素組的第二圖像交替地排列在時間軸方向上并進(jìn)行圖像間預(yù)測編碼壓縮而得到的。解碼處理部對壓縮RAW動態(tài)圖像數(shù)據(jù)進(jìn)行解碼。圖像變換部按照顏色排列來重新排列被解碼的RAW動態(tài)圖像數(shù)據(jù)的第一圖像和第二圖像。
[0012]作為本發(fā)明的其他例子的圖像解碼裝置包括獲取壓縮RAW動態(tài)圖像數(shù)據(jù)的獲取部、對壓縮RAW動態(tài)圖像數(shù)據(jù)進(jìn)行解碼的解碼處理部、以及圖像變換部。壓縮RAW動態(tài)圖像數(shù)據(jù)是將二維狀地配置有多個顏色成分的像素的RAW圖像內(nèi)的第一顏色成分分離為第一圖像和第二圖像，并基于第一圖像和第二圖像的圖像間的差量對第一圖像進(jìn)行壓縮處理而得到的。圖像變換部按照預(yù)定的顏色排列來重新排列被解碼的RAW動態(tài)圖像數(shù)據(jù)的第一圖像和第二圖像。
【附圖說明】
[0013]圖1是表不第一實施方式的電子相機(jī)的構(gòu)成例子的圖。
[0014]圖2的(a)-(d)是表示拜耳陣列中的各顏色像素的排列例子的圖。
[0015]圖3是表不壓縮處理部的構(gòu)成例子的圖。
[0016]圖4是表不解碼處理部的構(gòu)成例子的圖。
[0017]圖5是表示RAW動態(tài)圖像記錄模式下的電子相機(jī)的動作的流程圖。
[0018]圖6是表示作為編碼對象的RAW圖像的例子的圖。
[0019]圖7的(a)-(d)是表示通過第一動作例子中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0020]圖8是表示RAW圖像全部是I幀的情況的運動補償預(yù)測的例子的圖。
[0021]圖9是表示RAW圖像是I幀、P幀的情況的運動補償預(yù)測的例子的圖。
[0022]圖10是表示RAW圖像是I幀、P幀、B幀的情況的運動補償預(yù)測的例子的圖。
[0023]圖11是表示RAW圖像是I幀、P幀、B幀的情況的運動補償預(yù)測的例子的圖。
[0024]圖12是表示基于像素插補處理的像素值的預(yù)測例子的圖。
[0025]圖13是表示基于像素插補處理的像素值的預(yù)測例子的圖。
[0026]圖14是表示基于像素插補處理的像素值的預(yù)測例子的圖。
[0027]圖15是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0028]圖16是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0029]圖17是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0030]圖18是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0031]圖19是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0032]圖20是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0033]圖21是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0034]圖22是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0035]圖23是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0036]圖24是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0037]圖25是表示基于像素偏移處理的像素值的預(yù)測例子的圖。
[0038]圖26的(a)、(b)是表示通過第二動作例子中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0039]圖27的(a)、(b)是表示通過第二動作例子的變形例I中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0040]圖28的(a)、(b)是表示通過第二動作例子的變形例2中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0041]圖29的(a)、(b)是表示通過第三動作例子中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0042]圖30的(a)、(b)是表示通過第三動作例子的變形例中的RAW圖像的顏色成分的重新排列而生成的圖像的圖。
[0043]圖31是表示通過RAW動態(tài)圖像記錄模式壓縮了的RAW動態(tài)圖像的解碼動作的例子的流程圖。
[0044]圖32是表示第二實施方式中的動態(tài)圖像解碼裝置的構(gòu)成例子的圖。
【具體實施方式】
[0045]〈第一實施方式的說明〉
[0046]圖1是表示作為拍攝裝置、動態(tài)圖像壓縮裝置、動態(tài)圖像解碼裝置的一個例子的第一實施方式的電子相機(jī)的構(gòu)成例子的圖。
[0047]第一實施方式的電子相機(jī)100具有動態(tài)圖像攝影功能，并且作為動態(tài)圖像攝影模式之一而具有RAW動態(tài)圖像記錄模式。RAW動態(tài)圖像記錄模式下的電子相機(jī)100對數(shù)字顯像處理前的RAW形式的動態(tài)圖像(RAW動態(tài)圖像)進(jìn)行壓縮編碼并記錄。另外，數(shù)字顯像處理是指將未加工的RAW圖像變換為與照片相當(dāng)?shù)膱D像的圖像處理。作為一個例子，數(shù)字顯像處理包括顏色插補處理、灰度變換處理、白平衡調(diào)整處理、顏色變換處理。
[0048]電子相機(jī)100具有拍攝光學(xué)系統(tǒng)101、拍攝元件102、信號處理部103、圖像處理引擎104、第一存儲器105、第二存儲器106、記錄I/F107、顯示器108、以及操作部109。這里，信號處理部103、第一存儲器105、第二存儲器106、記錄I/F107、顯示器108、以及操作部109分別與圖像處理引擎104連接。另外，操作部109是接收用戶的操作(例如動態(tài)圖像攝影的指示、模式切換的指示等)的開關(guān)。
[0049]拍攝光學(xué)系統(tǒng)101由例如包括變焦透鏡、聚焦透鏡的多個透鏡構(gòu)成。另外，為簡單起見，在圖1中通過一個透鏡圖示了拍攝光學(xué)系統(tǒng)101。
[0050]拍攝元件102是對基于通過了拍攝光學(xué)系統(tǒng)101的光束而形成的被攝體的成像進(jìn)行拍攝(攝影)的設(shè)備。拍攝元件102的輸出與圖像處理引擎104連接。上述拍攝元件102既可以是依次掃描方式的固態(tài)成像元件(例如CCD)，也可以是XY尋址方式的固態(tài)成像元件(例如CMOS) ο
[0051]這里，在拍攝元件102的受光面上呈矩陣狀排列有多個受光元件(像素)。并且，分別使不同顏色成分的光透過的多種彩色濾光片按照預(yù)定的顏色排列而配置在拍攝元件102的像素中。因此，拍攝元件102的各個像素通過彩色濾光片的顏色分解而輸出與各顏色成分對應(yīng)的電信號。例如，在第一實施方式中，紅色(R)、綠色(G)、藍(lán)色(B)的彩色濾光片按照2行2列的拜耳陣列周期性地配置在受光面上。作為一個例子，在拍攝元件102的像素排列的奇數(shù)行交替地排列有G、B的像素，在像素排列的偶數(shù)行交替地排列有R、G的像素。并且，在像素排列的整體中，綠色像素配置成方格圖案。由此，拍攝元件102能夠在拍攝時獲取彩色的圖像。在本說明書的說明中，有時將奇數(shù)行的綠色像素表示為G1，將偶數(shù)行的綠色像素表示為G2。另外，拜耳陣列中的各顏色像素的排列圖案不限于上述例子，也可以是奇數(shù)行配置紅色像素、偶數(shù)行配置藍(lán)色像素。另外，圖2的(a)-(d)表示拜耳陣列中的各顏色像素的排列例子。
[0052]信號處理部103對從拍攝元件102輸入的圖像信號依次進(jìn)行模擬信號處理(相關(guān)雙采樣、黑電平校正等)、A/D轉(zhuǎn)換處理、數(shù)字信號處理(缺陷像素校正等)。從信號處理部103輸出的圖像(RAW圖像)的數(shù)據(jù)輸入到圖像處理引擎104。
[0053]圖像處理引擎104是綜合控制電子相機(jī)100的動作的處理器。例如，圖像處理引擎104使用從拍攝元件102輸入的圖像信號來執(zhí)行自動對焦(AF)、自動曝光(AE)的控制。
[0054]另外，圖像處理引擎104具有顯像處理部111、圖像變換部112、壓縮處理部113、以及解碼處理部114。顯像處理部111對RAW圖像執(zhí)行上述數(shù)字顯像處理。
[0055]圖像變換部112在RAW動態(tài)圖像記錄模式中基于像素的顏色成分將RAW動態(tài)圖像的各幀分別分離為多個圖像。例如，圖像變換部112按照顏色來分離RAW動態(tài)圖像的I幀的像素并將其重新排列。并且，圖像變換部112例如分離為包括與奇數(shù)行的綠色成分(Gl)對應(yīng)的第一像素組的第一圖像、以及包括與偶數(shù)行的綠色成分(G2)對應(yīng)的第二像素組的第二圖像。另外，后面將詳細(xì)地說明第一圖像和第二圖像的例子。
[0056]另外，圖像變換部112在RAW動態(tài)圖像記錄模式中將上述第一圖像和第二圖像交替地排列在時間軸方向上并輸出。另外，圖像變換部112在對通過RAW動態(tài)圖像記錄模式壓縮了的動態(tài)圖像數(shù)據(jù)進(jìn)行解碼時，重新排列第一圖像和第二圖像而解碼為原來的RAW圖像。
[0057]壓縮處理部113將動態(tài)圖像的各幀分割為預(yù)定尺寸的塊(block)單位，并使用運動補償預(yù)測來對動態(tài)圖像的數(shù)據(jù)進(jìn)行壓縮編碼。另外，RAW動態(tài)圖像記錄模式下的壓縮處理部113對由圖像變換部112排列在時間軸方向上的第一圖像和第二圖像進(jìn)行圖像間預(yù)測編碼壓縮。另外，后面將詳細(xì)地說明壓縮處理部113的構(gòu)成例子。
[0058]解碼處理部114對由壓縮處理部113進(jìn)行了壓縮編碼的動態(tài)圖像的數(shù)據(jù)進(jìn)行編碼。另外，后面將詳細(xì)地說明編碼處理部114的構(gòu)成例子。
[0059]另外，圖像處理引擎104所包括的顯像處理部111、圖像變換部112、壓縮處理部113、以及解碼處理部114的功能塊能夠通過任意的處理器、存儲器、以及其他的LSI來硬件化地實現(xiàn)，也可通過加載于存儲器的程序等來軟件化地實現(xiàn)。
[0060]第一存儲器105在圖像處理的前步驟或后步驟來暫時地存儲圖像的數(shù)據(jù)。例如，第一存儲器105是作為易失性存儲介質(zhì)的SDRAM (Synchronous Dynamic Random AccessMemory)。另外，第二存儲器106存