專利名稱：圖像信號處理裝置、圖像信號處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像信號處理裝置、圖像信號處理方法和程序，更特別地，本發(fā)明涉及一種適合于將隔行信號轉(zhuǎn)換成逐行信號的圖像信號處理裝置、圖像信號處理方法和程序。
背景技術(shù)：
為提高在電視接收機等的顯示單元上顯示的圖像的畫面質(zhì)量(通過去除行閃爍等等)，采用了IP轉(zhuǎn)換處理。IP轉(zhuǎn)換處理將隔行型的圖像信號(這種類型的信號后文中稱為隔行信號，interlacedsignal)轉(zhuǎn)換成另一種逐行型的圖像信號(這種類型的信號后文中稱為逐行信號，progressive signal)。對于諸如液晶顯示單元或等離子體顯示單元的固定像素顯示單元來說，IP轉(zhuǎn)換處理已成為一種很普及的技術(shù)。下文中，所描述的電視系統(tǒng)采用NTSC(國家電視系統(tǒng)委員會)系統(tǒng)作為例子。
IP轉(zhuǎn)換處理可根據(jù)進行IP轉(zhuǎn)換之前隔行信號的類型，通過各種方法來實施，包括2·3下拉(pull-down)逆轉(zhuǎn)換、2·2下拉逆轉(zhuǎn)換、運動自適應(yīng)(motion adaptive)IP轉(zhuǎn)換和運動補償IP轉(zhuǎn)換。
為了轉(zhuǎn)換電影素材(film material)的隔行信號，可應(yīng)用2·3下拉逆轉(zhuǎn)換或2·2下拉逆轉(zhuǎn)換。此處電影素材是將用于拍攝電影的電影攝影機每秒拍攝24或30幅圖像所生成的素材，利用電視電影裝置通過3·2下拉電視電影轉(zhuǎn)換或2·2下拉電視電影轉(zhuǎn)換而轉(zhuǎn)換成每秒60幅圖像的隔行信號而獲得的。通過2·3下拉逆轉(zhuǎn)換或2·2下拉逆轉(zhuǎn)換進行的IP轉(zhuǎn)換的結(jié)果將得到逐行信號，包括在電視電影轉(zhuǎn)換之前電影素材的再生原始圖像，并且當(dāng)將其再生時不會導(dǎo)致行閃爍(line flickering)的產(chǎn)生。
另一方面，為了對視頻素材的隔行信號進行IP轉(zhuǎn)換，可適當(dāng)應(yīng)用運動自適應(yīng)IP轉(zhuǎn)換或運動補償IP轉(zhuǎn)換。視頻素材是通過使用攝像機，根據(jù)隔行方式攝取圖像而獲得的。
在運動自適應(yīng)IP轉(zhuǎn)換中，當(dāng)處于將被插入到每個奇數(shù)(偶數(shù))場中的每個偶數(shù)(奇數(shù))行中的像素不涉及任何運動(任何時間變化)時，使用那些存在于位于奇數(shù)(偶數(shù))場之前和之后的一對偶數(shù)(奇數(shù))場的偶數(shù)(奇數(shù))行中的像素來執(zhí)行插入。另一方面，當(dāng)處于將被插入到每個奇數(shù)(偶數(shù))場中的每個偶數(shù)(奇數(shù))行中的像素涉及一些運動(一些時間變化)時，則使用那些存在于奇數(shù)(偶數(shù))場中的奇數(shù)(偶數(shù))行中的像素執(zhí)行插入。
通過運動自適應(yīng)IP轉(zhuǎn)換，可以從不包括任何運動的靜止圖像中除去行閃爍，而即使對于包括運動的圖像來說，與應(yīng)用適合于電影素材的IP轉(zhuǎn)換的替代情況相比較，也能夠減少行閃爍。
因此，流行采取如下所述的對策。具體來說，首先判定在執(zhí)行IP轉(zhuǎn)換之前的隔行信號是電影素材的還是視頻素材的。然后，基于判定結(jié)果，輸出被應(yīng)用了用于電影素材的IP轉(zhuǎn)換的逐行信號或被應(yīng)用了用于視頻素材的IP轉(zhuǎn)換的另一逐行信號。該對策在例如日本專利公開第2004-96223中披露。

發(fā)明內(nèi)容
順便指出，普通攝像機輸出的是視頻素材的隔行信號。然而，一些較廉價的攝像機輸出的是具有電影素材特征的隔行信號(細節(jié)在稍后指述)。
例如，普通攝像機具有約480行的垂直分辨率，其中的一半被分給奇數(shù)場，而另一半被分給偶數(shù)場。然而，一些較廉價攝像機具有大約240行的垂直分辨率，它們共同用于奇數(shù)場和偶數(shù)場。
從剛剛描述的這種較廉價攝像機輸出的隔行信號被判定具有電影素材的特征。然而，如果將適合于電影素材的IP轉(zhuǎn)換應(yīng)用于該隔行信號，則與將運動自適應(yīng)IP轉(zhuǎn)換應(yīng)用于該隔行信號的情況相比較，畫面質(zhì)量將下降。
因此，必需辨別從如上所述的這種較廉價攝像機輸出的并具有電影素材特征的隔行信號，然后將適合于視頻素材的IP轉(zhuǎn)換應(yīng)用于辨別出的隔行信號。
因而，希望提供一種能夠響應(yīng)于隔行信號選擇適合的IP轉(zhuǎn)換的圖像信號處理裝置、圖像信號處理方法和程序。
根據(jù)本發(fā)明的實施例，提供了一種用于將隔行信號轉(zhuǎn)換成逐行信號的圖像信號處理裝置，包括第一轉(zhuǎn)換單元，用于通過2·2下拉逆轉(zhuǎn)換將隔行信號轉(zhuǎn)換成逐行信號；第二轉(zhuǎn)換單元，用于通過運動自適應(yīng)IP轉(zhuǎn)換將隔行信號轉(zhuǎn)換成逐行信號；判定單元，用于算術(shù)運算隔行信號的兩個連續(xù)場圖像的相關(guān)值S，并基于該相關(guān)值S判定這兩個連續(xù)場圖像是否來源于單個幀圖像，在該單個幀圖像中，垂直方向上的像素數(shù)與場圖像在垂直方向上的像素數(shù)相等；以及選擇單元，用于根據(jù)判定單元的判定結(jié)果，來選擇第一轉(zhuǎn)換單元的轉(zhuǎn)換結(jié)果或第二轉(zhuǎn)換單元的轉(zhuǎn)換結(jié)果。
判定單元可以根據(jù)以下表達式來算術(shù)運算相關(guān)值Sp＝∑|f1(x，y)-f2(x，y-1)|q＝∑|f1(x，y)-f2(x，y+1)|S＝p/q，p＞q時S＝q/p，q≥p時其中，x是像素的水平坐標(biāo)，y是像素的垂直坐標(biāo)，y-1是緊接在垂直坐標(biāo)y的行之下的另一行的垂直坐標(biāo)，y+1是緊接在垂直坐標(biāo)y的行之上的另一行的垂直坐標(biāo)，f1是一個場圖像的以括號中的坐標(biāo)表示的像素值，f2是另一場圖像的以括號中的坐標(biāo)表示的像素值，∑是總值，S是相關(guān)值S。
判定單元可以將相關(guān)值S與預(yù)定的閾值進行比較，以判定兩個連續(xù)場圖像是否來源于垂直方向的像素數(shù)與場圖像在垂直方向上的像素數(shù)相等的單個幀圖像。
第二轉(zhuǎn)換單元可以不使用運動自適應(yīng)IP轉(zhuǎn)換，而采用基于圖像之間的運動向量來插入像素的運動補償IP轉(zhuǎn)換，來將隔行信號轉(zhuǎn)換為逐行信號。
根據(jù)本發(fā)明的另一實施例，提供了一種將隔行信號轉(zhuǎn)換為逐行信號的圖像信號處理裝置所用的圖像信號處理方法，包括以下步驟通過2·2下拉逆轉(zhuǎn)換將隔行信號轉(zhuǎn)換為逐行信號；通過運動自適應(yīng)IP轉(zhuǎn)換將隔行信號轉(zhuǎn)換為逐行信號；算術(shù)運算隔行信號的兩個連續(xù)場圖像的相關(guān)值S，并基于相關(guān)值S判定這兩個連續(xù)的場圖像是否來源于垂直方向的像素數(shù)與場圖像在垂直方向上的像素數(shù)相等的單個幀圖像；以及根據(jù)判定結(jié)果，選擇第一轉(zhuǎn)換的結(jié)果或第二轉(zhuǎn)換的結(jié)果。
根據(jù)本發(fā)明進一步的實施例，提供了一種用于將隔行信號轉(zhuǎn)換成逐行信號的程序，該程序使計算機能夠執(zhí)行包括以下步驟的處理，其中通過2·2下拉逆轉(zhuǎn)換將隔行信號轉(zhuǎn)換為逐行信號；通過運動自適應(yīng)IP轉(zhuǎn)換將隔行信號轉(zhuǎn)換為逐行信號；算術(shù)運算隔行信號的兩個連續(xù)場圖像的相關(guān)值S，并基于相關(guān)值S判定這兩個連續(xù)的場圖像是否來源于垂直方向的像素數(shù)與場圖像在垂直方向上的像素數(shù)相等的單個幀圖像；以及根據(jù)判定結(jié)果，選擇第一轉(zhuǎn)換的結(jié)果或第二轉(zhuǎn)換的結(jié)果。
在本發(fā)明的圖像信號處理裝置和方法及程序中，隔行信號通過2·2下拉逆轉(zhuǎn)換轉(zhuǎn)換成逐行信號。隔行信號還通過運動自適應(yīng)IP轉(zhuǎn)換轉(zhuǎn)換成另一逐行信號。然后，通過算術(shù)運算得出隔行信號的兩個連續(xù)場圖像之間的相關(guān)值S。此后，根據(jù)相關(guān)值S來判定這兩個連續(xù)的場圖像是否來源于垂直方向的像素數(shù)與場圖像在垂直方向上的像素數(shù)相等的單個幀圖像。最后，根據(jù)判定結(jié)果選擇第一轉(zhuǎn)換結(jié)果或第二轉(zhuǎn)換結(jié)果。
這樣，通過使用本發(fā)明的圖像信號處理裝置和方法及程序，能夠根據(jù)隔行信號來選擇適當(dāng)?shù)腎P轉(zhuǎn)換。
從以下結(jié)合附圖的描述和附加權(quán)利要求可以顯而易見本發(fā)明的以上和其他目的、特征和優(yōu)點，在附圖中，相同的參考符號表示相同的部件或元件。


圖1是示出應(yīng)用了本發(fā)明的圖像信號處理裝置的配置實例的框圖；
圖2是示出圖1中所示的IP轉(zhuǎn)換部的配置實例的框圖；圖3A到圖3C是示出了3·2下拉電視電影轉(zhuǎn)換或2·2下拉逆轉(zhuǎn)換的示意圖；圖4A、圖4B、圖4C和圖5是示出了運動自適應(yīng)IP轉(zhuǎn)換的示意圖；圖6是示出了圖2中所示的原始圖像240P檢測部的配置實例的框圖；圖7和圖8是示出了原始圖像240P檢測部的動作的示圖；圖9是示出了IP轉(zhuǎn)換部的動作的流程圖。
具體實施例方式
在詳細描述本發(fā)明的優(yōu)選實施例之前，描述了在所附權(quán)利要求中列出的若干特征與以下描述的優(yōu)選實施例的具體部件之間的對應(yīng)關(guān)系。然而，該描述僅僅是為了確認在本發(fā)明的實施例的描述中披露了權(quán)利要求中所述的支持本發(fā)明的具體元件。因此，即使在實施例描述中所列出的某一具體元件沒有被列出作為以下描述中的一個特征，并不意味著該具體元件不對應(yīng)該特征。相反，即使將某一具體元件作為對應(yīng)于一個特征的元件而列出，也并不意味著除此之外，該元件就不對應(yīng)于任何其他特征。
根據(jù)本發(fā)明實施例的圖像信號處理裝置(例如，圖1的IP轉(zhuǎn)換部12)包括第一轉(zhuǎn)換單元(例如，圖2的2·2下拉逆轉(zhuǎn)換部22)，用于通過2·2下拉逆轉(zhuǎn)換將隔行信號轉(zhuǎn)換成逐行信號；第二轉(zhuǎn)換單元(例如，圖2的運動自適應(yīng)IP轉(zhuǎn)換部23)，用于通過運動自適應(yīng)IP轉(zhuǎn)換將隔行信號轉(zhuǎn)換成逐行信號；判定單元(例如，圖2的原始圖像240P檢測部26)，用于算術(shù)運算隔行信號的兩個連續(xù)場圖像的相關(guān)值S，并基于該相關(guān)值S來判定這兩個連續(xù)場圖像是否來源于垂直方向的像素數(shù)與場圖像在垂直方向上的像素數(shù)相等的單個幀圖像；和選擇單元(例如，圖2的逐行信號選擇部27)，用于響應(yīng)于判定單元的判定結(jié)果來選擇第一轉(zhuǎn)換單元的轉(zhuǎn)換結(jié)果或第二轉(zhuǎn)換單元的轉(zhuǎn)換結(jié)果。
圖像信號處理方法或程序包括以下步驟通過2·2下拉逆轉(zhuǎn)換將隔行信號轉(zhuǎn)換成逐行信號(例如，圖9中的步驟S2)；通過運動自適應(yīng)IP轉(zhuǎn)換將隔行信號轉(zhuǎn)換成逐行信號(例如，圖9中的步驟S3)；算術(shù)運算隔行信號的兩個連續(xù)場圖像的相關(guān)值S，并基于該相關(guān)值S來判定這兩個連續(xù)場圖像是否來源于垂直方向的像素數(shù)與場圖像在垂直方向上的像素數(shù)相等的單個幀圖像(例如，圖9中的步驟S6)；以及響應(yīng)于判定單元的判定結(jié)果來選擇第一轉(zhuǎn)換單元的轉(zhuǎn)換結(jié)果或第二轉(zhuǎn)換單元的轉(zhuǎn)換結(jié)果(例如，圖9中的步驟S10)。
下文中，參考附圖詳細描述應(yīng)用了本發(fā)明的具體實施例。
首先參看圖1，示出了應(yīng)用本發(fā)明的圖像信號處理裝置的配置實例。該圖像信號處理裝置1通常被內(nèi)置在電視接收機中，用于將隔行信號轉(zhuǎn)換成逐行信號并顯示逐行信號。下文中，將隔行信號的圖像稱為場圖像，而將逐行信號的圖像稱為幀圖像。
圖像信號處理裝置1包括前圖像信號處理部11、IP轉(zhuǎn)換部12、顯示驅(qū)動部13和顯示單元14。
前圖像信號處理部11對輸入其中的隔行型圖像信號執(zhí)行AD(模數(shù))轉(zhuǎn)換處理、色度解碼處理和其他生成隔行信號所必需的處理。前圖像信號處理部11將隔行信號輸出到IP轉(zhuǎn)換部12。IP轉(zhuǎn)換部12將輸入其中的隔行信號轉(zhuǎn)換為逐行信號，并將逐行信號輸出到顯示驅(qū)動部13。顯示驅(qū)動部13包括被稱為計數(shù)器(scaler)的像素數(shù)轉(zhuǎn)換電路、面板驅(qū)動器和其他必需的部件，并執(zhí)行適合于顯示單元14的處理，用于將逐行信號從IP轉(zhuǎn)換部12輸入其中。顯示驅(qū)動部13將合成逐行信號輸出到顯示單元14。顯示單元14顯示與顯示驅(qū)動部13的輸出相對應(yīng)的圖像。
圖2示出了IP轉(zhuǎn)換部12的配置的實例。
參看圖2，所示的IP轉(zhuǎn)換部12包括2·3下拉逆轉(zhuǎn)換部21、2·2下拉逆轉(zhuǎn)換部22和運動自適應(yīng)IP轉(zhuǎn)換部23。IP轉(zhuǎn)換部12還包括3·2順序(sequence)檢測部24、2·2順序檢測部25、原始圖像240P檢測部26和逐行信號選擇部27。
基于來自3·2順序檢測部24的通知，2·3下拉逆轉(zhuǎn)換部21通過2·3下拉逆轉(zhuǎn)換將從前級輸入到IP轉(zhuǎn)換部12的隔行信號轉(zhuǎn)換為逐行信號。2·3下拉逆轉(zhuǎn)換部21將逐行信號輸出到逐行信號選擇部27。2·3下拉逆轉(zhuǎn)換是最適合于通過3·2下拉電視電影轉(zhuǎn)換從電影素材的原始圖像所生成的隔行信號的IP轉(zhuǎn)換。
基于來自2·2順序檢測部25的通知，2·2下拉逆轉(zhuǎn)換部22通過2·2下拉逆轉(zhuǎn)換將從前級輸入到IP轉(zhuǎn)換部12的隔行信號轉(zhuǎn)換為逐行信號。2·2下拉逆轉(zhuǎn)換部22將逐行信號輸出到逐行信號選擇部27。2·2下拉逆轉(zhuǎn)換是最適合于通過2·2下拉電視電影轉(zhuǎn)換從電影素材的原始圖像所生成的隔行信號的IP轉(zhuǎn)換。
具體來說，如圖3B和圖3C中所示，基于連續(xù)場圖像A1和A2產(chǎn)生兩個連續(xù)的幀圖像A。同樣，基于連續(xù)場圖像B1和B2產(chǎn)生兩個連續(xù)的幀圖像B，以及基于連續(xù)的場圖像C1和C2產(chǎn)生兩個連續(xù)的幀圖像C。應(yīng)注意到，兩個連續(xù)場圖像的組合服從來自2·2順序檢測部25的通知。
回到圖2，運動自適應(yīng)IP轉(zhuǎn)換部23通過運動自適應(yīng)IP轉(zhuǎn)換將從前級輸入的隔行信號轉(zhuǎn)換為逐行信號。運動自適應(yīng)IP轉(zhuǎn)換部23將逐行信號輸出到逐行信號選擇部27。運動自適應(yīng)IP轉(zhuǎn)換是最適合于視頻素材的隔行信號的IP轉(zhuǎn)換。
具體來說，參看圖4A到圖4C，運動自適應(yīng)IP轉(zhuǎn)換部23基于隨著時間連續(xù)出現(xiàn)的隔行場圖像E、F和G來產(chǎn)生幀圖像F′。同樣，運動自適應(yīng)IP轉(zhuǎn)換部23基于隨時間連續(xù)出現(xiàn)的隔行場圖像F、G和H來產(chǎn)生幀圖像G′。更具體的，參看圖5，如果所產(chǎn)生的幀圖像(例如，F(xiàn)′)的像素P不表現(xiàn)出任何的運動，就是說，不隨時間有任何變化，則存在于隨時間連續(xù)出現(xiàn)的場圖像中的像素，這種情況下為場圖像E的像素P 1和場圖像G的像素P2，被用于執(zhí)行插入。另一方面，如果像素P表現(xiàn)出一些運動，就是說，隨時間有一些變化，則存在于對應(yīng)場圖像中的像素，這種情形下是場圖像F的像素P3和P4，被用于執(zhí)行插入。
回到圖2，3·2順序檢測部24判定從前級輸入的隔行信號是否具有通過3·2下拉電視電影轉(zhuǎn)換從原始圖像所生成的隔行信號的特征。如果3·2順序檢測部24判定隔行信號具有該特征，那它就將3·2順序檢測信號輸出到逐行信號選擇部27。另外，3·2順序檢測部24通知2·3下拉逆轉(zhuǎn)換部21，應(yīng)該組合對應(yīng)于所輸入的隔行信號的哪一個連續(xù)場圖像，以產(chǎn)生幀圖像。
2·2順序檢測部25判定從前級輸入的隔行信號是否具有通過2·2下拉電視電影轉(zhuǎn)換從原始圖像所生成的隔行信號的特征。如果2·2順序檢測部25判定隔行信號具有該特征，那它就將2·2順序檢測信號輸出到逐行信號選擇部27。另外，2·2順序檢測部25通知2·2下拉逆轉(zhuǎn)換部22和原始圖像240P檢測部26，應(yīng)該組合與輸入隔行信號相對應(yīng)的哪兩個連續(xù)場圖像，以產(chǎn)生幀圖像。
此處，將描述通過2·2順序檢測部25來判定從前級輸入的隔行信號是否具有上述特征的判定方法的實例。
通過2.2下拉電視電影轉(zhuǎn)換，例如，基于圖3A中所示以每秒30幀的速率拍攝的原始圖像A來產(chǎn)生圖3B中所示的場圖像A1和A2。同樣，基于原始圖像B產(chǎn)生場圖像B1和B2，以及基于原始圖像C產(chǎn)生場圖像C1和C2。因此，如果算術(shù)運算并相互比較兩個相鄰場圖像之間的差(difference)，則場圖像B1和B2之間的差和場圖像C1和C2之間的差很小。然而，場圖像A2和B1之間的差和場圖像B2和C1之間的差卻很大。
當(dāng)兩個相鄰場圖像之間的差的幅度像這樣在大和小之間交替變化時，2·2順序檢測部25判定從前級輸入的隔行信號具有通過2·2下拉電視電影轉(zhuǎn)換從以每秒30幀的速率拍攝的原始圖像而產(chǎn)生的隔行信號的特征。因而，2·2順序檢測部25將2·2順序檢測信號輸出到逐行信號選擇部27。
再次回到圖2，原始圖像240P檢測部26判定從前級輸入的隔行信號是否具有從垂直分辨率為240行的單個原始圖像產(chǎn)生兩個場圖像的隔行信號的特征。后文中，將剛才所述的這種原始圖像稱為240P原始圖像。如果原始圖像240P檢測部26判定隔行信號具有該特征，那它就將原始240P檢測信號輸出到逐行信號選擇部27。
基于3·2順序檢測信號、2·2順序檢測信號或原始圖像240P檢測信號，逐行信號選擇部27將來自2·3下拉逆轉(zhuǎn)換部21的逐行信號、來自2·2下拉逆轉(zhuǎn)換部22的另一逐行信號或來自運動自適應(yīng)IP轉(zhuǎn)換部23的又一逐行信號輸出到后級。
具體來說，如果輸入3·2順序檢測信號，則逐行信號選擇部27將來自2·3下拉逆轉(zhuǎn)換部21的逐行信號輸出到后級。如果輸入2·2順序檢測信號而不輸入原始圖像240P檢測信號，則逐行信號選擇部27就輸出來自2·2下拉逆轉(zhuǎn)換部22的逐行信號。如果3·2順序檢測信號和2·2順序檢測信號都不輸入或者2·2順序檢測信號和原始圖像240P檢測信號都輸入，則逐行信號選擇部27就將來自運動自適應(yīng)IP轉(zhuǎn)換部23的逐行信號輸出到后級。
圖6示出了原始圖像240P檢測部26的配置的實例。向原始圖像240P檢測部26輸入隔行信號，它包括由奇數(shù)場和偶數(shù)場構(gòu)成的一個幀的所有行中，奇數(shù)場中的奇數(shù)行和偶數(shù)場中的偶數(shù)行中的信號。原始圖像240P檢測部26包括場存儲器31和32，每一個均將所輸入的隔行信號延遲一場的周期。原始圖像240P檢測部26還包括場差a算術(shù)運算部33和場差b算術(shù)運算部34，用于算術(shù)運算出從場存儲器31輸出的場圖像(下文中稱為當(dāng)前場圖像)和從場存儲器32輸出的另一場圖像(下文中稱為先前場圖像)之間的差。原始圖像240P檢測部26還包括場差c算術(shù)運算部35和場差b算術(shù)運算部36，用于算術(shù)運算出從前級輸入到原始圖像240P檢測部26的場圖像(下文中稱為之后場圖像)和當(dāng)前場圖像之間的差。
每次從相應(yīng)前級輸入一個場圖像的隔行信號時，場存儲器31和32中的每個均保留從前級輸入的一個場的隔行信號，并將迄今為止一直保留于其中的一個場的隔行信號輸出到相應(yīng)的后級。
根據(jù)當(dāng)前場圖像是奇數(shù)場圖像還是偶數(shù)場圖像，場差a算術(shù)運算部33～場差d算術(shù)運算部36以不同的方式進行操作。
參看圖7，如果當(dāng)前場圖像是奇數(shù)場圖像，則場差a算術(shù)運算部33算術(shù)運算出在先前場圖像的垂直方向中第2m(m＝0，1，2，...)行具有相同水平坐標(biāo)的像素和當(dāng)前場圖像的第(2m+1)行中具有相同水平坐標(biāo)的像素之間的差的絕對值的總和a。場差a算術(shù)運算部33將以此方式算術(shù)運算得出的絕對值總和a輸出到判定部37。此處將被求和的絕對值數(shù)目對應(yīng)于保留在場存儲器31或場存儲器32中的場中水平方向和垂直方向像素的總數(shù)。場差b算術(shù)運算部34算術(shù)運算出在先前場圖像的垂直方向中第2n(n＝0，1，2，...)行具有相同水平坐標(biāo)的像素和當(dāng)前場圖像的第(2n-1)行中具有相同水平坐標(biāo)的像素之間的差的絕對值的總和b。場差b算術(shù)運算部34將以此方式算術(shù)運算得出的絕對值總和b輸出到判定部37。場差c算術(shù)運算部35算術(shù)運算出在之后場圖像的垂直方向第2m行中具有相同水平坐標(biāo)的像素和當(dāng)前場圖像第(2m+1)行中具有相同水平坐標(biāo)的像素之間的差的絕對值的總和c。場差c算術(shù)運算部35將以此方式算術(shù)運算得出的絕對值的總和c輸出到判定部37。場差d算術(shù)運算部36算術(shù)運算出在之后場圖像的垂直方向第2n行中具有相同水平坐標(biāo)的和當(dāng)前場圖像第(2n-1)行中具有相同水平坐標(biāo)的像素之間的差的絕對值的總和d。場差d算術(shù)運算部36將以此方式算術(shù)運算得出的總和d輸出到判定部37。
現(xiàn)在參看圖8，如果當(dāng)前場圖像是偶數(shù)場圖像，則場差a算術(shù)運算部33算術(shù)運算出在先前場圖像的垂直方向第(2m+1)(m＝0，1，2，...)行中具有相同水平坐標(biāo)的像素和當(dāng)前場圖像的第2m行中具有相同水平坐標(biāo)的像素之間的差的絕對值的總和a。場差a算術(shù)運算部33將以此方式算術(shù)運算得出的絕對值總和a輸出到判定部37。場差b算術(shù)運算部34算術(shù)運算出在先前場圖像的垂直方向第(2n-1)(n＝0，1，2，...)行中具有相同水平坐標(biāo)的像素和當(dāng)前場圖像的第2n行中具有相同水平坐標(biāo)的像素之間的差的絕對值的總和b。場差b算術(shù)運算部34將以此方式算術(shù)運算得出的絕對值總和b輸出到判定部37。場差c算術(shù)運算部35算術(shù)運算出在之后場圖像的垂直方向第(2m+1)行中具有相同水平坐標(biāo)的像素和當(dāng)前場第2m行中具有相同水平坐標(biāo)之間的差的絕對值的總和c。場差c算術(shù)運算部35將以此方式算術(shù)運算得出的絕對值的總和c輸出到判定部37。場差d算術(shù)運算部36算術(shù)運算出在之后場圖像的垂直方向第(2n-1)行中具有相同水平坐標(biāo)的像素和當(dāng)前場圖像的第2n行中具有相同水平坐標(biāo)的像素之間的差的絕對值的總和d。場差d算術(shù)運算部36將以此方式算術(shù)運算得出的總和d輸出到判定部37。
回到圖6，判定部37從2·2順序檢測部25接收表示應(yīng)該組合哪兩個幀圖像來產(chǎn)生一個幀圖像的通知。如果來自2·2順序檢測部25的通知指示組合先前場圖像和當(dāng)前場圖像，則判定部37就基于場差a算術(shù)運算部33和場差b算術(shù)運算部34的算術(shù)運算結(jié)果a和b來判定，從前級輸入的隔行信號是否具有從單個240P原始圖像產(chǎn)生兩個場圖像所獲得的隔行信號的特征。
另一方面，如果來自2·2順序檢測部25的通知指示組合當(dāng)前場圖像和之后場圖像，則判定部37就基于場差c算術(shù)運算部35和場差d算術(shù)運算部36的算術(shù)運算結(jié)果c和d來判定，從前級輸入的隔行信號是否具有從單個240P原始圖像產(chǎn)生兩個場圖像所獲得的隔行信號的特征。
具體來說，判定部37是基于以下考慮來作決定的。如果輸入到原始圖像240P檢測部26的隔行信號是從單個240P原始圖像產(chǎn)生兩個場圖像所獲得的隔行信號，那就應(yīng)該已從單個240P原始圖像產(chǎn)生了先前場圖像和當(dāng)前場圖像的組合或當(dāng)前場圖像和之后場圖像的另一個組合。
接下來，從單個240P原始圖像所產(chǎn)生的兩個連續(xù)場圖像具有這一關(guān)系，即，在一個場圖像的偶數(shù)2X行中沿水平方向具有相同坐標(biāo)的像素和在另一奇數(shù)(第2X+1或2X-1)行中沿水平方向具有相同坐標(biāo)的像素具有相等的值。因此，經(jīng)過算術(shù)運算得出的兩個不同的差的絕對值總和中的一個具有非常小的值，并且，如果在從同一個240P原始圖像產(chǎn)生兩個場圖像的過程中不產(chǎn)生任何噪音，則顯示出值0。因此，當(dāng)差的絕對值的兩個總和中較大的一個除以兩個總和中較小的一個時，商顯然會大于“1”。
另一方面，已確認，如果對不是從單個240P原始圖像產(chǎn)生的兩個連續(xù)場圖像算術(shù)運算出兩個不同的差的絕對值總和，則會獲得基本上彼此相等的值。因此，當(dāng)差的絕對值的兩個總和中較大的一個除以兩個總和中較小的一個時，商接近“1”。
因此，如果來自2·2順序檢測部25的通知指示組合先前場圖像和當(dāng)前場圖像，則將算術(shù)運算結(jié)果a和b彼此進行比較，并算術(shù)運算出當(dāng)差的絕對值的兩個總和中較大的一個除以兩個總和中較小的一個時的商。然后，如果商等于或大于比“1”大的預(yù)定臨限值α(例如，α＝2.5、5.0等)，則判定從前級輸入的隔行信號具有從單個240P原始圖像產(chǎn)生兩個場圖像所獲得的隔行信號的特征。
另一方面，如果來自2·2順序檢測部25的通知指示組合當(dāng)前場圖像和之后場圖像，則將算術(shù)運算結(jié)果c和d彼此進行比較，并算術(shù)運算出當(dāng)差的絕對值的兩個總和中較大的一個除以兩個總和中較小的一個時的商。然后，如果商等于或大于比“1”大的預(yù)定臨限值α，則判定從前級輸入的隔行信號具有從單個240P原始圖像產(chǎn)生兩個場圖像所獲得的隔行信號的特征。
應(yīng)注意，如上所述的商也可以用于判定從前級輸入的隔行信號是來源于視頻素材還是電影素材。因此，該商也可以用于判定從前級輸入的隔行信號是從視頻素材轉(zhuǎn)換成電影素材，還是從電影素材轉(zhuǎn)換成視頻素材。
總之，圖6中的原始圖像240P檢測部26的判定部37根據(jù)以下表達式來算術(shù)運算隔行信號的兩個連續(xù)場圖像的相關(guān)值Sp＝∑|f1(x，y)-f2(x，y-1)|
q＝∑|f1(x，y)-f2(x，y+1)|S＝p/q，p＞q時S＝q/p，q≥p時其中，x是像素的水平坐標(biāo)，y是像素的垂直坐標(biāo)，y-1是緊接在垂直坐標(biāo)y的行之下的另一行的垂直坐標(biāo)，y+1是緊接在垂直坐標(biāo)y的行之上的另一行的垂直坐標(biāo)，f1是在一個場圖像的像素值，f2是在另一個場圖像的像素值，∑是總值。由值p和q構(gòu)成的對在本實施例中，對應(yīng)于總值a和b構(gòu)成的對、或者總值c和d構(gòu)成的對。
現(xiàn)在，參考圖9的流程圖描述IP轉(zhuǎn)換部12的動作。隔行信號從前級輸入到IP轉(zhuǎn)換部12，然后被提供給IP轉(zhuǎn)換部12中從2·3下拉逆轉(zhuǎn)換部21到原始圖像240P檢測部26的各個部件。然后，彼此平行地執(zhí)行以下描述的步驟S1到S6的處理。
具體來說，參看圖9，在步驟S1中，2·3下拉逆轉(zhuǎn)換部21將從前級輸入其中的隔行信號轉(zhuǎn)換成逐行信號，然后將該逐行信號輸出到逐行信號選擇部27。在步驟S2中，2·2下拉逆轉(zhuǎn)換部22將從前級輸入的隔行信號轉(zhuǎn)換成逐行信號，然后將該逐行信號輸出到逐行信號選擇部27。在步驟S3中，運動自適應(yīng)IP轉(zhuǎn)換部23將從前級輸入的隔行信號轉(zhuǎn)換成逐行信號，然后將該逐行信號輸出到逐行信號選擇部27。
在步驟S4中，3·2順序檢測部24判定從前級輸入的隔行信號是否具有通過3·2下拉電視電影轉(zhuǎn)換所產(chǎn)生的隔行信號的特征。然后，如果3·2順序檢測部24判定所輸入的隔行信號具有該特征，那么它就將3·2順序檢測信號輸出到逐行信號選擇部27。在步驟S5中，2·2順序檢測部25判定所輸入的隔行信號是否具有通過2·2下拉電視電影轉(zhuǎn)換所產(chǎn)生的隔行信號的特征。然后，如果2·2順序檢測部25判定所輸入的隔行信號具有該特征，就將2·2順序檢測信號輸出到逐行信號選擇部27。在步驟S6中，原始圖像240P檢測部26判定從前級輸入的隔行信號是否具有從240P原始圖像產(chǎn)生兩個場圖像所獲得的隔行信號的特征。然后，如果原始圖像240P檢測部26判定所輸入的隔行信號具有該特征，就將原始圖像240P檢測信號輸出到逐行信號選擇部27。
在步驟S7中，逐行信號選擇部27判定3·2順序檢測信號是否被輸入其中。如果逐行信號選擇部27判定3·2順序檢測信號已被輸入，則處理前進至步驟S8，在該步驟中，逐行信號選擇部27將從2·3下拉逆轉(zhuǎn)換部21輸入其中的逐行信號輸出到后級。如果在步驟S7判定沒有輸入3·2順序檢測信號，則處理前進至步驟S9。
在步驟S9中，逐行信號選擇部27判定2·2順序檢測信號是否被輸入其中。如果逐行信號選擇部27判定2·2順序檢測信號已被輸入，則處理前進至步驟S10，在該步驟中，逐行信號選擇部27判定原始圖像240P檢測信號是否已被輸入其中。然后，如果判定輸入了原始圖像240P檢測信號，則處理前進至步驟S11，在該步驟中，逐行信號選擇部27將從2·2下拉逆轉(zhuǎn)換部22輸入其中的逐行信號輸出到后級。
應(yīng)注意，如果在步驟S9中判定沒有輸入2·2順序檢測信號，或者如果在步驟S10中判定沒有輸入原始圖像240P檢測信號，則處理前進至步驟S12。在該步驟中，逐行信號選擇部27將從運動自適應(yīng)IP轉(zhuǎn)換部23輸入其中的逐行信號輸出到后級。IP轉(zhuǎn)換部12以如上所述的方式運作。
如上所述，在IP轉(zhuǎn)換部12中，當(dāng)輸入由240P原始圖像產(chǎn)生的隔行信號時，生成2·2順序檢測信號，并且還生成原始圖像240P檢測信號。因此，輸出到后級的不是從2·2下拉逆轉(zhuǎn)換部22輸入并具有較低畫面質(zhì)量的逐行信號，而是通過運動自適應(yīng)IP轉(zhuǎn)換所產(chǎn)生的其他逐行信號。
應(yīng)注意，可以在原始圖像240P檢測信號作為步驟S6的處理結(jié)果輸出時，停止2·3下拉逆轉(zhuǎn)換部21和2·2下拉逆轉(zhuǎn)換部22的動作。
另外，雖然在上述實施例中，本發(fā)明被應(yīng)用于480I分辨率的NTSC系統(tǒng)中，但本發(fā)明也可應(yīng)用于576I分辨率的PAL系統(tǒng)和1080I分辨率的高分辨率電視系統(tǒng)中。
預(yù)計本發(fā)明可以在多數(shù)播放通過2·2下拉電視電影轉(zhuǎn)換所產(chǎn)生的電影素材的隔行信號的歐洲達到相對高的影響下拉。在歐洲，原始圖像采用的不是30幀/秒而是25幀/秒的信號。
應(yīng)注意，運動自適應(yīng)IP轉(zhuǎn)換部23可以用運動補償(也稱為向量檢測)I P轉(zhuǎn)換部來代替，運動補償IP轉(zhuǎn)換部基于運動向量來檢測圖像和插入像素之間的運動向量。在使用剛才所說的這種運動補償IP轉(zhuǎn)換部的情況下，與使用運動自適應(yīng)IP轉(zhuǎn)換部23的情況相比較，可以產(chǎn)生響應(yīng)于圖像的運動而被更加適當(dāng)插入的逐行信號。
應(yīng)注意，在本說明書中，以程序為基礎(chǔ)所執(zhí)行的步驟可以但并不必一定按照如上所述順序的時間序列來處理，而是可以包括在不以時間為序列進行處理的條件下并行或分別執(zhí)行的處理。
雖然已使用特定術(shù)語描述了本發(fā)明的優(yōu)選實施例，但是該描述僅起到例示性的作用，應(yīng)該理解，可在不脫離附加權(quán)利要求的精神或范圍內(nèi)作出各種改變和修改。
權(quán)利要求
1.一種用于將隔行信號轉(zhuǎn)換成逐行信號的圖像信號處理裝置，包括第一轉(zhuǎn)換單元，用于通過2·2下拉逆轉(zhuǎn)換將所述隔行信號轉(zhuǎn)換成逐行信號；第二轉(zhuǎn)換單元，用于通過運動自適應(yīng)IP轉(zhuǎn)換將所述隔行信號轉(zhuǎn)換成逐行信號；判定單元，用于算術(shù)運算所述隔行信號的兩個連續(xù)場圖像的相關(guān)值，并基于所述相關(guān)值判定所述兩個連續(xù)場圖像是否來源于垂直方向上的像素數(shù)與所述場圖像在垂直方向上的像素數(shù)相等的單個幀圖像；以及選擇單元，用于根據(jù)所述判定單元的判定結(jié)果，選擇所述第一轉(zhuǎn)換單元的轉(zhuǎn)換結(jié)果或所述第二轉(zhuǎn)換單元的轉(zhuǎn)換結(jié)果。
2.根據(jù)權(quán)利要求1所述的圖像信號處理裝置，其中，所述判定單元根據(jù)以下表達式來算術(shù)運算所述相關(guān)值p＝∑|f1(x，y)-f2(x，y-1)|q＝∑|f1(x，y)-f2(x，y+1)|S＝p/q p＞q時S＝q/p q≥p時其中，x是像素的水平坐標(biāo)；y是所述像素的垂直坐標(biāo)；y-1是緊接在所述垂直坐標(biāo)y的行之下的另一行的垂直坐標(biāo)；y+1是緊接在所述垂直坐標(biāo)y的行之上的另一行的垂直坐標(biāo)；f1是在一個所述場圖像的以括號中的坐標(biāo)表示的像素值；f2是在另一個所述場圖像的以括號中的坐標(biāo)表示的像素值；∑是總值；以及，S是所述相關(guān)值。
3.根據(jù)權(quán)利要求2所述的圖像信號處理裝置，其中，所述判定單元將所述相關(guān)值與預(yù)定的閾值進行比較，以判定所述兩個連續(xù)場圖像是否來源于垂直方向上的像素數(shù)與所述場圖像在垂直方向上的像素數(shù)相等的單個幀圖像。
4.根據(jù)權(quán)利要求1所述的圖像信號處理裝置，其中，所述第二轉(zhuǎn)換單元不使用所述運動自適應(yīng)IP轉(zhuǎn)換，而是使用運動補償IP轉(zhuǎn)換，其中，基于圖像之間的運動向量來插入像素，以將所述隔行信號轉(zhuǎn)換成逐行信號。
5.一種用于圖像信號處理裝置的圖像信號處理方法，所述圖像信號處理裝置用于將隔行信號轉(zhuǎn)換成逐行信號，所述方法包括以下步驟通過2·2下拉逆轉(zhuǎn)換將所述隔行信號轉(zhuǎn)換為逐行信號；通過運動自適應(yīng)IP轉(zhuǎn)換將所述隔行信號轉(zhuǎn)換為逐行信號；算術(shù)運算所述隔行信號的兩個連續(xù)場圖像的相關(guān)值，并基于所述相關(guān)值判定所述兩個連續(xù)場圖像是否來源于垂直方向上的像素數(shù)與所述場圖像在垂直方向上的像素數(shù)相等的單個幀圖像；以及根據(jù)判定結(jié)果，選擇所述第一轉(zhuǎn)換的結(jié)果或所述第二轉(zhuǎn)換的結(jié)果。
6.一種用于將隔行信號轉(zhuǎn)換成逐行信號的程序，所述程序使計算機執(zhí)行包括以下步驟的處理通過2·2下拉逆轉(zhuǎn)換將所述隔行信號轉(zhuǎn)換為逐行信號；通過運動自適應(yīng)IP轉(zhuǎn)換將所述隔行信號轉(zhuǎn)換為逐行信號；算術(shù)運算所述隔行信號的兩個連續(xù)場圖像的相關(guān)值，并基于所述相關(guān)值判定所述兩個連續(xù)場圖像是否來源于垂直方向上的像素數(shù)與所述場圖像在垂直方向上的像素數(shù)相等的單個幀圖像；以及根據(jù)判定結(jié)果，選擇所述第一轉(zhuǎn)換的結(jié)果或所述第二轉(zhuǎn)換的結(jié)果。
全文摘要
本發(fā)明披露了一種圖像信號處理裝置，用于將隔行信號轉(zhuǎn)換成逐行信號，該裝置包括第一轉(zhuǎn)換單元；第二轉(zhuǎn)換單元；判定單元；和選擇單元。
文檔編號H04N7/01GK1933584SQ20061012753
公開日2007年3月21日 申請日期2006年9月12日 優(yōu)先權(quán)日2005年9月12日
發(fā)明者田中鐵朗 申請人:索尼株式會社