專利名稱：根據(jù)寬矢量相關(guān)內(nèi)插象素的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用隔行掃描給出的象素?cái)?shù)據(jù)內(nèi)插省略行中的象素?cái)?shù)據(jù)的方法及其裝置，更具體地說，涉及利用寬矢量內(nèi)插方法高效地內(nèi)插具有各種方向的邊緣的方法及其裝置。
象素?cái)?shù)據(jù)的內(nèi)插本質(zhì)上是隔行掃描到逐行掃描的轉(zhuǎn)換(IPC)工作過程，該過程處理隔行掃描信號和將其轉(zhuǎn)換成逐行掃描的信號，執(zhí)行逐行掃描用以減小由于隔行掃描引起的諸如鋸齒形行，爬行，行抖動和場抖動的內(nèi)在含混。
最初，開發(fā)了用于NTSC系統(tǒng)內(nèi)插方法。隨后，提出了各種各樣的內(nèi)插方法，這些方法通過內(nèi)插通?；謴?fù)隔行掃描時(shí)省略的行。
慣用的內(nèi)插方法如下(1)簡單的行復(fù)制方案，垂直濾波、控制垂直邊緣的內(nèi)插(在1989年8月份出版的IEEE Transaction on Consumer Electronics.Vol35，No.3第279至289頁上公開，作者是D.I.C.Hentschei)；(2)依賴邊緣方向去隔行掃描方法(在1994年出版的Int Workshop onHDTV會刊上公開，作者是D.Bagni，R.Lancini，S.Landi和S.Tubaro)；(3)非線性內(nèi)插方法基于—加權(quán)中值濾波器(1989年5月出版的IEEE ISCAS-89學(xué)報(bào)第433至436頁上公開，作者是J.Jahola.A.Nieminen，J.Sal和Y Neuvo)。
—FIR中值混合內(nèi)差(1990年10月在瑞士洛桑舉行的SPIE的視頻通信與圖象處理會議的會刊第125至132頁公開過，作者是A.Lchtonen和M.Renfors)。
—互補(bǔ)中值濾波器(1994年在Int.WorkShop on HDTV會刊上公開，作者是H.Blume，I.Schwoerer和K.Zygis)。
—取決于方向的中值濾波器(1988年由North Holand的L.ChiariglionEd.Elsevier Science Publishers出版的《高清晰度電視的信號處理》(Signalprocessing ofHDTV)第421至430頁中公開，作者T.Doyle)，和—垂直瞬時(shí)軸中值濾波器(1986年在IEEE Transaction on ConsumerElectronics，Vol 32，No.3第237至240頁上公開，作者P.Frencken和在IEEEDigest of Technical Paper第186至187頁上公開，作者T.Doyle和PFrencken)；和(4)運(yùn)動自適應(yīng)方法(1989年8月在IEEE Transaction on ConsumerElectronics，Vol.33，No.3第266至271頁上公開，作者是N.Suzuki和1990年5月在IEEE Transaction on Consumer Electronics.Vol.36，No.2第110至114頁公開，作者是C.P Markhauser)。
然而，上述的普通的內(nèi)插方法限制了為恢復(fù)隔行掃描所省略的行所使用內(nèi)插操作的數(shù)據(jù)的范圍。結(jié)果，具有平緩斜度的各種方向的邊緣不能被檢測，它將使得通常的內(nèi)插方法不適宜于需要高清晰度的高清晰度電視(HDTV)。
為了解決以上的問題，本發(fā)明的目的在于提供利用加權(quán)的寬矢量的相關(guān)的兩維內(nèi)插法，其中用于內(nèi)插操作的數(shù)據(jù)的范圍擴(kuò)展是為了甚至是在有平緩斜度的邊緣中高效地內(nèi)插數(shù)據(jù)。
為了實(shí)現(xiàn)本發(fā)明的上述目的，本發(fā)明提供了對在由象素行組成圖象中所選擇的兩行間構(gòu)成一行的象素中所選擇的象素進(jìn)行內(nèi)插的方法，該象素內(nèi)插的方法包括如下的步驟(a)當(dāng)選擇要內(nèi)插的象素是I(n1，n2)時(shí)，采用與選擇的象素有關(guān)的三個(gè)相連的象素組成的窄矢量以獲得具有標(biāo)準(zhǔn)最小值的窄矢量；(b)當(dāng)具有在步驟(a)中得到的標(biāo)準(zhǔn)最小值的窄矢量的標(biāo)準(zhǔn)值小于預(yù)定的值時(shí)，使用具有標(biāo)準(zhǔn)最小值的窄矢量的象素執(zhí)行內(nèi)插，而當(dāng)具有在步驟(a)中得到標(biāo)準(zhǔn)最小值的窄矢量的標(biāo)準(zhǔn)值大于預(yù)定的值時(shí)，采用寬矢量以獲得具有標(biāo)準(zhǔn)最小值的寬矢量，該寬矢量由數(shù)量多于由2個(gè)選擇的行構(gòu)成的窄矢量的象素?cái)?shù)據(jù)的象素所構(gòu)成；和(c)使用具有在步驟(b)中得到的標(biāo)準(zhǔn)最小值的寬矢量的象素執(zhí)行內(nèi)插。
還提供了一種內(nèi)插象素的裝置，該象素是在由象素組成圖象中選擇的兩行間構(gòu)成一行的象素中的所選擇象素。該象素內(nèi)插裝置包括低通濾波裝置，它接收構(gòu)成兩個(gè)選擇的行的象素?cái)?shù)據(jù)和去除它們的高頻分量；相關(guān)裝置，它使用沒有通過低通濾波裝置的數(shù)據(jù)以計(jì)算和輸出有關(guān)選擇的象素的相鄰象素的垂直相關(guān)值，使用通過低通濾波裝置的數(shù)據(jù)計(jì)算和輸出窄矢量的標(biāo)準(zhǔn)最小值和寬矢量的最小值，并且輸出有關(guān)每一個(gè)都具有標(biāo)準(zhǔn)最小值的窄矢量和寬矢量的信息。
垂直濾波器裝置。用以接收構(gòu)成兩個(gè)選擇行的象素的數(shù)據(jù)和輸出垂直內(nèi)插值；窄矢量濾波器裝置，它用以接收構(gòu)成兩個(gè)選擇行的象素的數(shù)據(jù)和有關(guān)具有由相關(guān)裝置輸入的標(biāo)準(zhǔn)最小值的窄矢量的信息，和輸出基于窄矢量的第一內(nèi)插值；寬矢量濾波器裝置，它用以接收構(gòu)成兩個(gè)選擇行的象素的數(shù)據(jù)和有關(guān)具有由相關(guān)裝置輸入的標(biāo)準(zhǔn)最小值的寬矢量的信息，和輸出基于寬矢量的第二內(nèi)插值；和選擇裝置，它用以將垂直相關(guān)值、由相關(guān)裝置輸入的窄矢量標(biāo)準(zhǔn)最小值和寬矢量最小值分別與預(yù)定的第一和第二值比較，并且選擇和輸出垂直內(nèi)插值、第一與第二內(nèi)插值中的一個(gè)值。
參照說明書附圖描述本發(fā)明的優(yōu)選實(shí)施例。


圖1是解釋本發(fā)明第一實(shí)施例的內(nèi)插方法的流程圖；圖2A至2I是用以解釋窄矢量u和v以及用于本發(fā)明內(nèi)插的數(shù)據(jù)取樣的位置圖；圖3A至3C是用以解釋寬矢量u和v以及用于寬矢量的長度是5的本發(fā)明的內(nèi)插的數(shù)據(jù)取樣的位置圖；圖4是實(shí)現(xiàn)本發(fā)明第一實(shí)施例的內(nèi)插方法的內(nèi)插裝置的方框圖；圖5A、5B是解釋本發(fā)明第二實(shí)施例的內(nèi)插方法的流程圖；圖6是實(shí)現(xiàn)本發(fā)明第二實(shí)施例的內(nèi)插方法的內(nèi)插裝置的方框圖；下面將結(jié)合附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。
在說明書中，{I(n1－1，·)}和{I(n2－1，·)}代表隔行掃描的數(shù)據(jù)取樣。隔行掃描至逐行掃描轉(zhuǎn)換方法意味著對由隔行掃描給定的{I(n1－1，·)}和{I(n1＋1，·)}的數(shù)據(jù)取樣進(jìn)行內(nèi)插獲得在隔行掃描{I(n1，·)}中所略去的行的圖象數(shù)據(jù)。此后，將依照在獲得在隔行掃描中省略的行的象素?cái)?shù)據(jù)I(n1，n2)的情形中描述本發(fā)明的實(shí)施例。
圖1是表示根據(jù)本發(fā)明第一實(shí)施例基于寬矢量相關(guān)的內(nèi)插方法的流程圖。垂直內(nèi)插被認(rèn)作圖1的第一步驟。垂直內(nèi)插得到了在垂直方向上接近的圖象數(shù)據(jù)的加權(quán)平均值，它之所以廣泛使用是由于操作簡便和容易實(shí)施。
當(dāng)在垂直方向相連的圖象數(shù)據(jù)具有很高的相關(guān)性時(shí)，垂直內(nèi)插將提供滿意的結(jié)果。然而，當(dāng)存在垂直邊緣時(shí)，垂直清晰度將下降。同時(shí)，當(dāng)邊緣的斜度平緩并因此在很寬的范圍內(nèi)存在邊緣時(shí)，整個(gè)圖象抖動。
因此，在這個(gè)實(shí)施例中，首先計(jì)算在垂直方向上相連的數(shù)據(jù)取樣行之間的相關(guān)度，然后判斷垂直內(nèi)插是否適合。當(dāng)垂直相關(guān)的判斷結(jié)果是高的話，執(zhí)行垂直內(nèi)插。否則，在進(jìn)行下一步驟時(shí)使用更多的圖象數(shù)據(jù)取樣。
在垂直方向上相連的數(shù)據(jù)取樣間的相關(guān)由下面的方程(1)計(jì)算。
Dv＝|I(n1－1，n2)－I(n1＋1，n2)|(1)由方程(1)計(jì)算的Dv的值變得越小，垂直相關(guān)就越高。因此，在這個(gè)實(shí)施例中，參考相關(guān)值預(yù)定為Tv。當(dāng)計(jì)算的值Dv小于預(yù)定的值Tv時(shí)，用垂直內(nèi)插計(jì)算象素?cái)?shù)據(jù)I(n1，n2)。由于垂直內(nèi)插獲得在垂直方向上接近的圖象數(shù)據(jù)的加權(quán)平均值，由下面的方程(2)計(jì)算垂直內(nèi)插圖象數(shù)據(jù)Iv。
Iv(n1，n2)＝w-1I(n1－1，n2)＋W+1I(n1＋1，n2)(2)在方程(2)中，w-1和w+1表示相應(yīng)的取樣的加權(quán)值，其中w-1＋w+1＝1。
在這個(gè)實(shí)施例中的第1步驟由下面的方程(3)表示。
I(n1，n2)＝Iv(n1，n2)，如果Dv＜Tv(3)當(dāng)垂直相連的數(shù)據(jù)取樣具有低的相關(guān)和因而Dv大于Tv時(shí)，垂直內(nèi)插就不適合。在這種情況下，進(jìn)行第二步驟。當(dāng)Dv大于Tv，應(yīng)當(dāng)使用基于邊緣方向的內(nèi)插方法。在第二步驟中進(jìn)行對有較大斜率的邊緣的處理。
在第二步驟中，用每一個(gè)有長度為3的窄矢量判斷相關(guān)性。每一個(gè)有長度為3的窄矢量u(l)和v(m)由方程(4)和(5)定義。使用低通濾波的數(shù)據(jù)取樣J(n1－1，·)，J(n1＋1，·)定義窄矢量u(l)和v(m)，這將減小給定的數(shù)據(jù)取樣中的高頻分量對相關(guān)度計(jì)算結(jié)果的影響。
u(l)＝[J(n1－1，n2＋l－1)，J(n1－1，n2＋l)，J(n1－1，n2＋l＋1)]＝[u-1(l)，u0(l)，u+1(l) (4)v(m)＝[J(n1＋1，n2＋m－1)，J(n1＋1，n2＋m)，J(n1＋1，n2＋m＋1)]＝[v-1(m)，v0(m)，v+1(m)] (5)在方程(4)中，u(l)是參照I(n1，n2)由3個(gè)相連的數(shù)據(jù)取樣的低通濾波的值組成，這些取樣值位于和n2垂直軸相距l(xiāng)的位置。
在方程(5)中，v(m)是參照I(n1，n2)由3個(gè)相連的數(shù)據(jù)取樣的低通濾波的值組成，這些取樣值位于和n2垂直軸相距m的位置。
判斷邊緣的方向是否適合窄矢量的內(nèi)插。計(jì)算窄矢量的加權(quán)標(biāo)準(zhǔn)以發(fā)現(xiàn)窄矢量是高的相關(guān)。
由下面的方程(6)定義窄矢量的加權(quán)標(biāo)準(zhǔn)DnDn(l,m)=1KΣi=-11|ui(l)-vi(m)|ci----(6)]]>在方程(6)中，ci表示加權(quán)值，K＝c-1＋c0＋c+1。
在方程(6)中定義的加權(quán)標(biāo)準(zhǔn)Dn代表兩個(gè)矢量u(l)和v(m)間的相似性。由于兩矢量高度相關(guān)，兩矢量的相似性變得較高，則Dn的值變得較小。兩矢量的相關(guān)變得較低，則Dn的值變得較大。例如，在兩個(gè)矢量相同的情況下，Dn的值是0。
l和m表示有關(guān)兩個(gè)矢量從n2垂直軸算起的距離。l和m在+1和-1間變化，以及Dn由方程(6)計(jì)算出來以便找到具有最小Dn的兩個(gè)矢量。為了簡化第二步驟中的計(jì)算，限制l和m的變化范圍。這就是l，m∈[-1，+1]。
假設(shè)具有最小值Dn的l和m是l’和m’，Dn變?yōu)镈n’，它由下面的公式(7)表示。
Dn(l’，m’)＝Min{Dn(l，m)|l＝-1，0，+1，m＝-1，0，+1}(7)Dn(l’，m’)表示在與I(n1，n2)相鄰的窄矢量中具有最大相關(guān)的窄矢量間的相關(guān)程度。當(dāng)Dn(l’，m’)小于預(yù)定的Tn時(shí)，窄矢量高度相關(guān)，它將適合第二步驟的內(nèi)插。在這種情況下，根據(jù)確定的l’和m’的數(shù)據(jù)取樣被內(nèi)插以得到I(n1，n2)。同時(shí)，當(dāng)Dn(l’，m’)，大于預(yù)定的Tn時(shí)，窄矢量低度相關(guān)。因此，使用寬矢量進(jìn)行第三步驟。
圖2A到圖2F是用以解釋根據(jù)l’和m’的窄矢量u(l’)和v(m’)的位置以及用以獲得I(n1，n2)的數(shù)據(jù)取樣的圖示。
在圖2A至圖2F中，符號“×”表示內(nèi)插獲得的I(n1，n2)的點(diǎn)。相對“×”的上面行的窄矢量u(l)和下面行的窄矢量v(m)分別由“●”和“○”表示。符號“●”表示幾何位置鄰近I(n1，n2)的取樣，其中I(n1，n2)是通過由內(nèi)插符號“●”表示的點(diǎn)的數(shù)據(jù)取樣而確定的。例如，當(dāng)(l’，m’)＝(-1，-1)時(shí)，也就是l’＝-1和m’＝-1，如圖2A所示，Dn減至最小。通過對幾何相鄰的由“●”表示的I(n1－1，n2)和I(n1＋1，n2)求算術(shù)平均值確定I(n1，n2)。當(dāng)在圖2B中(l’，m’)＝(-1，0)時(shí)，通過對由“●”表示的I(n1－1，n2－1)，I(n1－1，n2)，I(n1＋1，n2)和I(n1＋1，n2＋1)求算術(shù)平均值確定I(n1，n2)。
當(dāng)在第二步驟中由內(nèi)插確定的I(n1，n2)是In(n1，n2)時(shí)，參照圖3A至圖3C根據(jù)l’和m’確定的In(n1，n2)可以如方程(8)至(16)表示。In(n1,n2)=I(n1-1,n2)+I(n1+1,n2)2]]>如果(l’，m’)＝(-1，-1)(8)In(n1,n2)=I(n1-1,n2-1)+I(n1-1,n2)+I(n1+1,n2)+I(n1+1,n2+1)4]]>如果(l’，m’)＝(-1，0) (9)In(n1,n2)=I(n1-1,n2-1)+I(n1+1,n2+1)2]]>如果(l’，m’)＝(-1，1) (10)In(n1,n2)=I(n1-1,n2)+I(n1-1,n2+1)+I(n1+1,n2-1)+I(n1+1,n2)4]]>如果(l’，m’)＝(0，-1) (11)In(n1,n2)=I(n1-1,n2)+I(n1+1,n2)2]]>如果(l’，m’)＝(0，0) (12)In(n1,n2)=I(n1-1,n2-1)+I(n1-1,n2)+I(n1+1,n2)+I(n1+1,n2+1)4]]>如果(l’，m’)＝(0，1) (13)In(n1,n2)=I(n1-1,n2+1)+I(n1+1,n2-1)2]]>如果(l’，m’)＝(1，-1) (14)In(n1,n2)=I(n1-1,n2)+I(n1-1,n2+1)+I(n1+1,n2-1)+I(n1+1,n2)4]]>如果(l’，m’)＝(1，0) (15)In(n1,n2)=I(n1-1,n2)+I(n1+1,n2)2]]>如果(l’，m’)＝(1，1) (16)這個(gè)實(shí)施例中的第2步驟可以由下面的方程(17)概括。
I(n1，n2)＝In(n1，n2) 如果Dv＞Tv并且Dn(l’，m’)＜Tn(17)當(dāng)在第2步驟中Dn(l’，m’)大于預(yù)定的值Tn時(shí)，窄矢量的相關(guān)是小的，在這種情況下使用窄矢量的內(nèi)插是不合適的。因此使用寬矢量進(jìn)行下一步驟。
在本實(shí)施例第三步驟中使用的寬矢量按下面的方程(18)和(19)定義。類似窄帶矢量，為了減小高頻分量對相關(guān)的計(jì)算的影響，使用低通濾波的數(shù)據(jù)取樣J(n1－1，·)J(n1＋1，·)定義寬矢量。
U(l)＝[J(n1－1，n2-L＋l)，…，J(n1－1，n2＋l)，…，J(n1－1，n2＋L＋l)]＝[U-L(l)，…，U0(l)，…，UL(l)] (18)
V(m)＝[J(n1＋1，n2－L－l＋m)，…，J(n1＋1，n2－l＋m)，…，J(n1＋1，n2＋L－l＋m)]＝[V-L(m)，…，V0(m)，…，VL(m)](19)這里的L是常量，它涉及寬矢量的長度。每個(gè)寬矢量的長度是2L＋1，其中L大于或等于2。以上定義的寬矢量的影向大于窄矢量的影響。
根據(jù)方程18，寬矢量U(l)包含(2L＋1)數(shù)據(jù)取樣的低通濾波的值，該數(shù)據(jù)取樣與和垂直軸n2相隔l的點(diǎn)相鄰，而且該點(diǎn)在I(n1，n2)的上面的行上。根據(jù)方程(19)，V(0)是U(l)相對I(n1，n2)的對稱的點(diǎn)。將V(0)移動m而獲得V(m)，V(0)點(diǎn)是對稱于U(l)的點(diǎn)，其長度與U(l)相同為2L＋1。
在第三步驟中，定義寬矢量的加權(quán)標(biāo)準(zhǔn)Dw(l，m)，以判斷寬矢量間的相關(guān)。寬矢量的加權(quán)標(biāo)準(zhǔn)Dw(l，m)由下面的方程(20)表示。DW(l,m)=1MΣi=-LL|U1(l)-V1(m)|Ci----(20)]]>這里的Ci是加權(quán)值以及M＝∑Ci。
正象Dn那樣，Dw值越小，相關(guān)值就越高。
在方程(18)和(19)定義的寬矢量中，變化l和m以便找到寬矢量加權(quán)標(biāo)準(zhǔn)Dw是最小值的寬矢量。具有最小值Dw的寬矢量具有最大的相關(guān)。
為了在第三步驟中找到具有最小值Dw的寬矢量，限制l的變化范圍，如l∈[-S，+S]。在此，為了減小該行鄰近終端處的誤差，S小于或等于L，L是涉及寬矢量的長度2L＋1的常量。
m的變化是取-1，0和1中的一個(gè)值。由于V(m)點(diǎn)與U(l)對稱，將與U(l)對稱的V(0)點(diǎn)移動m得到V(m)，即使在[-1，0，+1]的情況下，此變化范圍也是足夠的。
如上所述，改變l和m以得到使Dw最小化的l和m，在Dw中l(wèi)和m分別定義為l”和m”。最小的Dw由下面的方程(21)表示Dw(l”，m”)＝Min{Dw(l，m)|l＝-S，…，0，…，+S和m＝-1，0，+1} (21)在方程(21)中確定l”和m”，用于內(nèi)插的寬矢量被確定。根據(jù)l”和m”對位于每個(gè)寬矢量的中心的數(shù)據(jù)取樣求算平均值來執(zhí)行這個(gè)實(shí)施例中的第三步驟的內(nèi)插。
在第三步驟中由內(nèi)插得到的I(n1，n2)的值由下面的方程(22)表示IW(n1,n2)=I(n1-1,n2+l′″)+I(n1+1,n2-l″′+m′″)2----(22)]]>
這個(gè)實(shí)施例的第三步驟可以概括為下面的方程(23)。
I(n1，n2)＝Iw(n1，n2) 如果Dv＞Tv并且Dn(l’，m’)＞Tn(23)圖3A至圖3C用以解釋數(shù)據(jù)取樣，該數(shù)據(jù)取樣用以根據(jù)在此實(shí)施例中確定的l”和m”獲得寬矢量U和V及I(n1，n2)的位置，在這個(gè)實(shí)施例中寬矢量的長度是5(L＝2)。
在圖3A至圖3C中，符號“×”表示通過內(nèi)插得到的I(n1，n2)的位置，符號“●”表示用于內(nèi)插的寬矢量的中心數(shù)據(jù)。例如，在圖3A中，使Dw最小化的(l”，m”)是(-2，0)。正如在這種情況下由“●”所示，通過對U(-2)的中心數(shù)據(jù)I(n1－1，n2－2)和V(0)的中心數(shù)據(jù)I(n1＋1，n2＋2)求算術(shù)平均值得以確定I(n1，n2)。
圖4是實(shí)現(xiàn)前面所述的本發(fā)明的第一實(shí)施例的內(nèi)插方法的內(nèi)插裝置的方框圖。
在圖4中，由隔行掃描給出的數(shù)據(jù)取樣I(n1－1，·)和I(n1＋1，·)直接輸入給相關(guān)器部分20和通過低通濾波器(LPF)10間接輸入給相關(guān)器部分20。由LPF10低通濾波的數(shù)據(jù)取樣表示為J(n1－1，·)和J(n1＋1，·)。
在相關(guān)器部分20中的第一相關(guān)器21由給定的數(shù)據(jù)取樣I(n1－1，·)和I(n1＋1，·)計(jì)算和輸出Dv。在相關(guān)器部分20中的第二相關(guān)器22由低通濾波的數(shù)據(jù)取樣J(n1－1，·)和J(n1＋1，·)得到使Dn最小化的l’和n’并輸出l’，m’和Dn(l’，m’)。在相關(guān)器部分20中的第三相關(guān)器23從低通濾波的數(shù)據(jù)取樣J(n1－1，·)和J(n1＋1，·)得到使Dw最小化的l”和m”并輸出l”和m”和Dw(l”，m”)。
寬矢量濾波器30接收來自第三相關(guān)器23的l”和m”和給定的數(shù)據(jù)取樣I(n1－1，·)和I(n1＋1，·)，并且輸出根據(jù)寬矢量的內(nèi)插值Iw(n1，n2)。
窄矢量濾波器40接收來自第二相關(guān)器22的l’和m’以及給定的數(shù)據(jù)取樣I(n1－1，·)和I(n1＋1，·)，并且輸出根據(jù)窄矢量的內(nèi)插值In(n1，n2)。
垂直濾波器50接收給定的數(shù)據(jù)取樣I(n1－1，·)和I(n1+1，·)和輸出垂直內(nèi)插值Iv(n1，n2)。
選擇器60接收預(yù)定的Tv和Tn、來自第一相關(guān)器21的Dv、來自第二相關(guān)器22的Dn(l’，m’)、來自寬矢量濾波器30的Iw、來自窄矢量濾波器40的In和來自垂直濾波器50的Iv，并且當(dāng)Dv＜Tv時(shí)選擇和輸出Iv、當(dāng)Dv＜Tv和Dn(l’，m’)＜Tn時(shí)選擇和輸出In、當(dāng)Dv＞Tv和Dn(l’，m’)＜Tn時(shí)選擇和輸出Iw。
在用于內(nèi)插的數(shù)據(jù)邊界根據(jù)邊緣的方向調(diào)整以后，來自上述裝置的內(nèi)插值輸出變?yōu)镮(n1，n2)。
圖5是解釋本發(fā)明第二實(shí)施例的內(nèi)插方法的流程圖。類似第一實(shí)施例，第二實(shí)施例包括根據(jù)垂直相關(guān)的程度執(zhí)行垂直內(nèi)插的第一步驟、根據(jù)窄矢量執(zhí)行內(nèi)插的第二步驟和根據(jù)寬矢量執(zhí)行內(nèi)插的第三步驟。
而且，Dv，Dn和Dw，窄矢量u和v以及寬矢量U和V和內(nèi)插值Iv，In和Iw按與第一實(shí)施例相同的方式定義。
在執(zhí)行垂直內(nèi)插的第一步驟中，當(dāng)垂直相關(guān)值Dv小于預(yù)定的Tv時(shí)，輸出垂直內(nèi)插的值Iv(n1，n2)。當(dāng)在第一步驟中Dv大于Tv時(shí)，進(jìn)行第二步驟。
在第二步驟中采用窄矢量。在第二實(shí)施例中的第二步驟不由簡單地具有最小值標(biāo)準(zhǔn)的窄矢量執(zhí)行內(nèi)插。如果在窄矢量的左和右兩個(gè)方向上發(fā)現(xiàn)邊緣，則認(rèn)為出現(xiàn)差錯(cuò)。簡單的垂直內(nèi)插能滿足這種情形的需要。因此，在第二個(gè)實(shí)施例中，當(dāng)左方向邊緣(l’，m’)是(-1，0)，(-1，1)或(0，1)時(shí)獲得了最小值Dn，當(dāng)右方向邊緣(l’，m’)是(0，1)，(1，-1)或(1，0)時(shí)，得到最小值Dn。假設(shè)前者是Dn-L和后者是Dn-R，當(dāng)Dn-L和Dn-R中的一個(gè)小于預(yù)定的Tn時(shí)，根據(jù)對應(yīng)的窄矢量執(zhí)行內(nèi)插。當(dāng)Dn-L和Dn-R二者大于預(yù)定的Tn時(shí)，使用寬矢量進(jìn)行第三步驟。當(dāng)Dn-L和Dn-R二者小于預(yù)定的Tn時(shí)，由于在兩個(gè)方向上均產(chǎn)生邊緣而執(zhí)行簡單的垂直內(nèi)插。
在第三步驟中，為對付差錯(cuò)的產(chǎn)生在兩個(gè)方向上計(jì)算Dw。計(jì)算的Dw與預(yù)定的Tw比較。在判斷了邊緣的方向之后執(zhí)行內(nèi)插。在這里，l的變化區(qū)域限定如[-S，S]兩個(gè)值，其中，S的初始值設(shè)為2。m的變化取-1，0或+1中的一個(gè)。首先，當(dāng)l是-S和l是+S時(shí)，得到了使Dw最小化的m。然后，假設(shè)當(dāng)l是-S時(shí)，使Dw最小化的m是m-S，而當(dāng)l是+S時(shí)，使Dw最小化的m是m+S。在這種情況下，用下面的方程(24)表示Dw。
Dw(-S，m-S)＝Min{Dw(-S，m)|m＝-1，0，1}Dw(+S，m+S)＝Min{Dw(+S，m)|m＝-1，0，1}(24)然而，如果Dw(-S，m-S)和Dw(+S，m+S)分別與設(shè)定為用于判斷相關(guān)的參考值的預(yù)定Tw相比較，可以得到邊緣的取向。當(dāng)l是-S時(shí)，邊緣取左上部位到右下部位傾斜的斜度。當(dāng)l是+S時(shí)，邊緣最右上部位到左下部位傾斜的斜度。因此，當(dāng)Dw(-S，m-S)小于Tw且Dw(+S，m+S)大于Tw時(shí)，左上部位的數(shù)據(jù)與右下部位的數(shù)據(jù)有高度相關(guān)性。因此，邊緣取從左上部位到右下部位傾斜的斜度。
在比較結(jié)果中，當(dāng)Dw(-S，m-S)和Dw(+S，m+S)中的一個(gè)小于預(yù)定的Tw時(shí)，使用對應(yīng)的寬矢量U(-S)和V(m-S)或U(+S)和V(m+S)執(zhí)行內(nèi)插。當(dāng)Dw(-S，m-S)小于Tw且Dw(+S，m+S)大于Tw時(shí)，使用寬矢量U(-S)和V(m-S)間的中心點(diǎn)執(zhí)行內(nèi)插。當(dāng)Dw(-S，m-S)大于Tw且Dw(+S，m+S)小于Tw時(shí)，使用寬矢量U(+S)和V(m+S)間的中心點(diǎn)執(zhí)行內(nèi)插。
同時(shí)，在比較結(jié)果中，當(dāng)Dw(-S，m-S)和Dw(+S，m+S)二者小于預(yù)定的Tw，可以發(fā)現(xiàn)雙向的邊緣。這可以被認(rèn)為已實(shí)際出現(xiàn)了差錯(cuò)和在很多部分產(chǎn)生了高頻分量。由于在這種情況下不可能檢測到邊緣的取向，所以為有更好的圖象質(zhì)量更傾向于執(zhí)行簡單的垂直內(nèi)插。
同時(shí)，在比較結(jié)果中，當(dāng)Dw(-S，m-S)和Dw(+S，m+S)二者大于預(yù)定的Tw時(shí)， S增加“1”，則當(dāng)l是-S或+S時(shí)，得到Dw(-S，m-S)和Dw(+S，m+S)。然后，所得到的Dw(-S，m-S)和Dw(+S，m+S)重復(fù)地和預(yù)定的Tw比較。雖然執(zhí)行上面的重復(fù)比較直至S變?yōu)長，如果邊緣的取向沒有發(fā)現(xiàn)，也執(zhí)行簡單的垂直內(nèi)插。
在該實(shí)施例的第三步驟中，使用寬矢量得到的I(n1，n2)表示為Iw1(n1，n2)或Iw2(n1，n2)，如下面的方程(25)至方程(28)所示。IW1(n1,n2)=I(n1-1,n2-S)+I(n1+1,n2+S+m-S)2]]>如果Dw(-S，m-S)≤Tw，Dw(+S，m+S)＞Tw(25)IW1(n1,n2)=I(n1-1,n2+S)+I(n1+1,n2-S+m+S)2]]>如果Dw(-S，m-S)＞Tw，Dw(+S，m+S)≤Tw(26)I(n1-n2)=IV(n1,n2)=I(n1-1,n2)+I(n1+1,n2)2]]>如果Dw(-S，m-S)≤Tw，Dw(+S，m+S)≤Tw(27)如果Dw(-S，m-S)＞Tw，Dw(+S，m+S)＞TwS＝S＋1如果Dw(-L，m-L)＞Tw，Dw(+L，m+L)＞Tw(28)I(n1,n2)=IV(n1,n2)=I(n1-1,n2)+I(n1+1,n2)2]]>圖6是實(shí)施本發(fā)明第二實(shí)施例的內(nèi)插方法的內(nèi)插裝置的方框圖。
在圖6中，由隔行掃描給出的數(shù)據(jù)取樣I(n1-1，·)和I(n1＋1，·)直接輸入給相關(guān)器部分20和通過低通濾波器(LPF)10間接地輸入給相關(guān)器部分20。由低通濾波器10低通濾波的數(shù)據(jù)取樣用J(n1－1，·)和J(n1＋1，·)表示。
在相關(guān)器部分20中的第一相關(guān)器21由給出的數(shù)據(jù)取樣I(n1－1，·)和I(n1＋1，·)計(jì)算和輸出Dv。在相關(guān)器部分20中的第二相關(guān)器22由低通濾波的數(shù)據(jù)取樣J(n－1，·)和J(n＋1，·)得到使左邊緣的Dn-L和右邊緣的Dn-R最小的l’和m’并且輸出l’，m’，Dn-L(l’，m’)和Dn-R(l’，m’)。在相關(guān)器部分20中的第三相關(guān)器23由低通濾波的數(shù)據(jù)取樣J(n1－1，·)和J(n1＋1，·)得到使Dw(-S，m)和Dw(+S，m)最小的m-S和m-S并且輸出(-S，m)，(+S，n)， Dw(-S，m)和Dw(+S，m)。
寬矢量濾波器30接收來自第三相關(guān)器23的(-S，m)和(+S，m)和給定的數(shù)據(jù)取樣I(n1－1，·)和I(n1＋1，·)并且輸出基于寬矢量的內(nèi)插值Iw1(n1，n2)和Iw2(n1，n2)。
窄矢量濾波器40接收來自第二相關(guān)器22的l’和m’以及給定的數(shù)據(jù)取樣I(n1－1，·)和I(n1＋1，·)并且輸出基于窄矢量的內(nèi)插值In(n1，n2)。
垂直濾波器50接收給定的數(shù)據(jù)取樣I(n1－1，·)和I(n1＋1，·)，并且輸出垂直內(nèi)插值Iv(n1，n2)。
選擇器60接收預(yù)定的Tv和Tn、來自第一相關(guān)器21的Dv，來自第二相關(guān)器22的Dn(l’，m’)、來自寬矢量濾波器30的Iw、來自窄矢量濾波器40的In和來自垂直濾波器50的Iv，并且當(dāng)Dv＜Tv時(shí)選擇輸出Iv，當(dāng)Dv＜Tv和Dn(l’，m’)＜Tn時(shí)選擇輸出In、當(dāng)Dv＞Tv和Dn(l’，m’)＜Tn時(shí)選擇輸出Iw。
如上所述，本發(fā)明能根據(jù)相關(guān)程度高效地內(nèi)插具有不同方向的邊緣。當(dāng)由于廣泛相關(guān)而邊緣具有平緩的斜度時(shí)，使用寬矢量執(zhí)行內(nèi)插。當(dāng)由于高頻分量出現(xiàn)差錯(cuò)，諸如發(fā)現(xiàn)雙向邊緣時(shí)，則執(zhí)行簡單的垂直內(nèi)插。
在此僅對一些實(shí)施例進(jìn)行了具體描述，然而，在不離開本發(fā)明的思路和范圍的情況下顯然可以進(jìn)行很多的改進(jìn)。
權(quán)利要求
1.一種內(nèi)插象素的方法，用于內(nèi)插在由象素行組成的圖象中選擇的兩行之間構(gòu)成一行的象素中選擇的象素，該象素內(nèi)插方法包括如下的步驟(a)當(dāng)被選擇要內(nèi)插的所述象素是I(n1，n2)時(shí)，采用窄矢量，對于所述選擇的象素有關(guān)的3個(gè)相連的象素，該矢量可用下面的方程(1)和(2)表示，從而得到具有如下面的方程(3)給出的標(biāo)準(zhǔn)最小值的每個(gè)窄矢量；(b)當(dāng)具有在步驟(a)中得到的標(biāo)準(zhǔn)最小值的窄矢量的標(biāo)準(zhǔn)值小于預(yù)定的值時(shí)，使用具有標(biāo)準(zhǔn)最小值的窄矢量的象素執(zhí)行內(nèi)插，而當(dāng)具有步驟(a)中得到的標(biāo)準(zhǔn)最小值的窄矢量的標(biāo)準(zhǔn)值大于預(yù)定的值時(shí)，采用寬矢量，該寬矢量用下面的方程(4)和(5)表示并且由從兩個(gè)選擇的行來的多于所述窄矢量象素?cái)?shù)的象素所構(gòu)成，從而得到具有如下的方程(6)所給出的標(biāo)準(zhǔn)最小值的每個(gè)寬矢量；和(c)使用具有步驟(b)中得到的標(biāo)準(zhǔn)最小值的寬矢量的象素執(zhí)行內(nèi)插，u(l)＝[J(n1－1，n2＋l－1)，J(n1－1，n2＋l)，J(n1－1，n2＋l＋1)]＝[u-1(l)，u0(l)，u+1(l)](1)v(m)＝[J(n1＋1，n2＋m－1)，J(n1＋1，n2＋m)，J(n1＋1，n2＋m＋1)]＝[v-1(m)，v0(m)，v+1(m)](2)這里的J是由低通濾波所述方程(1)和(2)中的I而得到的，而且l和m的范圍表示為l，m∈[1，1]，Dn(l,m)=1KΣi=-11|u1(l)-vi(m)|ci----(3)]]>這里的ci表示加權(quán)值并且K＝c-1＋c0＋c+1，U(l)＝[J(n1－1，n2－L＋l)…，J(n1－1，n2＋l)，…，J(n1－1，n2＋L＋l)]＝[U-L(l)，…，U0(l)，…，UL(l) (4)V(m)＝[J(n1＋1，n2－L－l＋m)，…，J(n1＋1，n2－l＋m)，…，J(n1＋1，n2＋L－l＋m)]＝[V-L(m)，…，V0(m)，…，VL(m)] (5)這里的J是由低通濾波在方程(4)和(5)中的I而得到的，以及在寬矢量長度(2L＋1)中的L是大于或等于2的常數(shù)，且其中m的范圍在方程(5)中表示為m∈[-1，1 ]，和DW(l,m)=1MΣi=-LL|U1(l)-Vi(m)|Ci----(6)]]>這里的Ci表示加權(quán)值和M＝∑Ci。
2.根據(jù)權(quán)利要求1的象素內(nèi)插方法，還包括一垂直內(nèi)插的判斷，即，是在執(zhí)行所述步驟(a)之前對位于兩所選擇行的兩個(gè)被選擇象素的垂直位置上的兩象素的垂直內(nèi)插值執(zhí)行垂直內(nèi)插，或是執(zhí)行所述步驟(a)。
3.根據(jù)權(quán)利要求1的象素內(nèi)插方法，其中，在所述步驟(a)中得到相對左和右方向的具有標(biāo)準(zhǔn)最小值的窄矢量；和當(dāng)相對左和右方向的標(biāo)準(zhǔn)最小值中的一個(gè)小于預(yù)定的Tn時(shí)，使用窄矢量執(zhí)行內(nèi)插；當(dāng)二者均大于Tn時(shí)，進(jìn)行所述步驟(c)；以及當(dāng)二者均小于Tn時(shí)，由于在執(zhí)行使用窄矢量內(nèi)插的所述步驟(b)中在兩個(gè)方向上產(chǎn)生邊緣，而執(zhí)行簡單的垂直內(nèi)插。
4.根據(jù)權(quán)利要求1的象素內(nèi)插方法，其中，在所述步驟(a)中當(dāng)l為滿足2≤S≤L的-S或+S時(shí)，m在[1，1]的邊界上變化，從而得到具有最小標(biāo)準(zhǔn)值的寬矢量；以及當(dāng)l是-S和+S時(shí)具有最小標(biāo)準(zhǔn)值的寬矢量的標(biāo)準(zhǔn)值，分別與預(yù)定的值比較以檢測邊緣的取向，并且在步驟(c)中根據(jù)該邊緣的取向執(zhí)行內(nèi)插。
5.根據(jù)權(quán)利要求4的象素內(nèi)插方法，其中，在步驟(c)中，如果當(dāng)l為-S時(shí)的寬矢量的最小標(biāo)準(zhǔn)值和當(dāng)l為+S時(shí)的寬矢量的最小標(biāo)準(zhǔn)值中的一個(gè)小于預(yù)定的值，則使用該寬矢量執(zhí)行內(nèi)插；如果當(dāng)l為-S時(shí)的寬矢量的最小標(biāo)準(zhǔn)值和當(dāng)l為+S時(shí)的寬矢量的最小標(biāo)準(zhǔn)值二者都小于該預(yù)定的值，則執(zhí)行垂直內(nèi)插；以及如果當(dāng)l為-S時(shí)的寬矢量的最小標(biāo)準(zhǔn)值和當(dāng)l為+S時(shí)的寬矢量的最小標(biāo)準(zhǔn)值二者都大于該預(yù)定的值，則i)當(dāng)S＜L，S增加并然后重復(fù)上面的處理過程，和ii)當(dāng)S＝L時(shí)，執(zhí)行垂直內(nèi)插。
6.根據(jù)權(quán)利要求1的象素內(nèi)插方法，其中，在所述步驟(b)中，通過對與在具有最小標(biāo)準(zhǔn)值的窄矢量的象素中的所選擇象素接近的象素的數(shù)據(jù)求算術(shù)平均值來執(zhí)行使用窄矢量的內(nèi)插。
7.根據(jù)權(quán)利要求1的象素內(nèi)插方法，其中，在所述步驟(c)中，通過對在具有最小標(biāo)準(zhǔn)值的寬矢量的象素中的寬矢量中心象素的數(shù)據(jù)求算術(shù)平均值來執(zhí)行使用寬矢量的內(nèi)插。
8.一種內(nèi)插象素裝置，用于內(nèi)插在由象素行構(gòu)成的圖象中選擇的兩行之間構(gòu)成一行的象素中選擇的象素，該象素內(nèi)插裝置包括相關(guān)裝置，它使用構(gòu)成兩個(gè)選擇行的象素的數(shù)據(jù)來計(jì)算和輸出相應(yīng)于與所述選擇象素有關(guān)的相連的象素的垂直相關(guān)值、窄矢量的標(biāo)準(zhǔn)最小值和寬矢量的最小值，并且輸出有關(guān)窄矢量和寬矢量的信息；垂直濾波裝置，它接收構(gòu)成兩個(gè)選擇行的象素的數(shù)據(jù)和輸出垂直內(nèi)插值；窄矢量濾波器裝置，它接收構(gòu)成兩個(gè)選擇行的象素的數(shù)據(jù)和有關(guān)具有從所述相關(guān)裝置輸入的標(biāo)準(zhǔn)最小值的窄矢量的信息，并輸出基于窄矢量的第一內(nèi)插值；寬矢量濾波器裝置，它接收構(gòu)成兩個(gè)選擇行的象素的數(shù)據(jù)和有關(guān)具有從所述相關(guān)裝置輸入的標(biāo)準(zhǔn)最小值的寬矢量的信息，并輸出基于寬矢量的第二內(nèi)插值；選擇裝置，它將由所述相關(guān)裝置輸入的垂直相關(guān)值、窄矢量的標(biāo)準(zhǔn)最小值和寬矢量的最小值分別與預(yù)定的第一和第二值比較，并選擇和輸出所述第一和第二內(nèi)插值中的一個(gè)。
9.根據(jù)權(quán)利要求8的象素內(nèi)插裝置，還包括，在計(jì)算窄矢量和寬矢量的標(biāo)準(zhǔn)值以前除去構(gòu)成兩個(gè)選擇行的象素?cái)?shù)據(jù)的高頻分量的低通濾波器。
10.根據(jù)權(quán)利要求9的象素內(nèi)插裝置，其中，所述相關(guān)裝置包括第一相關(guān)器，它接收構(gòu)成兩個(gè)選擇行的象素?cái)?shù)據(jù)和輸出與一個(gè)選擇象素相鄰的象素的垂直相關(guān)值；第二個(gè)相關(guān)器，它接收在所述低通濾波裝置中低通濾波過的象素?cái)?shù)據(jù)和輸出與一個(gè)選擇象素相鄰的象素的窄矢量的最小標(biāo)準(zhǔn)值和與之對應(yīng)的窄矢量信息；和第三個(gè)相關(guān)器，它接收在所述低通濾波裝置中低通濾波過的象素?cái)?shù)據(jù)和輸出與一個(gè)選擇象素相鄰的象素的寬矢量的最小標(biāo)準(zhǔn)值和與之對應(yīng)的寬矢量信息。
11.根據(jù)權(quán)利要求10的象素內(nèi)插裝置，其中，所述第二相關(guān)器輸出邊緣左和右方向的窄矢量的最小標(biāo)準(zhǔn)值和與之對應(yīng)的窄矢量的信息。
12.根據(jù)權(quán)利要求11的象素內(nèi)插裝置，其中，所述第三相關(guān)器輸出邊緣左和右方向的寬矢量的最小標(biāo)準(zhǔn)值和與之對應(yīng)的寬矢量的信息。
13.根據(jù)權(quán)利要求12的象素內(nèi)插裝置，其中，當(dāng)由第二相關(guān)器輸入的邊緣右和左方向的窄矢量的最小標(biāo)準(zhǔn)值小于預(yù)定的第一值時(shí)，所述選擇裝置輸出第一垂直內(nèi)插值；以及當(dāng)由第三相關(guān)器輸入的邊緣右和左方向的寬矢量的最小標(biāo)準(zhǔn)值小于預(yù)定的第二值時(shí)，所述選擇裝置輸出垂直內(nèi)插值。
全文摘要
一種使用由隔行掃描給出的象素?cái)?shù)據(jù)在省略掉的行中內(nèi)插象素?cái)?shù)據(jù)的方法及其裝置。該象素內(nèi)插的方法和裝置根據(jù)相關(guān)程度有效地內(nèi)插具有不同斜度的邊緣。當(dāng)由于廣泛相關(guān)而邊緣有平緩的斜度時(shí)，使用一寬矢量執(zhí)行內(nèi)插。當(dāng)由于高頻分量而出現(xiàn)差錯(cuò)，比如發(fā)現(xiàn)雙向邊緣時(shí)，執(zhí)行簡單的垂直內(nèi)插。
文檔編號H04N7/015GK1153442SQ96121140
公開日1997年7月2日 申請日期1996年9月30日 優(yōu)先權(quán)日1995年9月30日
發(fā)明者金永鐸, 曹庸熏 申請人:三星電子株式會社