本發(fā)明涉及如下的信號處理裝置和信號處理方法,其通過生成內(nèi)插信號并且將內(nèi)插信號與音頻信號合成,從而對音頻信號的高頻帶分量進行內(nèi)插。
背景技術:
已知有損壓縮格式,例如MP3(MPEG音頻層-3)、WMA(Windows媒體音頻TM)以及AAC(增強音頻編碼)作為壓縮音頻信號的格式。對于有損壓縮格式,通過明顯地切斷接近可聽到頻帶的上限或者超過可聽到頻帶的上限的高頻率分量來獲得高壓縮速率。在這種類型的技術被開發(fā)的時代初期,已經(jīng)認為即使當明顯地削減高頻分量,聽覺感受方面的聲音質(zhì)量也不變差。然而,近年來,與原始聲音相比,明顯地削減高頻分量引起聲音質(zhì)量的微小變化并由此聽覺感受方面的聲音質(zhì)量變差的想法已經(jīng)成為主流。在這種情況下,高頻帶內(nèi)插裝置通過對已經(jīng)經(jīng)受有損壓縮的音頻信號內(nèi)插高頻帶來增強聲音質(zhì)量。例如,在日本專利臨時公開文本第2007-25480A號(在下文中,稱作為專利文件1)和PCT公開文本的國內(nèi)再版第2007-29796A1號(在下文中,稱作為專利文件2)中,描述了這種類型的高頻帶內(nèi)插裝置的具體配置。
在專利文件1中描述的高頻帶內(nèi)插裝置計算通過分析音頻信號(原始信號)獲得的信號的實部和虛部,基于計算的實部和虛部來形成原始信號的包絡分量,并且提取形成的包絡分量的較高諧波分量。在專利文件1中描述的高頻帶內(nèi)插裝置通過將提取出的較高諧波分量與原始信號合成,從而對原始信號的高頻帶執(zhí)行內(nèi)插。
在專利文件2中描述的高頻帶內(nèi)插裝置將音頻信號的頻譜反相,對頻譜反相的信號進行上采樣,并且基于上采樣的信號來提取較低頻率邊緣大約等于基帶信號的高頻帶的擴展頻帶分量。在專利文件2中描述的高頻帶內(nèi)插裝置通過將提取出的擴展頻帶分量與基帶信號合成,從而對基帶信號的高頻帶執(zhí)行內(nèi)插。
技術實現(xiàn)要素:
通過有損壓縮而進行壓縮的音頻信號的頻帶根據(jù)壓縮編碼格式、采樣速率或者在壓縮編碼之后的比特率來變化。因此,如專利文件1所述的,當通過對音頻信號和具有固定頻帶的內(nèi)插信號進行合成來執(zhí)行高頻帶內(nèi)插時,根據(jù)音頻信號在高頻帶內(nèi)插之前的頻帶,音頻信號在高頻帶內(nèi)插之后的頻譜變得不連續(xù)。因而,在專利文件1中所述的高頻帶內(nèi)插裝置通過將音頻信號經(jīng)受高頻帶內(nèi)插,而可能在聽覺感受方面相反地使得聲音質(zhì)量變差。
盡管音頻信號具有如通常特性的高頻率區(qū)域很大程度地衰減的特性,但是也存在音頻信號的電平在高頻率側(cè)立即增大的情況。然而,在專利文件2中,僅將音頻信號的前述通常特性考慮為輸入至裝置的音頻信號的特性。因此,具有電平在高頻率側(cè)上增加的特性的音頻信號被輸入至裝置之后,音頻信號的頻譜立即變得不連續(xù),且因此過度地突顯了高頻帶。因而,如在專利文件1所述的高頻帶內(nèi)插裝置的情況下,專利文件2中所示的高頻帶內(nèi)插裝置通過將音頻信號經(jīng)受高頻帶內(nèi)插而可能相反地使得在聽覺感受方面的聲音質(zhì)量變差。
音頻信號不僅包括有損壓縮格式的音頻信號,還包括無損壓縮格式的音頻信號以及CD(光盤)聲源或者高清晰度聲源(例如,DVD(數(shù)字通用盤)音頻和SACD(超音頻CD))的音頻信號。存在的問題在于,當在專利文件1或者專利文件2中所述的技術應用至這些音頻信號時,通過將這些音頻信號經(jīng)受高頻帶內(nèi)插,也會相反地引起在聽覺感受方面的聲音質(zhì)量變差。
結(jié)合上述情況提出了本發(fā)明。即,本發(fā)明的目標是提供一種適用于利用對音頻信號的高頻帶內(nèi)插來實現(xiàn)聲音質(zhì)量的提高的信號處理裝置和信號處理方法。
根據(jù)本發(fā)明的一個實施方案的信號處理裝置包括:頻率檢測單元,其從音頻信號檢測滿足預定條件的頻率;補償單元,其根據(jù)在檢測出的頻率處或者檢測出的頻率周圍的頻率特性對由頻率檢測單元檢測出的頻率給出補償;參考信號生成單元,其基于由補償單元補償?shù)臋z測出的頻率,通過從音頻信號提取信號來生成參考信號;內(nèi)插信號生成單元,其基于生成的參考信號來生成內(nèi)插信號;以及信號合成單元,其通過將生成的內(nèi)插信號與音頻信號合成來執(zhí)行高頻帶內(nèi)插。
補償單元可以檢測音頻信號在檢測出的頻率處或者檢測出的頻率周圍的斜率特性,以及可以根據(jù)檢測出的斜率特性來對檢測出的頻率改變補償量。
補償單元可以對檢測出的頻率設定補償量,使得隨著音頻信號在檢測出的頻率處或者在檢測出的頻率周圍的衰減更加適度,補償量變得更大。
參考信號生成單元可以從音頻信號提取與從檢測出的頻率朝向較低頻率側(cè)延伸n%的范圍相對應的信號,并且利用提取出的信號來生成參考信號。
頻率檢測單元可以計算音頻信號中的第一頻率區(qū)域的電平、以及音頻信號中比第一頻率區(qū)域更高的第二頻率區(qū)域的電平,可以基于第一頻率區(qū)域和第二頻率區(qū)域計算出的電平來設定閾值,并且可以將電平低于設定的閾值的電平的頻率檢測為滿足預定條件的頻率。
頻率檢測單元可以將如下頻率點處的頻率檢測為滿足預定條件的頻率:在電平低于閾值的電平的至少一個頻率點中的最高頻率側(cè)上的頻率點。
內(nèi)插信號生成單元可以在對由參考信號生成單元生成的參考信號執(zhí)行通過窗函數(shù)的加權(quán)和重疊處理之后,復制參考信號;可以對通過復制增加的多個參考信號并排地布置于比檢測出的頻率更高的頻帶;并且可以根據(jù)音頻信號的頻率特性,對并排布置的多個參考信號的每個頻率分量執(zhí)行加權(quán),從而生成內(nèi)插信號。
根據(jù)實施方案的信號處理裝置可以進一步包括:噪聲降低單元,其在通過內(nèi)插信號生成單元對參考信號進行復制之前,降低包括在參考信號中的噪聲。
根據(jù)一個實施方案的信號處理裝置可以進一步包括對音頻信號進行濾波的濾波單元。在這種情況下,信號合成單元可以通過將內(nèi)插信號與由濾波單元濾波的音頻信號合成,從而對音頻信號執(zhí)行高頻帶內(nèi)插。濾波單元可以配置為使得音頻信號的截止頻率根據(jù)檢測出的頻率而變化。
根據(jù)本發(fā)明的一個實施方案的信號處理方法包括:頻率檢測步驟,其從音頻信號檢測滿足預定條件的頻率;補償步驟,其根據(jù)在檢測出的頻率處或者檢測出的頻率周圍的頻率特性對由頻率檢測步驟檢測出的頻率給出補償;參考信號生成步驟,其基于由補償步驟補償?shù)臋z測出的頻率,通過從音頻信號提取信號來生成參考信號;內(nèi)插信號生成步驟,其基于聲測很難過的參考信號來生成內(nèi)插信號;以及信號合成步驟,其通過將生成的內(nèi)插信號與音頻信號合成來執(zhí)行高頻帶內(nèi)插。
根據(jù)本發(fā)明的實施方案,提供了一種適用于利用對音頻信號的高頻帶內(nèi)插來實現(xiàn)聲音質(zhì)量的提高的信號處理裝置和信號處理方法。
附圖說明
圖1為圖示了根據(jù)本發(fā)明的實施方案的聲音處理裝置的配置的框圖。
圖2為圖示了根據(jù)本發(fā)明的實施方案的設置于聲音處理裝置的高頻帶內(nèi)插單元的配置的框圖。
圖3為根據(jù)本發(fā)明的實施方案的關于設置于高頻帶內(nèi)插單元的頻帶檢測單元的操作的輔助解釋的圖。
圖4圖示了根據(jù)本發(fā)明的實施方案的輸入至頻帶檢測單元的高壓縮音頻信號的閾值頻率與復合頻譜之間的關系(上部的圖),并且圖示了高壓縮音頻信號的頻率與信號電平(信號レベル)的變化率之間的關系(下部的圖)。
圖5圖示了根據(jù)本發(fā)明的實施方案的輸入至頻帶檢測單元的高壓縮音頻信號的閾值頻率與復合頻譜之間的關系(上部的圖),并且圖示了高壓縮音頻信號的頻率與信號電平的變化率之間的關系(下部的圖)。
圖6中的(a)至圖6中的(h)示出了工作波形(圖6中的(a)至圖6中的(h)),用于解釋根據(jù)本發(fā)明的實施方案的直到對輸入至設置于高頻帶內(nèi)插單元的參考信號提取單元的復合頻譜執(zhí)行高頻帶內(nèi)插為止,所執(zhí)行的一系列處理。
圖7圖示了補償量與在閾值頻率處或者閾值頻率周圍的信號電平的變化率之間的關系。
圖8中的(a)和圖8中的(b)示出了工作波形(圖8中的(a)和圖8中的(b)),其用于解釋根據(jù)本發(fā)明的實施方案的設置于高頻帶內(nèi)插單元的內(nèi)插信號生成單元的操作。
圖9中的(a)和圖9中的(b)為解釋圖示(圖9中的(a)和圖9中的(b)),其用于解釋根據(jù)本發(fā)明的實施方案的由設置于高頻帶內(nèi)插單元的第一噪聲降低電路執(zhí)行的噪聲去除處理。
圖10中的(a)至圖10中的(d)為解釋圖示(圖10中的(a)至圖10中的(d)),其用于解釋根據(jù)本發(fā)明的實施方案的由設置于高頻帶內(nèi)插單元的第二噪聲降低電路執(zhí)行的噪聲去除處理。
圖11中的(a)至圖11中的(c)為情況1的解釋圖示(圖11中的(a)至圖11中的(c)),其用于解釋在本發(fā)明的實施方案中根據(jù)頻率斜率、通過對閾值頻率進行補償處理所獲得的有利效果。
圖12中的(a)至圖12中的(c)為情況2的解釋圖示(圖12中的(a)至圖12中的(c)),其用于解釋在本發(fā)明的實施方案中對參考信號通過窗函數(shù)進行加權(quán)和重疊處理所獲得的有利效果。
圖13中的(a)和圖13中的(b)為情況3的解釋圖示(圖13中的(a)和圖13中的(b)),其用于解釋在本發(fā)明的實施方案中通過第一噪聲降低電路來進行噪聲去除處理所獲得的有利效果。
圖14中的(a)至圖14中的(c)為情況4的解釋圖示(圖14中的(a)至圖14中的(c)),其用于解釋在本發(fā)明的實施方案中通過第二噪聲降低電路來進行噪聲去除處理所獲得的有利效果。
具體實施方式
在以下內(nèi)容中,參照所附附圖來描述根據(jù)實施方案的聲音處理裝置1。
(聲音處理裝置1的整體配置)
圖1為圖示了根據(jù)實施方案的聲音處理裝置1的配置的框圖。如圖1所示,聲音處理裝置1包括:FFT(快速傅里葉變換)單元10、高頻帶內(nèi)插單元20和IFFT(快速傅里葉逆變換)單元30。
對FFT單元10輸入例如,將通過對有損壓縮格式的編碼信號解碼所獲得的音頻信號、通過對無損壓縮格式的編碼信號解碼所獲得的音頻信號、或者CD聲源或者高清晰度聲源(諸如DVD音頻和SACD)的音頻信號。有損壓縮格式為例如,MP3、WMA或者AAC。無損壓縮格式例如為WMAL(MWA無損)、ALAC(AppleTM無損音頻編碼解碼器)、或者AAL(ATRAC高級無損TM)。為了便于解釋,有損壓縮格式的頻率信號被稱作為“高壓縮音頻信號”,并且具有關于比高壓縮音頻信號更高頻域的信息,以及例如為無損壓縮格式的音頻信號、高清晰度聲源的音頻信號以及不滿足諸如CD-DA(44.1kHz/16比特)的高清晰度聲源的規(guī)格的音頻信號的音頻信號被稱作為“高質(zhì)量音頻信號”。
FFT單元10將輸入的音頻信號進行重疊處理并且通過窗函數(shù)進行加權(quán),將處理的信號通過STFT(短時傅里葉變換)從時域轉(zhuǎn)換成頻域,并且獲得包括實數(shù)和虛數(shù)的復合頻譜,以及將復合頻譜輸出至高頻帶內(nèi)插單元20。高頻率內(nèi)插處理單元20對從FFT單元10輸入的復合頻譜單元的高頻帶進行內(nèi)插,并且將所得的復合頻譜輸出至IFFT單元30。在高壓縮音頻信號的情況下,由高頻帶內(nèi)插單元20內(nèi)插的頻帶為例如超過或者接近可聽到的頻帶中在有損壓縮的處理期間明顯削減的上限的頻帶。在高質(zhì)量音頻信號的情況下,通過高頻帶內(nèi)插單元20內(nèi)插的頻帶為例如超過或者接近可聽到的頻帶的上限并且包括電平適當衰減的頻帶。FFT單元30基于通過高頻帶內(nèi)插單元20內(nèi)插的高頻帶的復合頻譜,從而獲得復合頻譜的實數(shù)和虛數(shù),并且通過窗函數(shù)來執(zhí)行加權(quán)。IFFT單元30通過執(zhí)行STFT并且對加權(quán)的信號重疊疊加,從而執(zhí)行從時域到頻域的信號轉(zhuǎn)換,以及生成并輸出進行內(nèi)插的高頻帶的音頻信號。
(高頻帶內(nèi)插單元20的配置)
圖2為圖示了高頻帶內(nèi)插單元20的配置的框圖。如圖2所示,高頻帶內(nèi)插單元20包括:頻帶檢測單元210、參考信號提取單元220、參考信號校正單元230、內(nèi)插信號生成單元240、內(nèi)插信號校正單元250、加法單元260、第一噪聲降低電路270、以及第二噪聲降低電路280。為了便于解釋,在以下內(nèi)容中,附圖標記被分配至高頻帶內(nèi)插單元20的每個單元的輸入信號和輸出信號。
圖3為關于頻帶檢測單元210的操作的輔助解釋的圖,并且示出從FFT單元10輸入至頻帶檢測單元210的復合頻譜S的示例。在圖3中,豎直軸(y軸)表示信號電平(單位:dB),并且水平軸(x軸)表示頻率(單位:Hz)。
頻帶檢測單元210將從FFT單元10輸入的音頻信號的復合頻譜S(線性度量)轉(zhuǎn)換成分貝度量。為了防止復合頻譜S的局部波動的發(fā)生,頻帶檢測單元210使轉(zhuǎn)換成分貝度量的復合頻譜S平滑。頻帶檢測單元210計算平滑的復合頻帶S的預定低和中范圍以及預定高范圍的信號電平,并且基于低和中范圍以及高范圍的計算出的信號電平來設定閾值。例如,如圖3所示,閾值處在低和中范圍的信號電平(平均值)與高范圍的信號電平(平均值)之間的中間電平。
頻帶檢測單元210從FFT單元10輸入的復合頻譜(線性度量)中檢測低于閾值的頻率點。如圖3所示,當存在多個低于閾值的頻率點時,頻帶檢測單元210檢測在較高頻帶側(cè)的頻率點(圖3的示例中的頻率ft)。為了便于解釋,在以下內(nèi)容中,由閾值檢測出的頻率(在該示例中的頻率ft)被稱作為“閾值頻率Fth”。應當注意的是,為了抑制生成不期望的內(nèi)插信號,當滿足以下條件(1)至(3)中的至少一個時,頻帶檢測單元210判斷出不需要生成內(nèi)插信號。
(1)檢測的閾值頻率Fth低于或等于預定的頻率。
(2)高范圍的信號電平高于或等于預定值。
(3)低和中范圍的信號電平與高范圍的信號電平之間的差低于或等于預定值。
對于判斷出不需要生成內(nèi)插信號的復合頻譜S,不執(zhí)行高頻帶內(nèi)插。
在圖4的上部,圖示了閾值頻率Fth與從FFT單元10輸入至頻帶檢測單元210的高壓縮音頻信號的復合頻譜S之間的關系。在圖4的下部,圖示了頻率與高壓縮音頻信號的信號電平的變化率β之間的關系。在圖5的上部,圖示了閾值頻率Fth與從FFT單元10輸入至頻帶檢測單元210的高質(zhì)量音頻信號的復合頻譜S之間的關系。在圖5的下部,圖示了頻率與高質(zhì)量音頻信號的信號電平的變化率β之間的關系。變化率β是通過使用高通濾波器來區(qū)分復合頻譜S而獲得的。在圖4和圖5的上部所示的每個示意圖中,豎直軸(y軸)表示信號電平(單位:dB),并且水平軸(x軸)表示頻率(單位:Hz)。此外,在圖4和圖5的下部所示的每個示意圖中,豎直軸(y軸)表示信號電平的變化率(單位:dB),并且水平軸(x軸)表示頻率(單位:Hz)。
關于高壓縮音頻信號,為了減少信息量,在閾值頻率Fth周圍的高壓縮信號的高頻帶明顯被削減(參見圖4的上部),并且閾值頻率Fth周圍的信號電平的變化率β較大(參見圖4的下部)。另一方面,對于高質(zhì)量音頻信號,在閾值頻率Fth周圍的信號電平具有相對緩和的頻率斜率的形式(參見圖5的上部),并且在閾值頻率Fth周圍的信號電平的變化率β較小(參見圖5的下部)。
通過第一噪聲降低電路270和第二噪聲降低電路280去除了噪聲的復合頻譜S被輸入至參考信號提取單元220。為了便于解釋,在以下內(nèi)容中,通過第一噪聲降低電路270降低噪聲之后的復合頻譜S被分配附圖標記S’,并且通過第二噪聲降低電路280降低噪聲之后的復合頻譜S’被分配附圖標記S”。隨后解釋關于第一噪聲降低電路270和第二噪聲降低電路280進行噪聲降低處理的細節(jié)。此外,從頻帶檢測單元210輸入的關于后補償頻率Fth’的信息被輸入至參考信號提取單元220。隨后也將解釋關于后補償頻率Fth’的細節(jié)。
圖6(a)至圖6(h)示出了用于解釋直到對復合頻譜S”執(zhí)行高頻帶內(nèi)插為止所執(zhí)行的一系列處理的工作波形,所述復合頻譜S”輸入至參考信號提取單元220。在圖6(a)至圖6(h)的每個中,豎直軸(y軸)表示信號電平(單位:dB),并且水平軸(x軸)表示頻率(單位:Hz)。
考慮參考信號提取單元220基于關于閾值頻率Fth的信息來從復合頻譜S”提取參考信號Sb的情況。在這種情況下,例如,從整個復合頻譜S”中,將在從閾值頻率Fth至較低頻率側(cè)延伸n%(0<n)的范圍內(nèi)的復合頻譜提取為參考信號Sb。因此,由于在當檢測到閾值頻率Fth時設定的閾值頻率Fth周圍的復合頻譜S”的頻率斜率的影響,所以存在參考信號Sb不具有適當?shù)男盘栯娖降目赡苄浴>唧w地,當參考信號Sb為高質(zhì)量音頻信號時,質(zhì)量受到在閾值頻率Fth周圍的頻率斜率影響的質(zhì)量的變差程度較大,且因此,參考信號Sb可能不具有適當?shù)男盘栯娖健?/p>
針對該原因,頻帶檢測單元210將依據(jù)在閾值頻率Fth周圍的頻率斜率的補償量α應用至檢測出的閾值頻率Fth,并且將補償之后的閾值頻率Fth(后補償頻率Fth’)輸出至參考信號提取單元220。參考信號提取單元220從整個復合頻譜S”中將在從補償頻率Fth’延伸至較低頻率側(cè)n%范圍內(nèi)的復合頻譜提取為參考信號Sb(參見圖6(a))。因此,防止由于在閾值頻率Fth周圍的頻率斜率引起的參考信號Sb的質(zhì)量變差。
圖7圖示了補償量α與在閾值頻率Fth周圍(或者在閾值頻率Fth處)的信號電平的變化率β之間的關系。應當注意的是,在閾值頻率Fth周圍的變化率β為例如在包括閾值頻率Fth的預定范圍內(nèi)的平均值。在圖7中,豎直軸(y軸)表示補償量α(單位:Hz),并且水平軸(x軸)表示信號電平的變化率β(單位:dB)。如圖7所示,在關于信號電平的變化率β的-50dB至0dB的范圍內(nèi),補償量α在0Hz至-3kHz的范圍內(nèi)變化。補償量α的絕對值隨著變化率β變得更大(隨著頻率斜率變得更陡)而變得更小,并且補償量α的絕對值隨著變化率β變得更小(隨著頻率斜率變得更緩和)而變得更大。
具體地,在圖4中所示的高壓縮音頻信號的示例中,信號電平的變化率較大(頻率斜率較陡),并且由于在閾值頻率Fth周圍的頻率斜率而引起的參考信號Sb的質(zhì)量變差基本上為零。因此,補償量α為零。相應地,參考信號提取單元220將在從等于閾值頻率Fth的后補償頻率Fth’起延伸至較低頻率側(cè)n%的范圍內(nèi)的復合頻譜提取為參考信號Sb。
另一方面,在圖5中所示的高質(zhì)量音頻信號的示例中,信號電平的變化率β較小(頻率斜率緩和),并且由于在閾值頻率Fth周圍的頻率斜率而引起的參考信號Sb的質(zhì)量變差較大。因此,補償量α為-3kHz。相應地,參考信號提取單元220將在從比閾值頻率Fth低3kHz的后補償頻率Fth’起延伸至較低頻率側(cè)n%的范圍內(nèi)的復合頻譜提取為參考信號Sb。因此,如圖6(a)所示,消除了在閾值頻率Fth周圍的頻率斜率的影響,并且參考信號Sb的電平變?yōu)樽銐虻?適當?shù)?信號電平。
存在的問題在于,當通過基于語音頻帶(例如,正常語音)的信號生成的內(nèi)插信號來執(zhí)行高頻帶內(nèi)插時,信號的聲音質(zhì)量通過改變至趨于對于聽覺感受給出不舒服感覺的聲音質(zhì)量而變差。通過對比,根據(jù)實施方案,復合頻率S”變得越窄,參考信號Sb的頻帶變得越窄。因此,能夠抑制引起聲音質(zhì)量變差的語音頻帶的提取。
參考信號提取單元220將從復合頻帶S”提取出的參考信號Sb的頻率移位至較低頻率側(cè)(DC側(cè))(參見圖6(b)),并且將頻率已經(jīng)被移位的參考信號Sb輸出至參考信號校正單元230。
參考信號校正單元230將從參考信號提取單元220輸入的參考信號Sb(線性度量)轉(zhuǎn)換成分貝度量,并且對轉(zhuǎn)換成分貝度量的參考信號Sb,通過線性回歸分析來檢測頻率斜率。參考信號校正單元230計算通過線性回歸分析檢測出的頻率斜率的逆特性(參照參考信號Sb對每個頻率的加權(quán)量)。具體地,當關于參考信號Sb對每個頻率的加權(quán)量被定義為p1(x)時,在水平軸(x軸)上的頻域FFT的采樣點被定義為x,由線性回歸分析檢測出的參考信號Sb的頻率斜率的值被定義為α1,與參考信號Sb的頻帶相對應的FFT的采樣數(shù)量的1/2被定義為β1,參考信號校正單元230通過以下等式(1)來計算頻率斜率的逆特性(關于參考信號Sb對每個頻率的加權(quán)量p1(x))。
(等式(1))
p1(x)=-α1x+β1
如圖6(c)所示,關于參考信號Sb對每個頻率的加權(quán)量p1(x)以分貝度量來獲得。參考信號校正單元230將以分貝度量獲得的加權(quán)量p1(x)轉(zhuǎn)換成線性度量。參考信號校正單元230將轉(zhuǎn)換成線性度量的加權(quán)量p1(x)與從參考參考信號提取單元220輸入的參考信號Sb(線性度量)一起相乘來校正參考信號Sb。具體地,參考信號Sb被校正成具有平坦頻率特性的信號(參考信號Sb’)(參見圖6(d))。
由參考信號校正單元230校正的參考信號Sb’被輸入至內(nèi)插信號生成單元240。內(nèi)插信號生成單元240通過將參考信號Sb’擴展至高于閾值頻率Fth的頻帶(換言之,通過復制參考信號Sb'來生成多個參考信號Sb’并且通過布置多個復制的參考信號Sb’以達到高于閾值頻率Fth的頻帶),從而生成包括高頻帶的內(nèi)插信號Sc(參見圖6(e))。頻率信號Sb’被擴展的范圍包括例如,靠近可聽到頻帶的上限的頻帶或者超過可聽到頻帶的上限的頻帶。
圖8(a)和圖8(b)圖示了用于解釋內(nèi)插信號生成單元240的操作的工作波形。嚴格地講,通過內(nèi)插信號校正單元230校正的參考信號Sb’不具有平坦的頻率特性。因此,當參考信號Sb’在內(nèi)插信號生成單元240被復制成多個頻帶時,由于幅度的突然改變以及復制的參考信號Sb’之間的相位會引起頻帶之間的干擾。因此,引起信號沿著相對于真實內(nèi)插信號Sc的時間軸在先輸出的前回聲。因此,如圖8(a)的上部所示,內(nèi)插信號生成單元240通過預定的窗函數(shù)對參考信號Sb’相乘的頻率特性執(zhí)行加權(quán),并且執(zhí)行重疊處理。因此,頻帶之間的信號電平差和相位差降低,并且頻帶之間的干擾降低。
應當注意的是,當在圖8(a)的上部所示的參考信號Sb’被復制到多個頻帶而沒有變化時,內(nèi)插信號將具有紋波。因此,內(nèi)插信號生成單元240相對于參考信號Sb’的峰值而將參考信號Sb’分為兩部分,并且將在高頻率側(cè)的劃分信號與在較低頻率側(cè)的劃分信號相互替換(參見圖8(a)的下部)。然后,內(nèi)插信號生成單元240將通過窗函數(shù)加權(quán)之后的參考信號Sb’(參見圖8(a)的上部)與替換之后的參考信號(參見圖8(a)的下部)合成,并且在頻帶之間執(zhí)行重疊處理。因此,獲得具有更平坦的頻率特性的參考信號Sb’(參見圖8(b))。對于因而獲得的參考信號Sb’,即使當參考信號Sb’被復制到多個頻帶時,也不會引起頻帶之間的干擾,并且也不生成前回聲。即,獲得具有平坦頻率特性的內(nèi)插信號Sc。
在內(nèi)插信號生成單元240中生成的內(nèi)插信號Sc被輸入至內(nèi)插信號校正單元250。此外,復合頻譜S’從第一噪聲降低電路270輸入至內(nèi)插信號校正單元250,并且關于后補償頻率Fth’的信息從頻帶檢測單元210輸入。
內(nèi)插信號校正單元250將從第一噪聲降低電路270輸入的復合頻譜S’(線性度量)轉(zhuǎn)換成分貝度量,并且通過線性回歸分析來檢測轉(zhuǎn)換成分貝度量的復合頻譜S’的頻率斜率。應當注意的是,當內(nèi)插信號校正單元250檢測出頻率斜率時,內(nèi)插信號校正單元250不利用關于比后補償頻率Fth’更高頻帶側(cè)的信息??梢匀我獾卦O置回歸分析的范圍;然而,為了將音頻信號的較高頻帶側(cè)與內(nèi)插信號平滑地連接,典型地,回歸分析的范圍對應于除了較低頻帶分量之外的預定頻帶。內(nèi)插信號校正單元250根據(jù)對應于檢測出的頻率斜率的頻帶和回歸分析的范圍,從而對每個頻率計算加權(quán)量。具體地,當關于內(nèi)插信號Sc的每個頻率的加權(quán)量被定義為p2(x),在頻域中FFT的水平軸(x軸)上的采樣點被定義為x,F(xiàn)FT的采樣長度被定義為s,回歸分析的范圍的上限頻率被定義為b,F(xiàn)FT的采樣長度被定義為s,在與回歸分析的范圍相對應的頻帶中的頻率斜率值被定義為α2,以及預定的校正系數(shù)被定義為k時,內(nèi)插信號校正單元250通過以下等式2來計算關于內(nèi)插信號Sc的每個頻率的加權(quán)量p2(x)。
(等式(2))
P2(x)=-α’x+β2
其中:
α'=α2-(1-(b/s))/k
β2=-αb
當x<b時,p2(x)=-∞
如圖6(f)所示,關于參考信號Sc的每個頻率的加權(quán)量p2(x)以分貝度量來獲得。內(nèi)插信號校正單元250將為分貝度量的加權(quán)量p2(x)轉(zhuǎn)換成線性度量。內(nèi)插信號校正單元250通過將轉(zhuǎn)換成線性度量的加權(quán)量p2(x)與在內(nèi)插生成單元240中生成的內(nèi)插信號Sc(線性度量)一起相乘,從而校正內(nèi)插信號Sc。如圖6(g)中的示例所示的,校正之后的內(nèi)插信號Sc’為相對于后補償頻率Fth’的高頻帶側(cè)上的信號,并且具有朝向較高頻帶側(cè)衰減的特性。
從FFT單元10通過第一噪聲降低電路270的復合頻譜S’以及來自內(nèi)插信號校正單元250的內(nèi)插信號Sc’被輸入至加法單元260。復合頻譜S’為高頻帶分量被明顯削減的音頻信號的復合頻譜或者關于高頻帶分量的信息量較小的音頻信號的復合頻譜。內(nèi)插信號Sc’為關于高于音頻信號的頻帶的頻率區(qū)域的復合頻帶。加法單元260通過將復合頻譜S’和內(nèi)插信號Sc’合成來生成內(nèi)插高頻帶的音頻信號的復合頻譜SS(參見圖6(h)),并且將生成的音頻信號的復合頻譜SS輸出至IFFT單元30。
因而,根據(jù)實施方案,參考信號Sb是基于依據(jù)閾值頻率Fth周圍的頻率斜率進行補償?shù)暮笱a償頻率Fth’,從復合頻譜S”中提取出的。因此,抑制了由于頻率斜率引起的參考信號Sb的質(zhì)量變差,且因此能夠生成具有高質(zhì)量的內(nèi)插信號Sc’。相應地,無論輸入至FFT單元10的音頻信號的頻率特性如何,都能夠?qū)σ纛l信號執(zhí)行高頻帶內(nèi)插,由此提供了具有連續(xù)變化的正常衰減特性的頻譜,并且能夠在聽覺感受方面實現(xiàn)聲音質(zhì)量的提高。
此外,由于在實施方案中對參考信號Sb’執(zhí)行重疊處理和通過窗函數(shù)進行加權(quán),所以能夠抑制頻帶之間干擾引起的前回聲的發(fā)生。即,由于抑制了被引起為高頻帶內(nèi)插的負面影響的前回聲,所以能夠在聽覺感受方面實現(xiàn)聲音質(zhì)量的提高。
同時,根據(jù)聲源的記錄環(huán)境或者音頻設備的影響,會存在如下的情況:由采樣頻譜的轉(zhuǎn)換所引起的混疊噪聲(折疊噪聲)和不期望的正弦波噪聲被混合至在超過閾值頻率Fth的頻帶中從聲源輸入的音頻信號中。圖9(a)示出混合了這種類型的噪聲的音頻信號的復合頻譜S的示例。由于圖9(a)中例示的正弦波噪聲和混疊噪聲引起聲音質(zhì)量變差,所以期望的是消除這種噪聲。
針對該原因,第一噪聲降低電路270包括低通濾波器,其中,截止頻率根據(jù)閾值頻率Fth而能夠變化。具體地,第一噪聲降低電路270基于關于從頻帶檢測單元210輸入的閾值頻率Fth的信息,從而對從FFT單元10輸入的復合頻譜S進行濾波,并且將濾波的復合頻譜S’輸出至后階段的電路。
圖9(b)示出通過閾值頻率Fth對圖9(a)中例示的復合頻譜S進行濾波所獲得的復合頻譜S’。如圖9(b)所示,在復合頻譜S’中,正弦波噪聲和混疊噪聲通過第一噪聲降低電路270被去除。因此,能夠抑制由正弦波噪聲和混疊噪聲引起的聲音質(zhì)量的變差。
此外,由于聲源的記錄環(huán)境或者音頻設備的影響,會存在如下的情況:在關于閾值頻率Fth的較低頻帶側(cè)上,不期望的正弦波被混合至從聲源輸入的音頻信號中。作為示例,圖10(a)示出混合了這種類型的噪聲的音頻信號的復合頻譜S。
在圖10(a)所示的示例中,噪聲被混合至提取為參考信號Sb的頻帶。當基于混合了這種噪聲的參考信號Sb來執(zhí)行高頻帶內(nèi)插時,噪聲被疊加至已經(jīng)經(jīng)受高頻帶內(nèi)插的音頻信號上,噪聲的數(shù)量根據(jù)對參考信號Sb’的復制處理的數(shù)量而增加,如圖10(b)所示。
針對該原因,在本實施方案中,在將參考信號Sb’至多個頻帶的復制處理的前階段,提前降低混合至參考信號Sb的噪聲。具體地,第二噪聲降低電路280將復合頻譜S’(其已經(jīng)對于各個STFT輸入多次并且從低頻帶至高頻帶變化)轉(zhuǎn)換成幅度頻譜和相位頻譜。第二噪聲降低電路280通過濾波處理,從而對每個轉(zhuǎn)換的幅度分量抑制恒定分量(即,DC分量和DC周圍的波動分量)。第二噪聲降低電路280將抑制的幅度頻譜和相位頻譜再次轉(zhuǎn)換成復合頻譜。如圖10(c)所示,所得的復合頻譜S”使得僅恒定分量(例如,正弦波)被抑制。當通過基于已經(jīng)抑制了正弦波等的參考信號Sb來生成內(nèi)插信號,從而執(zhí)行高頻帶內(nèi)插時,能夠抑制在參考信號Sb’的復制處理期間的噪聲增加,如圖10(d)所示。因此,能夠抑制由正弦波噪聲引起的的聲音質(zhì)量的變差。
(工作參數(shù)的示例)
在下文中,示出根據(jù)實施方案的聲音處理裝置1的工作參數(shù)的示例。本文中例示的工作參數(shù)應用至以下所述的情況1至4。應當注意的是,在情況1至4的每個中所處理的音頻信號為高質(zhì)量音頻信號。
(FFT單元10/IFFT單元30)
采樣頻率:96kHz
采樣長度:8,192個采樣
窗函數(shù):漢明
重疊長度:75%
(頻帶檢測單元210)
最小控制頻率:7kHz
低和中頻帶范圍:2kHz-6kHz
高頻帶范圍:46kHz-48kHz
高頻帶電平判斷:-40dB
信號電平差:30dB
閾值:0.5
主高通濾波器的標準截止頻率:0.005
(參考信號提取單元220)
參考頻帶寬度:6kHz
(內(nèi)插信號生成單元240)
窗函數(shù):漢明
(內(nèi)插信號校正單元250)
下限頻率:500Hz
校正系數(shù)k:0.01
(第一噪聲降低電路270)
響應于閾值頻率Fth的可變低通濾波器
(第二噪聲降低電路280)
主高通濾波器的標準截止頻率:0.01
“采樣頻率(=96kHz)”表示通過STFT,轉(zhuǎn)換成頻域的頻率的FFT的采樣點?!白钚】刂祁l率(=7kHz)”表示當通過頻帶檢測單元210檢測出的閾值頻率Fth小于7kHz時,不執(zhí)行高頻帶內(nèi)插?!案哳l帶電平判斷(=-40dB)”表示當高頻帶中的信號電平高于或等于-40dB時,不執(zhí)行高頻帶內(nèi)插?!靶盘栯娖讲?=30dB)”表示當?shù)秃椭蓄l帶范圍與高頻帶范圍之間的信號電平差小于或等于30dB時,不執(zhí)行高頻帶內(nèi)插?!伴撝?=0.5)”表示用于檢測閾值頻率Fth的閾值為低和中頻帶范圍的信號電平(平均值)與高頻帶范圍的信號電平(平均值)之間的中間值。頻帶檢測單元210的“主高通濾波器的標準截止頻率”為當檢測出變化率β時設定的值。“參考頻帶寬度(=6kHz)”為與“最小控制頻率(=7kHz)”相對應的參考信號Sb的頻帶寬度?!跋孪揞l率(=500Hz)”表示通過內(nèi)插信號校正單元250進行的回歸分析的范圍的下限(即,低于500Hz的區(qū)域不包括在回歸分析的范圍內(nèi))。
(情況1)
圖11(a)至圖11(c)為用于解釋情況1的解釋圖示。在圖11(a)至圖11(c)的每個中,豎直軸(y軸)表示信號電平(單位:dB),并且水平軸(x軸)表示頻率(單位:kHz)。在情況1中,解釋了通過引入針對取決于頻率斜率的閾值頻率Fth的補償處理所獲得的有利效果。
圖11(a)示出了輸入至高頻帶內(nèi)插單元20的音頻信號的復合頻譜S。由于在圖11(a)中所示的復合頻譜S為高質(zhì)量音頻信號的頻譜,所以在高頻帶側(cè)的頻率斜率(大約22kHz至25kHz)不陡峭,而是相對緩和。
圖11(b)和圖11(c)的每個示出了關于圖11(a)所示的輸入(復合頻譜S)的輸出(復合頻譜SS)。圖11(b)示出了當不執(zhí)行根據(jù)頻率斜率的針對閾值頻率Fth的補償處理時提供的輸出。圖11(c)示出了當執(zhí)行根據(jù)頻率斜率的針對閾值頻率Fth的補償處理時提供的輸出。
如圖11(b)所示,當不執(zhí)行根據(jù)頻率斜率的針對閾值頻率Fth的補償處理時,復合頻譜S’不平滑地連接至頻域中的內(nèi)插信號Sc’(在22kHz至25kHz周圍引起空隙),并且朝向內(nèi)插區(qū)域(高頻帶)的衰減變得異常。另外,由于參考信號Sb不具有足夠的(適當?shù)?信號電平,所以內(nèi)插區(qū)域的衰減失去連續(xù)性并且變得異常。
通過對比,如圖11(c)所示,當執(zhí)行根據(jù)頻率斜率的針對閾值頻率Fth的補償處理時,復合頻譜S’不平滑地連接至頻域中的內(nèi)插信號Sc’,并且朝向內(nèi)插區(qū)域(高頻帶)的衰減變得正常。另外,由于參考信號Sb具有足夠的(適當?shù)?信號電平,所以內(nèi)插區(qū)域的衰減變得連續(xù)和正常。
(情況2)
圖12(a)至圖12(c)為用于解釋情況2的解釋圖示(光譜圖)。在圖12(a)至圖12(c)的每個中,豎直軸(y軸)表示頻率(單位:kHz),并且水平軸(x軸)表示時間(或者采樣數(shù)量)(單位:毫秒),著色的陰影表示功率(單位:dB)。在情況2中,解釋了通過相對于參考信號Sb’進行窗函數(shù)加權(quán)并且進行重疊處理所獲得的有利效果。
圖12(a)示出了在情況2下輸入至聲音處理裝置1的音頻信號的光譜圖。
圖12(b)和圖12(c)的每個示出了關于圖12(a)所示的輸入的聲音處理裝置1的輸出。圖12(b)為在情況2下不相對于參考信號Sb’執(zhí)行重疊處理和通過窗函數(shù)進行加權(quán)時所提供的輸出。圖12(c)示出在情況2下,當相對于參考信號Sb’執(zhí)行重疊處理和通過窗函數(shù)的加權(quán)時所提供的輸出。
如圖12(b)所示,當不執(zhí)行相對于參考信號Sb’的重疊處理和通過窗函數(shù)的加權(quán)時,由頻帶之間的干擾會引起前回聲(在圖12(b)中,細的線狀分量沿著高頻側(cè)的時間軸方向延伸)。
通過對比,如圖12(c)所示,當執(zhí)行相對于參考信號Sb’的重疊處理和通過窗函數(shù)的加權(quán)時,抑制了由頻帶之間的干擾所引起的前回聲的發(fā)生。
(情況3)
圖13(a)和圖13(b)為用于解釋情況3的解釋圖示。在圖13(a)和圖13(b)的每個中,豎直軸(y軸)表示信號電平(單位:dB),并且水平軸(x軸)表示頻率(單位:kHz)。在情況3中,解釋了通過引入由第一噪聲降低電路270進行的噪聲降低處理所獲得的有利效果。
圖13(a)示出在情況3中輸入至第一噪聲降低電路270的音頻信號的復合頻譜S。如圖13(a)所示,在情況3中,正弦波噪聲和混疊噪聲包含在復合頻譜S中。
圖13(b)示出在情況3中通過第一噪聲降低電路270輸出的音頻信號的復合頻譜S’。如圖13(b)所示,通過第一噪聲降低電路270去除了正弦波噪聲和混疊噪聲。
(情況4)
圖14(a)至圖14(c)為用于解釋情況4的解釋圖示。在圖14(a)至圖14(c)的每個中,豎直軸(y軸)表示信號電平(單位:dB),并且水平軸(x軸)表示頻率(單位:kHz)。在情況4中,解釋了通過引入由第二噪聲降低電路280進行的噪聲降低處理所獲得的有利效果。
圖14(a)示出了在情況4中輸入至高頻帶內(nèi)插單元20的音頻信號的復合頻譜S。在圖14(a)中所示的復合頻譜S中,正弦波噪聲混合至被提取為參考信號Sb的頻帶中。
圖14(b)和圖14(c)中的每個示出了關于圖14(a)所示的輸入(復合頻譜S)的輸出(復合頻譜SS)。圖14(b)示出了在情況4中當不執(zhí)行通過第二噪聲降低電路280的噪聲降低處理時所提供的輸出。圖14(c)示出了在情況4中當執(zhí)行通過第二噪聲降低電路280的噪聲降低處理時所提供的輸出。
如圖14(b)所示,當不執(zhí)行通過第二噪聲降低電路280的噪聲降低處理時,根據(jù)參考信號Sb’的復制處理的數(shù)量增加的噪聲被疊加在復合頻譜SS上。
通過對比,如圖14(c)所示,當執(zhí)行通過第二噪聲降低電路280的噪聲降低處理時,抑制了在參考信號Sb’的復制處理期間噪聲的增加。
前述內(nèi)容是關于本發(fā)明的實施方案的解釋。本發(fā)明不限制于上述實施方案,而在本發(fā)明的范圍內(nèi)可以采用各種方式進行變化。例如,本發(fā)明的實施方案包括在本說明書中清楚描述的實施方案以及易于從上述實施方案中實現(xiàn)的實施方案的組合。例如,在實施方案中,參考信號校正單元230利用線性歸回分析來校正具有在頻率區(qū)域中單調(diào)增加或衰減特性的參考信號Sb。然而,參考信號Sb的特性不限制于線性特性,也可以為非線性特性。考慮到對在頻域中具有重復增加和衰減特性的參考信號Sb進行校正的情況。在這種情況下,參考信號校正單元230通過執(zhí)行升序的回歸分析來計算逆特性,并且通過利用計算出的逆特性來校正參考信號Sb。