用于波束形成以獲得語(yǔ)音和噪聲信號(hào)的裝置和方法
【技術(shù)領(lǐng)域】
[0001]本公開通常涉及語(yǔ)音處理，更具體地，涉及應(yīng)用雙重或多重輸入噪聲抑制的波束形成系統(tǒng)和方法。
【背景技術(shù)】
[0002]諸如但不限于移動(dòng)電話、智能電話、個(gè)人數(shù)字助理(PDA)、平板電腦、筆記本電腦或其他電子設(shè)備等的移動(dòng)設(shè)備越來(lái)越多地包括語(yǔ)音識(shí)別系統(tǒng)，以提供設(shè)備的免提語(yǔ)音控制。雖然語(yǔ)音識(shí)別技術(shù)已經(jīng)改進(jìn)，但是當(dāng)感興趣的聲音存在于其它講話者或環(huán)境噪聲中時(shí)，準(zhǔn)確的聲音識(shí)別仍然是一個(gè)技術(shù)挑戰(zhàn)。這些技術(shù)挑戰(zhàn)不僅存在于語(yǔ)音識(shí)別技術(shù)，也存在于語(yǔ)音處理，諸如在今天可以使用具有合適的電話應(yīng)用幾乎任何電子設(shè)備進(jìn)行的電話中使用，盡管流行移動(dòng)電話和智能電話。
[0003]在移動(dòng)設(shè)備上實(shí)現(xiàn)語(yǔ)音傳輸或語(yǔ)音識(shí)別系統(tǒng)時(shí)的一個(gè)特別挑戰(zhàn)是許多類型的移動(dòng)設(shè)備支持這樣的使用情況，用戶(因此用戶的語(yǔ)音)根據(jù)使用情況相對(duì)于移動(dòng)設(shè)備處于不同位置。而另外一個(gè)挑戰(zhàn)是，包括其他講話者的各種噪聲源(即干擾機(jī)語(yǔ)音)也可能位于相對(duì)于移動(dòng)設(shè)備的不同位置。這些噪聲源中的一些根據(jù)位置和幅度可能隨時(shí)間的函數(shù)而變化。所有這些因素構(gòu)成移動(dòng)設(shè)備操作和影響移動(dòng)設(shè)備的麥克風(fēng)拾取的聲音的聲學(xué)環(huán)境。此夕卜，隨著移動(dòng)或以特定方式定位移動(dòng)設(shè)備，移動(dòng)設(shè)備的聲學(xué)環(huán)境也隨之改變，從而也改變移動(dòng)設(shè)備的麥克風(fēng)拾取的聲音。可以通過(guò)語(yǔ)音識(shí)別系統(tǒng)或語(yǔ)音傳輸系統(tǒng)的接收側(cè)的收聽者在一個(gè)聲學(xué)環(huán)境下識(shí)別的語(yǔ)音聲音由于移動(dòng)設(shè)備的運(yùn)動(dòng)、定位或環(huán)境噪聲水平而可能在特定改變的條件不能識(shí)別。在周圍環(huán)境中的各種其他條件可以添加噪聲、回聲或?qū)е乱矊?duì)語(yǔ)音識(shí)別系統(tǒng)或語(yǔ)音傳輸系統(tǒng)產(chǎn)生不利影響的其他不希望的聲學(xué)條件。
[0004]更具體地，移動(dòng)設(shè)備聲學(xué)環(huán)境影響諸如麥克風(fēng)陣列、噪聲抑制器、回波消除系統(tǒng)的信號(hào)處理組件的操作和用于提高語(yǔ)音識(shí)別和語(yǔ)音呼叫性能兩者的信號(hào)調(diào)節(jié)。對(duì)于移動(dòng)設(shè)備，也對(duì)于固定設(shè)備，揚(yáng)聲器和其它干擾機(jī)揚(yáng)聲器或其它噪聲源也可能相對(duì)于設(shè)備麥克風(fēng)改變位置。這也導(dǎo)致對(duì)聲學(xué)環(huán)境產(chǎn)生不利影響，并且可能導(dǎo)致由于干擾機(jī)揚(yáng)聲器或其它噪聲源引起的噪聲干擾而使語(yǔ)音不被語(yǔ)音識(shí)別系統(tǒng)或收聽者識(shí)別。
【附圖說(shuō)明】
[0005]圖1是根據(jù)實(shí)施例的裝置的示意框圖。
[0006]圖2是提供根據(jù)各種實(shí)施例的圖1的裝置的操作的示例方法流程圖。
[0007]圖3是示出根據(jù)各種實(shí)施例的圖1的裝置的操作的另一示例方法的流程圖。
[0008]圖4是示出根據(jù)各種實(shí)施例的與形成虛擬麥克風(fēng)以獲得語(yǔ)音信號(hào)相關(guān)的操作的示例方法的流程圖。
[0009]圖5是示出根據(jù)各種實(shí)施例的與形成虛擬麥克風(fēng)以獲得語(yǔ)音信號(hào)相關(guān)的操作的另一示例方法的流程圖。
[0010]圖6是示出根據(jù)各種實(shí)施例的與形成虛擬麥克風(fēng)以獲得具有干擾機(jī)語(yǔ)音的噪聲信號(hào)的操作的示例方法的流程圖。
[0011]圖7是示出根據(jù)各種實(shí)施例的與形成虛擬麥克風(fēng)以獲得噪聲信號(hào)相關(guān)的操作的另一示例方法的流程圖。
[0012]圖8是示出根據(jù)各種實(shí)施例的與形成虛擬麥克風(fēng)以獲得噪聲信號(hào)的操作的另一示例方法的流程圖。
【具體實(shí)施方式】
[0013]簡(jiǎn)要地，所公開的實(shí)施例的操作的方法包括:波束形成多個(gè)麥克風(fēng)輸出以獲得多個(gè)虛擬麥克風(fēng)音頻通道。每個(gè)虛擬麥克風(fēng)音頻通道對(duì)應(yīng)于一個(gè)波束形成。虛擬麥克風(fēng)音頻通道包括至少一個(gè)語(yǔ)音通道和至少一個(gè)噪聲通道。該方法包括對(duì)所述至少一個(gè)語(yǔ)音通道執(zhí)行語(yǔ)音活動(dòng)檢測(cè)和調(diào)整相應(yīng)的語(yǔ)音波束形成，直到語(yǔ)音活動(dòng)檢測(cè)指示聲音存在于所述至少一個(gè)語(yǔ)音通道上。
[0014]所述方法還可以包括對(duì)所述至少一個(gè)噪聲通道執(zhí)行語(yǔ)音活動(dòng)檢測(cè)，以及調(diào)整對(duì)應(yīng)的噪聲波束形成，直到語(yǔ)音活動(dòng)檢測(cè)指示所述至少一個(gè)噪聲通道基本不存在語(yǔ)音。所述方法還可以包括對(duì)所述至少一個(gè)噪聲通道執(zhí)行能量估計(jì)，以及調(diào)整對(duì)應(yīng)的噪聲波束形成，直到能量估計(jì)指示所述至少一個(gè)噪聲通道從主導(dǎo)音頻能量源接收音頻。所述方法還可以包括對(duì)所述至少一個(gè)噪聲通道執(zhí)行語(yǔ)音識(shí)別，以及調(diào)整對(duì)應(yīng)的噪聲波束形成，以提高語(yǔ)音識(shí)別的語(yǔ)音識(shí)別置信度量。所述方法還可以包括對(duì)所述至少一個(gè)噪聲通道執(zhí)行語(yǔ)音識(shí)別，以及調(diào)整對(duì)應(yīng)的噪聲波束形成，以降低噪聲波束上執(zhí)行的語(yǔ)音視頻的語(yǔ)音識(shí)別置信度量。
[0015]在一些實(shí)施例中，對(duì)所述至少一個(gè)噪聲通道執(zhí)行語(yǔ)音識(shí)別可以包括使用被訓(xùn)練成辨識(shí)特定說(shuō)話者的經(jīng)訓(xùn)練的語(yǔ)音識(shí)別對(duì)所述至少一個(gè)噪聲通道執(zhí)行語(yǔ)音識(shí)別。所述方法還可以包括初始基于檢測(cè)到的對(duì)應(yīng)麥克風(fēng)組的方位來(lái)配置所述多個(gè)麥克風(fēng)輸出。
[0016]所公開的實(shí)施例的另一種操作方法包括波束形成多個(gè)麥克風(fēng)輸出以獲得多個(gè)虛擬麥克風(fēng)音頻通道，其中，每一個(gè)虛擬麥克風(fēng)音頻通道對(duì)應(yīng)于一個(gè)波束形成，并且具有至少一個(gè)語(yǔ)音通道和至少一個(gè)噪聲通道。所述方法包括對(duì)所述至少一個(gè)語(yǔ)音通道執(zhí)行語(yǔ)音識(shí)別，以及調(diào)整對(duì)應(yīng)的語(yǔ)音波束形成，以提高語(yǔ)音識(shí)別的語(yǔ)音識(shí)別置信度量。
[0017]在一些實(shí)施例中，對(duì)所述至少一個(gè)語(yǔ)音通道執(zhí)行語(yǔ)音識(shí)別可以包括使用被訓(xùn)練成辨識(shí)特定說(shuō)話者的經(jīng)訓(xùn)練的語(yǔ)音識(shí)別對(duì)所述至少一個(gè)語(yǔ)音通道執(zhí)行語(yǔ)音識(shí)別。所述方法還可以包括對(duì)所述至少一個(gè)噪聲通道執(zhí)行語(yǔ)音活動(dòng)檢測(cè)，以及調(diào)整對(duì)應(yīng)的噪聲波束形成，直到語(yǔ)音活動(dòng)檢測(cè)指示在所述至少一個(gè)噪聲通道上基本不存在語(yǔ)音。所述方法還可以包括對(duì)所述至少一個(gè)噪聲通道執(zhí)行能量估計(jì)，以及調(diào)整對(duì)應(yīng)的噪聲波束形成，直到能量估計(jì)指示所述至少一個(gè)噪聲通道從主導(dǎo)音頻能量源接收音頻。所述方法還可以包括對(duì)所述至少一個(gè)噪聲通道執(zhí)行語(yǔ)音活動(dòng)檢測(cè)，以及調(diào)整對(duì)應(yīng)的噪聲波束形成，直到語(yǔ)音活動(dòng)檢測(cè)指示所述至少一個(gè)噪聲通道上存在語(yǔ)音。所述方法還可以包括對(duì)所述至少一個(gè)噪聲通道執(zhí)行語(yǔ)音識(shí)另IJ，以及調(diào)整對(duì)應(yīng)的噪聲波束形成，以降低語(yǔ)音識(shí)別的語(yǔ)音識(shí)別置信度量。所述方法還可以包括使用被訓(xùn)練成辨識(shí)特定說(shuō)話者的經(jīng)訓(xùn)練的語(yǔ)音識(shí)別對(duì)所述至少一個(gè)噪聲通道執(zhí)行語(yǔ)音識(shí)別。所述方法還可以包括響應(yīng)于指示所述至少一個(gè)噪聲通道上存在語(yǔ)音的語(yǔ)音活動(dòng)檢測(cè)對(duì)所述至少一個(gè)噪音通道執(zhí)行語(yǔ)音識(shí)別。所述方法還可以包括調(diào)整對(duì)應(yīng)的噪聲波束形成，以降低經(jīng)訓(xùn)練的語(yǔ)音識(shí)別的語(yǔ)音識(shí)別置信度量。
[0018]所公開的實(shí)施例還提供了一種裝置，包括波束形成器，該波束形成器操作地耦合到多個(gè)麥克風(fēng)輸出。波束形成器操作以提供多個(gè)虛擬麥克風(fēng)音頻通道作為波束形成器輸出，其中，每一個(gè)虛擬麥克風(fēng)音頻通道對(duì)應(yīng)于一個(gè)波束形成并具有至少一個(gè)語(yǔ)音通道和至少一個(gè)噪聲通道。波束形成器控制器操作地耦合到波束形成器，并且操作以監(jiān)視所述至少一個(gè)語(yǔ)音通道和所述至少一個(gè)噪聲通道，以確定所述至少一個(gè)語(yǔ)音通道或所述至少一個(gè)噪聲通道中的任一個(gè)上是否存在語(yǔ)音。波束形成器控制器還操作以控制波束形成器來(lái)調(diào)整與所述至少一個(gè)語(yǔ)音通道相對(duì)應(yīng)的波束形成，直到所述至少一個(gè)語(yǔ)音通道上存在語(yǔ)音。在一些實(shí)施例中，波束形成器控制器還操作成控制波束形成器來(lái)調(diào)整與所述至少一個(gè)噪聲通道相對(duì)應(yīng)的波束形成，直到所述至少一個(gè)噪聲通道上基本不存在語(yǔ)音。
[0019]在一個(gè)實(shí)施例中，語(yǔ)音活動(dòng)檢測(cè)器操作地耦合到波束形成器以接收所述至少一個(gè)語(yǔ)音通道，和操作地耦合到所述波束形成器控制器。本實(shí)施例的波束形成器控制器操作來(lái)監(jiān)視所述至少一個(gè)語(yǔ)音通道，以通過(guò)監(jiān)視從語(yǔ)音活動(dòng)檢測(cè)器接收到的輸入確定是否存在語(yǔ)音。在另一個(gè)實(shí)施例中，語(yǔ)音識(shí)別引擎操作地耦合到波束形成器來(lái)接收所述至少一個(gè)語(yǔ)音通道，和操作地耦合到所述波束形成器控制器。語(yǔ)音識(shí)別引擎操作以對(duì)所述至少一個(gè)語(yǔ)音通道執(zhí)行語(yǔ)音識(shí)別來(lái)檢測(cè)語(yǔ)音，并且波束形成器控制器操作來(lái)監(jiān)視所述至少一個(gè)語(yǔ)音通道，以通過(guò)監(jiān)視從語(yǔ)音識(shí)別引擎接收到的輸入確定是否存在語(yǔ)音。例如，該輸入可以是語(yǔ)音置信度量。
[0020]在另一個(gè)實(shí)施例中，語(yǔ)音識(shí)別引擎操作地耦合到波束形成器來(lái)接收所述至少一個(gè)語(yǔ)音通道和至少一個(gè)噪聲通道。語(yǔ)音識(shí)別引擎操作以對(duì)所述至少一個(gè)語(yǔ)音通道和至少一個(gè)噪聲通道執(zhí)行語(yǔ)音識(shí)別，以檢測(cè)語(yǔ)音。波束形成器控制器操作地耦合到波束形成器、語(yǔ)音活動(dòng)檢測(cè)器、和語(yǔ)音識(shí)別引擎。除其他事項(xiàng)外，波束形成器控制器操作來(lái)監(jiān)視語(yǔ)音活動(dòng)檢測(cè)器，以確定所述至少一個(gè)語(yǔ)音通道或所述至少一個(gè)噪聲通道中的任一個(gè)上是否存在語(yǔ)音，并控制波束形成器以調(diào)整對(duì)應(yīng)的語(yǔ)音波束形成，直到語(yǔ)音活動(dòng)檢測(cè)或語(yǔ)音識(shí)別引擎指示所述至少一個(gè)語(yǔ)音通道上存在語(yǔ)音，以及調(diào)整對(duì)應(yīng)的噪聲波束形成，直到語(yǔ)音活動(dòng)檢測(cè)或語(yǔ)音識(shí)別引擎指示所述至少一個(gè)噪聲通道上基本不存在語(yǔ)音。
[0021]在一些實(shí)施例中，所述裝置還可以包括能量估計(jì)器，該能量估計(jì)器操作地耦合到波束形成器和語(yǔ)音活動(dòng)檢測(cè)器。在一些實(shí)施例中，所述裝置還可以包括麥克風(fēng)配置邏輯，麥克風(fēng)配置邏輯操作地耦合到波束形成器。麥克風(fēng)配置邏輯可以包括切換邏輯，該切換邏輯操作以接通或斷開多個(gè)麥克風(fēng)輸出的任何麥克風(fēng)輸出。在一些實(shí)施例中，所述裝置還可以包括噪聲估計(jì)器，該噪聲估計(jì)器操作地耦合到語(yǔ)音活動(dòng)檢測(cè)器。
[0022]在另一個(gè)實(shí)施例中，一種操作方法包括:波束形成多個(gè)麥克風(fēng)輸出，以獲得至少一個(gè)虛擬麥克風(fēng)通道，對(duì)切換邏輯至少一個(gè)虛擬麥克風(fēng)通道執(zhí)行語(yǔ)音識(shí)別，以及調(diào)整對(duì)應(yīng)的波束形成，直到語(yǔ)音識(shí)別指示以下中的一個(gè):切換邏輯至少一個(gè)虛擬麥克風(fēng)通道上存在語(yǔ)音、或所述至少一個(gè)虛擬麥克風(fēng)通道上基本不存在語(yǔ)音。在一些實(shí)施例中，執(zhí)行語(yǔ)音識(shí)別可以包括使用被訓(xùn)練成辨識(shí)特定說(shuō)話者的經(jīng)訓(xùn)練的語(yǔ)音識(shí)別對(duì)所述至少一個(gè)虛擬麥克風(fēng)通道執(zhí)行語(yǔ)音識(shí)別。
[0023]現(xiàn)在轉(zhuǎn)到附圖，圖1是根據(jù)各種實(shí)施例的裝置100的示意性框圖。裝置100可以并入和用于采用語(yǔ)音識(shí)別、語(yǔ)音傳輸、或語(yǔ)音捕獲的任何電子設(shè)備中。裝置100的一個(gè)應(yīng)用可以用于各種移動(dòng)設(shè)備中的任何一個(gè)，諸如但不限于，移動(dòng)電話、智能電話、照相機(jī)、攝像機(jī)、平板電腦、筆記本電腦、或一些其他電池供電的電子設(shè)備等等。然而，裝置100不限于在移動(dòng)設(shè)備中使用。例如，裝置100可以用于語(yǔ)音控制電視機(jī)、數(shù)字視頻錄像機(jī)、汽車控制系統(tǒng)、或采用語(yǔ)音識(shí)別或語(yǔ)音通信的任何其它設(shè)備或系統(tǒng)，諸如便攜式或非便攜式電話、揚(yáng)聲電話等。
[0024]可以理解，為了清楚的目的，圖1受限于僅示出向本領(lǐng)域普通技術(shù)人員描述各種實(shí)施例的特征和優(yōu)點(diǎn)以及描述如何作出和使用各種實(shí)施例有用的那些組件。因此，可以理解，可以存在各種其他組件、電路和設(shè)備等，以便實(shí)現(xiàn)裝置，并且本領(lǐng)域普通技術(shù)人員可以理解為存在那些各種其它組件、電路、設(shè)備等。例如，裝置可以包括用于從電源、可以連接到電池或容納在裝置100并入的電子設(shè)備或系統(tǒng)中的一個(gè)中的其它電源的配電總線接收電力的輸入，以向裝置100提供電力，或者將電力分配給裝置100的各種組件。在另一示例中，裝置可以包括一個(gè)或多個(gè)通信總線，用于發(fā)送控制信號(hào)或操作地耦合的組件之間的其他信息等。因此，可以理解，為了清楚的目的，省略了這樣的各種其它組件、電路或設(shè)備。
[0025]另一示例是，裝置100還可以包括內(nèi)部通信總線，用于在各種組件、電路和設(shè)備之間提供操作地耦合。本文所使用的術(shù)語(yǔ)“操作地耦合”是指實(shí)現(xiàn)各種組件、電路和設(shè)備之間操作和/或功能通信的耦合以及被描述為操作地耦合的各種組件、電路和設(shè)備之間的關(guān)系，并且可以包括用于實(shí)現(xiàn)這樣通信的任何中間