專利名稱：自適應(yīng)環(huán)境聲抑制和語(yǔ)音跟蹤的制作方法
自適應(yīng)環(huán)境聲抑制和語(yǔ)音跟蹤
背景技術(shù)：
各種計(jì)算設(shè)備，包括但不局限于互動(dòng)娛樂(lè)設(shè)備例如視頻游戲系統(tǒng)，可被配置為接 受語(yǔ)音輸入以允許用戶通過(guò)語(yǔ)音命令控制系統(tǒng)操作。這些計(jì)算設(shè)備包括一個(gè)或多個(gè)麥克風(fēng) 以允許該計(jì)算設(shè)備在使用期間捕獲用戶語(yǔ)音。然而，要將用戶語(yǔ)音從環(huán)境噪聲，例如來(lái)自揚(yáng) 聲器輸出、使用環(huán)境中其他人員、固定源例如計(jì)算設(shè)備風(fēng)扇的噪聲中區(qū)分開(kāi)來(lái)是困難的。而 且，在使用期間，用戶的物理移動(dòng)也會(huì)增加這些困難。一些解決這樣的問(wèn)題的當(dāng)前方案包括指令用戶不要在使用環(huán)境中改變位置，或執(zhí) 行一個(gè)動(dòng)作以警告計(jì)算設(shè)備將要到來(lái)的輸入。然而，這些方案可能會(huì)對(duì)語(yǔ)音輸入環(huán)境的使 用所期望的自發(fā)性和易用性產(chǎn)生負(fù)面影響。

發(fā)明內(nèi)容
因此，在此揭示了各種涉及抑制麥克風(fēng)陣列所接收的語(yǔ)音中環(huán)境聲的實(shí)施例。例 如，一個(gè)實(shí)施例提供了一種包括麥克風(fēng)陣列、處理器、模數(shù)轉(zhuǎn)換器和存儲(chǔ)器的設(shè)備，所述存 儲(chǔ)器包括存儲(chǔ)在其上由處理器執(zhí)行以抑制麥克風(fēng)陣列所接收的語(yǔ)音輸入中環(huán)境聲的指令。 例如，指令可執(zhí)行以從模數(shù)轉(zhuǎn)換器接收多個(gè)數(shù)字聲音信號(hào)，每個(gè)數(shù)字聲音信號(hào)基于源自麥 克風(fēng)指令的模擬聲音信號(hào)，并且還能接收多聲道揚(yáng)聲器信號(hào)。所述指令還可執(zhí)行以生成每 個(gè)多聲道揚(yáng)聲器信號(hào)的單聲道近似信號(hào)(approximation signal)，并將線性回音消除器應(yīng) 用于每個(gè)使用所述近似信號(hào)的數(shù)字聲音信號(hào)。所述指令還可執(zhí)行以通過(guò)時(shí)間恒定和自適應(yīng) 波束生成技術(shù)的組合從多個(gè)數(shù)字聲音信號(hào)的組合中生成已組合定向自適應(yīng)聲音信號(hào)，并應(yīng) 用一個(gè)或多個(gè)非線性噪聲抑制技術(shù)來(lái)抑制已組合定向自適應(yīng)聲音信號(hào)的第二環(huán)境聲部分。提供本概述是為了以簡(jiǎn)化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概 念。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于 限定所要求保護(hù)的主題的范圍。此外，所要求保護(hù)的主題不限于解決在本發(fā)明的任一部分 中提及的任何或所有缺點(diǎn)的實(shí)現(xiàn)。


圖1是音頻輸入設(shè)備的實(shí)施例的操作環(huán)境的實(shí)施例的示意圖。圖2是音頻輸入設(shè)備的實(shí)施例的示意圖。圖3A是操作圖2的音頻輸入設(shè)備的方法實(shí)施例的流程圖。圖;3B是圖3A的流程圖的延續(xù)。
具體實(shí)施例方式圖1是音頻輸入設(shè)備102的實(shí)施例的操作環(huán)境100的實(shí)施例的示意圖，所述音頻 輸入設(shè)備102用于為通過(guò)音頻輸入設(shè)備102的麥克風(fēng)陣列(圖1中框150所示)從語(yǔ)音源 S接收的語(yǔ)音輸入抑制環(huán)境聲。例如，操作環(huán)境100可以表示家庭影院環(huán)境、視頻游戲游玩 空間等。應(yīng)該理解地是操作環(huán)境100是一示例操作環(huán)境；單純出于說(shuō)明的目的，描述了操作環(huán)境的不同要素的尺寸、配置和安排。其他合適的操作環(huán)境也可與音頻輸入設(shè)備102—起 使用。除了音頻輸入設(shè)備102之外，操作環(huán)境100可包括遠(yuǎn)程計(jì)算設(shè)備104。在一些實(shí)施 例中，遠(yuǎn)程計(jì)算設(shè)備可以包括游戲控制臺(tái)，而在其他實(shí)施例中，所述遠(yuǎn)程計(jì)算設(shè)備包括任意 其他合適的計(jì)算設(shè)備。例如，在一個(gè)場(chǎng)景中，遠(yuǎn)程計(jì)算設(shè)備104可以是在網(wǎng)絡(luò)環(huán)境中工作的 遠(yuǎn)程服務(wù)器、移動(dòng)設(shè)備例如移動(dòng)電話、膝上型電腦或其他個(gè)人計(jì)算設(shè)備等。遠(yuǎn)程計(jì)算設(shè)備104通過(guò)一個(gè)或多個(gè)連接112被連接到音頻輸入設(shè)備102。應(yīng)該理 解圖1中所示的各種連接在一些實(shí)施例中可以是合適的物理連接或在另一些實(shí)施例中可 以是合適的無(wú)線連接，或它們合適的組合。而且，操作環(huán)境100可以包括通過(guò)合適的顯示連 接Iio連接到遠(yuǎn)程計(jì)算設(shè)備104的顯示器106。操作環(huán)境100還包括一個(gè)或多個(gè)通過(guò)合適的揚(yáng)聲器連接114連接到遠(yuǎn)程計(jì)算設(shè)備 104的一個(gè)或多個(gè)揚(yáng)聲器108，通過(guò)該一個(gè)或多個(gè)揚(yáng)聲器可以傳送揚(yáng)聲器信號(hào)。在一些實(shí)施 例中，揚(yáng)聲器108可被配置為提供多聲道聲音。例如，操作環(huán)境100可被配置為5. 1聲道的 環(huán)繞聲聲音，并可包括左聲道揚(yáng)聲器、右聲道揚(yáng)聲器、中聲道揚(yáng)聲器、低頻率效應(yīng)揚(yáng)聲器、左 聲道環(huán)繞揚(yáng)聲器和右聲道環(huán)繞揚(yáng)聲器(這些揚(yáng)聲器的每個(gè)都被參考數(shù)字108標(biāo)識(shí))。這樣， 在示例實(shí)施例中，在所述5. 1聲道環(huán)繞聲揚(yáng)聲器信號(hào)中可以傳送6個(gè)音頻聲道。圖2是音頻輸入設(shè)備102的實(shí)施例的示意圖。音頻輸入設(shè)備102包括麥克風(fēng)陣 列，所述麥克風(fēng)陣列包括多個(gè)用于將聲音，例如語(yǔ)音輸入，轉(zhuǎn)換成模擬聲音信號(hào)206以在音 頻輸入設(shè)備102中處理的麥克風(fēng)205。來(lái)自麥克風(fēng)的模擬聲音信號(hào)被定向到模數(shù)轉(zhuǎn)換器 (ADC) 207，在其中，每個(gè)模擬聲音信號(hào)被轉(zhuǎn)換成數(shù)字聲音信號(hào)。音頻輸入設(shè)備102還被配置 為從時(shí)鐘信號(hào)源250接收時(shí)鐘信號(hào)252，將在下面內(nèi)容中詳細(xì)描述其示例。時(shí)鐘信號(hào)252可 被用于同步在模數(shù)轉(zhuǎn)換器207處要被轉(zhuǎn)換為多個(gè)數(shù)字聲音信號(hào)208的模擬聲音信號(hào)206。例 如，在一些實(shí)施例中，時(shí)鐘信號(hào)252可以是與麥克風(fēng)輸入時(shí)鐘同步的揚(yáng)聲器輸出時(shí)鐘信號(hào)。音頻輸入設(shè)備102進(jìn)一步包括大容量存儲(chǔ)器212、處理器214、存儲(chǔ)器216以及噪 聲抑制器217的實(shí)施例，該實(shí)施例可存儲(chǔ)在海量存儲(chǔ)器212中并被加載到存儲(chǔ)器216以供 處理器214執(zhí)行。如下將詳細(xì)描述，噪聲抑制器217在三個(gè)階段中應(yīng)用噪聲抑制技術(shù)。在第一階段， 噪聲抑制器217被配置為用一個(gè)或多個(gè)線性噪聲抑制技術(shù)來(lái)抑制每個(gè)數(shù)字聲音信號(hào)208中 的環(huán)境聲部分。這些線性噪聲抑制技術(shù)可配置為抑制來(lái)自固定源的環(huán)境聲，和/或展現(xiàn)些 許動(dòng)態(tài)活動(dòng)的其他環(huán)境聲。例如，噪聲抑制器217的第一線性抑制階段可以抑制來(lái)自固定 源如游戲控制臺(tái)的冷卻風(fēng)扇的電機(jī)噪聲，并可抑制來(lái)自固定揚(yáng)聲器的揚(yáng)聲器噪聲。這樣，音 頻輸入設(shè)備102可以被配置為接收來(lái)自揚(yáng)聲器信號(hào)源219的多聲道揚(yáng)聲器信號(hào)218(例如 遠(yuǎn)程計(jì)算設(shè)備104的揚(yáng)聲器信號(hào)輸出)以幫助這種噪聲的抑制。在第二階段中，將噪聲抑制器217配置為從含有有關(guān)所接收的信號(hào)源自哪個(gè)方向 的信息的每個(gè)數(shù)字聲音信號(hào)208，將多個(gè)數(shù)字聲音信號(hào)組合成單獨(dú)的已組合定向自適應(yīng)聲 音信號(hào)210。在第三階段中，將噪聲抑制器217配置為用一個(gè)或多個(gè)非線性噪聲抑制技術(shù)來(lái)抑 制已組合定向自適應(yīng)聲音信號(hào)210中的環(huán)境聲，所述非線性噪聲抑制技術(shù)對(duì)源自離所接收 的語(yǔ)音源自的那個(gè)方向更遠(yuǎn)的噪聲應(yīng)用比源自離該方向更近的噪聲更加大量的噪聲抑制。這些非線性噪聲抑制技術(shù)可配置為，例如，抑制展現(xiàn)更多動(dòng)態(tài)活動(dòng)的環(huán)境噪聲。在執(zhí)行噪聲抑制之后，將音頻輸入設(shè)備102配置為輸出所得到的聲音信號(hào)206，該 所得到的聲音信號(hào)206可隨后被用于標(biāo)識(shí)所接收語(yǔ)音信號(hào)中的語(yǔ)音輸入。在一些實(shí)施例 中，所得到的聲音信號(hào)206可被用于語(yǔ)音識(shí)別。而圖2示出提供給遠(yuǎn)程計(jì)算設(shè)備104的輸 出，可以理解所述輸出可以提供給本地語(yǔ)音識(shí)別系統(tǒng)或任意其他合適位置處的語(yǔ)音識(shí)別系 統(tǒng)。另外或可選地，在一些實(shí)施例中，所得到的聲音信號(hào)260可用于無(wú)線電通訊應(yīng)用中。在執(zhí)行非線性技術(shù)之前執(zhí)行線性噪聲抑制技術(shù)可以提供各種優(yōu)點(diǎn)。例如，執(zhí)行線 性噪聲減少以從固定和/或期望源(例如風(fēng)扇、揚(yáng)聲器聲音等)移除噪聲可以在相對(duì)較低 的抑制期望語(yǔ)音輸入的可能性下執(zhí)行，并且還可以顯著減少所述數(shù)字聲音信號(hào)的動(dòng)態(tài)范 圍，以允許減少所述數(shù)字音頻信號(hào)的位深度，以提供更加有效的下游處理。這樣的位深度減 少將在下面進(jìn)一步詳述。在一些實(shí)施例中，線性噪聲抑制技術(shù)的應(yīng)用在噪聲抑制處理開(kāi)始 不久后發(fā)生。申請(qǐng)人意識(shí)到這種方式可以減少下游非線性抑制信號(hào)處理量，這將加速下游 信號(hào)處理。麥克風(fēng)陣列202可以具有任意合適的配置。例如，在一些實(shí)施例中，麥克風(fēng)205可 以沿一公共軸安置。在這樣的安置中，麥克風(fēng)205可以在麥克風(fēng)陣列202中彼此均勻間隔， 或在麥克風(fēng)陣列202中彼此不均勻間隔。使用不均勻間隔有助于避免由于破壞性干擾在所 有麥克風(fēng)205處在單個(gè)頻率中出現(xiàn)的頻率零值。在一特定實(shí)施例中，麥克風(fēng)陣列202可根 據(jù)表1中的尺寸集進(jìn)行配置?？梢岳斫?，也可使用其他合適的安排。表1
長(zhǎng)度 (m)在麥克風(fēng)和陣列的中心線“Y”之司的距離整體205A-Y205B - Y205C-Y205D — Y0.225-0.11250.03050.07550.1125模數(shù)轉(zhuǎn)換器207可配置為將由每個(gè)麥克風(fēng)205所生成的每個(gè)模擬聲音信號(hào)206轉(zhuǎn) 換為對(duì)應(yīng)的數(shù)字聲音信號(hào)208，其中源自每個(gè)麥克風(fēng)205的每個(gè)數(shù)字聲音信號(hào)208具有第 一較高位深度。例如，模數(shù)轉(zhuǎn)換器207可以是M位模數(shù)轉(zhuǎn)換器以支持展示大動(dòng)態(tài)范圍的聲 音環(huán)境。這樣的位深度的使用相對(duì)于較低位深度的使用而言有助于減少每個(gè)模擬聲音信號(hào) 206的數(shù)字限幅。而且，如下將詳細(xì)描述，所述模數(shù)轉(zhuǎn)換器所輸出的M位數(shù)字聲音信號(hào)可以 在噪聲抑制處理中的中間階段被轉(zhuǎn)換成較低位深度以幫助提高下游處理效率。在一特定實(shí) 施例中，模數(shù)轉(zhuǎn)換器207所輸出的每個(gè)數(shù)字聲音信號(hào)208是單聲道、16kHz、24位的數(shù)字聲音 信號(hào)。在一些實(shí)施例中，將模數(shù)轉(zhuǎn)換器207配置為通過(guò)從遠(yuǎn)程計(jì)算設(shè)備104接收的時(shí)鐘 信號(hào)252將每個(gè)數(shù)字聲音信號(hào)208與揚(yáng)聲器信號(hào)218同步。例如，由遠(yuǎn)程計(jì)算設(shè)備104的時(shí) 鐘信號(hào)源250生成的USB起始幀分組信號(hào)可用于同步模數(shù)轉(zhuǎn)換器207以將每個(gè)麥克風(fēng)205 處接收的聲音與揚(yáng)聲器信號(hào)218同步。將揚(yáng)聲器信號(hào)218配置為包括用于在揚(yáng)聲器108處 生成揚(yáng)聲器聲音的數(shù)字揚(yáng)聲器聲音信號(hào)。揚(yáng)聲器信號(hào)218與數(shù)字聲音信號(hào)208的同步可以 為在每個(gè)麥克風(fēng)205接收的一部分揚(yáng)聲器聲音的后續(xù)噪聲抑制提供時(shí)間參考。模數(shù)轉(zhuǎn)換器207的輸出在第一階段噪聲抑制器217處被接收，在其中，噪聲抑制器移除第一部分的環(huán)境噪聲。在所描述的實(shí)施例中，每個(gè)數(shù)字聲音信號(hào)208通過(guò)時(shí)-頻域變 換(TFD)模塊220處的變換被轉(zhuǎn)換成頻域。例如，可使用變換算法，例如傅利葉變換、調(diào)制 復(fù)重疊變換、快速傅利葉變換或任意其他合適的變換算法，來(lái)將每個(gè)數(shù)字聲音信號(hào)208轉(zhuǎn) 換為頻域。在模塊220處被轉(zhuǎn)換成頻域的數(shù)字聲音信號(hào)208被輸出到多聲道回音消除器 (MEC) 224。將多聲道回音消除器2M配置為從揚(yáng)聲器信號(hào)源219接收多聲道揚(yáng)聲器信號(hào) 218。在一些實(shí)施例中，揚(yáng)聲器信號(hào)218還被傳送給快速傅利葉變換模塊220以將揚(yáng)聲器信 號(hào)218變換為具有頻域的揚(yáng)聲器信號(hào)，并隨后輸出給多聲道回音消除器224。每個(gè)多聲道回音消除器2 包括多聲道-單聲道(MTM)變換模塊225和線性音頻 回音消除器(AEC) 226。將每個(gè)單聲道變換模塊225配置為生成多聲道揚(yáng)聲器信號(hào)218的單 聲道近似信號(hào)222，該單聲道近似信號(hào)222近似由對(duì)應(yīng)的麥克風(fēng)205所接收的揚(yáng)聲器聲音可 使用預(yù)定校準(zhǔn)信號(hào)(CS) 270來(lái)幫助生成所述單聲道近似。例如，可通過(guò)從揚(yáng)聲器發(fā)射已知 校準(zhǔn)音頻信號(hào)(CAQ 272、通過(guò)麥克風(fēng)陣列接收源自校準(zhǔn)音頻信號(hào)的揚(yáng)聲器輸出，并隨后將 所接收的信號(hào)輸出和揚(yáng)聲器所接收的信號(hào)進(jìn)行比較，來(lái)確定校準(zhǔn)信號(hào)270。校準(zhǔn)信號(hào)可以間 歇地被確定，例如，在系統(tǒng)建立或啟動(dòng)時(shí)，或者也可以更加頻繁地被執(zhí)行。在一些實(shí)施例中， 校準(zhǔn)音頻信號(hào)272可以配置為與揚(yáng)聲器之間無(wú)關(guān)且覆蓋預(yù)定頻譜的任意合適的音頻信號(hào)。 例如，在一些實(shí)施例中，可使用掃描正弦信號(hào)。在一些其他實(shí)施例中，可以使用樂(lè)音信號(hào)。從對(duì)應(yīng)的多聲道-單聲道變換模塊225將每個(gè)單聲道近似信號(hào)222傳送給對(duì)應(yīng)的 線性音頻回音消除器226。將每個(gè)線性音頻回音消除器2 配置為至少部分基于單聲道近 似信號(hào)222來(lái)抑制每個(gè)數(shù)字聲音信號(hào)208的第一環(huán)境聲部分。例如，在一個(gè)場(chǎng)景中，每個(gè)線 性音頻回音消除器2 可以被配置為將數(shù)字聲音信號(hào)208與單聲道近似信號(hào)222進(jìn)行比 較，并進(jìn)一步被配置為從對(duì)應(yīng)的數(shù)字聲音信號(hào)208中減去單聲道近似信號(hào)222。如上所述，在一些實(shí)施例中，在將線性音頻回音消除器2 應(yīng)用到位深度減少 (BR)模塊227處的每個(gè)數(shù)字聲音信號(hào)208之后，每個(gè)多聲道回音消除器2M可配置為將每 個(gè)數(shù)字聲音信號(hào)208轉(zhuǎn)換為具有第二較低位深度的數(shù)字聲音信號(hào)208。例如，在一些實(shí)施例 中，可以從數(shù)字聲音信號(hào)208中移除至少一部分多聲道揚(yáng)聲器信號(hào)218，以導(dǎo)致生成位深度 減少的聲音信號(hào)。這種位深度減少有助于通過(guò)允許位深度減少的聲音信號(hào)的動(dòng)態(tài)范圍占據(jù) 較少位深度來(lái)加速下游計(jì)算處理。位深度可以在任意合適的處理點(diǎn)處被減少，并可減少任 意合適的程度。例如，在所描述的實(shí)施例中，在應(yīng)用線性音頻回音消除器2 之后，M位數(shù) 字聲音信號(hào)可以被轉(zhuǎn)換為16位數(shù)字聲音信號(hào)。在其他實(shí)施例中，位深度可以被減少另一數(shù) 量和/或在另一合適的點(diǎn)被減少。而且，在一些實(shí)施例中，丟棄的位可對(duì)應(yīng)于數(shù)字聲音信號(hào) 208先前所包含的部分，該部分對(duì)應(yīng)于在線性音頻回音消除器2 處所抑制的揚(yáng)聲器聲音。繼續(xù)圖2，所描述的噪聲抑制器217還被配置為將線性固定音移除器(STR) 2 應(yīng) 用到每個(gè)數(shù)字聲音信號(hào)208。將線性固定音移除器2 配置為移除由近似的恒定音處的源 所發(fā)射的背景聲音。例如，風(fēng)扇、空調(diào)或其他白色噪聲源能夠發(fā)射可被麥克風(fēng)陣列202接收 的近似恒定音。在一場(chǎng)景中，線性固定音移除器2 可以被配置為創(chuàng)建在數(shù)字聲音信號(hào)208 中檢測(cè)到的近似恒定音的模型并應(yīng)用噪聲消除技術(shù)以移除該音。？在一些實(shí)施例中，在應(yīng) 用每個(gè)線性音頻回音消除器2 之后且在生成已組合定向自適應(yīng)聲音信號(hào)210之前可以將 每個(gè)線性固定音移除器2 應(yīng)用到每個(gè)數(shù)字聲音信號(hào)208。在一些其他實(shí)施例中，所述線性
8固定音移除器可以在噪聲抑制器217中具有任意其他適合的位置。在如上所述應(yīng)用了這樣的線性噪聲抑制處理之后，將所述多個(gè)數(shù)字聲音信號(hào)提供 給噪聲抑制器217的第二階段，該階段包括波束生成器230。將波束生成器230配置為接收 每個(gè)線性固定音移除器228的輸出并從所述多個(gè)數(shù)字聲音信號(hào)的組合中生成已組合定向 自適應(yīng)聲音信號(hào)210。波束生成器230通過(guò)利用陣列中四個(gè)麥克風(fēng)的每個(gè)麥克風(fēng)處接收聲 音的時(shí)間之間的差值來(lái)確定聲音是從哪個(gè)方向被接收的，以形成定向自適應(yīng)聲音信號(hào)210。 可以以任何合適的方式來(lái)確定已組合定向自適應(yīng)聲音信號(hào)。例如，在描述的實(shí)施例中，基于 時(shí)間恒定和自適應(yīng)波形技術(shù)的組合來(lái)確定定向自適應(yīng)聲音信號(hào)。所得到的已組合信號(hào)可以 具有窄方向性模式，該模式在語(yǔ)音源方向上前進(jìn)。波束生成器230可包括時(shí)間恒定波束生成器232和自適應(yīng)波束生成器236以生成 已組合定向自適應(yīng)聲音信號(hào)210。將時(shí)間恒定波束生成器232配置為將一系列預(yù)定加權(quán)系 數(shù)234應(yīng)用到每個(gè)數(shù)字聲音信號(hào)208，至少部分基于在麥克風(fēng)陣列202的預(yù)定聲音接收區(qū)域 中的各向同性的環(huán)境噪聲分布來(lái)計(jì)算每個(gè)預(yù)定加權(quán)系數(shù)234。在一些實(shí)施例中，時(shí)間恒定波束生成器232可以被配置為執(zhí)行每個(gè)數(shù)字聲音信號(hào) 208的線性組合?？梢杂煽纱鎯?chǔ)在查找表中的一個(gè)或多個(gè)預(yù)定加權(quán)系統(tǒng)234對(duì)每個(gè)數(shù)字聲 音信號(hào)208進(jìn)行加權(quán)?？梢蕴崆盀辂溈孙L(fēng)陣列202的預(yù)定聲音接收區(qū)域計(jì)算預(yù)定加權(quán)系統(tǒng) 234。例如，可以在麥克風(fēng)陣列202的中心線任一側(cè)上延伸50度的聲音接收區(qū)域中以10度 間隔來(lái)計(jì)算預(yù)定加權(quán)系統(tǒng)234。時(shí)間恒定波束生成器232和與自適應(yīng)波束生成器236協(xié)作。例如，預(yù)定加權(quán)系統(tǒng) 234可以幫助自適應(yīng)波束生成器236的操作。在一場(chǎng)景中，時(shí)間恒定波束生成器232可為自 適應(yīng)波束生成器236的操作提供起始點(diǎn)。在第二場(chǎng)景中，自適應(yīng)波束生成器236以預(yù)定間隔 參考時(shí)間恒定波束生成器232。這對(duì)于減少集中在語(yǔ)音源S的一位置上的計(jì)算周期的數(shù)目 有潛在益處。將自適應(yīng)波束生成器236配置為應(yīng)用聲音源定位器238以確定相對(duì)于麥克風(fēng) 陣列202的語(yǔ)音源S的接收角θ (參見(jiàn)圖1)，并當(dāng)語(yǔ)音源S實(shí)時(shí)移動(dòng)時(shí)至少部分基于接收 角θ跟蹤語(yǔ)音源S。接收角θ作為接收角消息237被傳送給自適應(yīng)波束生成器236。波 束生成器230輸出已組合定向自適應(yīng)聲音信號(hào)210以用于進(jìn)一步的下游噪聲抑制。例如， 已組合定向自適應(yīng)聲音信號(hào)210可包括數(shù)字聲音信號(hào)，該數(shù)字聲音信號(hào)在源自語(yǔ)音源S的 方向上具有較高強(qiáng)度的主波瓣，并且基于預(yù)定的加權(quán)系數(shù)234和接收角θ具有一個(gè)或多個(gè) 較低強(qiáng)度的副波瓣。在一些實(shí)施例中，聲音源定位器238可以為多個(gè)語(yǔ)音源S提供接收角。例如，四源 聲音源定位器可以為多至四個(gè)語(yǔ)音源提供接收角。例如，在游戲游玩空間中移動(dòng)并說(shuō)話的 游戲玩家可以由聲音源定位器238跟蹤。在根據(jù)該示例的一場(chǎng)景中，生成用于供游戲控制 臺(tái)顯示的圖像可以響應(yīng)于所跟蹤的玩家位置的變化而被調(diào)整，例如使得所顯示的角色的臉 跟隨玩家的移動(dòng)。波束生成器230將定向自適應(yīng)聲音信號(hào)210輸出給噪聲抑制器217的第三階段， 在其中，將噪聲抑制器217配置為應(yīng)用一個(gè)或多個(gè)非線性噪聲抑制技術(shù)來(lái)至少部分地基于 已組合定向自適應(yīng)聲音信號(hào)210的方向特性來(lái)抑制該已組合定向自適應(yīng)聲音信號(hào)210的 第二環(huán)境聲部分?？墒褂靡粋€(gè)或多個(gè)非線性音頻回音抑制器(AEQ Μ2、非線性空間濾波器 (SF) Μ4、固定噪聲抑制器(SNS)245以及自動(dòng)增益控制器(AGC) 246來(lái)執(zhí)行所述非線性噪聲抑制?？梢岳斫?，音頻輸入設(shè)備102的各種實(shí)施例可以任意合適的順序應(yīng)用所述非線性噪 聲抑制技術(shù)。將非線性音頻回音抑制器242配置為抑制已組合定向自適應(yīng)聲音信號(hào)210的聲音 量級(jí)偽像(sound magnitude artifact)，其中通過(guò)至少部分基于語(yǔ)音源S的方向確定并應(yīng) 用音頻回音增益來(lái)應(yīng)用該非線性音頻回音抑制器。在一些實(shí)施例中，非線性音頻回音抑制 器242可以被配置為從已組合定向自適應(yīng)聲音信號(hào)210中移除殘余回波偽像。可以通過(guò)估 計(jì)揚(yáng)聲器108和麥克風(fēng)205之間的功率傳遞函數(shù)來(lái)完成所述殘余回波偽像的移除。例如， 音頻回音抑制器242可將依賴時(shí)間的增益應(yīng)用于與已組合定向自適應(yīng)聲音信號(hào)210相關(guān)聯(lián) 的不同頻率組(frequency bins)。在該示例中，應(yīng)用趨于零的增益給具有較大量環(huán)境聲和 /或揚(yáng)聲器聲音的頻率組，而將趨于一(approaching unity)的增益給具有較少量環(huán)境聲 和/或揚(yáng)聲器聲音的頻率組。將非線性空間濾波器244配置為抑制已組合定向自適應(yīng)聲音信號(hào)210的聲音相偽 像(sound phase artifact)，其中，通過(guò)至少部分基于語(yǔ)音源S的方向確定并應(yīng)用空間濾波 增益來(lái)應(yīng)用該非線性空間濾波器M4。在一些實(shí)施例中，非線性空間濾波器244可以被配置 為接收與每個(gè)數(shù)字聲音信號(hào)208相關(guān)聯(lián)的相差信息以估計(jì)多個(gè)頻率組的每個(gè)到達(dá)的方向。 而且，所估計(jì)的到達(dá)方向可用于為每個(gè)頻率組計(jì)算所述空間濾波增益。例如，具有與語(yǔ)音源 S的方向不同的到達(dá)方向的頻率組可分配趨于零的空間濾波增益，而具有近似于語(yǔ)音源S 的方向的到達(dá)方向的頻率組可分配趨于一的空間濾波增益。將固定噪聲抑制器245配置為抑制剩余的背景噪聲，其中，通過(guò)至少部分基于剩 余噪聲分量的統(tǒng)計(jì)模型確定并應(yīng)用抑制濾波增益來(lái)應(yīng)用該固定噪聲抑制器M5。而且，可以 使用固定噪聲模型和當(dāng)前信號(hào)量級(jí)來(lái)為每個(gè)頻率組計(jì)算抑制濾波增益。例如，具有低于噪 聲偏離的量級(jí)的頻率組可分配趨于零的抑制濾波增益，而具有遠(yuǎn)高于噪聲偏離的量級(jí)的頻 率組可分配趨于一的抑制濾波增益。將自動(dòng)增益控制器246配置為調(diào)整已組合定向自適應(yīng)聲音信號(hào)210的音量增益， 其中，通過(guò)至少部分基于語(yǔ)音源S的量級(jí)確定并應(yīng)用音量增益來(lái)應(yīng)用該自動(dòng)增益控制器 2460在一些實(shí)施例中，自動(dòng)增益控制器246可以被配置為補(bǔ)償聲音的不同音量能級(jí)例如， 在第一游戲玩家以較柔和聲音說(shuō)話而第二游戲玩家以較響亮聲音說(shuō)話的場(chǎng)景中，自動(dòng)增益 控制器246可以調(diào)整音量增益以減少這兩個(gè)玩家之間的音量差異。在一些實(shí)施例中，與自 動(dòng)增益控制器M6的改變相關(guān)聯(lián)的時(shí)間常數(shù)近似為3-4秒。在音頻輸入設(shè)備102的一些實(shí)施例中，可使用包括聯(lián)合增益濾波器的非線性聯(lián)合 抑制器M0，所述聯(lián)合增益濾波器是從多個(gè)單獨(dú)的增益濾波器中計(jì)算出的。例如，單獨(dú)的 增益濾波器可以是由非線性音頻回音抑制器M2、非線性空間濾波器M4、固定噪聲抑制器 245,自動(dòng)增益控制器246等計(jì)算的增益濾波器?？梢岳斫飧鞣N非線性噪聲抑制技術(shù)的討 論順序僅僅是示例順序，并且可以在音頻輸入設(shè)備102的各種實(shí)施例中使用其他合適的順 序。經(jīng)過(guò)一個(gè)或多個(gè)非線性噪聲抑制技術(shù)的處理后，在頻-時(shí)域變換(FTD)模塊248 處將已組合定向自適應(yīng)聲音信號(hào)210從頻域變換成時(shí)域，輸出所導(dǎo)出的聲音信號(hào)沈0。可通 過(guò)合適的變換算法發(fā)生頻域到時(shí)域的變換。例如，可使用如逆傅利葉變換、逆調(diào)制復(fù)重疊變 換或逆快速傅利葉變換的變換算法。所導(dǎo)出的聲音信號(hào)260可以被本地使用或輸出給遠(yuǎn)程計(jì)算設(shè)備，例如，遠(yuǎn)程計(jì)算設(shè)備104。例如，在一場(chǎng)景中，所導(dǎo)出聲音信號(hào)260可以包括對(duì)應(yīng) 于人類語(yǔ)音的聲音信號(hào)，并且可與游戲音軌混合以在揚(yáng)聲器108輸出。圖3A和;3B示出用于抑制由麥克風(fēng)陣列所接收的語(yǔ)音中的環(huán)境聲的方法300的實(shí) 施例。可使用與圖1和2相關(guān)的如上所述的硬件和軟件組件或其他合適的硬件和軟件組件 來(lái)實(shí)現(xiàn)方法300。方法300包括，在步驟302，接收在包括多個(gè)麥克風(fēng)的麥克風(fēng)陣列的每個(gè) 麥克風(fēng)處生成的模擬聲音信號(hào)，每個(gè)模擬聲音信號(hào)是至少部分從語(yǔ)音源接收的。繼續(xù)，方法 300包括，在步驟304，在模數(shù)轉(zhuǎn)換器處將每個(gè)模擬聲音信號(hào)轉(zhuǎn)換成具有第一較高位深度的 對(duì)應(yīng)的第一數(shù)字聲音信號(hào)。在步驟306，方法300包括從揚(yáng)聲器信號(hào)源接收用于多個(gè)揚(yáng)聲器 的多聲道揚(yáng)聲器信號(hào)。繼續(xù)，方法300包括，在步驟308，從揚(yáng)聲器信號(hào)源接收多聲道揚(yáng)聲器信號(hào)。在步 驟310，方法300包括通過(guò)從遠(yuǎn)程計(jì)算設(shè)備接收時(shí)鐘信號(hào)將所述多聲道揚(yáng)聲器信號(hào)與每個(gè) 第一數(shù)字聲音信號(hào)同步。在步驟312，方法300包括為每個(gè)第一數(shù)字聲音信號(hào)生成多聲道 揚(yáng)聲器信號(hào)的單聲道近似信號(hào)，該單聲道近似信號(hào)近似于對(duì)應(yīng)的麥克風(fēng)所接收的揚(yáng)聲器聲 音。在一些實(shí)施例中，步驟312包括，在314，通過(guò)從揚(yáng)聲器發(fā)射校準(zhǔn)音頻信號(hào)、在每個(gè)麥克 風(fēng)處檢測(cè)所述校準(zhǔn)音頻信號(hào)，并至少部分基于每個(gè)麥克風(fēng)的校準(zhǔn)信號(hào)生成單聲道近似信號(hào) 來(lái)為每個(gè)麥克風(fēng)確定校準(zhǔn)信號(hào)。可以理解，可以間歇執(zhí)行步驟314，例如在系統(tǒng)建立或啟動(dòng) 時(shí)，或者也可以在合適的地方更加頻繁地被執(zhí)行。繼續(xù)，方法300包括在步驟316，應(yīng)用線性音頻回音消除器以至少部分基于所述 單聲道近似信號(hào)抑制每個(gè)第一數(shù)字聲音信號(hào)的第一環(huán)境聲部分。在步驟318，方法300包括 在將線性音頻回音消除器應(yīng)用于每個(gè)數(shù)字聲音信號(hào)之后，將每個(gè)第一數(shù)字聲音信號(hào)轉(zhuǎn)換為 具有第二較低位深度的第二數(shù)字聲音信號(hào)。在步驟320，方法300包括在生成已組合定向自 適應(yīng)聲音信號(hào)之前，將線性固定音移除器應(yīng)用于每個(gè)第二數(shù)字聲音信號(hào)。繼續(xù)，在步驟322，方法300包括至少部分基于用于跟蹤語(yǔ)音源的時(shí)間恒定和/或 自適應(yīng)波束生成技術(shù)的組合從每個(gè)第二數(shù)字聲音信號(hào)的組合中生成已組合定向自適應(yīng)聲 音信號(hào)。在一些實(shí)施例中，步驟322包括，在步驟324，將一系列預(yù)定加權(quán)系數(shù)應(yīng)用到每個(gè)聲 音信號(hào)，至少部分基于在麥克風(fēng)陣列的預(yù)定聲音接收區(qū)域中的各向同性的環(huán)境噪聲分布來(lái) 計(jì)算每個(gè)預(yù)定加權(quán)系數(shù)，并應(yīng)用聲音源定位器，以確定相對(duì)于麥克風(fēng)陣列的語(yǔ)音源S的接 收角，并當(dāng)語(yǔ)音源S實(shí)時(shí)移動(dòng)時(shí)至少部分基于接收角跟蹤語(yǔ)音源。繼續(xù)，方法300包括，在步驟326，應(yīng)用一個(gè)或多個(gè)非線性噪聲抑制技術(shù)來(lái)至少部 分地基于已組合定向自適應(yīng)聲音信號(hào)的方向特性來(lái)抑制該已組合定向自適應(yīng)聲音信號(hào)的 第二環(huán)境聲部分。在一些實(shí)施例中，步驟3 包括，在步驟328，應(yīng)用一個(gè)或多個(gè)用于抑制 聲音量級(jí)偽像的非線性音頻回音抑制器，其中通過(guò)基于語(yǔ)音源S的方向確定并應(yīng)用音頻回 音增益來(lái)應(yīng)用該非線性音頻回音抑制器；用于抑制聲音相偽像的非線性空間濾波器，其中， 通過(guò)基于語(yǔ)音源的時(shí)間特性確定并應(yīng)用空間濾波增益來(lái)應(yīng)用該非線性空間濾波器；非線性 固定噪聲抑制器，其中通過(guò)至少部分基于剩余噪聲分量的統(tǒng)計(jì)模型確定并應(yīng)用抑制濾波增 益來(lái)應(yīng)用該固定噪聲抑制器；和/或用于調(diào)整已組合定向自適應(yīng)聲音信號(hào)的音量增益的自 動(dòng)增益控制器，其中，通過(guò)至少部分基于語(yǔ)音源S的相對(duì)音量確定并應(yīng)用音量增益來(lái)應(yīng)用 該自動(dòng)增益控制器。在一些實(shí)施例中，步驟3 包括在步驟330，應(yīng)用包括聯(lián)合增益濾波器 的非線性聯(lián)合噪聲抑制器，所述聯(lián)合增益濾波器是從多個(gè)單獨(dú)的增益濾波器中計(jì)算出的。繼續(xù)，方法300包括在步驟332，輸出所導(dǎo)出的聲音信號(hào)。可以理解，此處所描述的計(jì)算設(shè) 備可以是被配置成執(zhí)行此處所描述的程序的任何合適的計(jì)算設(shè)備。例如，計(jì)算設(shè)備可以是 大型計(jì)算機(jī)、個(gè)人計(jì)算機(jī)、膝上計(jì)算機(jī)、便攜式數(shù)據(jù)助理(PDA)、啟用計(jì)算機(jī)的無(wú)線電話、聯(lián) 網(wǎng)計(jì)算設(shè)備或任意其他合適的計(jì)算設(shè)備。而且，可以理解，此處所描述的計(jì)算設(shè)備可以通過(guò) 計(jì)算機(jī)網(wǎng)絡(luò)，例如因特網(wǎng)，彼此連接。而且，可以理解，計(jì)算設(shè)備可以連接到網(wǎng)絡(luò)云環(huán)境中工 作的服務(wù)器計(jì)算設(shè)備。此處描述的計(jì)算設(shè)備通常包括處理器和相關(guān)聯(lián)的易失性和非易失性存儲(chǔ)器，并被 配置成使用易失性存儲(chǔ)器的各部分和處理器來(lái)執(zhí)行存儲(chǔ)在非易失性存儲(chǔ)器中的程序。如在 此所使用，術(shù)語(yǔ)“程序”是指可以由一個(gè)或多個(gè)在此描述的計(jì)算設(shè)備執(zhí)行或使用的軟件或固 件組件。而且，術(shù)語(yǔ)“程序”還表示為包括下述一項(xiàng)或多項(xiàng)可執(zhí)行文件、數(shù)據(jù)文件、庫(kù)、驅(qū)動(dòng)、 腳本、數(shù)據(jù)庫(kù)記錄等?？梢岳斫猓商峁┚哂写鎯?chǔ)在其上的指令的計(jì)算機(jī)可讀介質(zhì)，所述指 令使得計(jì)算設(shè)備執(zhí)行上述方法，并且在計(jì)算設(shè)備執(zhí)行指令時(shí)使得上述系統(tǒng)工作。應(yīng)該理解，此處所述的配置和/或方法在本質(zhì)上示例性的，且這些具體實(shí)施例或 示例不是局限性的，因?yàn)槎鄠€(gè)變體是可能。此處所述的具體例程或方法可表示任何數(shù)量的 處理策略中的一個(gè)或多個(gè)。由此，所示出的各個(gè)動(dòng)作可以按所示順序執(zhí)行、按其他順序執(zhí) 行、并行地執(zhí)行、或者在某些情況下省略。同樣，可以改變上述過(guò)程的次序。本發(fā)明的主題包括各種過(guò)程、系統(tǒng)和配置的所有新穎和非顯而易見(jiàn)的組合和子組 合、和此處所公開(kāi)的其它特征、功能、動(dòng)作、和/或特性、以及其任何和全部等效方案。
權(quán)利要求
1.一種配置用于接收語(yǔ)音輸入的計(jì)算設(shè)備(102)，所述計(jì)算設(shè)備包括 具有多個(gè)麥克風(fēng)O05)的麥克風(fēng)陣列(202)；與所述麥克風(fēng)陣列(202)有效通信的處理器014)。與所述麥克風(fēng)陣列(20 和所述處理器(214)有效通信的模數(shù)轉(zhuǎn)換器O07)； 包括存儲(chǔ)在其上的指令的存儲(chǔ)器016)，所述指令由所述處理器(214)執(zhí)行以 從所述模數(shù)轉(zhuǎn)換器(207)接收多個(gè)數(shù)字聲音信號(hào)008)，每個(gè)數(shù)字聲音信號(hào)是基于源 自所述麥克風(fēng)陣列(202)的模擬聲音信號(hào)006)，從揚(yáng)聲器信號(hào)源(219)接收多聲道揚(yáng)聲器信號(hào)018)，對(duì)于每個(gè)數(shù)字聲音信號(hào)008)，生成所述多聲道揚(yáng)聲器信號(hào)的單聲道近似信號(hào)022)， 所述單聲道近似信號(hào)(22 近似于由對(duì)應(yīng)的麥克風(fēng)所接收的揚(yáng)聲器聲音，應(yīng)用線性音頻回音消除器0沈)，以至少部分基于所述單聲道近似信號(hào)(222)來(lái)抑制 每個(gè)數(shù)字聲音信號(hào)O08)的第一環(huán)境聲部分，至少部分基于時(shí)間恒定和自適應(yīng)波束生成技術(shù)的組合，從每個(gè)數(shù)字聲音信號(hào)O08)的 組合中生成已組合定向自適應(yīng)聲音信號(hào)010)，應(yīng)用一個(gè)或多個(gè)非線性噪聲抑制技術(shù)，來(lái)至少部分地基于所述已組合定向自適應(yīng)聲音 信號(hào)(210)的方向特性，來(lái)抑制所述已組合定向自適應(yīng)聲音信號(hào)(210)的第二環(huán)境聲部分。
2.如權(quán)利要求1所述的設(shè)備，其特征在于，所述指令進(jìn)一步由所述處理器執(zhí)行，以在生 成所述已組合定向自適應(yīng)聲音信號(hào)之前，將線性固定音移除器應(yīng)用于每個(gè)數(shù)字聲音信號(hào)。
3.如權(quán)利要求1所述的設(shè)備，其特征在于，所述第二環(huán)境聲部分的抑制通過(guò)應(yīng)用下述 一個(gè)或多個(gè)項(xiàng)發(fā)生用于抑制聲音量級(jí)偽像的非線性音頻回音抑制器，其中，通過(guò)至少部分基于語(yǔ)音源的 方向確定并應(yīng)用音頻回音增益來(lái)應(yīng)用所述非線性音頻回音抑制器，用于抑制聲音相偽像的非線性空間濾波器，其中，通過(guò)至少部分基于所述語(yǔ)音源的方 向確定并應(yīng)用空間濾波增益來(lái)應(yīng)用所述非線性空間濾波器，非線性固定噪聲抑制器，其中通過(guò)至少部分基于剩余噪聲分量的統(tǒng)計(jì)模型確定并應(yīng)用 抑制濾波增益來(lái)應(yīng)用所述固定噪聲抑制器，和/或用于調(diào)整已組合定向自適應(yīng)聲音信號(hào)的音量增益的自動(dòng)增益控制器，其中，通過(guò)至少 部分基于所述語(yǔ)音源的方向確定并應(yīng)用音量增益來(lái)應(yīng)用所述自動(dòng)增益控制器。
4.如權(quán)利要求1所述的設(shè)備，其特征在于，所述第二環(huán)境聲部分的抑制是通過(guò)應(yīng)用包 括聯(lián)合增益濾波器的非線性聯(lián)合抑制器來(lái)發(fā)生的，所述聯(lián)合增益濾波器是從多個(gè)單獨(dú)的增 益濾波器中計(jì)算出的。
5.如權(quán)利要求1所述的設(shè)備，其特征在于，所述指令進(jìn)一步由所述處理器執(zhí)行以 通過(guò)從多個(gè)揚(yáng)聲器的每個(gè)發(fā)射校準(zhǔn)音頻信號(hào)并在每個(gè)麥克風(fēng)處檢測(cè)所述校準(zhǔn)音頻信號(hào)，來(lái)為每一個(gè)麥克風(fēng)確定一校準(zhǔn)信號(hào)，并且至少部分基于每個(gè)麥克風(fēng)的所述校準(zhǔn)信號(hào)，確定所述單聲道近似信號(hào)。
6.如權(quán)利要求1所述的設(shè)備，其特征在于，所述模數(shù)轉(zhuǎn)換器配置為將每個(gè)麥克風(fēng)生成 的模擬聲音信號(hào)在所述模數(shù)轉(zhuǎn)換器處轉(zhuǎn)換為對(duì)應(yīng)的數(shù)字聲音信號(hào)，其中，來(lái)自每個(gè)麥克風(fēng) 的每個(gè)數(shù)字聲音信號(hào)具有第一較高位深度，并且其中，所述指令進(jìn)一步由所述處理器執(zhí)行以在將所述線性音頻回音消除器應(yīng)用于每個(gè)數(shù)字聲音信號(hào)之后，將每個(gè)數(shù)字聲音信號(hào)轉(zhuǎn)換為具有第二較低位深度的數(shù)字聲音信號(hào)。
7.如權(quán)利要求1所述的設(shè)備，其特征在于，所述模數(shù)轉(zhuǎn)換器配置為通過(guò)從遠(yuǎn)程計(jì)算設(shè) 備接收的時(shí)鐘信號(hào)，將所述多聲道揚(yáng)聲器信號(hào)與每個(gè)數(shù)字聲音信號(hào)同步。
8.如權(quán)利要求1所述的設(shè)備，其特征在于，所述麥克風(fēng)在所述麥克風(fēng)陣列中彼此不均 勻間隔。
9.如權(quán)利要求1所述的設(shè)備，其特征在于，用于生成所述已組合定向自適應(yīng)聲音信號(hào) 的時(shí)間恒定和自適應(yīng)波束生成技術(shù)的組合包括指令，所述指令由所述處理器執(zhí)行以將一系列預(yù)定加權(quán)系數(shù)應(yīng)用到每個(gè)數(shù)字聲音信號(hào)，至少部分基于在所述麥克風(fēng)陣列的 預(yù)定聲音接收區(qū)域中的各向同性的環(huán)境噪聲分布來(lái)計(jì)算每個(gè)預(yù)定加權(quán)系數(shù)；并且應(yīng)用聲音源定位器以確定相對(duì)于所述麥克風(fēng)陣列的語(yǔ)音源的接收角，并當(dāng)所述語(yǔ)音源 實(shí)時(shí)移動(dòng)時(shí)至少部分基于所述接收角跟蹤所述語(yǔ)音源。
10.一種用于抑制由麥克風(fēng)陣列接收的語(yǔ)音中的環(huán)境聲的方法，在存儲(chǔ)器處包括了存 儲(chǔ)在其上的指令，所述指令由處理器執(zhí)行以從模數(shù)轉(zhuǎn)換器接收多個(gè)數(shù)字聲音信號(hào)(306)，每個(gè)數(shù)字聲音信號(hào)基于源自所述麥克風(fēng) 陣列的模擬聲音信號(hào)；從揚(yáng)聲器信號(hào)源接收多聲道揚(yáng)聲器信號(hào)(308)；為每個(gè)數(shù)字聲音信號(hào)生成所述多聲道揚(yáng)聲器信號(hào)的單聲道近似信號(hào)(312)，所述單聲 道近似信號(hào)近似于由對(duì)應(yīng)的麥克風(fēng)所接收的揚(yáng)聲器聲音；應(yīng)用線性音頻回音消除器(316)以至少部分基于單聲道近似信號(hào)來(lái)抑制每個(gè)數(shù)字聲 音信號(hào)的第一環(huán)境聲部分；至少部分基于時(shí)間恒定和自適應(yīng)波束生成技術(shù)的組合，從每個(gè)數(shù)字聲音信號(hào)的組合中 生成已組合定向自適應(yīng)聲音信號(hào)(322)；應(yīng)用一個(gè)或多個(gè)非線性噪聲抑制技術(shù)(326)來(lái)至少部分地基于所述已組合定向自適 應(yīng)聲音信號(hào)的方向特性來(lái)抑制所述已組合定向自適應(yīng)聲音信號(hào)的第二環(huán)境聲部分；以及 輸出所得到的聲音信號(hào)。
11.如權(quán)利要求10所述的方法，其特征在于，為每個(gè)數(shù)字聲音信號(hào)生成所述多聲道揚(yáng) 聲器信號(hào)的單聲道近似信號(hào)，所述單聲道近似信號(hào)近似于由對(duì)應(yīng)的麥克風(fēng)所接收的揚(yáng)聲器 聲音進(jìn)一步包括通過(guò)從多個(gè)揚(yáng)聲器的每個(gè)發(fā)射校準(zhǔn)音頻信號(hào)來(lái)為每一個(gè)麥克風(fēng)確定一校準(zhǔn)信號(hào)；在每個(gè)麥克風(fēng)處檢測(cè)所述校準(zhǔn)音頻信號(hào)；以及至少部分基于每個(gè)麥克風(fēng)的所述校準(zhǔn)信號(hào)生成所述單聲道近似信號(hào)。
12.如權(quán)利要求10所述的方法，其特征在于，應(yīng)用一個(gè)或多個(gè)非線性噪聲抑制技術(shù)來(lái) 至少部分地基于已組合定向自適應(yīng)聲音信號(hào)的方向特性來(lái)抑制所述已組合定向自適應(yīng)聲 音信號(hào)的第二環(huán)境聲部分，進(jìn)一步包括應(yīng)用下述一個(gè)或多個(gè)項(xiàng)用于抑制聲音量級(jí)偽像的非線性音頻回音抑制器，其中，通過(guò)基于語(yǔ)音源的方向確定 并應(yīng)用音頻回音增益來(lái)應(yīng)用所述非線性音頻回音抑制器，用于抑制聲音相偽像的非線性空間濾波器，其中，通過(guò)基于所述語(yǔ)音源的時(shí)間特性確 定并應(yīng)用空間濾波增益來(lái)應(yīng)用所述非線性空間濾波器，非線性固定噪聲抑制器，其中，通過(guò)至少部分基于剩余噪聲分量的統(tǒng)計(jì)模型確定并應(yīng)用抑制濾波增益來(lái)應(yīng)用所述固定噪聲抑制器，和/或用于調(diào)整已組合定向自適應(yīng)聲音信號(hào)的音量增益的自動(dòng)增益控制器，其中，通過(guò)至少 部分基于所述語(yǔ)音源的相對(duì)音量確定并應(yīng)用音量增益來(lái)應(yīng)用所述自動(dòng)增益控制器。
13.如權(quán)利要求10所述的方法，其特征在于，應(yīng)用一個(gè)或多個(gè)非線性噪聲抑制技術(shù)來(lái) 至少部分地基于已組合定向自適應(yīng)聲音信號(hào)的量級(jí)和/或時(shí)間特性來(lái)抑制所述已組合定 向自適應(yīng)聲音信號(hào)的第二環(huán)境聲部分進(jìn)一步包括應(yīng)用包括聯(lián)合增益濾波器的非線性聯(lián)合 抑制器，所述聯(lián)合增益濾波器是從多個(gè)單獨(dú)的增益濾波器中計(jì)算出的。
14.如權(quán)利要求10所述的方法，其特征在于，還包括將每個(gè)麥克風(fēng)生成的模擬聲音信號(hào)在所述模數(shù)轉(zhuǎn)換器處轉(zhuǎn)換為對(duì)應(yīng)的數(shù)字聲音信號(hào)， 其中，來(lái)自每個(gè)麥克風(fēng)的每個(gè)數(shù)字聲音信號(hào)具有第一較高位深度；以及在將線性音頻回音消除器應(yīng)用于每個(gè)數(shù)字聲音信號(hào)之后，將每個(gè)數(shù)字聲音信號(hào)轉(zhuǎn)換為 具有第二較低位深度的數(shù)字聲音信號(hào)。
15.如權(quán)利要求10所述的方法，其特征在于，至少部分基于時(shí)間恒定和自適應(yīng)波束生 成技術(shù)的組合從每個(gè)數(shù)字聲音信號(hào)的組合中生成已組合定向自適應(yīng)聲音信號(hào)以跟蹤所述 語(yǔ)音源進(jìn)一步包括將一系列預(yù)定加權(quán)系數(shù)應(yīng)用到每個(gè)數(shù)字聲音信號(hào)，至少部分基于在所述麥克風(fēng)陣列的 預(yù)定聲音接收區(qū)域中的各向同性的環(huán)境噪聲分布來(lái)計(jì)算每個(gè)預(yù)定加權(quán)系數(shù)，并且應(yīng)用聲音源定位器以確定相對(duì)于所述麥克風(fēng)陣列的語(yǔ)音源的接收角，并當(dāng)語(yǔ)音源實(shí)時(shí) 移動(dòng)時(shí)至少部分基于所述接收角跟蹤所述語(yǔ)音源。
全文摘要
提供了一種用于抑制麥克風(fēng)陣列所接收的語(yǔ)音中的環(huán)境聲的設(shè)備。該設(shè)備的一實(shí)施例包括麥克風(fēng)陣列、處理器、模數(shù)轉(zhuǎn)換器和包括存儲(chǔ)在其上由處理器執(zhí)行的指令的存儲(chǔ)器。存儲(chǔ)在存儲(chǔ)器上的指令被配置為接收多個(gè)數(shù)字聲音信號(hào)，每個(gè)數(shù)字聲音信號(hào)基于源自麥克風(fēng)陣列的模擬聲音信號(hào)，接收多聲道揚(yáng)聲器信號(hào)，生成多聲道揚(yáng)聲器信號(hào)的單聲道近似信號(hào)，應(yīng)用線性音頻回音消除器以抑制每個(gè)數(shù)字聲音信號(hào)的第一環(huán)境聲部分，通過(guò)時(shí)間恒定和自適應(yīng)波束生成技術(shù)的組合從每個(gè)數(shù)字聲音信號(hào)的組合中生成已組合定向自適應(yīng)聲音信號(hào)，并應(yīng)用一個(gè)或多個(gè)非線性噪聲抑制技術(shù)來(lái)抑制已組合定向自適應(yīng)聲音信號(hào)的第二環(huán)境聲部分。
文檔編號(hào)H04R1/08GK102131136SQ20111003092
公開(kāi)日2011年7月20日 申請(qǐng)日期2011年1月19日 優(yōu)先權(quán)日2010年1月20日
發(fā)明者D·麥克凱, I·塔舍夫, J·塔迪夫, J·弗萊克斯, L·興, M·巴塞夫勒格, R·海特坎普, W·郭, 倪旭東 申請(qǐng)人:微軟公司