一種面向多任務交互的手持式語音交互裝置及交互方法
【專利摘要】一種面向多任務交互的手持式語音交互裝置，包括可手持的殼體，所述殼體中包括以下模塊：實現(xiàn)語音命令識別的語音識別模塊，實現(xiàn)識別出的語音命令編碼與主機間通訊的射頻發(fā)送模塊，給各模塊供電及對電池進行充電的電源管理模塊，存儲語音命令的存儲模塊，實現(xiàn)語音命令輸入的語音輸入模塊，驅(qū)動多任務的語音命令分組輸入控制及反饋硬件界面，實現(xiàn)整個裝置管理控制的控制模塊，實現(xiàn)提示功能的指示燈，實現(xiàn)語音交互應用程序控制和語音命令編輯的主機。本發(fā)明還涉及上述語音交互裝置所采用的交互方法。本發(fā)明中的交互裝置克服了目前很多語音交互助手的弊端，使用方便，適用性廣。
【專利說明】
一種面向多任務交互的手持式語音交互裝置及交互方法
技術(shù)領(lǐng)域
[0001]本發(fā)明屬于人機交互領(lǐng)域，特別涉及一種面向多任務交互的手持式無線語音交互裝置;本發(fā)明還涉及上述交互裝置的交互方法?！颈尘凹夹g(shù)】
[0002]語音交互作為一種新型的人機交互方式，提供了一種脫離鍵盤、鼠標、觸摸屏等傳統(tǒng)圖形用戶界面元素的交互方式，改變了人與計算機的傳統(tǒng)互動模式，用戶只需動動口，就能打開或關(guān)閉程序、改變工作界面、控制交互進程。這種使電腦人性化的結(jié)果的目的是使每個具有語言能力的個體都能方便直接地操作和應用計算機。
[0003]目前，語音交互依照其使用情境主要可分為下面幾類:
[0004](1)面向智能家電的語音交互裝置:這類裝置具有簡單的用戶界面接口，基本做到用戶拿起就能使用的程度，但其能支持的語音命令種類少，且語音控制命令已被固化在裝置內(nèi)，不能被用戶編輯修改，尤其不能直接與計算機通訊，因此無法支持以計算機為支撐的交互應用。
[0005](2)面向移動平臺的語音交互應用:顧名思義，這類應用的主要特點在于其“移動性”，其涵蓋范圍可從汽車終端等快速移動物體到用戶手持終端，如智能手機。目前在市場上占有主要地位的包括蘋果公司推出的Sir1、g〇〇gle語音平臺及其延伸應用和一些基于第三方語音識別引擎的語音識別應用。這類應用具有便攜、開機即可用的優(yōu)勢，但往往需要云計算平臺的支持，尤其是對語音輸入的識別響應具有一定的延遲，因此難以直接支持實時交互的需求。此外，移動交互場景的背景噪聲也往往導致語音命令識別率的下降。
[0006](3)面向計算機人機交互的語音識別技術(shù):這類技術(shù)主要依賴于第三方的軟件開發(fā)包，如美國IBM ViaVoice、美國微軟公司、美國Nuance公司、國內(nèi)科大訊飛公司等開發(fā)的語音識別應用程序開發(fā)工具包。目前這類技術(shù)雖已成為語音交互的主流，但其缺點亦顯而易見:首先，對開發(fā)人員而言，往往需要耗費大量勞動進行復雜的二次開發(fā);其次，對用戶而言，往往需要在正常使用前進行一定訓練，因此增加了使用上的不便。
[0007]仔細考察人機語音交互的現(xiàn)狀不難發(fā)現(xiàn)，其交互界面正面臨著下述因素的嚴重制約:
[0008](1)對于多任務交互情境的支持能力不足，用戶從一個應用切換到另一個應用往往需要經(jīng)歷較為復雜的過程。我們認為，語音命令具有很好的單個獨立存在的特性，如果能提供一定的方式由用戶按其需求進行命令的分類組織，語音命令將尤其適合于多任務情境交互應用中。
[0009](2)絕大多數(shù)語音識別應用均基于特定人聲設計，需要用戶進行或短或長的事前訓練，才能達到相對滿意的識別率。
[0010](3)語音命令的識別過程在計算機終端上完成，占有了本來就比較稀缺的計算資源。
[0011](4)用戶編寫語音交互應用程序時首先要進行復雜的函數(shù)庫的初始化，在結(jié)束時同樣需要對稱性地進行相應的去初始化調(diào)用；具體識別過程所涉及的庫函數(shù)調(diào)用也比較復雜。
[0012](5)語音輸入借助市面上的麥克風完成，缺乏獨立的便攜裝置，這對于多任務情境應用中用戶的移動往往造成一定的限制。[0〇13]本發(fā)明針對以上問題進行了研究和改進。
【發(fā)明內(nèi)容】

[0014]針對現(xiàn)有技術(shù)中的不足，本發(fā)明的目的之一是提供一種面向多任務交互的手持式語音交互裝置，目的之二是提供一種用于上述語音交互裝置的交互方法，從語音命令層面實現(xiàn)多任務交互情境中人與計算機的自由、流暢的交流。
[0015]本發(fā)明的目的之一通過以下技術(shù)方案實現(xiàn):[〇〇16] 一種面向多任務交互的手持式語音交互裝置，包括可手持的殼體，所述殼體中包括以下模塊:
[0017]實現(xiàn)語音命令識別的語音識別模塊:進行非特定人聲的語音命令識別，其功能主要由基于非特定人語音識別技術(shù)的商用語音識別芯片完成；
[0018]實現(xiàn)識別出的語音命令編碼與主機間通訊的射頻發(fā)送模塊:完成所識別出的語音命令編號與計算機之間的無線通訊；
[0019]給各模塊供電及對電池進行充電的電源管理模塊:利用USB 口通過主機或其他充電器對電池進行充電，并為其余模塊供電；
[0020]存儲語音命令的存儲模塊:用于存儲用戶設定的適用于多任務交互的多組語音命令；[〇〇21]實現(xiàn)語音命令輸入的語音輸入模塊:采用固定于電路板的咪頭進行語音命令信號采集，完成音頻輸入；
[0022]驅(qū)動多任務的語音命令分組輸入控制及反饋硬件界面:利用按鍵長按機制，實現(xiàn)語音命令集的分組切換。利用LED指示燈的多種狀態(tài)組合提供當前語音命令集的分組反饋； [〇〇23]實現(xiàn)整個裝置管理控制的控制模塊:采用單片機作為主控制芯片，完成整個裝置的管理和控制；
[0024]實現(xiàn)提示功能的指示燈:采用LED指示燈；[〇〇25]實現(xiàn)語音交互應用程序控制和語音命令編輯的主機。
[0026]以上模塊結(jié)構(gòu)使得本發(fā)明中的語音交互裝置具有很好的便攜性，可以獨立使用， 語音識別的適應性廣。
[0027]本發(fā)明的目的之二通過以下技術(shù)方案實現(xiàn):[〇〇28] 一種面向多任務交互的手持式語音交互裝置的交互方法，包括以下步驟:[〇〇29](1)用戶根據(jù)多任務交互情境應用的任務確定所需采用的語音交互命令集，并經(jīng)由驅(qū)動多任務的語言命令分組輸入控制及反饋硬件界面進行語音命令集的分組切換；
[0030](2)用戶根據(jù)裝置上指示燈的閃爍提示發(fā)出語音命令；[〇〇31](3)采用裝置自動捕獲的方式完成語音命令信號輸入；[〇〇32](4)利用語音識別模塊，實現(xiàn)語音的在線識別；[〇〇33](5)識別結(jié)果編碼通過無線傳輸給主機，用于控制語音交互應用；
[0034](6)交互應用程序接受到語音命令指令后導致的應用程序狀態(tài)變化經(jīng)由視覺和/ 或聽覺通道反饋給用戶，并刺激用戶產(chǎn)生新的交互意圖，從而繼續(xù)語音交互流程。
[0035]作為優(yōu)選，步驟(3)中的自動捕獲方式為:在指示燈出現(xiàn)閃爍時表示用戶可以輸入語言命令，裝置即開始自動采集語言命令信號。
[0036]作為優(yōu)選，步驟(4)中的語音在線識別采用一種基于非特定人聲的語音識別技術(shù)的在線識別方法，利用現(xiàn)有的商用非特定人聲的語音識別芯片實現(xiàn)語音在線識別，達到語音命令識別的高識別率和魯棒性。
[0037]作為優(yōu)選，以上方法中還包括一種語音命令的分組策略及對應于該分組策略的控制反饋機制，該分組策略及控制反饋機制用于多任務交互情境應用，包括以下步驟:
[0038]a.根據(jù)多任務交互情境應用的需求確定語音命令集的分組，形成多組語音命令集；
[0039]b.利用一種支持用戶定制的語音命令編輯圖形界面對多組語音命令集進行編輯， 并存儲至語音交互裝置中的存儲模塊，用于在線語音命令識別；
[0040]c.利用驅(qū)動多任務的語言命令分組輸入控制及反饋硬件界面實現(xiàn)語音命令集的分組切換和語音命令集的分組反饋提示。
[0041]作為優(yōu)選，以上步驟b中，支持用戶定制的語音命令編輯圖形界面中的待識別的語音命令集由用戶定制編輯，定制編輯方式為:通過USB連接方式將語音交互裝置與主機連接，在主機端利用圖形用戶界面實現(xiàn)編輯定制。[〇〇42]作為優(yōu)選，以上步驟c中，所述的驅(qū)動多任務的語音命令分組輸入控制采用按鍵長按機制實現(xiàn)語音命令集的分組切換;反饋硬件界面采用LED指示燈的多種狀態(tài)組合提供當前語音命令集的分組反饋。
[0043]以上方法中，裝置與主機之間的通訊采用兩種方式:無線數(shù)據(jù)通信方式和USB數(shù)據(jù)傳輸方式。在進行在線語音命令識別時，利用無線數(shù)據(jù)通訊方式將識別到的語音命令結(jié)果發(fā)送給主機;而在離線階段，當裝置與主機通過USB接口連接時，將自動對裝置內(nèi)置的電池進行充電，同時，支持用戶在主機上編輯定制的多組語音命令集，并將語音命令集通過USB 接口傳輸?shù)窖b置的存儲模塊，供在線識別階段訪問。
[0044]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
[0045]本發(fā)明的有益效果:1)高效支持多任務交互情境中用戶自然、流暢的語音命令交互;2)利用裝置的手持便攜性特點、驅(qū)動多任務的語言命令分組輸入控制及反饋硬件界面支持用戶在多任務交互情境中自由運動;3)支持非特定人聲語音命令，使所研發(fā)的裝置適應更廣泛人群，而且無需對用戶進行事先訓練，即真正做到“拿起就能用”；4)利用支持用戶定制的語音命令編輯圖形界面對多組語音命令集進行編輯，使語音命令集能由用戶定制而非固化;5)語音命令識別過程在裝置中直接完成，識別結(jié)果無線傳輸至計算機，簡化了編程人員的二次開發(fā)工作量?！靖綀D說明】
[0046]圖1為語音交互裝置的硬件框架結(jié)構(gòu)圖。[〇〇47]圖2為語音交互裝置的語音交互流程。[〇〇48]圖3為交互任務1語音命令集示例。
[0049]圖4為交互任務2語音命令集示例。[〇〇5〇]圖5為交互任務3語音命令集示例。[〇〇51]圖6為交互任務4語音命令集示例?！揪唧w實施方式】[〇〇52]下面結(jié)合附圖與【具體實施方式】，對本發(fā)明作進一步描述。[〇〇53]見圖1與圖2,一種面向多任務交互的手持式語音交互裝置，包括可手持的殼體，所述殼體中包括以下模塊:實現(xiàn)語音命令識別的語音識別模塊，實現(xiàn)識別出的語音命令編碼與主機間通訊的射頻發(fā)送模塊，給各模塊供電及對電池進行充電的電源管理模塊，存儲語音命令的存儲模塊，實現(xiàn)語音命令輸入的語音輸入模塊，驅(qū)動多任務的語音命令分組輸入控制及反饋硬件界面，實現(xiàn)整個裝置管理控制的控制模塊，實現(xiàn)提示功能的指示燈，實現(xiàn)語音交互應用程序控制和語音命令編輯的主機。[〇〇54]以上手持式語音交互裝置的交互方法，包括以下步驟:(1)用戶根據(jù)多任務交互情境應用的任務確定所需采用的語音交互命令集，并經(jīng)由驅(qū)動多任務的語言命令分組輸入控制及反饋硬件界面進行語音命令集的分組切換；(2)用戶根據(jù)裝置上指示燈的閃爍提示發(fā)出語音命令；(3)采用裝置自動捕獲的方式完成語音命令信號輸入，自動捕獲方式為:在指示燈出現(xiàn)閃爍時表示用戶可以輸入語言命令，裝置即開始自動采集語言命令信號；(4)利用語音識別模塊，實現(xiàn)語音的在線識別，其中語音在線識別采用一種基于非特定人聲的語音識別技術(shù)的在線識別方法，利用現(xiàn)有的商用非特定人聲的語音識別芯片實現(xiàn)語音在線識另IJ，達到語音命令識別的高識別率和魯棒性；(5)識別結(jié)果編碼通過無線傳輸給主機，用于控制語音交互應用；(6)交互應用程序接受到語音命令指令后導致的應用程序狀態(tài)變化經(jīng)由視覺和/或聽覺通道反饋給用戶，并刺激用戶產(chǎn)生新的交互意圖，從而繼續(xù)語音交互流程。
[0055]以上方法中，還包括一種語音命令的分組策略及對應于該分組策略的控制反饋機制，該分組策略及控制反饋機制用于多任務交互情境應用，包括以下步驟:a.根據(jù)多任務交互情境應用的需求確定語音命令集的分組，形成多組語音命令集;b.利用一種支持用戶定制的語音命令編輯圖形界面對多組語音命令集進行編輯，并存儲至語音交互裝置中的存儲模塊，用于在線語音命令識別，其中，支持用戶定制的語音命令編輯圖形界面中的待識別的語音命令集由用戶定制編輯，定制編輯方式為:通過USB連接方式將語音交互裝置與主機連接，在主機端利用圖形用戶界面實現(xiàn)編輯定制；c.利用驅(qū)動多任務的語言命令分組輸入控制及反饋硬件界面實現(xiàn)語音命令集的分組切換和語音命令集的分組反饋提示，所述的驅(qū)動多任務的語音命令分組輸入控制采用按鍵長按機制實現(xiàn)語音命令集的分組切換;反饋硬件界面采用LED指示燈的多種狀態(tài)組合提供當前語音命令集的分組反饋。[〇〇56]具體的，本發(fā)明中，根據(jù)面向多任務交互的手持式語音交互裝置的硬件框架結(jié)構(gòu)圖進行設計和組裝，其中，基于ICRoute公司生產(chǎn)的商用語音識別芯片LD3320A用于實現(xiàn)語音識別模塊;HC05模塊作為藍牙無線射頻模塊;EMC5754、線性穩(wěn)壓芯片和鋰電池構(gòu)成電源管理模塊;AT91SAM7S64AU芯片構(gòu)成管理控制模塊;SD卡用于實現(xiàn)存儲模塊;咪頭用于實現(xiàn)語音命令采集，構(gòu)成語音輸入模塊;4個按鍵、4個LED指示燈和相關(guān)元器件構(gòu)成驅(qū)動多任務的語言命令分組輸入控制及反饋硬件界面。
[0057]本實施例中的語音交互裝置支持4組語音命令集(每組命令集支持多達50條語音命令)，因此，可用于同時支持4種不同任務的語音交互情境。為支持非特定人聲語音命令， 使所研發(fā)的裝置適應更廣泛人群，采用了拼音對語音命令進行逼近編碼。將裝置通過USB接口與主機連接，利用主機上的語音命令編輯圖形界面可對這4組語音命令集進行編輯并以文本文件的方式存儲至裝置的SD卡中。
[0058]本實施例中，存儲語音命令集的文本文件具體規(guī)范如下，參考圖3至圖6:[〇〇59]每組命令集支持多達50條語音命令，存儲在一個獨立的文本文件中，文件不能大于2048字節(jié)，除注釋外都是西文字符。
[0060]每個語音命令條目占一行，以字符‘:’開始，然后是該語音命令id，id固定為3個字符，不足3個字符的以0補齊。id以字符‘，’結(jié)束，然后是語音命令關(guān)鍵字拼音編碼，該拼音編碼字符串只能由小寫字母和空格組成，每個文字中間都有空格。例如“你好”可以編碼為“ni hao”。關(guān)鍵字拼音編碼字符串最長是32個字節(jié)，并以字符‘；’結(jié)束，然后是注釋。[0061 ]4個按鍵SI，S2，S3，S4分別用于控制4組語音命令集的切換。例如，長按S1鍵3秒鐘以上(含3秒)可將語音命令集切換到第一組，其余類似。之所以采用長按機制(按住按鍵3秒鐘以上)而不是采用按鍵觸碰機制是為了避免用戶由于不小心誤碰到某個按鍵而導致語音命令的錯誤切換，而且，根據(jù)我們的用戶調(diào)查，3秒鐘的長按時間是用戶普遍能夠接受的。 [〇〇62]4個LED燈用于給用戶進行裝置的工作狀態(tài)反饋。LED1常亮，表示裝置正常工作；如LED1燈滅，則表示裝置需要充電或裝置壞了。LED2和LED3的亮滅狀態(tài)組合表示當前語音命令集的編號。LED2和LED3均滅表示當前語音命令集是第一組;LED2亮和LED3滅表示當前語音命令集是第二組;LED2滅和LED3亮表示當前語音命令集是第三組;LED2和LED3均亮表示當前語音命令集是第四組。LED4用于提示用戶可以口述語音命令，當裝置可以接受語音命令時，LED4燈閃爍；當用戶口述某一語音命令并為裝置所接受后，裝置啟動識別過程，此時 LED4滅；當裝置把識別到的語音命令發(fā)送個主機后，又重新恢復到可以接受語音命令的狀態(tài)，此時，LED燈又進入閃爍狀態(tài)。
[0063]以下為本發(fā)明的一個模擬使用場景:
[0064]假設用戶A是一位新數(shù)字媒體從業(yè)者。有時候，她需要向觀眾演示一個數(shù)字娛樂軟件，其中需要與一個虛擬娃娃進行互動(交互任務1);另一些時候，她又需要面對來自軍方的代表，向他們演示一個戰(zhàn)場仿真軟件，其中涉及到對主坦克的運動控制(交互任務2);偶爾，她還會化身為汽車銷售人員，通過汽車推銷軟件向客戶介紹不同汽車的特性(交互任務 3);在緊張的工作之余，她也想在電腦上看看電視放松自己，她需要在不同的電視臺之間進行轉(zhuǎn)換(交互任務4)。[〇〇65]面對如此復雜的多任務交互應用，這位新數(shù)字媒體從業(yè)者不免發(fā)愁。然而，借助于本實施案例，她可以輕松地勝任所有這些任務。她所要的做的，僅僅只是針對每個交互任務提煉出語音命令集并采用拼音進行編碼(圖3?圖6)，并以本裝置所要求的文件格式把這4 個命令集存儲到SD卡上，之后她就可以輕松地利用S1?S4四個按鍵在這四個命令集之間進行快速切換，并借助LED1?LED4四個燈的狀態(tài)獲得對裝置工作狀態(tài)的了解，實現(xiàn)單一命令集控制單一交互應用的目標，從而輕松應對復雜的多任務交互應用。[〇〇66]值得說明的是，上述針對交互任務2的語音命令集2較之于其他三個語音命令集有更多的語音命令冗余。這主要是因為，交互任務2是一個嚴肅應用，不出錯或者以極低的概率出錯是其基本要求。通過采用類似于語音命令集2所采用的簡單冗余策略，可以在很大程度上進一步提高裝置的容錯性。而對于類似于交互任務1、交互任務3和交互任務4這樣的普通應用，類似于語音命令集1、語音命令集3、語音命令集4這樣的設置已經(jīng)可以較好地勝任， 一般就無需進行額外的冗余處理了。
[0067]本發(fā)明的保護范圍包括但不限于以上實施方式，本發(fā)明的保護范圍以權(quán)利要求書為準，任何對本技術(shù)做出的本領(lǐng)域的技術(shù)人員容易想到的替換、變形、改進均落入本發(fā)明的保護范圍。
【主權(quán)項】
1.一種面向多任務交互的手持式語音交互裝置，包括可手持的殼體，其特征在于，所述 殼體中包括以下模塊:實現(xiàn)語音命令識別的語音識別模塊，實現(xiàn)識別出的語音命令編碼與 主機間通訊的射頻發(fā)送模塊，給各模塊供電及對電池進行充電的電源管理模塊，存儲語音 命令的存儲模塊，實現(xiàn)語音命令輸入的語音輸入模塊，驅(qū)動多任務的語音命令分組輸入控 制及反饋硬件界面，實現(xiàn)整個裝置管理控制的控制模塊，實現(xiàn)提示功能的指示燈，實現(xiàn)語音 交互應用程序控制和語音命令編輯的主機。2.權(quán)利要求1所述的一種面向多任務交互的手持式語音交互裝置的交互方法，其特征 在于，包括以下步驟:(1)用戶根據(jù)多任務交互情境應用的任務確定所需采用的語音交互命令集，并經(jīng)由驅(qū) 動多任務的語言命令分組輸入控制及反饋硬件界面進行語音命令集的分組切換；(2)用戶根據(jù)裝置上指示燈的閃爍提示發(fā)出語音命令；(3)采用裝置自動捕獲的方式完成語音命令信號輸入；(4)利用語音識別模塊，實現(xiàn)語音的在線識別；(5)識別結(jié)果編碼通過無線傳輸給主機，用于控制語音交互應用；(6)交互應用程序接受到語音命令指令后導致的應用程序狀態(tài)變化經(jīng)由視覺和/或聽 覺通道反饋給用戶，并刺激用戶產(chǎn)生新的交互意圖，從而繼續(xù)語音交互流程。3.根據(jù)權(quán)利要求2所述的一種面向多任務交互的手持式語音交互裝置的交互方法，其 特征在于，步驟(3)中的自動捕獲方式為:在指示燈出現(xiàn)閃爍時表示用戶可以輸入語言命 令，裝置即開始自動采集語言命令信號。4.根據(jù)權(quán)利要求2所述的一種面向多任務交互的手持式語音交互裝置的交互方法，其 特征在于，步驟(4)中的語音在線識別采用一種基于非特定人聲的語音識別技術(shù)的在線識 別方法，利用現(xiàn)有的商用非特定人聲的語音識別芯片實現(xiàn)語音在線識別，達到語音命令識 別的高識別率和魯棒性。5.根據(jù)權(quán)利要求2所述的一種面向多任務交互的手持式語音交互裝置的交互方法，其 特征在于，該方法中還包括一種語音命令的分組策略及對應于該分組策略的控制反饋機 制，該分組策略及控制反饋機制用于多任務交互情境應用，包括以下步驟:a.根據(jù)多任務交互情境應用的需求確定語音命令集的分組，形成多組語音命令集；b.利用一種支持用戶定制的語音命令編輯圖形界面對多組語音命令集進行編輯，并存 儲至語音交互裝置中的存儲模塊，用于在線語音命令識別；c.利用驅(qū)動多任務的語言命令分組輸入控制及反饋硬件界面實現(xiàn)語音命令集的分組 切換和語音命令集的分組反饋提示。6.根據(jù)權(quán)利要求5所述的一種面向多任務交互的手持式語音交互裝置的交互方法，其 特征在于，步驟b中，支持用戶定制的語音命令編輯圖形界面中的待識別的語音命令集由用 戶定制編輯，定制編輯方式為:通過USB連接方式將語音交互裝置與主機連接，在主機端利 用圖形用戶界面實現(xiàn)編輯定制。7.根據(jù)權(quán)利要求5所述的一種面向多任務交互的手持式語音交互裝置的交互方法，其 特征在于，步驟c中，所述的驅(qū)動多任務的語音命令分組輸入控制采用按鍵長按機制實現(xiàn)語 音命令集的分組切換;反饋硬件界面采用LED指示燈的多種狀態(tài)組合提供當前語音命令集 的分組反饋。
【文檔編號】G10L15/28GK106023991SQ201610344503
【公開日】2016年10月12日
【申請日】2016年5月23日
【發(fā)明人】潘巧明, 沈偉華, 胡偉儉, 萬華根
【申請人】麗水學院, 麗水市派訊科技有限公司