一種交互裝置和基于交互裝置的提高表達能力的方法
【專利摘要】本發(fā)明公開了一種交互裝置和基于交互裝置的提高表達能力的方法。該交互裝置包括：顯示單元、聲音采集單元、語音識別處理單元和發(fā)聲單元；其中：所述顯示單元用于顯示圖片；聲音采集單元用于采集聲音信號；語音識別處理單元用于從聲音信號中識別出文字，將識別出的文字與關(guān)鍵字對比，當(dāng)識別出的文字與關(guān)鍵字不匹配時，控制發(fā)聲單元輸出所述圖片對應(yīng)的提示語音；所述發(fā)聲單元用于輸出所述圖片對應(yīng)的引導(dǎo)語音和對應(yīng)的提示語音。通過在顯示單元上顯示圖片，通過聲音采集單元和語音識別處理單元對聲音進行處理并控制發(fā)聲單元響應(yīng)，實現(xiàn)了交互設(shè)備與用戶的全面互動。
【專利說明】一種交互裝置和基于交互裝置的提高表達能力的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及交互領(lǐng)域，尤其涉及一種交互裝置和基于交互裝置的提高表達能力的方法。

【背景技術(shù)】
[0002]人機交互是智能設(shè)備領(lǐng)域的一個重要研究方向，針對于教育教學(xué)中的使用有重大意義，但是對于當(dāng)前的基于交互的教育教學(xué)設(shè)備，特別是針對于表達能力、看圖說話能力和交流能力的教育教學(xué)設(shè)備，主要是單向溝通，例如為學(xué)生用戶單向提供圖片和文字講解，不接收反饋；或者只能接收簡單的對是否進行判斷的反饋，并且反饋是通過手動操作實現(xiàn)，反饋的互動性不強，沒有實現(xiàn)雙方的多次互動。


【發(fā)明內(nèi)容】

[0003]本發(fā)明提出了一種交互裝置和基于交互裝置的提高表達能力的方法，其通過設(shè)置存儲單元存儲圖片和相關(guān)語音，在顯示單元上顯示圖片，通過聲音采集單元和語音識別處理單元對聲音進行處理并控制發(fā)聲單元響應(yīng)，實現(xiàn)了交互設(shè)備與用戶的全面互動。
[0004]為實現(xiàn)上述設(shè)計，本發(fā)明采用以下技術(shù)方案:
[0005]一方面采用一種交互裝置，包括:顯示單元、聲音采集單元、語音識別處理單元和發(fā)聲單元；其中:
[0006]所述顯示單元用于顯示圖片；
[0007]所述聲音米集單兀用于米集聲音信號；
[0008]所述語音識別處理單元用于從所述聲音信號中識別出文字，將所述識別出的文字與關(guān)鍵字對比，當(dāng)所述識別出的文字與所述關(guān)鍵字不匹配時，控制發(fā)聲單元輸出所述圖片對應(yīng)的提示語音；
[0009]所述發(fā)聲單元用于輸出所述圖片對應(yīng)的引導(dǎo)語音和對應(yīng)的提示語音。
[0010]其中，所述存儲單元還用于存儲激勵語音；
[0011]所述語音識別處理單元還用于當(dāng)所述識別出的文字與所述關(guān)鍵字匹配時，控制發(fā)聲單元輸出激勵語音。
[0012]其中，所述圖片按內(nèi)容難度分類存儲。
[0013]其中，還包括控制單元，所述控制單元用于檢測選擇的內(nèi)容難度和圖片。
[0014]其中，所述控制單元為觸摸式控制單元。
[0015]另一方面采用一種基于交互裝置的提高表達能力的方法，包括:
[0016]顯示單元顯示圖片，發(fā)聲單元輸出引導(dǎo)語音；
[0017]聲音采集單元采集聲音信號；
[0018]語音識別處理單元從所述聲音信號中識別出文字，將識別出的文字與關(guān)鍵字對t匕，當(dāng)識別出的文字與所述關(guān)鍵字不匹配時，控制發(fā)聲單元輸出圖片對應(yīng)的提示語音；
[0019]發(fā)聲單元輸出提示語音。
[0020] 其中，當(dāng)識別出的文字與所述關(guān)鍵字匹配時，所述語音識別處理單元控制發(fā)聲單元輸出激勵語音。
[0021 ] 其中，所述圖片按內(nèi)容難度分類存儲。
[0022]其中，所述顯示單元顯示圖片，發(fā)聲單元輸出引導(dǎo)語音之前，還包括:
[0023]控制單元檢測選擇的內(nèi)容難度和圖片。
[0024]其中，所述控制單元為觸摸式控制單元。
[0025]本發(fā)明的有益效果在于:通過設(shè)置存儲單元存儲圖片和相關(guān)語音，在顯示單元上顯示圖片，通過聲音采集單元和語音識別處理單元對聲音進行處理并控制發(fā)聲單元響應(yīng)，實現(xiàn)了交互設(shè)備與用戶的全面互動。

【專利附圖】

【附圖說明】
[0026]為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對本發(fā)明實施例描述中所需要使用的附圖作簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)本發(fā)明實施例的內(nèi)容和這些附圖獲得其他的附圖。
[0027]圖1是本發(fā)明實施例提供的一種交互裝置的第一實施例的結(jié)構(gòu)方框圖。
[0028]圖2是本發(fā)明實施例提供的一種交互裝置的第二實施例的結(jié)構(gòu)方框圖。
[0029]圖3是本發(fā)明實施例提供的一種基于交互裝置的提高表達能力的方法的第一實施例的方法流程圖。
[0030]圖4是本發(fā)明實施例提供的一種基于交互裝置的提高表達能力的方法的第二實施例的方法流程圖。

【具體實施方式】
[0031]為使本發(fā)明解決的技術(shù)問題、采用的技術(shù)方案和達到的技術(shù)效果更加清楚，下面將結(jié)合附圖對本發(fā)明實施例的技術(shù)方案作進一步的詳細描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0032]請參考圖1，其是本發(fā)明實施例提供的一種交互裝置的第一實施例的結(jié)構(gòu)方框圖。本實施例中的交互裝置，主要用于進行機器與人的交互，特別適用于學(xué)生學(xué)習(xí)過程中的交互引導(dǎo)。
[0033]該交互裝置，包括:顯示單元120、聲音采集單元130、語音識別處理單元140和發(fā)聲單元150 ;其中:
[0034]所述顯示單元120用于顯示圖片；
[0035]顯示單元120從硬件結(jié)構(gòu)上講包括各種可以進行視覺顯示的顯示屏。
[0036]所述聲音米集單兀130用于米集聲音信號；
[0037]聲音采集單元130具體而言可以是各種麥克風(fēng)。
[0038]所述語音識別處理單元140用于從所述聲音信號中識別出文字，將所述識別出的文字與關(guān)鍵字對比，當(dāng)所述識別出的文字與所述關(guān)鍵字不匹配時，控制發(fā)聲單元150輸出所述圖片對應(yīng)的提示語音；
[0039]語音識別處理單兀140具體為一處理器,例如CPU (Central Processing Unit,中央處理器)、MCU(Micro Control Unit、微控制單元)，語音識別處理單元140對聲音信號進行識別和識別后的判斷處理。
[0040]所述發(fā)聲單元150用于輸出所述圖片對應(yīng)的引導(dǎo)語音和對應(yīng)的提示語音。
[0041]發(fā)聲單元150包括喇叭或其他發(fā)聲設(shè)備。
[0042]綜上所述，通過在顯示單元120上顯示圖片，通過聲音采集單元130和語音識別處理單元140對聲音進行處理并控制發(fā)聲單元150響應(yīng)，實現(xiàn)了交互設(shè)備與用戶的全面互動。
[0043]請參考圖2，其是本發(fā)明實施例提供的一種交互裝置的第二實施例的結(jié)構(gòu)方框圖。該交互裝置包括:顯示單元120、聲音采集單元130、語音識別處理單元140和發(fā)聲單元150 ;其中:
[0044]所述顯示單元120用于顯示圖片；
[0045]所述聲音米集單兀130用于米集聲音信號；
[0046]所述語音識別處理單元140用于從所述聲音信號中識別出文字，將所述識別出的文字與關(guān)鍵字對比，當(dāng)所述識別出的文字與所述關(guān)鍵字不匹配時，控制發(fā)聲單元150輸出圖片對應(yīng)的提示語音；
[0047]語音識別處理單元140在處理完當(dāng)前的圖片對應(yīng)的語音之后，會導(dǎo)入下一張圖片并基于下一張圖片完成交互過程。
[0048]所述發(fā)聲單元150用于輸出所述圖片對應(yīng)的引導(dǎo)語音和對應(yīng)的提示語音。
[0049]所述提示語音是在識別出的文字與關(guān)鍵字不匹配時輸出，提示語音可以視為對圖片內(nèi)容的進一步詳細提不。
[0050]其中，所述存儲單元110還用于存儲激勵語音；
[0051]激勵語音在識別出的文字與關(guān)鍵字匹配時輸出，與引導(dǎo)語音和提示語音與圖片對應(yīng)不同，激勵語音可以不與圖片對應(yīng)，整個存儲單元110中準(zhǔn)備若干激勵語音即可，例如“太棒了”、“繼續(xù)加油”等。
[0052]所述語音識別處理單元140還用于當(dāng)所述識別出的文字與所述關(guān)鍵字匹配時，控制發(fā)聲單元150輸出激勵語音。
[0053]激勵語音的播放同樣也由語音識別處理單元140控制。
[0054]其中，所述圖片按內(nèi)容難度分類存儲。
[0055]針對學(xué)生用戶的認知規(guī)律，將圖片按內(nèi)容難度進行分類，整體上一般按照從易到難進行認知互動。
[0056]其中，還包括控制單元110，所述控制單元110用于檢測選擇的內(nèi)容難度和圖片。
[0057]學(xué)生用戶交互過的內(nèi)容在下一次使用裝置時會跳過，此時使用控制單元110通過內(nèi)容難度和圖片確認新的圖片。
[0058]其中，所述控制單元110為觸摸式控制單元。
[0059]觸摸式控制單元可以和顯示裝置集成到一起，通過一觸摸顯示屏同時實現(xiàn)顯示單元120的功能和觸摸式控制單元的功能。
[0060]綜上所述，通過在顯示單元120上顯示圖片，通過聲音采集單元130和語音識別處理單元140對聲音進行處理并控制發(fā)聲單元150響應(yīng)，實現(xiàn)了交互設(shè)備與用戶的全面互動。控制單元110的設(shè)置提高了用戶在交互過程中的控制效果。
[0061]以下為本發(fā)明實施例提供的一種基于交互裝置的提高表達能力的方法的實施例。方法的實施例基于上述的交互裝置的實施例實現(xiàn)，兩者屬于同一構(gòu)思，方法的實施例中未詳盡描述的細節(jié)內(nèi)容，可以參考上述交互裝置的實施例。
[0062]請參考圖3，其是本發(fā)明一種基于交互裝置的提高表達能力的方法的第一實施例的流程圖，如圖所示，該方法包括:
[0063]步驟SlOl:顯示圖片并輸出所述圖片對應(yīng)的引導(dǎo)語音。
[0064]例如圖片中主體是一個男子，其對應(yīng)的引導(dǎo)語音是“小朋友，你現(xiàn)在看到的人是男的還是女的呀？ ” ；該引導(dǎo)語音對應(yīng)的是關(guān)鍵字是“男”。顯示單元120顯示圖片，同時發(fā)聲單元150輸出引導(dǎo)語音引導(dǎo)學(xué)生用戶觀察圖片。
[0065]步驟S102:采集聲音信號。
[0066]聲音采集單元130采集學(xué)生用戶根據(jù)引導(dǎo)語音發(fā)出的聲音信號，采集后將聲音信號發(fā)送到語音識別處理單元140進行后續(xù)處理。
[0067]步驟S103:從所述聲音信號中識別出文字，將識別出的文字與關(guān)鍵字對比。
[0068]語音識別處理單元140對聲音信號進行語音識別，具體的語音識別技術(shù)比較成熟，在此不再贅述。
[0069]步驟S104:當(dāng)識別出的文字與所述關(guān)鍵字不匹配時，輸出所述圖片對應(yīng)的提示語曰?
[0070]在識別出文字后會將識別出的文字與關(guān)鍵字進行對比，如果關(guān)鍵字與識別出的文字中有沒有相同的，則視為匹配不成功。例如將關(guān)鍵字“男”與識別出的文字對比時沒有匹配到相同的文字，語音識別處理單元140將會控制發(fā)聲單元150輸出對應(yīng)的提示語音。此時的提示語音例如“你看他濃眉大眼，有喉結(jié)，再想想”。
[0071]在輸出提示語音之后，實際上還會從步驟S102重新開始后面的操作，對新的聲音信號進行采集，進行語音識別處理，只是在此作為交互中的常規(guī)處理，不作詳細闡述。
[0072]綜上所述，通過在上顯示圖片和輸出對應(yīng)的引導(dǎo)語音，通過聲音采集和對采集到的聲音進行語音識別并對識別的結(jié)果進行響應(yīng)，實現(xiàn)了交互設(shè)備與用戶的全面互動，提高了學(xué)生用戶的交互體驗。
[0073]請參考圖4，其是本發(fā)明一種基于交互裝置的提高表達能力的方法的第二實施例的流程圖，如圖所示，該方法包括:
[0074]步驟S201:檢測選擇的內(nèi)容難度和圖片。
[0075]在本實施例中，所述控制單元110優(yōu)選為觸摸式控制單元，對應(yīng)的，選擇的內(nèi)容難度和圖片，包括:通過觸摸操作選擇的內(nèi)容難度和圖片。亦可選用其他例如機械按鍵的方式實現(xiàn)控制，具體由實現(xiàn)本技術(shù)方案的硬件載體確定。例如平板電腦、個人電腦、機械按鍵式智能終端，其實現(xiàn)的方式各不一樣。
[0076]步驟S202:顯示圖片并輸出所述圖片對應(yīng)的引導(dǎo)語音。
[0077]在存儲單元110中，所述圖片按內(nèi)容難度分類存儲。針對學(xué)生用戶的認知規(guī)律，將圖片按內(nèi)容難度進行分類，整體上一般按照從易到難進行認知互動。
[0078]例如圖片中主體是一個男子，其對應(yīng)的引導(dǎo)語音是“小朋友，你現(xiàn)在看到的人是男的還是女的呀？ ” ；該引導(dǎo)語音對應(yīng)的是關(guān)鍵字是“男”。顯示單元120顯示圖片，同時發(fā)聲單元150輸出引導(dǎo)語音引導(dǎo)學(xué)生用戶觀察圖片。
[0079]步驟S203:采集聲音信號。
[0080]聲音采集單元130采集學(xué)生用戶根據(jù)引導(dǎo)語音發(fā)出的聲音信號，采集后將聲音信號發(fā)送到語音識別處理單元140進行后續(xù)處理。
[0081]步驟S204:從所述聲音信號中識別出文字，將識別出的文字與關(guān)鍵字對比。
[0082]語音識別處理單元140對聲音信號進行語音識別，具體的語音識別技術(shù)比較成熟，在此不再贅述。在識別出文字后會將識別出的文字與關(guān)鍵字進行對比，如果關(guān)鍵字與識別出的文字中有沒有相同的，則視為匹配不成功。例如將關(guān)鍵字“男”與識別出的文字對比時沒有匹配到相同的文字，語音識別處理單元140將會控制發(fā)聲單元150輸出對應(yīng)的提示語音。此時的提示語音例如“你看他濃眉大眼，有喉結(jié)，再想想”。
[0083]步驟S205:當(dāng)識別出的文字與所述關(guān)鍵字不匹配時，輸出所述圖片對應(yīng)的提示語曰?
[0084]在輸出提示語音之后，實際上還會從步驟S102重新開始后面的操作，對新的聲音信號進行采集，進行語音識別處理，只是在此作為交互中的常規(guī)處理，不作詳細闡述。
[0085]步驟S206:當(dāng)識別出的文字與所述關(guān)鍵字匹配時，輸出激勵語音。
[0086]當(dāng)識別出的文字中有與關(guān)鍵字匹配的，則認為對當(dāng)前圖片的引導(dǎo)結(jié)束，對學(xué)生用戶輸出激勵語音。
[0087]激勵語音的具體內(nèi)容在前一實施例中已有說明。
[0088]綜上所述，通過在上顯示圖片和輸出對應(yīng)的引導(dǎo)語音，通過聲音采集和對采集到的聲音進行語音識別并對識別的結(jié)果進行響應(yīng)，實現(xiàn)了交互設(shè)備與用戶的全面互動，提高了學(xué)生用戶的交互體驗?？刂齐y度選擇和圖片選擇步驟的設(shè)置提高了用戶在交互過程中的控制效果。同時對匹配成功時的激勵進一步豐富了交互效果。
[0089]以上內(nèi)容僅為本發(fā)明的較佳實施例，對于本領(lǐng)域的普通技術(shù)人員，依據(jù)本發(fā)明的思想，在【具體實施方式】及應(yīng)用范圍上均會有改變之處，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。
【權(quán)利要求】
1.一種交互裝置，其特征在于，包括:顯示單元、聲音采集單元、語音識別處理單元和發(fā)聲單元；其中: 所述顯示單元用于顯示圖片； 所述聲音采集單元用于采集聲音信號； 所述語音識別處理單元用于從所述聲音信號中識別出文字，將所述識別出的文字與關(guān)鍵字對比，當(dāng)所述識別出的文字與所述關(guān)鍵字不匹配時，控制發(fā)聲單元輸出所述圖片對應(yīng)的提示語音； 所述發(fā)聲單元用于輸出所述圖片對應(yīng)的引導(dǎo)語音和對應(yīng)的提示語音。
2.根據(jù)權(quán)利要求1所述的一種交互裝置，其特征在于，所述存儲單元還用于存儲激勵語音； 所述語音識別處理單元還用于當(dāng)所述識別出的文字與所述關(guān)鍵字匹配時，控制發(fā)聲單元輸出激勵語音。
3.根據(jù)權(quán)利要求1所述的一種交互裝置，其特征在于，所述圖片按內(nèi)容難度分類存儲。
4.根據(jù)權(quán)利要求3所述的一種交互裝置，其特征在于，還包括控制單元，所述控制單元用于檢測選擇的內(nèi)容難度和圖片。
5.根據(jù)權(quán)利要求4所述的一種交互裝置，其特征在于，所述控制單元為觸摸式控制單J Li ο
6.一種基于交互裝置的提高表達能力的方法，其特征在于，包括: 顯示圖片并輸出所述圖片對應(yīng)的引導(dǎo)語音； 米集聲音信號； 從所述聲音信號中識別出文字，將識別出的文字與關(guān)鍵字對比； 當(dāng)識別出的文字與所述關(guān)鍵字不匹配時，輸出所述圖片對應(yīng)的提示語音。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，當(dāng)識別出的文字與所述關(guān)鍵字匹配時，輸出激勵語音。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述圖片按內(nèi)容難度分類存儲。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述顯示圖片并輸出所述圖片對應(yīng)的引導(dǎo)語音之前，還包括: 檢測選擇的內(nèi)容難度和圖片。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述選擇的內(nèi)容難度和圖片，包括:通過觸摸操作選擇的內(nèi)容難度和圖片、根據(jù)預(yù)設(shè)周期內(nèi)匹配的概率選擇的內(nèi)容難度和圖片。
【文檔編號】G06F3/0488GK104252287SQ201410449741
【公開日】2014年12月31日 申請日期:2014年9月4日 優(yōu)先權(quán)日:2014年9月4日
【發(fā)明者】房少杰, 陳天偉 申請人:廣東小天才科技有限公司