語音對話支持裝置和語音對話支持方法
【專利說明】語音對話支持裝置和語音對話支持方法
[0001]相關(guān)申請的交叉引用
[0002]本申請基于并要求2014年2月13日提交的第2014-025902號在先日本專利申請的優(yōu)先權(quán)，此在先日本專利申請的全部內(nèi)容在此引入作為參考。
技術(shù)領(lǐng)域
[0003]在此描述的實施例一般地涉及用于支持兩個或更多用戶使用語音輸入之外的輸入手段(例如手寫輸入)進(jìn)行對話的語音對話支持裝置、語音對話支持方法以及計算機(jī)可讀介質(zhì)。
【背景技術(shù)】
[0004]當(dāng)不懂彼此語言的人們進(jìn)行對話時，翻譯者需要傾聽和翻譯說話者發(fā)出的內(nèi)容。但是，很難始終具有翻譯者，并且不懂彼此語言的說話者不能進(jìn)行對話。

【發(fā)明內(nèi)容】

[0005]為了解決該問題，提供一種語音翻譯技術(shù)，其使用語音識別技術(shù)將發(fā)出的語音轉(zhuǎn)換成文本，通過機(jī)器翻譯將文本翻譯成傾聽者的語言，并顯示所翻譯的文本或使用語音合成技術(shù)再現(xiàn)語音。
[0006]還提供一種支持技術(shù)，其中即使使用同一語言的人們進(jìn)行對話，當(dāng)一個人在遠(yuǎn)程位置(例如呼叫中心)時，也會通過語音識別將語音轉(zhuǎn)換成文本并且自動獲得要記錄的數(shù)據(jù)。
[0007]在上述語音翻譯/語音對話支持技術(shù)中，語音識別的準(zhǔn)確性是有限的，可能將不同于用戶所發(fā)出的內(nèi)容轉(zhuǎn)換成文本。如果翻譯不正確的語音識別結(jié)果，則不會將意圖傳遞給合作伙伴用戶，從而不能進(jìn)行對話。
[0008]因為在人們之間的對話中經(jīng)常重復(fù)問題和對問題的答案，所以如果事先準(zhǔn)備問題句，則提問方可以能夠解決上述問題。
[0009]但是，因為當(dāng)詢問問題時回答方首次輸入答案，所以回答方不能解決該問題。提供一種方法，其使用諸如鍵盤或手寫輸入之類的備選手段輸入答案，而不使用語音識別。但是，不熟悉裝置的用戶可能出錯，并且需要的時間多于語音識別所用的時間。因此，用戶感到有壓力。
[0010]如上所述，即使用戶可以使用常規(guī)語音翻譯/語音對話支持技術(shù)傳遞簡短意圖，也難以順暢地繼續(xù)對話。
【附圖說明】
[0011]圖1是示出根據(jù)第一實施例的語音對話支持裝置的一個實例的框圖；
[0012]圖2是示出根據(jù)第一實施例的語音翻譯應(yīng)用的用戶界面的一個實例的屏幕的圖；
[0013]圖3是示出根據(jù)第一實施例的具有主題關(guān)鍵字和屬于每個主題關(guān)鍵字的單詞的字典的一個實例的表；
[0014]圖4是不出根據(jù)第一實施例的用于輸入句子的句子模式的列表的表；
[0015]圖5是示出根據(jù)第一實施例的用于在樹結(jié)構(gòu)中保存類別的類別樹的一個實例的圖；
[0016]圖6是示出根據(jù)第一實施例的當(dāng)用戶輸入答案句時的屏幕的一個實例的圖；
[0017]圖7是示出根據(jù)第一實施例的用于標(biāo)識答案句的答案部分的答案模板字典的一個實例的表；
[0018]圖8是示出根據(jù)第一實施例的問題對似然性確定單元的處理過程的流程圖；
[0019]圖9是示出根據(jù)第一實施例的針對每種輸入模式保存的權(quán)重值的一個實例的表；
[0020]圖10是示出根據(jù)第一實施例的在輸入模式可靠性累積單元中累積的數(shù)據(jù)的一個實例的圖；
[0021]圖11是示出根據(jù)第一實施例的用于提示用戶再次回答的屏幕的一個實例的圖；
[0022]圖12是示出根據(jù)第一實施例的當(dāng)輸入與之前詢問的問題具有相同臨時答案類別的問題時，用于以手寫輸入模式回答的屏幕的一個實例的圖；
[0023]圖13A是示出根據(jù)第一實施例的當(dāng)輸入與之前詢問的問題具有相同臨時答案類別的問題時，用于以地圖輸入模式回答的屏幕的一個實例的圖；
[0024]圖13B是示出根據(jù)第一實施例的在輸入問題答案之后，用于以地圖輸入模式回答的屏幕的一個實例的圖；
[0025]圖14A是示出根據(jù)第一實施例的當(dāng)輸入與之前詢問的問題具有相同臨時答案類別的問題時，用于以地圖輸入模式回答的屏幕的另一個實例的圖；
[0026]圖14B是示出根據(jù)第一實施例的在輸入問題答案之后，用于以地圖輸入模式回答的屏幕的另一個實例的圖；
[0027]圖15是示出根據(jù)第二實施例的語音對話支持裝置的布置的框圖；
[0028]圖16是示出根據(jù)第二實施例的語音翻譯應(yīng)用的用戶界面的一個實例的屏幕的圖；
[0029]圖17是示出根據(jù)第二實施例的在說話者簡檔累積單元中累積的數(shù)據(jù)的一個實例的表；
[0030]圖18是示出根據(jù)第二實施例的存儲每個臨時答案類別的選項的數(shù)據(jù)庫的一個實例的表；
[0031]圖19是示出根據(jù)第二實施例的當(dāng)用戶通過語音輸入回答問題時的屏幕的一個實例的圖；以及
[0032]圖20是示出根據(jù)第二實施例的用于呈現(xiàn)由選項生成單元針對問題生成的選項的屏幕的一個實例的圖。
【具體實施方式】
[0033]一般而言，根據(jù)一個實施例，一種語音對話支持裝置包括輸入單元、第一確定單元、第二確定單元、第三確定單元、評分單元以及屏幕生成單元。所述輸入單元根據(jù)語音輸入模式和另一種輸入模式接受文本數(shù)據(jù)輸入。所述語音輸入模式將所述用戶發(fā)出的語音轉(zhuǎn)換成文本數(shù)據(jù)。另一種輸入模式接受來自所述用戶的輸入操作。所述第一確定單元從輸入句提取表示當(dāng)前主題的至少一個主題關(guān)鍵字。所述第二確定單元通過判定所述輸入句是否是問題句和答案句中的至少一個，提取具有問題句和答案句的問題對，并且當(dāng)所述輸入句是問題句時，基于所述問題句的格式和所述主題關(guān)鍵字，將能夠是答案的單詞的類別估計為臨時答案類別。所述第三確定單元基于所述答案句估計所回答的內(nèi)容的類別，并且當(dāng)獲得所述問題對時，基于所述臨時答案類別和答案類別中的至少一個，計算問題對似然性。所述評分單元基于所述臨時答案類別和所述問題對似然性，計算有關(guān)每種輸入模式的優(yōu)先級的得分。所述屏幕生成單元以評分單元計算的得分的順序，顯示所述輸入模式。
[0034]在每個實施例(要在后面描述)中，將解釋以下情況:其中將語音對話支持裝置應(yīng)用于終端(例如包括觸摸屏的平板計算機(jī)終端)的語音翻譯功能。
[0035]注意，所述語音對話支持裝置不僅適用于語音翻譯功能，而且還適用于呼叫中心中的工作支持功能等。
[0036](第一實施例)
[0037]下面將參考附圖描述第一實施例。
[0038]在第一實施例中，操日語的用戶和操英語的用戶通常使用一個包括觸摸屏的平板計算機(jī)終端。將描述應(yīng)用語音對話支持裝置的語音翻譯應(yīng)用，該語音對話支持裝置除了允許通過語音識別的輸入操作之外，還允許手寫輸入操作，其通過手指在屏幕上寫入字符進(jìn)行輸入字符。
[0039]注意，語言組合并不限于上述一種，并且可以使用任何語言，這些語言可以由諸如語音識別和翻譯之類的單獨(dú)部分支持。
[0040](整體布置)
[0041]根據(jù)第一實施例的語音對話支持裝置翻譯用戶輸入的內(nèi)容，并且以文本格式將其呈現(xiàn)給合作伙伴用戶。注意，可執(zhí)行翻譯結(jié)果的語音合成，并且輸出結(jié)果作為語音。
[0042]圖1是示出根據(jù)第一實施例的語音對話支持裝置的布置的框圖。
[0043]根據(jù)該實施例的語音對話支持裝置包括輸入單元11、翻譯單元12、主題確定單元13、臨時答案類別確定單元14(以下稱為類別確定單元14)、問題對似然性確定單元15(以下稱為確定單元15)、輸入模式可靠性累積單元16 (以下稱為累積單元16)、答案輸入模式評分單元17 (以下稱為評分單元17)以及答案輸入屏幕生成單元18 (以下稱為屏幕生成單元18)。語音對話支持裝置包括CPU、ROM、RAM等，以便通過軟件處理控制語音對話支持裝置的翻譯單元12、主題確定單元13、類別確定單元14、確定單元15、累積單元16、評分單元17和屏幕生成單元18。
[0044]輸入單元11是諸如麥克風(fēng)和觸摸屏(它們未被示出)之類的輸入設(shè)備，并且由用戶用于使用麥克風(fēng)或另一種輸入模式輸入發(fā)出的內(nèi)容。翻譯單元12翻譯使用輸入單元11輸入的文本數(shù)據(jù)。主題確定單元13從輸入句提取表示當(dāng)前主題的一個或多個主題關(guān)鍵字。
[0045]類別確定單元14基于問題句的格式和主題關(guān)鍵字，估計臨時答案類別。確定單元15基于答案句估計所回答的內(nèi)容的類別，并且基于臨時答案類別或答案類別計算問題對的似然性。累積單元16保存輸入模式的可靠性值，作為在臨時答案類別中輸入單詞的方法。
[0046]評分單元17基于臨時答案類別、問題對似然性或輸入模式可靠性，計算有關(guān)每種輸入模式的優(yōu)先級的得分。屏幕生成單元18以評分單元17計算的相應(yīng)答案輸入模式的得分的順序，顯示輸入模式。
[0047]可以在包括麥克風(fēng)和屏幕的終端上安裝語音對話支持裝置，作為語音翻譯應(yīng)用。不需要在終端中配備麥克風(fēng)，并且可以另外使用諸如耳機(jī)麥克風(fēng)之類的外部麥克風(fēng)。
[0048]例如，可以使用諸如智能電話或平板計算機(jī)之類的移動終端，或者諸如臺式計算機(jī)或筆記本型個人計算機(jī)(PC)之類的硬件裝置。
[0049]應(yīng)用語音對話支持裝置的終端的數(shù)量不需要為一個?？赡芾缤ㄟ^傳送輸入數(shù)據(jù)或輸入句，將語音對話支持裝置應(yīng)用于多個終端。
[0050](屏幕布置)
[0051]圖2示出根據(jù)第一實施例的語音翻譯應(yīng)用的屏幕的一個實例。
[0052]所述屏幕包括用于日本人的顯示21和用于美國人的顯示22，每個顯示包括對話日志顯不部分23和輸入屏幕部分24。
[0053]在用于日本人的顯示21中，將翻譯美國人發(fā)出的內(nèi)容和日本人發(fā)出的內(nèi)容的結(jié)果顯示為對話日志。在用于美國人的顯示22中，將美國人發(fā)出的內(nèi)容和翻譯日本人發(fā)出的內(nèi)容的結(jié)果顯示為對話日志。
[0054]在初始狀態(tài)下，在每個輸入屏幕部分24上顯示可能的輸入模式(在該實例中，語音輸入模式111、手寫輸入模式112和使用圖形指點模式的地圖輸入模式113)，如圖2中所示，并且選擇一種輸