本發(fā)明屬于網(wǎng)絡(luò)游戲開發(fā)技術(shù)領(lǐng)域，涉及到一種基于面部與語音識別的游戲控制系統(tǒng)及方法。

背景技術(shù)：

隨著移動網(wǎng)絡(luò)正逐漸的在人們的生活和工作普及，從而智能手機的發(fā)展也越來越迅速，手機的用途主要是打電話和上網(wǎng)，為了豐富人們的生活，進而手機上的軟件功能也逐漸豐富。

手機上的游戲是最常見的一款軟件，手機游戲用戶規(guī)模增長較快，為互聯(lián)網(wǎng)產(chǎn)業(yè)注入新的活力，手機上的游戲成為人們最常見的一種娛樂方式，越來越多的人們在空閑的時間玩游戲，例如在等公交、做公交、排隊、吃飯等場景下玩手機游戲，但是由于目前手機游戲需要人們通過手動進行操作，使得人們需要長時間的盯住手機屏幕，對人眼造成很大的傷害，同時人們在路上玩游戲易發(fā)生危險，嚴(yán)重影響人們的安全，同時由于手機屏幕較小，存在操作不便的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種基于面部與語音識別的游戲控制系統(tǒng)及方法，解決了目前游戲玩家對玩游戲的環(huán)境場所有限制，以及操作不便的問題。

本發(fā)明的目的可以通過以下技術(shù)方案實現(xiàn)：

一種基于面部與語音識別的游戲控制系統(tǒng)，包括視覺采集模塊、視覺識別模塊、視覺對比模塊、語音采集模塊、語音識別模塊、語音對比模塊、數(shù)據(jù)庫、數(shù)據(jù)處理模塊、游戲控制模塊、多媒體展示模塊和語音播放模塊；

所述視覺采集模塊用于對游戲玩家的表情進行采集，并將采集的表情發(fā)送至視覺識別模塊；

所述視覺識別模塊用于將視覺采集模塊發(fā)送的表情信息轉(zhuǎn)化成視覺數(shù)字信號，并將視覺數(shù)字信號發(fā)送至視覺對比模塊；

所述視覺對比模塊用于對接收的視覺數(shù)字信號與數(shù)據(jù)庫中存儲的視覺數(shù)字信號進行對比；

所述語音采集模塊用于采集游戲玩家的語音，并將采集的語音信息發(fā)送至語音識別模塊；

所述語音識別模塊用于將語音采集模塊發(fā)送的語音信息轉(zhuǎn)化成語音數(shù)字信號，并將語音數(shù)字信號發(fā)送至語音對比模塊；

所述語音對比模塊用于對接收的語音數(shù)字信號與數(shù)據(jù)庫中存儲的語音數(shù)字信號進行比較；

所述數(shù)據(jù)庫用于存儲視覺數(shù)字信號和語音數(shù)字信息；

所述數(shù)據(jù)處理模塊用于對視覺對比模塊和語音對比模塊發(fā)送的數(shù)字信號進行處理，轉(zhuǎn)化成計算機識別的文本指令信息，并將文本信息發(fā)送至游戲控制模塊；

所述游戲控制模塊接收數(shù)據(jù)處理模塊發(fā)送的文本信息，根據(jù)文本信息對多媒體展示模塊和語音播放模塊進行控制；

所述多媒體展示模塊用于展示游戲中人物的動作；

所述語音播放模塊用于對游戲中的語音信息進行播放。

進一步地，所述視覺采集模塊為攝像頭，用于采集游戲玩家的表情，游戲中人物的表情與游戲玩家的表情相一致。

進一步地，所述語音采集模塊用于采集游戲玩家的語音信息，采集的用于對游戲中人物的動作及語言進行控制。

一種基于面部與語音識別的游戲控制方法，包括以下步驟：

s1、視覺采集模塊采集游戲玩家的表情信息，同時語音采集模塊，采集游戲玩家關(guān)鍵的語音信息；

s2、視覺識別模塊將視覺采集模塊采集的視覺信息轉(zhuǎn)化成視覺數(shù)字信號，轉(zhuǎn)化的視覺數(shù)字信號發(fā)送至視覺對比模塊，語音識別模塊將語音采集模塊采集的語音信息轉(zhuǎn)化成語音數(shù)字信號，轉(zhuǎn)化的語音數(shù)字信號發(fā)送至語音對比模塊；

s3、若視覺對比模塊接收的視覺數(shù)字信號與數(shù)據(jù)庫中存儲的數(shù)字信號相匹配，則視覺對比模塊將對比的結(jié)果及識別的視覺識別信號發(fā)送至數(shù)據(jù)處理模塊，若不匹配，則視覺對比模塊只發(fā)送對比失敗的結(jié)果至數(shù)據(jù)處理模塊；

s4、若語音對比模塊對關(guān)鍵的語音信息轉(zhuǎn)化的語音數(shù)字信號與數(shù)據(jù)庫中存儲的語音數(shù)字信號相匹配，則語音對比模塊將對比的結(jié)果及識別的語音識別信號發(fā)送至數(shù)據(jù)處理模塊，若匹配不成功，則語音對比模塊只發(fā)送匹配失敗的結(jié)果至數(shù)據(jù)處理模塊；

s5、數(shù)據(jù)處理模塊對匹配成功的視覺識別信號和語音識別信號進行處理，轉(zhuǎn)化成計算機識別的文本指令信息，并將文本指令信息發(fā)送至游戲控制模塊，數(shù)據(jù)處理模塊對匹配失敗的視覺識別信號和語音識別信號不進行處理；

s6、游戲控制模塊根據(jù)文本指令信息對游戲中的多媒體展示模塊和語音播放模塊進行控制。

進一步地，游戲玩家運行游戲程序時，系統(tǒng)自動發(fā)送是否開啟攝像頭以及麥克風(fēng)的提示指令至游戲玩家。

本發(fā)明的有益效果：

本發(fā)明中游戲玩家可通過面部表情及語音對游戲中的人物進行控制，簡化了游戲的操作，降低對環(huán)境的要求，具有自動控制的特點，同時通過表情及語音對游戲人物進行控制，降低了對眼睛的傷害以及玩家的疲勞程度，且提高了玩家在玩游戲過程中的樂趣，增加了游戲的趣味性，豐富了人們的生活。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例描述所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明一種基于面部與語音識別的游戲控制系統(tǒng)的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。

請參閱圖1所示，本發(fā)明為一種基于面部與語音識別的游戲控制系統(tǒng)，包括視覺采集模塊、視覺識別模塊、視覺對比模塊、語音采集模塊、語音識別模塊、語音對比模塊、數(shù)據(jù)庫、數(shù)據(jù)處理模塊、游戲控制模塊、多媒體展示模塊和語音播放模塊；

視覺采集模塊用于對游戲玩家的表情進行采集，并將采集的表情發(fā)送至視覺識別模塊；

視覺識別模塊用于將視覺采集模塊發(fā)送的表情信息轉(zhuǎn)化成視覺數(shù)字信號，并將視覺數(shù)字信號發(fā)送至視覺對比模塊；

視覺對比模塊用于對接收的視覺數(shù)字信號與數(shù)據(jù)庫中存儲的視覺數(shù)字信號進行對比，并將比較的結(jié)果及識別的視覺數(shù)字信號發(fā)送至數(shù)據(jù)處理模塊；

語音采集模塊用于對游戲玩家的語音進行采集，并將采集的語音信息發(fā)送至語音識別模塊；

語音識別模塊用于將語音采集模塊發(fā)送的語音信息轉(zhuǎn)化成語音數(shù)字信號，并將語音數(shù)字信號發(fā)送至語音對比模塊；

語音對比模塊用于對接收的語音數(shù)字信號與數(shù)據(jù)庫中存儲的語音數(shù)字信號進行比較，并將比較的結(jié)果及識別的語音數(shù)字信號發(fā)送至數(shù)據(jù)處理模塊；

數(shù)據(jù)庫用于存儲視覺數(shù)字信號和語音數(shù)字信息；

數(shù)據(jù)處理模塊用于對視覺對比模塊和語音對比模塊發(fā)送的數(shù)字信號進行處理，轉(zhuǎn)化成計算機識別的文本指令信息，并將文本信息發(fā)送至游戲控制模塊；

游戲控制模塊接收數(shù)據(jù)處理模塊發(fā)送的文本信息，根據(jù)文本信息對多媒體展示模塊和語音播放模塊進行控制；

多媒體展示模塊用于展示游戲中人物的動作；

語音播放模塊用于對游戲中的語音信息進行播放。

其中，視覺采集模塊為攝像頭，用于采集游戲玩家的表情，表情的內(nèi)容包括大笑、大哭、瞪眼以及噘嘴等，游戲中人物的表情與游戲玩家的表情相一致。

語音采集模塊為麥克風(fēng)，用于采集游戲玩家的語音信息。

一種基于面部與語音識別的游戲控制方法，包括以下步驟：

s1、游戲玩家運行游戲程序時，系統(tǒng)自動發(fā)送是否開啟攝像頭以及麥克風(fēng)的提示指令，游戲玩家選擇開啟功能；

s2、視覺采集模塊采集游戲玩家的表情信息，并將表情信息發(fā)送至視覺識別模塊，同時語音采集模塊用于采集游戲玩家關(guān)鍵的語音信息，并將語音信息發(fā)送至語音識別模塊；

s3、視覺識別模塊將視覺信息轉(zhuǎn)化成視覺數(shù)字信號，轉(zhuǎn)化的視覺數(shù)字信號發(fā)送至視覺對比模塊，語音識別模塊將語音信息轉(zhuǎn)化成語音數(shù)字信號，轉(zhuǎn)化的語音數(shù)字信號發(fā)送至語音對比模塊；

s4、若視覺對比模塊接收的視覺數(shù)字信號與數(shù)據(jù)庫中存儲的數(shù)字信號相匹配，則視覺對比模塊將對比的結(jié)果及識別的視覺識別信號發(fā)送至數(shù)據(jù)處理模塊，若不匹配，則視覺對比模塊只發(fā)送對比失敗的結(jié)果至數(shù)據(jù)處理模塊；

s5、若語音對比模塊對關(guān)鍵的語音信息轉(zhuǎn)化的語音數(shù)字信號與數(shù)據(jù)庫中存儲的語音數(shù)字信號相匹配，則語音對比模塊將對比的結(jié)果及識別的語音識別信號發(fā)送至數(shù)據(jù)處理模塊，若匹配不成功，則語音對比模塊只發(fā)送匹配失敗的結(jié)果至數(shù)據(jù)處理模塊；

s6、數(shù)據(jù)處理模塊對匹配成功的視覺識別信號和語音識別信號進行處理，轉(zhuǎn)化成計算機識別的文本指令信息，并將文本指令信息發(fā)送至游戲控制模塊，數(shù)據(jù)處理模塊對匹配失敗的視覺識別信號和語音識別信號不進行處理；

s7、游戲控制模塊根據(jù)文本指令信息對游戲中的多媒體展示模塊和語音播放模塊進行控制，實現(xiàn)對游戲中人物的動作及語音進行控制。

其中游戲玩家的面部表情用于控制游戲中人物的表情，玩家的語音信息用于對游戲中人物的動作及語言進行控制。

游戲中的人物，可同時受游戲玩家的語音和表情控制，進而游戲中的人物可同時進行動作和表情展示。

本發(fā)明中游戲玩家可通過面部表情及語音對游戲中的人物進行控制，簡化了游戲的操作，降低對環(huán)境的要求，具有自動控制的特點，同時通過表情及語音對游戲人物進行控制，降低了對眼睛的傷害以及玩家的疲勞程度，且提高了玩家在玩游戲過程中的樂趣，增加了游戲的趣味性，豐富了人們的生活。

以上內(nèi)容僅僅是對本發(fā)明的構(gòu)思所作的舉例和說明，所屬本技術(shù)領(lǐng)域的技術(shù)人員對所描述的具體實施例做各種各樣的修改或補充或采用類似的方式替代，只要不偏離發(fā)明的構(gòu)思或者超越本權(quán)利要求書所定義的范圍，均應(yīng)屬于本發(fā)明的保護范圍。