一種頭戴式智能視障輔助系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)視覺和人機(jī)交互領(lǐng)域，是一種頭戴式智能視障輔助系統(tǒng)。
【背景技術(shù)】
[0002]視覺障礙者簡稱視障者，廣義而言，如果個(gè)人需透過輔助器具如眼鏡、放大鏡等才能看清楚東西，就稱為視障者。視障又可分為為全盲及弱視，其中又以弱視居多，據(jù)世界衛(wèi)生組織估計(jì)，全球視障人群達(dá)到1.3億以上，我國弱視群體人群達(dá)到700萬人，如何幫助弱視群體更好地適應(yīng)生活成為社會(huì)關(guān)注的焦點(diǎn)。
[0003]弱視顧名思義是指視覺功能受到損傷或障礙，那么如何通過現(xiàn)有的科學(xué)技術(shù)輔助性增強(qiáng)視障者的視覺能力是解決這個(gè)問題的關(guān)鍵。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種頭戴式智能視障輔助系統(tǒng)，該系統(tǒng)為輕量化設(shè)計(jì)的穿戴式硬件系統(tǒng)，功耗低，攜帶方便，基于嵌入式平臺(tái)實(shí)現(xiàn)各個(gè)核心服務(wù)模塊，包括人臉識(shí)別、物體識(shí)別、貨幣識(shí)別等，交互設(shè)計(jì)簡單、自然、智能，簡單易操作。
[0005]本發(fā)明的目的是通過以下技術(shù)方案來實(shí)現(xiàn)的:一種頭戴式智能視障輔助系統(tǒng)，它包括眼鏡端組件和功能端組件，所述的眼鏡端組件包括攝像頭、圖像驅(qū)動(dòng)單元和音頻處理器，攝像頭與圖像驅(qū)動(dòng)單元連接；所述的功能端組件包括通訊模塊、電池及充電管理模塊、中央處理模塊和按鍵，圖像驅(qū)動(dòng)單元、音頻處理器、通訊模塊、電池及充電管理模塊和按鍵分別與中央處理模塊連接；所述的中央處理模塊包括指尖檢測(cè)模塊、敏感信息檢測(cè)模塊、識(shí)別模塊和語音處理模塊；
所述的指尖檢測(cè)模塊檢測(cè)用戶是否使用指尖指向某個(gè)物體；所述的敏感信息檢測(cè)模塊檢測(cè)指尖周圍是否存在物體、人臉、文字、貨幣等敏感信息，并分割出敏感信息所在區(qū)域；所述的識(shí)別模塊在敏感區(qū)域進(jìn)行信息識(shí)別；所述的語音處理模塊對(duì)信息進(jìn)行處理并進(jìn)行語音播報(bào)。
[0006]所述的眼鏡端組件還包括耳機(jī)揚(yáng)聲器和麥克風(fēng)，耳機(jī)揚(yáng)聲器和麥克風(fēng)分別與音頻處理器連接。
[0007]所述的敏感信息檢測(cè)模塊包括物體檢測(cè)模塊、文字檢測(cè)模塊、人臉檢測(cè)模塊和標(biāo)示、標(biāo)志檢測(cè)模塊，所述的物體檢測(cè)模塊檢測(cè)視障人員日常家居生活常見的物體，所述的文字檢測(cè)模塊檢測(cè)敏感信息區(qū)域內(nèi)的文字，人臉檢測(cè)模塊檢測(cè)敏感區(qū)域內(nèi)的人臉，標(biāo)示、標(biāo)志檢測(cè)模塊檢測(cè)敏感區(qū)域內(nèi)的標(biāo)志。
[0008]所述的識(shí)別模塊包括物體識(shí)別模塊、貨幣識(shí)別模塊、文字識(shí)別模塊、人臉識(shí)別模塊和標(biāo)示識(shí)別模塊，所述的貨幣識(shí)別模塊對(duì)使用的貨幣進(jìn)行識(shí)別，所述的標(biāo)示識(shí)別模塊對(duì)標(biāo)示進(jìn)行識(shí)別。
[0009]所述的攝像頭采用小型CMOS高分辨率攝像頭，所述的通訊模塊為4G、5G通訊模塊。
[0010]一種頭戴式智能視障輔助系統(tǒng)實(shí)現(xiàn)輔助的方法，它包括如下子步驟:
51:圖像采集，攝像頭采集人視野中的圖像；
52:指尖檢測(cè)，檢測(cè)視野圖像中是否有用戶使用指尖指向某個(gè)特定物體；
S3:敏感信息檢測(cè)，檢測(cè)到指尖后，在指尖周圍區(qū)域進(jìn)行敏感信息檢測(cè)，檢測(cè)是否存在包括物體、人臉、文字、貨幣的敏感信息，并分割出敏感信息所在的區(qū)域；
54:信息識(shí)別，識(shí)別模塊在敏感區(qū)域進(jìn)行識(shí)別任務(wù)，不同的敏感信息進(jìn)入相應(yīng)的識(shí)別模塊，得到具體的信息；
55:語音處理，將識(shí)別出來的信息通過語音播報(bào)出來；
56:云端同步，將識(shí)別出來的信息進(jìn)行保存，同時(shí)同步到云端。
[0011]所述的步驟S2指尖檢測(cè)，首先通過膚色檢測(cè)獲得待選區(qū)域，然后通過輪廓匹配的方式檢測(cè)出指尖。
[0012]所述的步驟S3敏感信息檢測(cè)包括物體檢測(cè)、文字檢測(cè)、人臉檢測(cè)和標(biāo)示、標(biāo)志檢測(cè)。
[0013]所述的步驟S4信息識(shí)別包括貨幣識(shí)別、物體識(shí)別、人臉識(shí)別、文字識(shí)別、顏色識(shí)別和標(biāo)記識(shí)別，貨幣檢測(cè)采用0RB特征，物體識(shí)別結(jié)合特征提取模板匹配和深度學(xué)習(xí)方法，人臉識(shí)別采用基于SVM特征分類方法。
[0014]本發(fā)明的有益效果是:本發(fā)明提供了一種頭戴式智能視障輔助系統(tǒng)，該系統(tǒng)為輕量化設(shè)計(jì)的穿戴式硬件系統(tǒng)，設(shè)備輕便，易于攜帶，基于嵌入式平臺(tái)實(shí)現(xiàn)各個(gè)核心服務(wù)模塊，包括人臉識(shí)別、物體識(shí)別、貨幣識(shí)別等，通過分離檢測(cè)識(shí)別模塊實(shí)現(xiàn)資源有效利用，多樣、簡單的交互操作，提高用戶體驗(yàn)，同時(shí)充分利用云端存儲(chǔ)處理能力。
【附圖說明】
[0015]圖1為系統(tǒng)結(jié)構(gòu)圖；
圖2為輔助方法流程圖；
圖3為貨幣識(shí)別方法。
【具體實(shí)施方式】
[0016]下面結(jié)合附圖進(jìn)一步詳細(xì)描述本發(fā)明的技術(shù)方案，但本發(fā)明的保護(hù)范圍不局限于以下所述。
[0017]如圖1所示，一種頭戴式智能視障輔助系統(tǒng)，它包括眼鏡端組件和功能端組件，所述的眼鏡端組件包括攝像頭、圖像驅(qū)動(dòng)單元和音頻處理器，攝像頭與圖像驅(qū)動(dòng)單元連接；所述的功能端組件包括通訊模塊、電池及充電管理模塊、中央處理模塊和按鍵，圖像驅(qū)動(dòng)單元、音頻處理器、通訊模塊、電池及充電管理模塊和按鍵分別與中央處理模塊連接；所述的中央處理模塊包括指尖檢測(cè)模塊、敏感信息檢測(cè)模塊、識(shí)別模塊和語音處理模塊；
所述的指尖檢測(cè)模塊檢測(cè)用戶是否使用指尖指向某個(gè)物體；所述的敏感信息檢測(cè)模塊檢測(cè)指尖周圍是否存在物體、人臉、文字、貨幣等敏感信息，并分割出敏感信息所在區(qū)域；所述的識(shí)別模塊在敏感區(qū)域進(jìn)行信息識(shí)別；所述的語音處理模塊對(duì)信息進(jìn)行處理并進(jìn)行語音播報(bào)。
[0018]所述的眼鏡端組件還包括耳機(jī)揚(yáng)聲器和麥克風(fēng)，耳機(jī)揚(yáng)聲器和麥克風(fēng)分別與音頻處理器連接。
[0019]所述的敏感信息檢測(cè)模塊包括物體檢測(cè)模塊、文字檢測(cè)模塊、人臉檢測(cè)模塊和標(biāo)示、標(biāo)志檢測(cè)模塊，所述的物體檢測(cè)模塊檢測(cè)視障人員日常家居生活常見的物體，所述的文字檢測(cè)模塊檢測(cè)敏感信息區(qū)域內(nèi)的文字，人臉檢測(cè)模塊檢測(cè)敏感區(qū)域內(nèi)的人臉，標(biāo)示、標(biāo)志檢測(cè)模塊檢測(cè)敏感區(qū)域內(nèi)的標(biāo)志。
[0020]所述的識(shí)別模塊包括物體識(shí)別模塊、貨幣識(shí)別模塊、文字識(shí)別模塊、人臉識(shí)別模塊和標(biāo)示識(shí)別模塊，所述的貨幣識(shí)別模塊對(duì)使用的貨幣進(jìn)行識(shí)別，所述的標(biāo)示識(shí)別模塊對(duì)標(biāo)示進(jìn)行識(shí)別。
[0021]所述的攝像頭采用小型CMOS高分辨率攝像頭，所述的通訊模塊為4G、5G通訊模塊。
[0022]如圖2