本發(fā)明涉及機(jī)器人控制領(lǐng)域，尤其涉及一種機(jī)器人控制方法、機(jī)器人裝置及機(jī)器人設(shè)備。

背景技術(shù)：

當(dāng)前機(jī)器人應(yīng)用相對(duì)還處于相對(duì)初級(jí)階段，大多以對(duì)話聊天為主，即使有部分機(jī)器人能夠執(zhí)行其他任務(wù)，體驗(yàn)也并不是很好。

發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)至少存在以下問(wèn)題：以用戶要求機(jī)器人取一個(gè)東西為例，機(jī)器人只能通過(guò)語(yǔ)音識(shí)別得知用戶要的是什么東西，大概在什么位置，然后去尋找用戶所說(shuō)的物品。如果所處空間較大的話，搜索范圍也較大，失敗率較高，用戶體驗(yàn)較差。另一方面，用戶很多時(shí)候并不希望詳細(xì)的描述這個(gè)物品在哪兒，什么樣子，而只是指一下和望一眼，而當(dāng)前機(jī)器人顯然無(wú)法獲知用戶的視線，也就無(wú)法知道用戶所看的到底是什么物體。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)現(xiàn)有技術(shù)的機(jī)器人根據(jù)用戶較簡(jiǎn)單的語(yǔ)音指示去尋找目標(biāo)，存在搜索范圍較大，失敗率較高，用戶體驗(yàn)較差的技術(shù)問(wèn)題，以及現(xiàn)有技術(shù)的機(jī)器人由于無(wú)法獲知用戶的視線，也就無(wú)法知道用戶所看的到底是什么物體的技術(shù)問(wèn)題，提供一種機(jī)器人控制方法、機(jī)器人裝置及機(jī)器人設(shè)備，技術(shù)方案如下：

本發(fā)明實(shí)施例提供一種機(jī)器人控制方法，包括：

建立參照坐標(biāo)系；

捕捉用戶注視方向，獲取機(jī)器人視線角度，獲取機(jī)器人位置，獲取機(jī)器人與用戶之間的直線距離，根據(jù)所述機(jī)器人視線角度、所述機(jī)器人位置以及所述機(jī)器人與用戶之間的直線距離實(shí)時(shí)計(jì)算所述用戶注視方向相對(duì)所述參照坐標(biāo)系的注視平面；

機(jī)器人平滑掃描所述注視平面，以搜尋用戶注視方向上的指示目標(biāo)。

本發(fā)明實(shí)施例還提供一種機(jī)器人裝置，包括：

坐標(biāo)系建立模塊，用于建立參照坐標(biāo)系；

捕捉和計(jì)算模塊，用于捕捉指示目標(biāo)的用戶注視方向，獲取機(jī)器人視線角度，獲取機(jī)器人位置，獲取機(jī)器人與用戶之間的直線距離，根據(jù)所述機(jī)器人視線角度、所述機(jī)器人位置以及所述機(jī)器人與用戶之間的直線距離實(shí)時(shí)計(jì)算所述用戶注視方向相對(duì)所述參照坐標(biāo)系的注視平面；

掃描模塊，用于機(jī)器人平滑掃描所述注視平面，以搜尋用戶注視方向上的指示目標(biāo)。

本發(fā)明實(shí)施例還提供一種機(jī)器人設(shè)備，包括至少一個(gè)處理器；以及，

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令程序，所述指令程序被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述的方法。

本發(fā)明實(shí)施例還提供一種包括軟件代碼部分的計(jì)算機(jī)程序產(chǎn)品，所述軟件代碼部分被配置用于當(dāng)在計(jì)算機(jī)的存儲(chǔ)器中運(yùn)行時(shí)執(zhí)行上述的方法步驟。

本發(fā)明實(shí)施例的有益效果在于，本發(fā)明實(shí)施例提供的機(jī)器人控制方法包括：建立參照坐標(biāo)系；捕捉用戶注視方向，獲取機(jī)器人視線角度，獲取機(jī)器人位置，獲取機(jī)器人與用戶之間的直線距離，根據(jù)所述機(jī)器人視線角度、所述機(jī)器人位置以及所述機(jī)器人與用戶之間的直線距離實(shí)時(shí)計(jì)算所述用戶注視方向相對(duì)所述參照坐標(biāo)系的注視平面；至少一個(gè)機(jī)器人平滑掃描所述注視平面，以搜尋用戶注視方向上的指示目標(biāo)。相對(duì)于現(xiàn)有技術(shù)的機(jī)器人根據(jù)用戶較簡(jiǎn)單的語(yǔ)音指示去尋找目標(biāo)，本發(fā)明實(shí)施例提供的方法中機(jī)器人平滑掃描所述注視平面來(lái)搜索指示目標(biāo)，搜索范圍較小，搜索失敗率較低，提升搜索準(zhǔn)確率，用戶體驗(yàn)較好；而且相對(duì)于現(xiàn)有技術(shù)的機(jī)器人由于無(wú)法獲知用戶的視線，本發(fā)明實(shí)施例提供的方法中機(jī)器人可以捕捉用戶注視方向，并實(shí)時(shí)計(jì)算所述注視方向相對(duì)所述參照坐標(biāo)系的注視平面，通過(guò)掃描所述注視平面從而可以獲知用戶所注視的到底是什么目標(biāo)，搜尋所述指示目標(biāo)的成功率較高，用戶體驗(yàn)更好。

附圖說(shuō)明

一個(gè)或多個(gè)實(shí)施例通過(guò)與之對(duì)應(yīng)的附圖中的圖片進(jìn)行示例性說(shuō)明，這些示例性說(shuō)明并不構(gòu)成對(duì)實(shí)施例的限定，附圖中具有相同參考數(shù)字標(biāo)號(hào)的元件表示為類(lèi)似的元件，除非有特別申明，附圖中的圖不構(gòu)成比例限制。

圖1是本發(fā)明實(shí)施例提供的機(jī)器人設(shè)備的應(yīng)用環(huán)境圖；

圖2a、2b和2c是本發(fā)明實(shí)施例提供的機(jī)器人控制方法的場(chǎng)景俯視圖；

圖3是本發(fā)明實(shí)施例提供的機(jī)器人控制方法的流程示意圖；

圖4是本發(fā)明另一實(shí)施例提供的機(jī)器人控制方法的流程示意圖；

圖5是本發(fā)明又一實(shí)施例提供的機(jī)器人裝置的結(jié)構(gòu)框圖；

圖6是本發(fā)明實(shí)施例提供的機(jī)器人裝置的結(jié)構(gòu)框圖；

圖7是本發(fā)明實(shí)施例提供的機(jī)器人設(shè)備的結(jié)構(gòu)框圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

除非另有定義，本說(shuō)明書(shū)所使用的所有的技術(shù)和科學(xué)術(shù)語(yǔ)與屬于本發(fā)明的技術(shù)領(lǐng)域的技術(shù)人員通常理解的含義相同。本說(shuō)明書(shū)中在本發(fā)明的說(shuō)明書(shū)中所使用的術(shù)語(yǔ)只是為了描述具體的實(shí)施方式的目的，不是用于限制本發(fā)明。本說(shuō)明書(shū)所使用的術(shù)語(yǔ)“和/或”包括一個(gè)或多個(gè)相關(guān)的所列項(xiàng)目的任意的和所有的組合。

此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

近年來(lái)，隨著計(jì)算機(jī)技術(shù)、信息技術(shù)、通訊技術(shù)、微電子技術(shù)的飛速發(fā)展，移動(dòng)機(jī)器人技術(shù)得到了廣泛的應(yīng)用，例如掃地機(jī)器人、餐館傳菜機(jī)器人以及可與人對(duì)話聊天的機(jī)器人等。機(jī)器人在向目標(biāo)跟蹤移動(dòng)的過(guò)程中，可通過(guò)全球衛(wèi)星導(dǎo)航系統(tǒng)(globalnavigationsatellitesystem,gnss)和超寬帶(ultrawideband,uwb)與預(yù)先布設(shè)的網(wǎng)絡(luò)節(jié)點(diǎn)共同完成定位，通過(guò)gnss和uwb的定位方式，機(jī)器人能夠獲知精度持續(xù)穩(wěn)定的位置信息，可實(shí)現(xiàn)復(fù)雜環(huán)境下較高精度地定位。當(dāng)然，也可以采用其他機(jī)器人定位方式，本發(fā)明實(shí)施例對(duì)此不做限制。

機(jī)器人上一般搭載一個(gè)或多個(gè)攝像頭，例如，在機(jī)器人的臉部設(shè)置攝像頭，相當(dāng)于人的眼睛。光軸，即光學(xué)系統(tǒng)的對(duì)稱軸，攝像頭的光軸為通過(guò)鏡頭中心的線，光束(光柱)的中心線，光束繞此軸轉(zhuǎn)動(dòng)，不應(yīng)有任何光學(xué)特性的變化。

相對(duì)于相關(guān)技術(shù)的機(jī)器人根據(jù)用戶較簡(jiǎn)單的語(yǔ)音指示去尋找目標(biāo)，用戶很多時(shí)候并不希望詳細(xì)的描述這個(gè)物品在哪兒，什么樣子，而只是指一下和望一眼，而相關(guān)技術(shù)的機(jī)器人顯然無(wú)法獲知用戶的視線，也就無(wú)法知道用戶注視的到底是什么物品。另一方面，在兩人或多人談?wù)撘粯游锲窌r(shí)，時(shí)常也會(huì)出現(xiàn)只是指一下看一下來(lái)指示的情況，機(jī)器人對(duì)這種情況因?yàn)椴恢赖降字傅哪囊粯訓(xùn)|西，就無(wú)法將語(yǔ)音信息與對(duì)應(yīng)的物品做關(guān)聯(lián)，自然也就很難收集到用戶談?wù)撐锲返挠行畔ⅰ?/p>

因此，如果本發(fā)明實(shí)施例提供一種機(jī)器人控制方法，旨在使機(jī)器人獲知用戶在注視的是什么，或者至少獲知用戶的視線，則可以大幅縮小范圍，較容易獲悉目標(biāo)。

圖1為本發(fā)明實(shí)施例提供的機(jī)器人控制方法的應(yīng)用環(huán)境。如圖1所示，該應(yīng)用環(huán)境包括：用戶100、機(jī)器人200和物品300。當(dāng)用戶100在和機(jī)器人200交談過(guò)程中或者和其他人交談過(guò)程中，提到并注視附近的某樣物品300時(shí)，對(duì)機(jī)器人說(shuō)道“tom，幫我把那本書(shū)遞過(guò)來(lái)”，該機(jī)器人200需要得到用戶100的視線方向來(lái)更準(zhǔn)確的知道用戶要求的書(shū)是哪一本。

圖2a、2b為本發(fā)明實(shí)施例提供的機(jī)器人控制方法的場(chǎng)景環(huán)境的俯視圖。am直線為機(jī)器人視線角度，具體為機(jī)器人視線光軸。假設(shè)用戶100所處空間俯視圖如圖2a、2b所示，以左下角位置為參照坐標(biāo)系的坐標(biāo)(0，0)點(diǎn)，用戶處于c點(diǎn)，對(duì)機(jī)器人s說(shuō)：“tom，幫我把那本書(shū)遞過(guò)來(lái)”，一邊說(shuō)著一邊望向并指向處于位置t的一本書(shū)。機(jī)器人此時(shí)刻可能正直視用戶，也可能之前正在處理別的工作，此刻正將頭轉(zhuǎn)向用戶但還沒(méi)完全直視用戶，只是用戶出現(xiàn)在了視野范圍內(nèi)。

這個(gè)時(shí)刻，如果聽(tīng)到呼叫的機(jī)器人自身視角中能夠看到用戶的臉，則可通過(guò)具體臉部識(shí)別分析算法確定其面向方向(面向正方向)與機(jī)器人光軸的夾角(也可通過(guò)其他算法，只要得到此數(shù)據(jù)即可)，進(jìn)而也就可計(jì)算出用戶面向方向在當(dāng)前坐標(biāo)系中的絕對(duì)方向。下面具體闡述機(jī)器人控制方法。

如圖3所示，本發(fā)明實(shí)施例提供的機(jī)器人控制方法包括：

步驟101、建立參照坐標(biāo)系；

可以采用上述機(jī)器人定位方式，對(duì)室內(nèi)環(huán)境定位，設(shè)立真實(shí)空間的某個(gè)點(diǎn)為坐標(biāo)原點(diǎn)(0，0)點(diǎn)。根據(jù)室內(nèi)定位，機(jī)器人任何時(shí)刻都可獲取自身位置，計(jì)算自身所處的坐標(biāo)。

步驟102、捕捉指示目標(biāo)的用戶注視方向，獲取機(jī)器人視線角度，獲取機(jī)器人位置，獲取機(jī)器人與用戶之間的直線距離，根據(jù)所述機(jī)器人視線角度、所述機(jī)器人位置以及所述機(jī)器人與用戶之間的直線距離實(shí)時(shí)計(jì)算所述用戶注視方向相對(duì)所述參照坐標(biāo)系的注視平面。

所述注視平面在三維空間中為垂直于地面的平面，俯視所述注視平面得到用戶注視方向所在直線。即為圖2a、2b所示的cb直線。圖2a與圖2b的不同之處在于，在參照坐標(biāo)系中，圖2a的機(jī)器人位于圖中所示用戶的右側(cè)，圖2b的機(jī)器人位于圖中所示用戶的左側(cè)。

進(jìn)一步地，機(jī)器人視線角度為機(jī)器人視線光軸。根據(jù)所述機(jī)器人視線角度、所述機(jī)器人位置以及所述機(jī)器人與用戶之間的直線距離實(shí)時(shí)計(jì)算所述用戶注視方向相對(duì)所述參照坐標(biāo)系的注視平面具體包括：

根據(jù)所述機(jī)器人位置計(jì)算所述機(jī)器人在參照坐標(biāo)系的坐標(biāo)(m,n)并計(jì)算所述機(jī)器人視線光軸與所述參照坐標(biāo)系x軸的夾角γ；根據(jù)所述機(jī)器人視線角度、機(jī)器人位置和用戶位置計(jì)算用戶位置和機(jī)器人位置的連線所在直線與所述機(jī)器人視線光軸的夾角β；計(jì)算所述用戶位置和機(jī)器人位置的連線所在直線與用戶注視方向所在直線的夾角α；根據(jù)所述機(jī)器人視線光軸與參照坐標(biāo)系x軸的夾角γ、所述用戶位置和機(jī)器人位置的連線所在直線與所述機(jī)器人視線光軸的夾角β、所述用戶位置和機(jī)器人位置的連線所在直線與用戶注視方向所在直線的夾角α和所述機(jī)器人與用戶之間的直線距離實(shí)時(shí)計(jì)算所述注視方向相對(duì)所述參照坐標(biāo)系的注視平面。

如圖2a、2b所示，所述用戶位置為c點(diǎn)，指示目標(biāo)的位置為b點(diǎn)，所述機(jī)器人位置為a點(diǎn)，沿用戶位置c點(diǎn)畫(huà)與所述參照坐標(biāo)系y軸平行的縱向線，沿機(jī)器人位置a點(diǎn)畫(huà)與所述參照坐標(biāo)系x軸平行的橫向線，橫向線與縱向線垂直相交于d點(diǎn)，橫向線與用戶注視方向所在直線相交于e點(diǎn)，根據(jù)三角形內(nèi)角和定理的推論：三角形的一個(gè)外角等于和它不相鄰的兩個(gè)內(nèi)角和，通過(guò)如下算式，計(jì)算ace三角形在e點(diǎn)的外角θ：

θ＝α+β+γ；

值得說(shuō)明的是，圖2a中θ＝α+β+γ；、圖2b中，θ＝α-β+γ。β的取值，機(jī)器人視線角度逆時(shí)針轉(zhuǎn)動(dòng)夾角β到用戶位置時(shí)，則定義β的值為正數(shù)；機(jī)器人視線角度順時(shí)針轉(zhuǎn)動(dòng)夾角β到用戶位置時(shí)，則定義β的值為負(fù)數(shù)。

在三角形acd中，通過(guò)如下算式，計(jì)算ad和cd：

ad＝d*cos(180°-β-γ)＝-d*cos(β+γ)；

cd＝d*sin(180°-β-γ)＝d*sin(β+γ)；

在所述參照坐標(biāo)系中，o為原點(diǎn)，橫向線與y軸相交于f點(diǎn)，機(jī)器人位置a點(diǎn)坐標(biāo)為(m,n),可知m＝fa；n＝of；用戶位置c點(diǎn)坐標(biāo)為(j,k)，可知j＝fa-ad，k＝of+cd，將ad、cd、m和n代入，可得c點(diǎn)坐標(biāo)(m+d*cos(β+γ)，n+d*sin(β+γ))；

將用戶注視方向所在直線設(shè)定為一次方程y＝k*x+b；此處k＝tanθ＝tan(α+β+γ)；

代入如上c點(diǎn)坐標(biāo)(m+d*cos(β+γ)，n+d*sin(β+γ))，可得：

b＝y(tǒng)–k*x＝n+d*sin(β+γ)-tan(α+β+γ)*(m+d*cos(β+γ))；

所述用戶注視方向所在直線一次方程為：

y＝tan(α+β+γ)*x+n+d*sin(β+γ)-tan(α+β+γ)*(m+d*cos(β+γ))；

所述注視平面為以(m+d*cos(β+γ)，n+d*sin(β+γ))為起始點(diǎn)，沿著一次方程y＝tan(α+β+γ)*x+n+d*sin(β+γ)-tan(α+β+γ)*(m+d*cos(β+γ))向前的方向并且垂直于地面的平面。

在一些實(shí)施例中，捕捉用戶注視方向，可根據(jù)所述用戶注視方向生成搜尋用戶指示目標(biāo)的信號(hào)；根據(jù)所述搜尋用戶指示目標(biāo)的信號(hào)獲取機(jī)器人視線角度，獲取機(jī)器人位置，獲取機(jī)器人與用戶之間的直線距離。

用戶在與其他人交談過(guò)程中，用戶注視了指示目標(biāo)，此時(shí)，機(jī)器人可以主動(dòng)捕捉用戶注視方向，也可以根據(jù)用戶的指令，例如上文中用戶跟機(jī)器人的對(duì)話：“tom，幫我把那本書(shū)遞過(guò)來(lái)”，這種語(yǔ)音指令，而捕捉用戶注視方向。機(jī)器人可以主動(dòng)捕捉用戶注視方向時(shí)，并不需要用戶發(fā)出指令。

如果用戶發(fā)出了指令，則機(jī)器人接收由用戶發(fā)出的搜尋目標(biāo)指令，根據(jù)搜尋目標(biāo)指令捕捉用戶注視方向。

步驟103、機(jī)器人平滑掃描所述注視平面，以搜尋用戶注視方向上的指示目標(biāo)。

具體地，機(jī)器人的數(shù)量可為一個(gè)或多個(gè)?？蛇x地，間隔預(yù)設(shè)時(shí)長(zhǎng)平滑掃描所述注視平面，以搜尋用戶注視方向上的指示目標(biāo)。間隔預(yù)設(shè)時(shí)長(zhǎng)具體為0.1秒-5秒，結(jié)合機(jī)器人視角以及機(jī)器人攝像頭拍攝圖像的分辨率等設(shè)定。

具體地，控制至少一個(gè)機(jī)器人的攝像頭焦點(diǎn)落在所述注視平面在所述用戶位置到所述用戶指示目標(biāo)之間的部分平面內(nèi)，以搜尋用戶注視方向上的指示目標(biāo)。

更具體地，機(jī)器人搜尋用戶注視方向上的指示目標(biāo)，并不一定需要移動(dòng)過(guò)去，如果機(jī)器人站立的位置剛好位于所述注視平面上，則機(jī)器人只需沿著注視平面前進(jìn)或后退即可。如果機(jī)器人站立的位置剛好可以很清晰的捕捉到所述注視平面，以及可平滑掃描所述注視平面，則機(jī)器人只需轉(zhuǎn)動(dòng)頭部即可。此時(shí)，則控制至少一個(gè)機(jī)器人視線光軸從所述用戶位置往所述用戶指示目標(biāo)偏轉(zhuǎn)并獲取偏轉(zhuǎn)后視線光軸；根據(jù)所述機(jī)器人在參照坐標(biāo)系的坐標(biāo)計(jì)算所述偏轉(zhuǎn)后視線光軸與所述參照坐標(biāo)系x軸的夾角γ′；根據(jù)所述機(jī)器人位置計(jì)算所述機(jī)器人在參照坐標(biāo)系的坐標(biāo)；根據(jù)所述機(jī)器人在參照坐標(biāo)系的坐標(biāo)、所述偏轉(zhuǎn)后視線光軸與參照坐標(biāo)系x軸的夾角γ′和所述注視平面計(jì)算偏轉(zhuǎn)后攝像頭的對(duì)焦距離；根據(jù)所述偏轉(zhuǎn)后視線光軸和所述偏轉(zhuǎn)后攝像頭的對(duì)焦距離控制所述機(jī)器人的攝像頭的焦點(diǎn)落在所述注視平面在所述用戶位置到所述用戶指示目標(biāo)之間的部分平面內(nèi)，以搜尋所述用戶指示目標(biāo)。

本發(fā)明實(shí)施例的有益效果在于，本發(fā)明實(shí)施例提供的機(jī)器人控制方法包括：建立參照坐標(biāo)系；捕捉用戶注視方向，獲取機(jī)器人視線角度，獲取機(jī)器人位置，獲取機(jī)器人與用戶之間的直線距離，根據(jù)所述機(jī)器人視線角度、所述機(jī)器人位置以及所述機(jī)器人與用戶之間的直線距離實(shí)時(shí)計(jì)算所述用戶注視方向相對(duì)所述參照坐標(biāo)系的注視平面；至少一個(gè)機(jī)器人平滑掃描所述注視平面，以搜尋用戶注視方向上的指示目標(biāo)。相對(duì)于現(xiàn)有技術(shù)的機(jī)器人根據(jù)用戶較簡(jiǎn)單的語(yǔ)音指示去尋找目標(biāo)，本發(fā)明實(shí)施例提供的方法中機(jī)器人平滑掃描所述注視平面來(lái)搜索指示目標(biāo)，搜索范圍較小，搜索失敗率較低，提升搜索準(zhǔn)確率，用戶體驗(yàn)較好；而且相對(duì)于現(xiàn)有技術(shù)的機(jī)器人由于無(wú)法獲知用戶的視線，本發(fā)明實(shí)施例提供的方法中機(jī)器人可以捕捉用戶注視方向，并實(shí)時(shí)計(jì)算所述注視方向相對(duì)所述參照坐標(biāo)系的注視平面，通過(guò)掃描所述注視平面從而可以獲知用戶所注視的到底是什么目標(biāo)，搜尋所述指示目標(biāo)的成功率較高，用戶體驗(yàn)更好。

如果機(jī)器人所處位置不佳，需要移動(dòng)以靠近注視平面，找到可以清晰的捕捉到所述注視平面，以及可平滑掃描所述注視平面的位置，需要控制機(jī)器人移動(dòng)。

隨著機(jī)器人或人的位置變化或視線角度變化，如上的m，n，d，α，β，γ都會(huì)變化，因此不管是人在運(yùn)動(dòng)還是機(jī)器人在運(yùn)動(dòng)，該計(jì)算應(yīng)取用戶注視方向的那一刻的所有數(shù)據(jù)作為計(jì)算參數(shù)，因?yàn)檫@條一次方程的直線是不會(huì)變的，只取決于用戶指示的那一刻。

得到用戶注視方向所在直線的一次方程，機(jī)器人只要追蹤這條線上的點(diǎn)即可。不管自身位置在哪兒，都可以得到自身視線與此線的距離，也就是攝像頭的對(duì)焦距離。機(jī)器人可以站在某處一邊轉(zhuǎn)動(dòng)頭部一邊實(shí)時(shí)計(jì)算對(duì)焦距離，以使頭部轉(zhuǎn)動(dòng)過(guò)程中始終使對(duì)焦點(diǎn)保持在這條線上(在俯視圖中是一條線，在三維空間中是一個(gè)垂直于地面的平面，使頭部轉(zhuǎn)動(dòng)過(guò)程中始終使對(duì)焦點(diǎn)保持在注視平面上)，當(dāng)然，機(jī)器人也可能根據(jù)地形變化，障礙物遮擋等原因不得不在移動(dòng)過(guò)程中找尋之前用戶視線上的物體，但同樣只要實(shí)時(shí)計(jì)算即可。如下圖所示，機(jī)器人將在自身運(yùn)動(dòng)過(guò)程中平滑掃描從c點(diǎn)開(kāi)始的cb直線，以搜尋用戶所指示目標(biāo)。

在一些實(shí)施例中，機(jī)器人控制方法還包括：

步驟105、在機(jī)器人自身運(yùn)動(dòng)過(guò)程中獲取自身實(shí)時(shí)位置和實(shí)時(shí)視線角度，確定機(jī)器人實(shí)時(shí)視線角度與所述注視平面的交線以及對(duì)焦距離，在移動(dòng)過(guò)程中，根據(jù)對(duì)焦距離圖像掃描所述交線周?chē)鷧^(qū)域，直至識(shí)別出所述注視平面上用戶注視的指示目標(biāo)。

進(jìn)一步地，機(jī)器人通過(guò)圖形搜索法平滑掃描所述交線周?chē)鷧^(qū)域；當(dāng)搜尋到至少兩個(gè)符合用戶指示目標(biāo)圖形的目標(biāo)時(shí)，發(fā)出請(qǐng)求確認(rèn)的請(qǐng)求；如果用戶對(duì)請(qǐng)求確認(rèn)的請(qǐng)求給予響應(yīng)，給出確認(rèn)結(jié)果，則機(jī)器人根據(jù)所述請(qǐng)求確認(rèn)的請(qǐng)求返回的確認(rèn)結(jié)果選取其中一個(gè)符合用戶指示目標(biāo)圖形的目標(biāo)作為所述戶指示目標(biāo)。

具體地，機(jī)器人實(shí)時(shí)視線角度為機(jī)器人實(shí)時(shí)視線光軸。所述在機(jī)器人自身運(yùn)動(dòng)過(guò)程中獲取自身實(shí)時(shí)位置和實(shí)時(shí)視線角度，確定機(jī)器人實(shí)時(shí)視線角度與所述注視平面的交線以及對(duì)焦距離包括：

圖2c是本發(fā)明實(shí)施例提供的機(jī)器人控制方法的中機(jī)器人移動(dòng)過(guò)程中的場(chǎng)景示意圖。在圖2c中，在機(jī)器人自身運(yùn)動(dòng)過(guò)程中獲取自身實(shí)時(shí)位置為a′點(diǎn)，根據(jù)所述機(jī)器人實(shí)時(shí)位置計(jì)算機(jī)器人在參照坐標(biāo)系的實(shí)時(shí)坐標(biāo)(p，q)并計(jì)算機(jī)器人實(shí)時(shí)視線光軸與所述參照坐標(biāo)系x軸的夾角γ″；所述機(jī)器人實(shí)時(shí)視線光軸與所述用戶注視方向所在直線的交點(diǎn)為h，則可知a′h的距離為所述對(duì)焦距離；

將a′h所在直線設(shè)定為一次方程y＝k*x+b，此處k＝tanγ″，代入k和x、y，可得：

b＝y(tǒng)–k*x＝q–tan(γ″)*p；

繼而得到a′h所在直線的一次方程為：

y＝tan(γ″)*x+q–tan(γ″)*p；

聯(lián)合求解a′h所在直線和用戶注視方向所在直線的二元方程：

y＝tan(α+β+γ)*x+n+d*sin(β+γ)-tan(α+β+γ)*(m+d*cos(β+γ))；

y＝tan(γ″)*x+q–tan(γ″)*p；

求解出的(x，y)即為機(jī)器人攝像頭實(shí)時(shí)視線光軸與所述用戶注視方向所在直線的交點(diǎn)h點(diǎn)坐標(biāo)；

根據(jù)h點(diǎn)坐標(biāo)和a點(diǎn)坐標(biāo)計(jì)算a′h的距離，為所述對(duì)焦距離：

因?yàn)闄C(jī)器人在移動(dòng)過(guò)程中或者攝像頭轉(zhuǎn)動(dòng)時(shí)，p，q，γ″都可能改變。因此，該計(jì)算應(yīng)該是隨著機(jī)器人的移動(dòng)或轉(zhuǎn)動(dòng)實(shí)時(shí)進(jìn)行的，如每秒30次(實(shí)際次數(shù)取決于機(jī)器人的移動(dòng)或轉(zhuǎn)動(dòng)速度，計(jì)算頻率越高則越準(zhǔn)確，但計(jì)算量也將增大，具體計(jì)算頻率在此不做限定)。

上述確定機(jī)器人實(shí)時(shí)視線角度與所述注視平面的交線以及對(duì)焦距離的過(guò)程，與識(shí)別出所述注視平面上用戶注視的指示目標(biāo)之后移動(dòng)過(guò)去取到指示目標(biāo)的移動(dòng)過(guò)程是分開(kāi)控制的。識(shí)別出指示目標(biāo)后，根據(jù)對(duì)焦距離，也就是機(jī)器人位置與指示目標(biāo)的距離，機(jī)器人的姿態(tài)等，控制機(jī)器人往指示目標(biāo)行進(jìn)，即可去取指示目標(biāo)。再提供獲取機(jī)器人位置，計(jì)算機(jī)器人坐標(biāo)，獲取機(jī)器人與用戶之間的直線距離，結(jié)合室內(nèi)靜態(tài)環(huán)境、動(dòng)態(tài)障礙物等，規(guī)劃?rùn)C(jī)器人行走路徑，將指示目標(biāo)拿給用戶。

確定機(jī)器人實(shí)時(shí)視線角度與所述注視平面的交線以及對(duì)焦距離的過(guò)程，與識(shí)別出所述注視平面上用戶注視的指示目標(biāo)之后移動(dòng)過(guò)去取到指示目標(biāo)的移動(dòng)過(guò)程也可以一起控制，此時(shí)，控制機(jī)器人移動(dòng)，在移動(dòng)過(guò)程中，根據(jù)對(duì)焦距離圖像掃描所述交線周?chē)鷧^(qū)域，直至識(shí)別出所述注視平面上用戶注視的指示目標(biāo)，再控制機(jī)器人往對(duì)焦距離(對(duì)焦指示目標(biāo)的對(duì)焦距離)為零的位置上移動(dòng)，即可到達(dá)指示目標(biāo)。

本發(fā)明實(shí)施例的有益效果在于，本實(shí)施例提供的機(jī)器人控制方法，在機(jī)器人自身運(yùn)動(dòng)過(guò)程中獲取自身實(shí)時(shí)位置和實(shí)時(shí)視線角度，確定機(jī)器人實(shí)時(shí)視線角度與所述注視平面的交線以及對(duì)焦距離。以此實(shí)現(xiàn)控制機(jī)器人的攝像頭焦點(diǎn)落在所述注視平面，以此拍攝到清晰的可能包含指示目標(biāo)的圖像，該圖像具體為交線周?chē)鷧^(qū)域的圖像。在移動(dòng)過(guò)程中，可根據(jù)對(duì)焦距離圖像掃描所述交線周?chē)鷧^(qū)域，直至識(shí)別出所述注視平面上用戶注視的指示目標(biāo)，需要的參數(shù)均可實(shí)時(shí)獲取，可較快捷且準(zhǔn)確地識(shí)別出指示目標(biāo)，用戶體驗(yàn)較好。

上述技術(shù)方案是通過(guò)對(duì)用戶的面部角度分析得到一個(gè)和機(jī)器人視線光軸的角度α，而如果一個(gè)機(jī)器人聽(tīng)到呼叫時(shí)看到的是用戶的背面，則通過(guò)臉部識(shí)別與分析的技術(shù)將無(wú)法確定用戶面向的方向與光軸間的角度，這種時(shí)候應(yīng)先轉(zhuǎn)到用戶的前方或側(cè)方，只要能看到用戶的臉即可(有可能需要用戶重新指示一下剛才的命令，重新確定一下用戶的面部朝向與視線光軸的夾角)。另一方面，如果有其他的算法能夠通過(guò)圖像識(shí)別的方式從用戶后方也能判定出用戶面部正對(duì)的方向與光軸的夾角。再或者，用戶周?chē)衅渌麢C(jī)器人能夠獲取到用戶位置和機(jī)器人位置的連線所在直線的一次方程，同樣也可以同步給被命令的機(jī)器人。具體地，機(jī)器人控制方法還包括：

步驟104、所述機(jī)器人包括用于與同一坐標(biāo)系下的機(jī)器人聯(lián)網(wǎng)的網(wǎng)絡(luò)模塊，所述網(wǎng)絡(luò)模塊用于共享所述注視平面的數(shù)據(jù)。

本發(fā)明實(shí)施例的有益效果在于，通過(guò)機(jī)器人的網(wǎng)絡(luò)模塊與同一坐標(biāo)系下的機(jī)器人聯(lián)網(wǎng)，共享所述注視平面的數(shù)據(jù)，機(jī)器人控制服務(wù)器可根據(jù)多個(gè)機(jī)器人當(dāng)前處理任務(wù)的狀態(tài)，結(jié)合機(jī)器人的位置，面向角度等，通過(guò)計(jì)算或分析，控制其中一個(gè)機(jī)器人去搜尋用戶注視方向上的指示目標(biāo)，可整體上讓多個(gè)機(jī)器人協(xié)調(diào)工作，提高工作效率，快速滿足用戶需求，提升用戶體驗(yàn)。其中，同一坐標(biāo)系為所述參照坐標(biāo)系。

在又一實(shí)施例中，如圖4所示，機(jī)器人搜尋到用戶注視方向上的指示目標(biāo)后，還可有進(jìn)一步的處理。所述機(jī)器人控制方法還包括：

步驟106、提取所述指示目標(biāo)的目標(biāo)特征信息，存儲(chǔ)所述目標(biāo)特征信息至目標(biāo)目錄。

機(jī)器人控制服務(wù)器上，或者機(jī)器人自動(dòng)的存儲(chǔ)器上，可設(shè)置目標(biāo)目錄來(lái)存儲(chǔ)目標(biāo)特征信息。

目標(biāo)特征信息可以為目標(biāo)的各種屬性，如名稱、所處位置、歸屬、形狀、大小、顏色、價(jià)格、用戶的喜歡程度、購(gòu)買(mǎi)途徑或購(gòu)買(mǎi)原因等等。

提取所述指示目標(biāo)的目標(biāo)特征信息具體為通過(guò)圖形搜索方法提取，視頻特征提取，也可以通過(guò)用戶的語(yǔ)音數(shù)據(jù)提取。具體地，在一些實(shí)施例中，如圖4所示，所述機(jī)器人控制方法還包括：

步驟107、獲取用戶的語(yǔ)音數(shù)據(jù)與視頻數(shù)據(jù)，識(shí)別所述用戶的語(yǔ)音數(shù)據(jù)與視頻數(shù)據(jù)的關(guān)鍵信息，將目標(biāo)特征信息與所述關(guān)鍵信息進(jìn)行匹配得到關(guān)聯(lián)的關(guān)鍵信息，在目標(biāo)目錄中存儲(chǔ)所述關(guān)聯(lián)的關(guān)鍵信息至對(duì)應(yīng)的目標(biāo)特征信息下以更新目標(biāo)特征信息。

在目標(biāo)目錄中，目標(biāo)特征信息字段有多個(gè)屬性，通過(guò)目標(biāo)特征信息與關(guān)鍵信息進(jìn)行匹配得到關(guān)聯(lián)的關(guān)鍵信息，然后給對(duì)應(yīng)的目標(biāo)特征信息增加關(guān)聯(lián)的關(guān)鍵信息的屬性列，這樣，目標(biāo)特征信息字段的屬性增加了，相對(duì)于更新了目標(biāo)特征信息。

例如，機(jī)器人控制方法還可以在兩人或多人對(duì)話時(shí)，更好的幫助機(jī)器人收集信息。如機(jī)器人在閑置狀態(tài)或者還有能力通過(guò)聽(tīng)覺(jué)和視覺(jué)關(guān)注周?chē)藭r(shí)，如果聽(tīng)到且看到多人正在對(duì)話，且過(guò)程中出現(xiàn)某人向另外一個(gè)人或多個(gè)人指示了某物時(shí)，機(jī)器人依然可以應(yīng)用此方法知道大家在談?wù)撌裁?通過(guò)獲取用戶的語(yǔ)音數(shù)據(jù)與視頻數(shù)據(jù))，對(duì)該物體的評(píng)論如何(識(shí)別所述用戶的語(yǔ)音數(shù)據(jù)與視頻數(shù)據(jù)的關(guān)鍵信息)，甚至可以加入討論，也就是將聽(tīng)覺(jué)信息和視覺(jué)信息得以關(guān)聯(lián)(將目標(biāo)特征信息與所述關(guān)鍵信息進(jìn)行匹配找出關(guān)聯(lián)的關(guān)鍵信息)，繼而也就收集了相關(guān)用戶信息，之后可以借此與用戶更加智能的聊天。比如，兩人正在討論一個(gè)家里裝飾的瓷花瓶，主人可能邊注視花瓶邊對(duì)客人說(shuō)：“看這個(gè)怎么樣？我超級(jí)喜歡”，客人可能回答：“這個(gè)花紋確實(shí)很漂亮，不錯(cuò)不錯(cuò)，在哪兒買(mǎi)的？”……按照傳統(tǒng)的方法，機(jī)器人能夠聽(tīng)到兩方的對(duì)話，但并不一定能得知正在討論的是什么物品，也就造成收集的語(yǔ)音信息是完全沒(méi)有用處的。而結(jié)合本實(shí)施例的機(jī)器人控制方法，機(jī)器人有更大的概率通過(guò)視覺(jué)得知用戶討論的物品，并將語(yǔ)音信息與視覺(jué)上的該物體做關(guān)聯(lián)，得知用戶非常喜歡這個(gè)花瓶，購(gòu)買(mǎi)地點(diǎn)，購(gòu)買(mǎi)金額等等信息，使機(jī)器人對(duì)用戶的了解更多，借此為用戶提供更理想更智能的服務(wù)。

在再一個(gè)實(shí)施例中，體現(xiàn)機(jī)器人與用戶聊天，或機(jī)器人參與多人之間的討論。如圖4所示，所述機(jī)器人控制方法還包括：

步驟108、所述機(jī)器人在判斷用戶聊天后，收集用戶聊天的語(yǔ)音數(shù)據(jù)和視頻數(shù)據(jù)，識(shí)別所述用戶聊天的語(yǔ)音數(shù)據(jù)和視頻數(shù)據(jù)的主題信息，將更新后目標(biāo)特征信息與所述主題信息進(jìn)行匹配，根據(jù)匹配結(jié)果完成與用戶的語(yǔ)音與視頻交流。

機(jī)器人與用戶進(jìn)行語(yǔ)音與視頻交流時(shí)，機(jī)器人判斷到用戶在于其聊天，例如捕捉到用戶的視線落在自身的頭部，或者用戶掃視了機(jī)器人并喊出機(jī)器人的名字等，則判斷為用戶在與機(jī)器人聊天。機(jī)器人先獲取用戶聊天的語(yǔ)音數(shù)據(jù)和視頻數(shù)據(jù)，識(shí)別出述用戶聊天的語(yǔ)音數(shù)據(jù)和視頻數(shù)據(jù)的主題信息，調(diào)用更新后目標(biāo)目錄的目標(biāo)特征信息，將更新后目標(biāo)特征信息與所述主題信息進(jìn)行匹配，以輸出與用戶交流的內(nèi)容，可以輸出語(yǔ)音或動(dòng)作，機(jī)器人更加智能化，可為用戶提供更理想更智能的服務(wù)，提升用戶體驗(yàn)。

本發(fā)明實(shí)施例還提供一種機(jī)器人裝置400，如圖5所示，機(jī)器人裝置400包括坐標(biāo)系建立模塊401、捕捉和計(jì)算模塊402和掃描模塊403。

坐標(biāo)系建立模塊401，用于建立參照坐標(biāo)系；

捕捉和計(jì)算模塊402，用于捕捉指示目標(biāo)的用戶注視方向，獲取機(jī)器人視線角度，獲取機(jī)器人位置，獲取機(jī)器人與用戶之間的直線距離，根據(jù)所述機(jī)器人視線角度、所述機(jī)器人位置以及所述機(jī)器人與用戶之間的直線距離實(shí)時(shí)計(jì)算所述用戶注視方向相對(duì)所述參照坐標(biāo)系的注視平面；

掃描模塊403，用于機(jī)器人平滑掃描所述注視平面，以搜尋用戶注視方向上的指示目標(biāo)。

需要說(shuō)明的是，本發(fā)明實(shí)施例提出的機(jī)器人裝置400與本發(fā)明方法實(shí)施例提出的機(jī)器人控制方法基于相同的發(fā)明構(gòu)思，方法實(shí)施例與裝置實(shí)施例中的相應(yīng)技術(shù)內(nèi)容可相互適用，此處不再詳述。

本發(fā)明實(shí)施例的有益效果在于，本發(fā)明實(shí)施例提供的機(jī)器人控制方法包括：建立參照坐標(biāo)系；捕捉用戶注視方向，獲取機(jī)器人視線角度，獲取機(jī)器人位置，獲取機(jī)器人與用戶之間的直線距離，根據(jù)所述機(jī)器人視線角度、所述機(jī)器人位置以及所述機(jī)器人與用戶之間的直線距離實(shí)時(shí)計(jì)算所述用戶注視方向相對(duì)所述參照坐標(biāo)系的注視平面；至少一個(gè)機(jī)器人平滑掃描所述注視平面，以搜尋用戶注視方向上的指示目標(biāo)。相對(duì)于現(xiàn)有技術(shù)的機(jī)器人根據(jù)用戶較簡(jiǎn)單的語(yǔ)音指示去尋找目標(biāo)，本發(fā)明實(shí)施例提供的方法中機(jī)器人平滑掃描所述注視平面來(lái)搜索指示目標(biāo)，搜索范圍較小，搜索失敗率較低，用戶體驗(yàn)較好；而且相對(duì)于現(xiàn)有技術(shù)的機(jī)器人由于無(wú)法獲知用戶的視線，本發(fā)明實(shí)施例提供的方法中機(jī)器人可以捕捉用戶注視方向，并實(shí)時(shí)計(jì)算所述注視方向相對(duì)所述參照坐標(biāo)系的注視平面，通過(guò)掃描所述注視平面從而可以獲知用戶所注視的到底是什么目標(biāo)，搜尋所述指示目標(biāo)的成功率較高，用戶體驗(yàn)更好。

如果機(jī)器人所處位置不佳，需要移動(dòng)以靠近注視平面，找到可以清晰的捕捉到所述注視平面，以及可平滑掃描所述注視平面的位置，需要控制機(jī)器人移動(dòng)。在一些實(shí)施例中，如圖6所示，機(jī)器人裝置400還包括：

確定和識(shí)別模塊405，用于在機(jī)器人自身運(yùn)動(dòng)過(guò)程中獲取自身實(shí)時(shí)位置和實(shí)時(shí)視線角度，確定機(jī)器人實(shí)時(shí)視線角度與所述注視平面的交線以及對(duì)焦距離，在移動(dòng)過(guò)程中，根據(jù)對(duì)焦距離圖像掃描所述交線周?chē)鷧^(qū)域，直至識(shí)別出所述注視平面上用戶注視的指示目標(biāo)。

本發(fā)明實(shí)施例的有益效果在于，本實(shí)施例提供的機(jī)器人裝置400，在機(jī)器人自身運(yùn)動(dòng)過(guò)程中獲取自身實(shí)時(shí)位置和實(shí)時(shí)視線角度，確定機(jī)器人實(shí)時(shí)視線角度與所述注視平面的交線以及對(duì)焦距離。以此實(shí)現(xiàn)控制機(jī)器人的攝像頭焦點(diǎn)落在所述注視平面，以此拍攝到清晰的可能包含指示目標(biāo)的圖像，該圖像具體為交線周?chē)鷧^(qū)域的圖像。在移動(dòng)過(guò)程中，可根據(jù)對(duì)焦距離圖像掃描所述交線周?chē)鷧^(qū)域，直至識(shí)別出所述注視平面上用戶注視的指示目標(biāo)，需要的參數(shù)均可實(shí)時(shí)獲取，可較快捷且準(zhǔn)確地識(shí)別出指示目標(biāo)，用戶體驗(yàn)較好。

進(jìn)一步地，所述機(jī)器人視線角度為機(jī)器人視線光軸，所述捕捉和計(jì)算模塊402還用于：

根據(jù)所述機(jī)器人位置計(jì)算所述機(jī)器人在參照坐標(biāo)系的坐標(biāo)(m,n)并計(jì)算所述機(jī)器人視線光軸與所述參照坐標(biāo)系x軸的夾角γ；根據(jù)所述機(jī)器人視線角度、機(jī)器人位置和用戶位置計(jì)算用戶位置和機(jī)器人位置的連線所在直線與所述機(jī)器人視線光軸的夾角β；計(jì)算所述用戶位置和機(jī)器人位置的連線所在直線與用戶注視方向所在直線的夾角α；

所述注視平面在三維空間中為垂直于地面的平面，俯視所述注視平面得到用戶注視方向所在直線，設(shè)定為一次方程y＝k*x+b，所述注視平面具體通過(guò)如下算式計(jì)算：

y＝tan(α+β+γ)*x+n+d*sin(β+γ)-tan(α+β+γ)*(m+d*cos(β+γ))；

式中，d為機(jī)器人與用戶之間的直線距離；

所述注視平面為以(m+d*cos(β+γ)，n+d*sin(β+γ))為起始點(diǎn)，沿著一次方程y＝tan(α+β+γ)*x+n+d*sin(β+γ)-tan(α+β+γ)*(m+d*cos(β+γ))向前的方向并且垂直于地面的平面。

進(jìn)一步地，所述機(jī)器人實(shí)時(shí)視線角度為機(jī)器人實(shí)時(shí)視線光軸，所述確定和識(shí)別模塊405還用于：

根據(jù)所述機(jī)器人實(shí)時(shí)位置a′點(diǎn)計(jì)算機(jī)器人在參照坐標(biāo)系的實(shí)時(shí)坐標(biāo)(p，q)并計(jì)算機(jī)器人實(shí)時(shí)視線光軸與所述參照坐標(biāo)系x軸的夾角γ″；所述機(jī)器人實(shí)時(shí)視線光軸與所述用戶注視方向所在直線的交點(diǎn)為h，則可知a′h的距離為所述對(duì)焦距離；將a′h所在直線設(shè)定為一次方程y＝k*x+b，所述對(duì)焦距離具體通過(guò)如下算式計(jì)算：

y＝tan(γ″)*x+q–tan(γ″)*p；

聯(lián)合求解a′h所在直線和用戶注視方向所在直線的二元方程，解出的(x，y)即為機(jī)器人實(shí)時(shí)視線光軸與所述用戶注視方向所在直線的交點(diǎn)h點(diǎn)坐標(biāo)；

根據(jù)h點(diǎn)坐標(biāo)和a′點(diǎn)坐標(biāo)計(jì)算a′h的距離，為所述對(duì)焦距離：

上述技術(shù)方案是通過(guò)對(duì)用戶的面部角度分析得到一個(gè)和機(jī)器人視線光軸的角度α，如果用戶周?chē)衅渌麢C(jī)器人能夠獲取到用戶位置和機(jī)器人位置的連線所在直線的一次方程，同樣也可以同步給被命令的機(jī)器人。

具體地，所述機(jī)器人包括用于與同一坐標(biāo)系下的機(jī)器人聯(lián)網(wǎng)的網(wǎng)絡(luò)模塊，所述網(wǎng)絡(luò)模塊用于共享所述注視平面的數(shù)據(jù)。

本發(fā)明實(shí)施例的有益效果在于，通過(guò)機(jī)器人的網(wǎng)絡(luò)模塊與同一坐標(biāo)系下的機(jī)器人聯(lián)網(wǎng)，共享所述注視平面的數(shù)據(jù)，機(jī)器人控制服務(wù)器可根據(jù)多個(gè)機(jī)器人當(dāng)前處理任務(wù)的狀態(tài)，結(jié)合機(jī)器人的位置，面向角度等，通過(guò)計(jì)算或分析，控制其中一個(gè)機(jī)器人去搜尋用戶注視方向上的指示目標(biāo)，可整體上讓多個(gè)機(jī)器人協(xié)調(diào)工作，提高工作效率，快速滿足用戶需求，提升用戶體驗(yàn)。其中，同一坐標(biāo)系為所述參照坐標(biāo)系。

在又一實(shí)施例中，機(jī)器人搜尋到用戶注視方向上的指示目標(biāo)后，還可有進(jìn)一步的處理。所述機(jī)器人裝置400還包括：

提取和存儲(chǔ)模塊406，用于提取所述指示目標(biāo)的目標(biāo)特征信息，存儲(chǔ)所述目標(biāo)特征信息至目標(biāo)目錄。

提取所述指示目標(biāo)的目標(biāo)特征信息具體為通過(guò)圖形搜索方法提取，視頻特征提取，也可以通過(guò)用戶的語(yǔ)音數(shù)據(jù)提取。具體地，在一些實(shí)施例中，如圖6所示，所述機(jī)器人裝置400還包括：

識(shí)別和匹配模塊407，用于獲取用戶的語(yǔ)音數(shù)據(jù)與視頻數(shù)據(jù)，識(shí)別所述用戶的語(yǔ)音數(shù)據(jù)與視頻數(shù)據(jù)的關(guān)鍵信息，將目標(biāo)特征信息與所述關(guān)鍵信息進(jìn)行匹配得到關(guān)聯(lián)的關(guān)鍵信息，在目標(biāo)目錄中存儲(chǔ)所述關(guān)聯(lián)的關(guān)鍵信息至對(duì)應(yīng)的目標(biāo)特征信息下以更新目標(biāo)特征信息。

例如，機(jī)器人裝置400還可以在兩人或多人對(duì)話時(shí)，更好的幫助機(jī)器人收集信息。識(shí)別和匹配模塊407用于獲取及識(shí)別所述用戶的語(yǔ)音數(shù)據(jù)與視頻數(shù)據(jù)的關(guān)鍵信息，將目標(biāo)特征信息與所述關(guān)鍵信息進(jìn)行匹配找出關(guān)聯(lián)的關(guān)鍵信息并存儲(chǔ)更新。目標(biāo)特征信息與所述關(guān)鍵信息進(jìn)行匹配，機(jī)器人有更大的概率通過(guò)聽(tīng)覺(jué)或視覺(jué)得知用戶討論的物品，并將語(yǔ)音信息與視覺(jué)信息與該物體做關(guān)聯(lián)，找出關(guān)聯(lián)的關(guān)鍵信息，也即使機(jī)器人對(duì)用戶的了解更多,使機(jī)器人更加智能化。

在再一個(gè)實(shí)施例中，體現(xiàn)機(jī)器人與用戶聊天，或機(jī)器人參與多人之間的討論。如圖6所示，所述機(jī)器人裝置400還包括：

匹配和交流模塊408，用于機(jī)器人在判斷用戶聊天后，收集用戶聊天的語(yǔ)音數(shù)據(jù)和視頻數(shù)據(jù)，識(shí)別所述用戶聊天的語(yǔ)音數(shù)據(jù)和視頻數(shù)據(jù)的主題信息，將更新后目標(biāo)特征信息與所述主題信息進(jìn)行匹配，根據(jù)匹配結(jié)果完成與用戶的語(yǔ)音與視頻交流。

機(jī)器人與用戶進(jìn)行語(yǔ)音與視頻交流時(shí)，先獲取用戶聊天的語(yǔ)音數(shù)據(jù)和視頻數(shù)據(jù)，識(shí)別出述用戶聊天的語(yǔ)音數(shù)據(jù)和視頻數(shù)據(jù)的主題信息，調(diào)用目標(biāo)目錄的更新后目標(biāo)特征信息，將更新后目標(biāo)特征信息與所述主題信息進(jìn)行匹配，以輸出與用戶交流的內(nèi)容，可以輸出語(yǔ)音或動(dòng)作，使機(jī)器人更加智能化，提升用戶體驗(yàn)。

圖7是本發(fā)明實(shí)施例提供的機(jī)器人設(shè)備的硬件結(jié)構(gòu)示意圖。該機(jī)器人設(shè)備可以是任何合適執(zhí)行機(jī)器人控制方法的機(jī)器人設(shè)備800。該機(jī)器人設(shè)備800還可以具有一個(gè)或者多個(gè)動(dòng)力裝置，用以驅(qū)動(dòng)機(jī)器人沿特定的軌跡移動(dòng)。

如圖7所示，該設(shè)備包括：一個(gè)或多個(gè)處理器810以及存儲(chǔ)器820，圖7中以一個(gè)處理器810為例。

處理器810、存儲(chǔ)器820可以通過(guò)總線或者其他方式連接，圖7中以通過(guò)總線連接為例。

存儲(chǔ)器820作為一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，可用于存儲(chǔ)非易失性軟件程序、非易失性計(jì)算機(jī)可執(zhí)行程序以及模塊，如本發(fā)明實(shí)施例中的機(jī)器人控制方法對(duì)應(yīng)的程序指令/模塊(例如，圖5所示的坐標(biāo)系建立模塊401、捕捉和計(jì)算模塊402和掃描模塊403，圖6所示的坐標(biāo)系建立模塊401、捕捉和計(jì)算模塊402、掃描模塊403、確定和識(shí)別模塊405、提取和存儲(chǔ)模塊406、識(shí)別和匹配模塊407和匹配和交流模塊408)。處理器810通過(guò)運(yùn)行存儲(chǔ)在存儲(chǔ)器820中的非易失性軟件程序、指令以及模塊，從而執(zhí)行服務(wù)器的各種功能應(yīng)用以及數(shù)據(jù)處理，即實(shí)現(xiàn)上述方法實(shí)施例機(jī)器人控制方法。

存儲(chǔ)器820可以包括存儲(chǔ)程序區(qū)和存儲(chǔ)數(shù)據(jù)區(qū)，其中，存儲(chǔ)程序區(qū)可存儲(chǔ)操作系統(tǒng)、至少一個(gè)功能所需要的應(yīng)用程序；存儲(chǔ)數(shù)據(jù)區(qū)可存儲(chǔ)根據(jù)機(jī)器人裝置的使用所創(chuàng)建的數(shù)據(jù)等。此外，存儲(chǔ)器820可以包括高速隨機(jī)存取存儲(chǔ)器，還可以包括非易失性存儲(chǔ)器，例如至少一個(gè)磁盤(pán)存儲(chǔ)器件、閃存器件、或其他非易失性固態(tài)存儲(chǔ)器件。在一些實(shí)施例中，存儲(chǔ)器820可選包括相對(duì)于處理器820遠(yuǎn)程設(shè)置的存儲(chǔ)器，這些遠(yuǎn)程存儲(chǔ)器可以通過(guò)網(wǎng)絡(luò)連接至機(jī)器人裝置。上述網(wǎng)絡(luò)的實(shí)例包括但不限于互聯(lián)網(wǎng)、企業(yè)內(nèi)部網(wǎng)、局域網(wǎng)、移動(dòng)通信網(wǎng)及其組合。

所述一個(gè)或者多個(gè)模塊存儲(chǔ)在所述存儲(chǔ)器820中，當(dāng)被所述一個(gè)或者多個(gè)處理器810執(zhí)行時(shí)，執(zhí)行上述任意方法實(shí)施例中的機(jī)器人控制方法。

專業(yè)人員應(yīng)該還可以進(jìn)一步意識(shí)到，結(jié)合本文中所公開(kāi)的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來(lái)實(shí)現(xiàn)，為了清楚地說(shuō)明硬件和軟件的可互換性，在上述說(shuō)明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。所述的計(jì)算機(jī)軟件可存儲(chǔ)于計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤(pán)、只讀存儲(chǔ)記憶體或隨機(jī)存儲(chǔ)記憶體等。

最后應(yīng)說(shuō)明的是：以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制；在本發(fā)明的思路下，以上實(shí)施例或者不同實(shí)施例中的技術(shù)特征之間也可以進(jìn)行組合，步驟可以以任意順序?qū)崿F(xiàn)，并存在如上所述的本發(fā)明的不同方面的許多其它變化，為了簡(jiǎn)明，它們沒(méi)有在細(xì)節(jié)中提供；盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。