本說(shuō)明書(shū)中描述的技術(shù)涉及用于處理追蹤觀察者的移動(dòng)的圖像的信息處理裝置、信息處理方法、計(jì)算機(jī)程序以及圖像處理系統(tǒng)。

背景技術(shù)：

已知佩帶在用戶的頭部或面部上的圖像顯示裝置(即，頭戴式顯示器)。頭戴式顯示器在右眼和左眼兩者上設(shè)置有圖像顯示單元并且被配置為能夠與聽(tīng)筒一起使用控制視覺(jué)和聽(tīng)覺(jué)感知。用于在佩帶在頭部上時(shí)完全遮住外部世界的配置在觀看期間提高虛擬現(xiàn)實(shí)。頭戴式顯示器能夠?qū)⒉煌囊曨l圖像投影到每個(gè)眼鏡上并能夠通過(guò)在左眼和右眼上顯示具有視差的圖像呈現(xiàn)3D圖像。

這類頭戴式顯示器在眼睛的視網(wǎng)膜上形成虛擬圖象以允許用戶對(duì)其進(jìn)行觀察。在這點(diǎn)上，虛擬圖象形成在比焦距更靠近透鏡的物體側(cè)。作為一個(gè)實(shí)例，已開(kāi)發(fā)了一種頭戴式顯示器，頭戴式顯示器通過(guò)將廣視角的虛擬圖像光學(xué)系統(tǒng)放置成與瞳孔的前部間隔開(kāi)25毫米并將具有大約0.7英寸的有效像素范圍的尺寸的顯示面板進(jìn)一步放置在廣視角光學(xué)系統(tǒng)的前方來(lái)在用戶的瞳孔上形成顯示圖像的放大虛擬圖像(例如，參見(jiàn)專利文獻(xiàn)1)。

用戶能夠觀察通過(guò)使用這類頭戴式顯示器對(duì)廣角圖像的一部分進(jìn)行分割獲得的圖像。作為一個(gè)實(shí)例，已開(kāi)發(fā)了一種頭戴式顯示器，頭戴式顯示器允許通過(guò)在頭部上安裝包括陀螺儀傳感器等的頭部運(yùn)動(dòng)追蹤設(shè)備并通過(guò)使其追蹤用戶的頭部的移動(dòng)實(shí)現(xiàn)360度旋轉(zhuǎn)視圖的視頻圖像的真實(shí)體驗(yàn)(參見(jiàn)專利文獻(xiàn)2和3)。可以通過(guò)在廣角圖像中移動(dòng)顯示區(qū)域以取消陀螺儀傳感器檢測(cè)的頭部的移動(dòng)來(lái)實(shí)現(xiàn)自由視點(diǎn)觀看和視點(diǎn)移動(dòng)環(huán)境。

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問(wèn)題

本說(shuō)明書(shū)中描述的技術(shù)的目的是提供能夠適當(dāng)?shù)靥幚碜粉櫽^察者的移動(dòng)的圖像的一種改善的信息處理裝置、信息處理方法、計(jì)算機(jī)程序、和圖像處理系統(tǒng)。

解決的問(wèn)題

已考慮到上述問(wèn)題做出本申請(qǐng)，并且權(quán)利要求1中描述的技術(shù)是信息處理裝置，包括：接收器，被配置為接收關(guān)于觀察者的頭部的姿勢(shì)的第一信息和關(guān)于觀察者的除頭部以外身體的姿勢(shì)的第二信息；以及圖像渲染處理單元(image rendering processing unit)，被配置為基于第一信息和第二信息生成對(duì)應(yīng)于觀察者的姿勢(shì)的顯示圖像。

根據(jù)在權(quán)利要求2中描述的技術(shù)，根據(jù)權(quán)利要求1所述的信息處理裝置的接收器接收至少觀察者的軀干的姿勢(shì)作為第二信息，并且圖像渲染處理單元通過(guò)基于第一信息在自由視點(diǎn)空間中定向觀察者的視線方向并通過(guò)基于從第二信息獲得的觀察者的軀干的姿勢(shì)在自由視點(diǎn)空間中定向觀察者的身體的朝向(視點(diǎn)位置)生成追蹤觀察者的頭部的姿勢(shì)的自由視點(diǎn)圖像。

根據(jù)在權(quán)利要求3中描述的技術(shù)，當(dāng)接收用于指示觀察者在自由視點(diǎn)空間中移動(dòng)的控制信號(hào)作為輸入時(shí)，根據(jù)權(quán)利要求2所述的信息處理裝置的圖像渲染處理單元通過(guò)將基于從第二信息獲得的觀察者的軀干的姿勢(shì)定向的身體的朝向識(shí)別為前向方向確定移動(dòng)之后的點(diǎn)(視點(diǎn)位置)。

根據(jù)在權(quán)利要求4中描述的技術(shù)，根據(jù)權(quán)利要求1所述的信息處理裝置的圖像渲染處理單元通過(guò)基于第一信息在自由視點(diǎn)空間中定向觀察者的視線方向并通過(guò)布置在基于從第二信息獲得的姿勢(shì)定向的固定位置中生成追蹤觀察者的頭部的姿勢(shì)的自由視點(diǎn)圖像。

根據(jù)在權(quán)利要求5中描述的技術(shù)，根據(jù)權(quán)利要求1所述的信息處理裝置的接收器接收至少觀察者的軀干的姿勢(shì)作為第二信息，并且圖像渲染處理單元通過(guò)基于第一信息在自由視點(diǎn)空間中定向觀察者的視線方向，通過(guò)基于從第二信息獲得的觀察者的軀干的姿勢(shì)在自由視點(diǎn)空間中定向觀察者的身體的朝向(視點(diǎn)位置)，并通過(guò)將預(yù)定圖像控件布置在基于從觀察者的軀干的姿勢(shì)定向的固定位置中生成追蹤觀察者的頭部的姿勢(shì)的自由視點(diǎn)圖像。

根據(jù)在權(quán)利要求6中描述的技術(shù)，根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的信息處理裝置，進(jìn)一步包括被配置為獲得校準(zhǔn)參數(shù)的校準(zhǔn)處理單元。圖像渲染處理單元使用通過(guò)校準(zhǔn)參數(shù)校正的姿勢(shì)信息執(zhí)行圖像生成。

根據(jù)在權(quán)利要求7中描述的技術(shù)，根據(jù)權(quán)利要求8所述的信息處理裝置的校準(zhǔn)處理單元，基于從第一信息獲得的頭部姿勢(shì)信息和從第二信息獲得的第二姿勢(shì)信息計(jì)算用于校正第二姿勢(shì)信息的校準(zhǔn)參數(shù)并且使用校準(zhǔn)參數(shù)校正第二姿勢(shì)信息。

根據(jù)在權(quán)利要求8中描述的技術(shù)，根據(jù)權(quán)利要求7所述的信息處理裝置的校準(zhǔn)處理單元通過(guò)使用頭部姿勢(shì)信息和第二姿勢(shì)信息計(jì)算用于將第二姿勢(shì)信息與頭部姿勢(shì)信息匹配的姿勢(shì)轉(zhuǎn)換參數(shù)作為校準(zhǔn)參數(shù)。

根據(jù)在權(quán)利要求9中描述的技術(shù)，由四元數(shù)(quaternion)表示姿勢(shì)信息。根據(jù)權(quán)利要求7所述的信息處理裝置的校準(zhǔn)處理單元通過(guò)將頭部姿勢(shì)信息從右邊乘以第二姿勢(shì)信息的四元數(shù)的倒數(shù)計(jì)算用于校正第二姿勢(shì)信息的校準(zhǔn)四元數(shù)，并且通過(guò)將第二姿勢(shì)信息的四元數(shù)從左邊乘以校準(zhǔn)四元數(shù)執(zhí)行校正。

根據(jù)在權(quán)利要求10中描述的技術(shù)，根據(jù)權(quán)利要求6所述的信息處理裝置的校準(zhǔn)處理單元基于從第一信息獲得的頭部姿勢(shì)的坐標(biāo)系和從第二信息獲得的姿勢(shì)的坐標(biāo)系的某個(gè)時(shí)段的旋轉(zhuǎn)位移以及人體的特性估計(jì)用于校正第二姿勢(shì)信息的校準(zhǔn)參數(shù)。

根據(jù)在權(quán)利要求11中描述的技術(shù)，根據(jù)權(quán)利要求6所述的信息處理裝置的校準(zhǔn)處理單元將基于從第一信息獲得的頭部姿勢(shì)信息和從第二信息獲得的第二姿勢(shì)信息計(jì)算的某個(gè)時(shí)段的校準(zhǔn)參數(shù)的時(shí)間序列平均值設(shè)置為最后校準(zhǔn)參數(shù)。

根據(jù)在權(quán)利要求12中描述的技術(shù)，由四元數(shù)表示姿勢(shì)信息。信息處理裝置的校準(zhǔn)處理單元通過(guò)在基于從重新接收的第一信息和第二信息中的每一個(gè)獲得的姿勢(shì)信息的四元數(shù)重新計(jì)算的校準(zhǔn)四元數(shù)與由時(shí)間序列平均值確定的最后校準(zhǔn)四元數(shù)之間執(zhí)行球面線性內(nèi)插更新校準(zhǔn)四元數(shù)。

根據(jù)在權(quán)利要求13中描述的技術(shù)，基于第二信息計(jì)算觀察者的軀干的姿勢(shì)，并且當(dāng)重力方向被設(shè)為旋轉(zhuǎn)軸線時(shí)，根據(jù)權(quán)利要求11所述的信息處理裝置的校準(zhǔn)處理單元確定分別從重新接收的第一信息和第二信息獲得的頭部和軀干的姿勢(shì)信息的旋轉(zhuǎn)方向的角度差的平均值，并計(jì)算重力方向上的校準(zhǔn)參數(shù)和平均值。

根據(jù)在權(quán)利要求14中描述的技術(shù)，根據(jù)權(quán)利要求1所述的信息處理裝置的圖像渲染處理單元基于從第一信息獲得的頭部姿勢(shì)與從第二信息獲得的軀干姿勢(shì)之間的差異處理顯示單元上的顯示圖像。

根據(jù)在權(quán)利要求15中描述的技術(shù)，在根據(jù)權(quán)利要求2和3中任一項(xiàng)所述的信息處理裝置中，圖像渲染處理單元通過(guò)在生物安全支持模式(biosafety support mode)下以自由視點(diǎn)空間中的頭部姿勢(shì)與軀干姿勢(shì)之間的差異減少的方式校正世界坐標(biāo)系生成自由視點(diǎn)圖像。

根據(jù)在權(quán)利要求16中描述的技術(shù)，根據(jù)權(quán)利要求2和3中任一項(xiàng)所述的信息處理裝置的圖像渲染處理單元通過(guò)在設(shè)置生物安全支持模式時(shí)的時(shí)間點(diǎn)在自由視點(diǎn)空間中固定頭部姿勢(shì)并通過(guò)在生物安全支持模式下根據(jù)由頭部姿勢(shì)檢測(cè)單元檢測(cè)的頭部姿勢(shì)在自由視點(diǎn)空間中改變軀干姿勢(shì)生成自由視點(diǎn)圖像。

根據(jù)在權(quán)利要求17中描述的技術(shù)，在根據(jù)權(quán)利要求15和16中任一項(xiàng)所述的信息處理裝置中，當(dāng)從第一信息獲得的頭部姿勢(shì)與從第二信息獲得的軀干姿勢(shì)之間的差異超過(guò)第一閾值的狀態(tài)持續(xù)某個(gè)時(shí)間時(shí)設(shè)置生物安全支持模式，并且當(dāng)差異小于或等于第二閾值時(shí)釋放生物安全支持模式，第二閾值小于第一閾值。

在權(quán)利要求18中描述的技術(shù)是一種信息處理方法，包括：接收步驟，接收關(guān)于觀察者的頭部的姿勢(shì)的第一信息和關(guān)于觀察者的除身體的頭部以外的姿勢(shì)的第二信息；以及圖像渲染處理步驟，基于第一信息和第二信息生成對(duì)應(yīng)于觀察者的姿勢(shì)的顯示圖像。

在權(quán)利要求19中描述的技術(shù)是一種計(jì)算機(jī)程序，其以計(jì)算機(jī)可讀格式編寫(xiě)，用于使計(jì)算機(jī)用作：頭部姿勢(shì)操作單元，被配置為基于通過(guò)在頭部姿勢(shì)檢測(cè)單元中的檢測(cè)獲得的結(jié)果計(jì)算觀察者的頭部的姿勢(shì)信息，頭部姿勢(shì)檢測(cè)單元被配置為檢測(cè)觀察者的頭部的姿勢(shì)；第二姿勢(shì)操作單元，被配置為基于通過(guò)第二姿勢(shì)檢測(cè)單元中的檢測(cè)獲得的結(jié)果計(jì)算觀察者的除頭部以外的身體的第二部分的姿勢(shì)信息，第二姿勢(shì)檢測(cè)單元被配置為檢測(cè)第二部分的一個(gè)或多個(gè)的姿勢(shì)；以及圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢(shì)和第二部分的姿勢(shì)處理待顯示在顯示單元上的圖像，顯示單元被固定至觀察者的頭部或面部。

根據(jù)本申請(qǐng)的權(quán)利要求19所述的計(jì)算機(jī)程序定義一種以計(jì)算機(jī)可讀格式描述的計(jì)算機(jī)程序，以便在計(jì)算機(jī)上執(zhí)行預(yù)定處理。換言之，通過(guò)將根據(jù)本申請(qǐng)的權(quán)利要求19的計(jì)算機(jī)程序安裝在計(jì)算機(jī)中，在計(jì)算機(jī)上發(fā)揮協(xié)作作用，使得可以提供與根據(jù)本申請(qǐng)的權(quán)利要求1所述的信息處理裝置的效果相同的操作效果。

在權(quán)利要求20中描述的技術(shù)是圖像處理系統(tǒng)，包括：顯示單元，被固定至觀察者的頭部或面部；頭部姿勢(shì)檢測(cè)單元，被配置為檢測(cè)觀察者的頭部的姿勢(shì)；第二姿勢(shì)檢測(cè)單元，被配置為檢測(cè)身體的觀察者的除頭部以外的一個(gè)或多個(gè)第二部分的姿勢(shì)；以及圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢(shì)和第二部分中的每一個(gè)的姿勢(shì)處理顯示單元上的顯示圖像。

有益效果

根據(jù)本說(shuō)明書(shū)中描述的技術(shù)是提供能夠適當(dāng)?shù)靥幚碜粉櫽^察者的移動(dòng)的圖像的一種改善的信息處理裝置、信息處理方法、計(jì)算機(jī)程序、和圖像處理系統(tǒng)。

應(yīng)注意，在本說(shuō)明書(shū)中描述的有益效果僅為了示例，并且本發(fā)明的有益效果不限于此。此外，在一些情況下，本發(fā)明還可以表現(xiàn)出除以上給出的有益效果以外的附加有益效果。

將基于在下文中論述的示例性實(shí)施方式和附圖通過(guò)更詳細(xì)說(shuō)明闡明在本說(shuō)明書(shū)中公開(kāi)的技術(shù)的進(jìn)一步目的、特征、以及優(yōu)點(diǎn)。

附圖說(shuō)明

[圖1]圖1是示意性地示出應(yīng)用本文中公開(kāi)的技術(shù)的圖像顯示系統(tǒng)100的示例性配置的示圖。

[圖2]圖2是示出了圖像顯示系統(tǒng)100的變形的示圖。

[圖3]圖3是示出了圖像顯示系統(tǒng)100的變形的示圖。

[圖4]圖4是示出了圖像顯示系統(tǒng)100的另一變形的示圖。

[圖5]圖5是佩帶顯示設(shè)備500的用戶的俯視圖。

[圖6]圖6是佩帶顯示設(shè)備500的用戶的前視圖。

[圖7]圖7是示出了用于渲染僅追蹤用戶頭部的移動(dòng)的自由視點(diǎn)圖像的處理過(guò)程的流程圖。

[圖8]圖8是示出了如何基于從頭部運(yùn)動(dòng)追蹤設(shè)備200和軀干運(yùn)動(dòng)追蹤設(shè)備300中的每一個(gè)提供的姿勢(shì)信息在自由視點(diǎn)空間中單獨(dú)定向用戶的視線方向和軀干朝向的示圖。

[圖9]圖9是示出了通過(guò)考慮用戶的頭部的頭部姿勢(shì)和身體姿勢(shì)渲染自由視點(diǎn)圖像的處理過(guò)程的流程圖。

[圖10]圖10是示出以描述僅追蹤用戶頭部的移動(dòng)的自由視點(diǎn)圖像的示圖。

[圖11]圖11是示出以描述通過(guò)考慮用戶的頭部姿勢(shì)和身體姿勢(shì)生成的自由視點(diǎn)圖像的示圖。

[圖12]圖12是示出了使用通過(guò)校準(zhǔn)參數(shù)校正的姿勢(shì)信息渲染自由視點(diǎn)圖像的處理過(guò)程的流程圖。

[圖13]圖13是示出了使用通過(guò)校準(zhǔn)參數(shù)校正的姿勢(shì)信息渲染自由視點(diǎn)圖像的另一處理過(guò)程的流程圖。

[圖14]圖14是示出了使用通過(guò)校準(zhǔn)參數(shù)校正的姿勢(shì)信息渲染自由視點(diǎn)圖像的又一處理過(guò)程的流程圖。

[圖15]圖15是示出了用于處理自動(dòng)校準(zhǔn)的過(guò)程的流程圖。

[圖16]圖16是示出了用于處理自動(dòng)校準(zhǔn)的另一過(guò)程的流程圖。

[圖17]圖17是示出了如何移動(dòng)自由視點(diǎn)圖像使得通過(guò)在圖像中移動(dòng)固定點(diǎn)1701用戶的視線方向1702朝向軀干的前方方向返回至初始位置的示圖。

[圖18]圖18是示出了自由視點(diǎn)圖像的圖像渲染處理過(guò)程的流程圖，其包括使用第一方法減少或避免用戶的不自然的觀看姿勢(shì)的過(guò)程。

[圖19]圖19是示出了自由視點(diǎn)圖像的圖像渲染處理過(guò)程的流程圖，其包括使用第二方法減少或避免用戶的不自然的觀看姿勢(shì)的過(guò)程。

[圖20]圖20是示出了自由視點(diǎn)圖像的圖像渲染處理過(guò)程的流程圖，其包括使用第二方法減少或避免用戶的不自然的觀看姿勢(shì)的過(guò)程。

[圖21]圖21是示出了四元數(shù)q的示圖。

[圖22]圖22是示出了通過(guò)球面線性內(nèi)插(Slerp)補(bǔ)償四元數(shù)的方法的示圖。

[圖23]圖23是示出了通過(guò)將UI控件布置在基于用戶的軀干姿勢(shì)定向的固定位置中來(lái)渲染自由視點(diǎn)圖像的處理過(guò)程的流程圖。

[圖24]圖24是示出了通過(guò)將UI控件布置在基于用戶的軀干姿勢(shì)定向的固定位置中來(lái)渲染自由視點(diǎn)圖像的處理過(guò)程的流程圖。

[圖25]圖25是示出了當(dāng)將UI控件布置在基于用戶的頭部姿勢(shì)定向的固定位置中時(shí)用于渲染自由視點(diǎn)圖像的處理過(guò)程的示圖。

[圖26]圖26是示出了當(dāng)將UI控件布置在基于用戶的頭部姿勢(shì)定向的固定位置中時(shí)用于渲染自由視點(diǎn)圖像的處理過(guò)程的示圖。

[圖27]圖27是示出了當(dāng)將UI控件布置在基于用戶的頭部姿勢(shì)定向的固定位置中時(shí)用于渲染自由視點(diǎn)圖像的處理過(guò)程的示圖。

[圖28]圖28是示出了當(dāng)將UI控件布置在基于用戶的頭部姿勢(shì)定向的固定位置中時(shí)用于渲染自由視點(diǎn)圖像的處理過(guò)程的示圖。

[圖29]圖29是示出了當(dāng)將UI控件布置在基于用戶的軀干姿勢(shì)定向的固定位置中時(shí)的自由視點(diǎn)圖像的顯示實(shí)例的示圖。

[圖30]圖30是示出了當(dāng)將UI控件布置在基于用戶的軀干姿勢(shì)定向的固定位置中時(shí)的自由視點(diǎn)圖像的顯示實(shí)例的示圖。

[圖31]圖31是示出了當(dāng)將UI控件布置在基于用戶的軀干姿勢(shì)定向的固定位置中時(shí)的自由視點(diǎn)圖像的顯示實(shí)例的示圖。

[圖32]圖32是示出了當(dāng)將UI控件布置在基于用戶的軀干姿勢(shì)定向的固定位置中時(shí)的自由視點(diǎn)圖像的顯示實(shí)例的示圖。

具體實(shí)施方式

在下文中將參考附圖詳細(xì)描述本說(shuō)明書(shū)中所公開(kāi)的技術(shù)的實(shí)施方式。

A.系統(tǒng)配置

圖1是示意性地示出了應(yīng)用本文中公開(kāi)的技術(shù)的圖像顯示系統(tǒng)100的示例性配置。所示出的圖像顯示系統(tǒng)100被配置為包括頭部運(yùn)動(dòng)追蹤設(shè)備200、軀干運(yùn)動(dòng)追蹤設(shè)備300、圖像渲染設(shè)備400、以及顯示設(shè)備500。

當(dāng)佩帶在觀察在顯示設(shè)備500上顯示的圖像的用戶頭部上時(shí)使用頭部運(yùn)動(dòng)追蹤設(shè)備200，并以預(yù)定發(fā)送間隔將用戶頭部的姿勢(shì)信息輸出至圖像渲染設(shè)備400。當(dāng)佩帶在用戶的軀干上時(shí)使用軀干運(yùn)動(dòng)追蹤設(shè)備300并以預(yù)定發(fā)送間隔將用戶的軀干的姿勢(shì)信息輸出至圖像渲染設(shè)備400。在所示出的實(shí)例中，頭部運(yùn)動(dòng)追蹤設(shè)備200被配置為包括傳感器單元201、姿勢(shì)角度操作單元202、以及用于將所獲得的姿勢(shì)信息發(fā)送至圖像渲染設(shè)備400的發(fā)送器203。軀干運(yùn)動(dòng)追蹤設(shè)備300被配置為包括傳感器單元301、姿勢(shì)角度操作單元302、以及用于將所獲得的姿勢(shì)信息發(fā)送至圖像渲染設(shè)備400的發(fā)送器303。頭部運(yùn)動(dòng)追蹤設(shè)備200和軀干運(yùn)動(dòng)追蹤設(shè)備300的不同之處可僅在于其附接至用戶的身體的部分或者彼此附接的方法，但在內(nèi)部配置和操作特征上可彼此相似。下面僅對(duì)頭部運(yùn)動(dòng)追蹤設(shè)備200的內(nèi)部配置進(jìn)行描述，但軀干運(yùn)動(dòng)追蹤設(shè)備300的內(nèi)部配置同樣適用。

作為一個(gè)實(shí)例，通過(guò)多個(gè)傳感器設(shè)備(諸如，陀螺儀傳感器、加速度傳感器、以及地磁傳感器)的組合配置傳感器單元201。在該說(shuō)明書(shū)中，這是可檢測(cè)總共九個(gè)軸的傳感器(包括三軸陀螺儀傳感器、三軸加速度傳感器、以及三軸地磁傳感器)。姿勢(shì)角度操作單元202基于通過(guò)檢測(cè)傳感器單元201中的九個(gè)軸獲得的結(jié)果對(duì)諸如其所附接的用戶的頭部的部分的姿勢(shì)信息執(zhí)行運(yùn)算。發(fā)送器203將所獲得的姿勢(shì)信息發(fā)送至圖像渲染設(shè)備400。然而，當(dāng)軀干運(yùn)動(dòng)追蹤設(shè)備300僅必須檢測(cè)用戶的軀干的朝向時(shí)，傳感器單元301可被配置為具有僅設(shè)置有陀螺儀傳感器且不必是九個(gè)軸的檢測(cè)傳感器的簡(jiǎn)單結(jié)構(gòu)。

在本實(shí)施方式中，通過(guò)用四元數(shù)的形式表示其來(lái)處理頭部或軀干的姿勢(shì)信息。由于不存在奇點(diǎn)，因此四元數(shù)適于使用計(jì)算機(jī)的計(jì)算。在計(jì)算計(jì)制圖的領(lǐng)域中，通常使用四元數(shù)表示物體的姿勢(shì)。如在以下式(1)和圖21中所示出的，四元數(shù)q是包括旋轉(zhuǎn)軸(矢量)和旋轉(zhuǎn)角度(標(biāo)量)的四元數(shù)。

[數(shù)學(xué)式1]

然而，在頭部運(yùn)動(dòng)追蹤設(shè)備200或軀干運(yùn)動(dòng)追蹤設(shè)備300中，不必對(duì)由傳感器201和301檢測(cè)的姿勢(shì)角的信息中由四元數(shù)表示的姿勢(shì)信息執(zhí)行運(yùn)算。頭部運(yùn)動(dòng)追蹤設(shè)備200或軀干運(yùn)動(dòng)追蹤設(shè)備300可以將其中用除了四元數(shù)以外的形式表示姿勢(shì)角度的信息發(fā)送至圖像渲染設(shè)備400，用以允許在圖像渲染設(shè)備400側(cè)上計(jì)算四元數(shù)。如在圖2中示出的，頭部運(yùn)動(dòng)追蹤設(shè)備200或軀干運(yùn)動(dòng)追蹤設(shè)備300可以在沒(méi)有任何修改地輸出傳感器單元201和傳感器單元301的傳感器信息，以允許布置在圖像渲染設(shè)備400中的姿勢(shì)角度操作單元202以四元數(shù)的形式或其他形式從傳感器信息中計(jì)算姿勢(shì)角度。

在所示出的圖像顯示系統(tǒng)100中，通過(guò)無(wú)線通信(諸如，藍(lán)牙(注冊(cè)商標(biāo))通信)在頭部運(yùn)動(dòng)追蹤設(shè)備200與圖像渲染設(shè)備400之間以及軀干運(yùn)動(dòng)追蹤設(shè)備300與圖像渲染設(shè)備400之間建立連接?？梢越?jīng)由高速有線接口(諸如，通用串行總線(USB))代替無(wú)線通信在頭部運(yùn)動(dòng)追蹤設(shè)備200與圖像渲染設(shè)備400之間以及軀干運(yùn)動(dòng)追蹤設(shè)備300與圖像渲染設(shè)備400之間有保證地建立連接。

圖像渲染設(shè)備400對(duì)在顯示設(shè)備500上顯示的圖像執(zhí)行渲染處理。作為一個(gè)實(shí)例，圖像渲染設(shè)備400可被配置為配備有安卓(注冊(cè)商標(biāo))的終端，諸如，智能手機(jī)和平板電腦、個(gè)人計(jì)算機(jī)、或游戲機(jī)，但不限于這些設(shè)備。

在所示出的實(shí)例中，圖像渲染設(shè)備400被配置為包括用于從頭部運(yùn)動(dòng)追蹤設(shè)備200和軀干運(yùn)動(dòng)追蹤設(shè)備300接收姿勢(shì)信息的接收器401，用于基于姿勢(shì)信息執(zhí)行圖像的渲染處理的圖像渲染處理單元402，用于將渲染圖像發(fā)送至顯示設(shè)備500的發(fā)送器402，以及用作圖像數(shù)據(jù)的源的圖像源404。盡管未示出，圖像渲染設(shè)備400可被配置為包括音頻輸出單元。

接收器401經(jīng)由藍(lán)牙(注冊(cè)商標(biāo))通信等從頭部運(yùn)動(dòng)追蹤設(shè)備200和軀干運(yùn)動(dòng)追蹤設(shè)備300接收姿勢(shì)信息。如上所述，用四元數(shù)形式(quaternion form)表示來(lái)自頭部運(yùn)動(dòng)追蹤設(shè)備200的姿勢(shì)信息。

作為一個(gè)實(shí)例，圖像源404包括：存儲(chǔ)設(shè)備，諸如，硬盤(pán)驅(qū)動(dòng)器(HDD)和固態(tài)驅(qū)動(dòng)器(SSD)，用于記錄圖像內(nèi)容；媒介回放設(shè)備，用于回放記錄媒介，諸如，藍(lán)光(注冊(cè)商標(biāo))；廣播調(diào)諧器，用于選擇信道以接收由游戲機(jī)或數(shù)字廣播信號(hào)產(chǎn)生的游戲圖像；通信接口，用于接收在互聯(lián)網(wǎng)上從服務(wù)器流式傳輸?shù)膱D像內(nèi)容；以及無(wú)線接口，用于無(wú)線接收由設(shè)置在移動(dòng)設(shè)備(諸如，無(wú)線電控制車和汽車)上的外部相機(jī)捕捉的圖像。

圖像渲染處理單元402渲染在顯示設(shè)備500一側(cè)顯示的來(lái)自圖像源404的圖像數(shù)據(jù)的圖像。作為一個(gè)實(shí)例，圖像渲染處理單元402通過(guò)將對(duì)應(yīng)于用戶的頭部和軀干的姿勢(shì)信息的顯示視角進(jìn)行分割渲染自由視點(diǎn)圖像，自由視點(diǎn)圖像是由接收器401從全方位類型的原始圖像或具有廣視角的原始圖像(諸如，從圖像源404提供的4K)接收的。設(shè)想互聯(lián)網(wǎng)上的服務(wù)器渲染自由視點(diǎn)圖像的示例性系統(tǒng)配置。在這種情況下，作為一個(gè)實(shí)例，優(yōu)選的是，頭部運(yùn)動(dòng)追蹤設(shè)備200或軀干運(yùn)動(dòng)追蹤設(shè)備300中的每一個(gè)將姿勢(shì)信息發(fā)送至用作圖像渲染設(shè)備400的服務(wù)器，并且顯示設(shè)備500接收并顯示由服務(wù)器分割的圖像。

作為一個(gè)實(shí)例，經(jīng)由有線電纜(諸如，高清晰度多媒體接口(HDMI，注冊(cè)商標(biāo))和動(dòng)高清晰度連接(MHL))在圖像渲染設(shè)備400與顯示設(shè)備之間建立連接。替換地，可以通過(guò)無(wú)線通信(諸如，wirelessHD和Miracast)建立這種連接。發(fā)送器403使用通信路徑中的任何一個(gè)將由圖像渲染處理單元402渲染的未壓縮圖像數(shù)據(jù)(或者，也可采用壓縮圖像數(shù)據(jù))發(fā)送至顯示設(shè)備500。

顯示設(shè)備500被配置為包括用于從圖像渲染設(shè)備400接收?qǐng)D像數(shù)據(jù)的接收器501和用于顯示所接收的圖像的顯示單元502。作為一個(gè)實(shí)例，顯示設(shè)備500(或顯示單元502)被配置為頭戴式顯示器，頭戴式顯示器被固定到觀察圖像的用戶的頭部或面部部分(例如，參見(jiàn)專利文獻(xiàn)1)。

作為一個(gè)實(shí)例，接收器501經(jīng)由通信路徑(諸如，HDMI(注冊(cè)商標(biāo))和MHL)從圖像渲染設(shè)備400接收?qǐng)D像數(shù)據(jù)。當(dāng)存在壓縮圖像數(shù)據(jù)時(shí)，接收器執(zhí)行解碼和解壓縮處理。顯示單元502在屏幕上顯示所接收的圖像數(shù)據(jù)。

作為一個(gè)實(shí)例，當(dāng)顯示設(shè)備500被配置為頭戴式顯示器時(shí)，顯示單元502設(shè)置有分別固定地安裝在用戶的左眼和右眼中的左屏幕和右屏幕，并且顯示左眼圖像和右眼圖像。作為一個(gè)實(shí)例，顯示單元502的屏幕包括顯示面板或激光掃描顯示器(諸如，視網(wǎng)膜直接顯示器)，顯示面板包括微型顯示器(諸如，有機(jī)電動(dòng)發(fā)光設(shè)備(OLED))和液晶顯示器(LCD)。顯示單元502設(shè)置有虛擬圖像光學(xué)系統(tǒng)，虛擬圖像光學(xué)系統(tǒng)擴(kuò)大顯示屏幕，對(duì)其進(jìn)行投影，并將具有預(yù)定圖像視角的放大的虛擬圖象聚焦在用戶的瞳孔上。

作為一個(gè)實(shí)例，在圖像渲染設(shè)備400一側(cè)，渲染通過(guò)從全方位類型的原始圖像或具有廣視角的原始圖像(諸如,4K)中分割對(duì)應(yīng)于用戶的頭部和軀干的姿勢(shì)信息的顯示視角獲得的圖像。在顯示設(shè)備500一側(cè)，移動(dòng)原始圖像中的顯示區(qū)域以抵消用戶的頭部的姿勢(shì)的改變。因此，可以再現(xiàn)追蹤頭部的移動(dòng)的自由視點(diǎn)圖像，從而允許用戶體驗(yàn)大屏幕的觀看。顯示設(shè)備500可以根據(jù)圖像的移動(dòng)定位聲音圖像的方向。

圖3示意性地示出了圖像顯示系統(tǒng)100的變形。在圖1和圖2中示出的實(shí)例中，圖像顯示系統(tǒng)100被配置為包括四個(gè)單獨(dú)的設(shè)備，即，頭部運(yùn)動(dòng)追蹤設(shè)備200、軀干運(yùn)動(dòng)追蹤設(shè)備300、圖像渲染設(shè)備400、以及顯示設(shè)備500。然而，在圖3中示出的實(shí)例中，在顯示設(shè)備500中配備圖像渲染設(shè)備400的功能。在圖3中，由相同的參考標(biāo)號(hào)表示與圖1中包含的部件相同的部件。如在圖1中示出的，如果頭部運(yùn)動(dòng)追蹤設(shè)備200或軀干運(yùn)動(dòng)追蹤設(shè)備300中至少一個(gè)被配置為與顯示設(shè)備500分開(kāi)出售的可選擇產(chǎn)品(附帶商品，諸如，配件)，則顯示設(shè)備500將是緊湊的、重量輕的、且便宜的。

圖4示意性地示出了圖像顯示系統(tǒng)100的另一變形。在圖1和圖2中示出的實(shí)例中，圖像顯示系統(tǒng)100被配置為包括四個(gè)單獨(dú)的設(shè)備，即，頭部運(yùn)動(dòng)追蹤設(shè)備200、軀干運(yùn)動(dòng)追蹤設(shè)備300、圖像渲染設(shè)備400、以及顯示設(shè)備500。然而，在圖4中示出的實(shí)例中，在顯示設(shè)備500中配備頭戴式顯示器和圖像渲染設(shè)備400的功能。在圖4中，由相同的參考標(biāo)號(hào)表示與圖1中包含的部件相同的部件。如在圖1中示出的，只有軀干運(yùn)動(dòng)追蹤設(shè)備300可被配置為用作外部連接至顯示設(shè)備500的設(shè)備。

圖5和圖6示出了用戶1如何使用圖像顯示系統(tǒng)100。圖5是佩帶顯示設(shè)備500的用戶1的俯視圖，以及圖6是佩帶顯示設(shè)備500的用戶1的前視圖。

顯示設(shè)備500是頭戴式顯示器，并具有易于佩帶在人的頭部上的外觀構(gòu)造，諸如，類似眼鏡或者類似帽子的構(gòu)造。用戶1將顯示設(shè)備500佩帶在頭部上。頭部運(yùn)動(dòng)追蹤設(shè)備200(作為顯示設(shè)備500的配件)相似地附接至用戶1的頭部以檢測(cè)用戶1的頭部的姿勢(shì)信息。

如在圖6中示出的，軀干運(yùn)動(dòng)追蹤設(shè)備300附接至用戶1的軀干以檢測(cè)用戶1的軀干的姿勢(shì)信息。在所示出的實(shí)例中，盡管軀干運(yùn)動(dòng)追蹤設(shè)備300附接至用戶1的腰部附近，但其可以附接至除了腰部以外的部分(諸如，臂部或肩部)，只要檢測(cè)的姿勢(shì)信息可對(duì)應(yīng)于用戶1的軀干的朝向。在所示出的實(shí)例中，軀干運(yùn)動(dòng)追蹤設(shè)備300包含于附接至用戶1的軀干的盒子600中。

盒子600可以是專用設(shè)備，或者可以是具有內(nèi)置陀螺儀傳感器的設(shè)備，諸如，游戲機(jī)控制器。在后者的情況下，盒子600位于顯示設(shè)備500(諸如，頭戴式顯示器)與軀干運(yùn)動(dòng)追蹤設(shè)備300之間。軀干運(yùn)動(dòng)追蹤設(shè)備300可被配置為整體包括圖像渲染設(shè)備400的功能的設(shè)備，諸如，智能手機(jī)或平板電腦終端。用戶1將軀干運(yùn)動(dòng)追蹤設(shè)備300附接至軀干的方式是可選擇的，但盒子600不必設(shè)置在它們之間?？紤]到用戶的可用性，優(yōu)選允許用戶選擇性地選擇附接有軀干運(yùn)動(dòng)追蹤設(shè)備300的位置而不是嚴(yán)格限定附接位置。作為一個(gè)實(shí)例，設(shè)想用戶將其放入口袋的狀態(tài)或者用戶將其鉤在皮帶上的狀態(tài)。除此之外，附接至用戶1的軀干的軀干運(yùn)動(dòng)追蹤設(shè)備300的數(shù)目不限于一個(gè)，但可以布置兩個(gè)或更多個(gè)設(shè)備，從而根據(jù)具有高精確度的設(shè)備的數(shù)目檢測(cè)軀干的朝向。

如上所述，經(jīng)由無(wú)線通信(諸如，藍(lán)牙(注冊(cè)商標(biāo))通信)或高速有線接口(諸如，通用串行總線(USB))在頭部運(yùn)動(dòng)追蹤設(shè)備200與圖像渲染設(shè)備400以及軀干運(yùn)動(dòng)追蹤設(shè)備300與圖像渲染設(shè)備400之間建立連接。

當(dāng)用戶觀看在顯示設(shè)備500上顯示的圖像的同時(shí)用戶1改變他的頭部或軀干的朝向。圖像渲染設(shè)備400基于由頭部運(yùn)動(dòng)追蹤設(shè)備200和軀干運(yùn)動(dòng)追蹤設(shè)備300檢測(cè)的方向生成自由視點(diǎn)圖像(free viewpoint image)，并且然后將其輸出至顯示設(shè)備500。

應(yīng)用為顯示設(shè)備500的頭戴式顯示器可被配置為所謂的沉浸(immersive)、透視、視頻透視中的任一個(gè)。

作為一個(gè)實(shí)例，沉浸頭戴式顯示器附接至用戶的頭部或面部以覆蓋用戶的眼睛，并且設(shè)置有布置為面向用戶的眼睛的顯示單元(諸如，LCD和OLED)。由于這個(gè)原因，佩帶沉浸頭戴式顯示器的用戶難以看到外面的風(fēng)景(即，現(xiàn)實(shí)世界的風(fēng)景)。換言之，只有在顯示單元上顯示的視頻圖像落在視野內(nèi)，并且因此，可以為觀看圖像的用戶提供沉浸的感覺(jué)。

透視頭戴式顯示器設(shè)置有包括半反射鏡或?qū)Ч獍宓耐该鞯奶摂M圖像光學(xué)系統(tǒng)使得虛擬圖像光學(xué)系統(tǒng)可以面向用戶的眼睛，并在虛擬圖像光學(xué)系統(tǒng)的內(nèi)部顯示圖像。因此，即使在用戶觀看在虛擬圖像光學(xué)系統(tǒng)的內(nèi)部顯示的圖像時(shí)的時(shí)間期間，佩帶透視頭戴式顯示器的用戶可通過(guò)圖像看到外面的風(fēng)景。

作為一個(gè)實(shí)例，視頻透視頭戴式顯示器附接至用戶的頭部或面部以覆蓋用戶的眼鏡，并設(shè)置有顯示單元，顯示單元布置為面向用戶的眼睛，視頻透視頭戴式顯示器與沉浸頭戴式顯示器相似。然而，視頻透視頭戴式顯示器可被配置為還包括用于捕捉周圍的風(fēng)景的圖像捕捉單元(諸如，相機(jī))，從而通過(guò)顯示單元上的圖像捕捉單元顯示沿著用戶的視線捕捉的圖像。盡管佩帶視頻透視頭戴式顯示器的用戶不能直接看到外面的風(fēng)景，但用戶可通過(guò)在顯示單元上顯示的所捕捉的圖像觀察外面的風(fēng)景。

B.自由視點(diǎn)圖像的圖像渲染處理

將描述由圖像顯示系統(tǒng)100顯示的自由視點(diǎn)圖像的圖像渲染處理。

在設(shè)置有僅安裝在用戶的頭部上的陀螺儀傳感器的頭戴式顯示器的情況下(例如，參見(jiàn)專利文獻(xiàn)2和3)，可以從頭部的位移中檢測(cè)用戶的視線，從而呈現(xiàn)追蹤用戶的頭部的移動(dòng)的自由視點(diǎn)圖像。

圖7通過(guò)流程圖示出了用于在圖像顯示系統(tǒng)100中渲染追蹤用戶頭部的移動(dòng)的自由視點(diǎn)圖像的處理過(guò)程。僅追蹤用戶頭部的移動(dòng)意味著考慮用戶頭部的姿勢(shì)，而不考慮用戶的身體。更具體地，這表示圖像渲染設(shè)備400僅從頭部運(yùn)動(dòng)追蹤設(shè)備200接收姿勢(shì)信息q^H作為輸入，但不從軀干運(yùn)動(dòng)追蹤設(shè)備300接收姿勢(shì)信息q^B。

在頭部運(yùn)動(dòng)追蹤設(shè)備200中，傳感器單元201檢測(cè)用戶頭部的姿勢(shì)(步驟S701)，并且姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶頭部的姿勢(shì)的四元數(shù)q^H執(zhí)行運(yùn)算(步驟S702)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400從頭部運(yùn)動(dòng)追蹤設(shè)備200接收表示頭部的姿勢(shì)的四元數(shù)q^H并接收用于在自由視點(diǎn)空間移動(dòng)的控制信號(hào)v(諸如，位移速度和位移量)作為輸入(步驟S703)。作為一個(gè)實(shí)例，當(dāng)生成三維圖像(諸如，游戲)時(shí)，圖像渲染設(shè)備400接收對(duì)應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號(hào)v作為輸入。通過(guò)使智能手機(jī)顯示用戶要操縱的操縱屏幕，可以接收控制信號(hào)v作為輸入。替換地，可以輸入使用安裝在外部的相機(jī)等檢測(cè)的用戶的頭部的物理位置的移動(dòng)作為控制信號(hào)v。

圖像渲染處理單元402根據(jù)所輸入的控制信號(hào)v計(jì)算自由視點(diǎn)空間中的移動(dòng)量Δ^H(步驟S704)。在該處理例程中，不使用可從軀干運(yùn)動(dòng)追蹤設(shè)備300獲得的用戶的軀干的姿勢(shì)信息，并且因此，控制信號(hào)v可僅與用戶頭部的姿勢(shì)信息q^H相關(guān)聯(lián)，并且如在以下式(2)中示出的確定移動(dòng)量Δ^H。在以下式(2)中，g是用于基于表示姿勢(shì)信息的四元數(shù)q^H從表示位移速度或位移量的控制信號(hào)v中計(jì)算自由視點(diǎn)空間中的移動(dòng)量Δ^H的函數(shù)。

[數(shù)學(xué)式2]

Δ^H＝g(v，q^H)…(2)

圖像渲染處理單元402計(jì)算通過(guò)在自由視點(diǎn)空間中沿著用戶頭部的姿勢(shì)q^H的方向(視線方向)將當(dāng)前點(diǎn)移動(dòng)移動(dòng)量Δ^H獲得的點(diǎn)p^H(步驟S705)。與用戶頭部的姿勢(shì)q^H相關(guān)聯(lián)的點(diǎn)p^H被設(shè)為新視點(diǎn)位置，從視點(diǎn)位置p^H渲染在表示為四元數(shù)q^H的視線方向看到的圖像I^H(步驟S706)，并且然后在顯示設(shè)備500上顯示所渲染的圖像作為輸出。如在以下式(3)中示出的，基于用于生成從視點(diǎn)位置p^H和視線方向q^H看到的圖像的函數(shù)f生成在這個(gè)過(guò)程中獲得的自由視點(diǎn)圖像I^H。

[數(shù)學(xué)式3]

I^H＝f(p^H，q^H)…(3)

在從檢測(cè)用戶頭部的姿勢(shì)到顯示追蹤姿勢(shì)的圖像的時(shí)間期間，存在由于各種原因引起的時(shí)間延遲，諸如，當(dāng)頭部運(yùn)動(dòng)追蹤設(shè)備200將姿勢(shì)信息發(fā)送至圖像渲染設(shè)備400時(shí)發(fā)生的發(fā)送延遲，當(dāng)圖像渲染設(shè)備400對(duì)圖像執(zhí)行渲染處理時(shí)發(fā)生的渲染延遲，以及當(dāng)顯示設(shè)備500顯示圖像渲染數(shù)據(jù)時(shí)發(fā)生的顯示延遲。如果延遲時(shí)間增加，則渲染對(duì)應(yīng)于頭部的先前姿勢(shì)的圖像。因此，圖像追蹤頭部的運(yùn)動(dòng)的身體感覺(jué)劣化，這不利地使用戶經(jīng)歷運(yùn)動(dòng)病(motion sickness，暈動(dòng)病)。因此，圖像渲染設(shè)備400可被配置為通過(guò)考慮延遲時(shí)間執(zhí)行圖像校正。作為一個(gè)實(shí)例，在轉(zhuǎn)讓給本申請(qǐng)人的PCT/2014/079205的說(shuō)明書(shū)中公開(kāi)的圖像處理技術(shù)是可適用的(圖像渲染設(shè)備400預(yù)測(cè)延遲時(shí)間并且然后在經(jīng)過(guò)延遲時(shí)間之后從所接收的姿勢(shì)角數(shù)據(jù)中預(yù)測(cè)姿勢(shì)角數(shù)據(jù)，從而在預(yù)測(cè)延遲時(shí)間中渲染圖像)。

在圖7中示出的處理過(guò)程中，圖像渲染設(shè)備400生成追蹤用戶頭部的姿勢(shì)的自由視點(diǎn)圖像I^H。然而，在僅檢測(cè)用戶頭部的姿勢(shì)同時(shí)忽視用戶的軀干的姿勢(shì)時(shí)，用戶界面(UI)處于無(wú)論軀干的朝向如何視線方向都向前的狀態(tài)或者其中通過(guò)游戲控制器確定自由視點(diǎn)空間中的移動(dòng)方向使UI不自然地偏離真實(shí)空間的狀態(tài)。換言之，在視線與軀干的前方不匹配的狀態(tài)中(例如，當(dāng)頭部與一個(gè)側(cè)面成角度的同時(shí)向前移動(dòng))，僅基于頭部檢測(cè)姿勢(shì)位移使空間移動(dòng)至軀干的前方(軀干的前向方向)，從而防止真實(shí)空間中的自然行為被表示成視頻圖像。這顯著減少了用于沉浸于視頻圖像中的感覺(jué)。

同時(shí)，在根據(jù)本實(shí)施方式的圖像顯示系統(tǒng)100中，可以基于由頭部運(yùn)動(dòng)追蹤設(shè)備200獲得的用戶頭部的姿勢(shì)信息q^H和由軀干運(yùn)動(dòng)追蹤設(shè)備300獲得的用戶的軀干的姿勢(shì)信息q^B在顯示設(shè)備500上顯示的自由視點(diǎn)空間中為用戶的視線方向和軀干朝向單獨(dú)進(jìn)行定向。

圖8示出了如何在自由視點(diǎn)空間中單獨(dú)定向用戶的視線方向和軀干朝向。如示出的，基于從頭部運(yùn)動(dòng)追蹤設(shè)備200提供的姿勢(shì)信息q^H為由參考標(biāo)號(hào)801表示的視線方向定向?；趶能|干運(yùn)動(dòng)追蹤設(shè)備300提供的姿勢(shì)信息q^B定向由參考標(biāo)號(hào)802表示的身體的朝向。當(dāng)圖像渲染設(shè)備400渲染自由視點(diǎn)圖像時(shí)，通過(guò)將身體的朝向802設(shè)置為自由視點(diǎn)空間的身體的朝向，可以獲得用戶將其識(shí)別為前方的方向。

因此，根據(jù)本實(shí)施方式的圖像顯示系統(tǒng)100允許使用自由視點(diǎn)圖像表示在視線與軀干前方不匹配(例如，在頭部與一側(cè)邊成角度時(shí)向前移動(dòng))的狀態(tài)下空間移動(dòng)至軀干前方(軀干的前向方向)的真實(shí)空間中的自然行為。防止UI處于無(wú)論軀干的朝向如何視線方向都移動(dòng)的狀態(tài)(例如，在頭部與一側(cè)面成角度時(shí)向前移動(dòng))或者其中通過(guò)游戲控制器確定自由視點(diǎn)空間中的移動(dòng)方向使UI不自然地偏離真實(shí)空間的狀態(tài)。

圖9通過(guò)流程圖示出了通過(guò)考慮圖像顯示系統(tǒng)100中的用戶的身體的姿勢(shì)和頭部的姿勢(shì)渲染自由視點(diǎn)圖像的處理過(guò)程。

在頭部運(yùn)動(dòng)追蹤設(shè)備200中，傳感器單元201檢測(cè)用戶頭部的姿勢(shì)(步驟S901)，并且姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶頭部的姿勢(shì)的四元數(shù)q^H執(zhí)行運(yùn)算(步驟S902)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運(yùn)動(dòng)追蹤設(shè)備300中，傳感器單元301檢測(cè)用戶的軀干姿勢(shì)(步驟S911)。姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶的軀干的姿勢(shì)的四元數(shù)q^B執(zhí)行運(yùn)算(步驟S912)并通過(guò)發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

然后，圖像渲染設(shè)備400從頭部運(yùn)動(dòng)追蹤設(shè)備200接收表示頭部姿勢(shì)的四元數(shù)q^H并從軀干運(yùn)動(dòng)追蹤設(shè)備300接收表示軀干姿勢(shì)的四元數(shù)q^B，并接收用于在自由視點(diǎn)空間中移動(dòng)的控制信號(hào)v(諸如，位移的速度和位移量)作為輸入(步驟S903)。作為一個(gè)實(shí)例，當(dāng)生成三維圖像(諸如，游戲)時(shí)，圖像渲染設(shè)備400接收對(duì)應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號(hào)v作為輸入。通過(guò)使智能手機(jī)顯示用戶要操作的操作屏幕，可以接收控制信號(hào)v作為輸入。替換地，可以輸入使用安裝在外部的相機(jī)等檢測(cè)的用戶的頭部的物理位置的移動(dòng)作為控制信號(hào)v。

圖像渲染處理單元402根據(jù)所輸入的控制信號(hào)v計(jì)算自由視點(diǎn)空間中的移動(dòng)量Δ^B(步驟S904)。在該處理例程中，使用可從軀干運(yùn)動(dòng)追蹤設(shè)備300獲得的用戶的軀干的姿勢(shì)信息，并且因此，控制信號(hào)v可僅與用戶的軀干的姿勢(shì)信息q^B相關(guān)聯(lián)，并且如以下式(4)中所示確定移動(dòng)量Δ^B。在以下式(4)中，g是用于基于表示姿勢(shì)信息的四元數(shù)q^B從表示位移速度或位移量的控制信號(hào)v中計(jì)算自由視點(diǎn)空間中的移動(dòng)量Δ^B的函數(shù)(同上)。

[數(shù)學(xué)式4]

Δ^B＝g(v，q^B)…(4)

圖像渲染處理單元402計(jì)算通過(guò)在自由視點(diǎn)空間中沿著用戶的軀干姿勢(shì)q^B(即，軀干的前向方向)的方向?qū)?dāng)前點(diǎn)移動(dòng)移動(dòng)量Δ^B獲得的點(diǎn)p^B(步驟S905)。與用戶的軀干姿勢(shì)信息q^B相關(guān)聯(lián)的點(diǎn)p^B被設(shè)為自由視點(diǎn)空間中的視點(diǎn)位置，從視點(diǎn)位置p^B渲染在表示為四元數(shù)q^H的視線方向看到的圖像I^B(步驟S906)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出。如在以下式(5)中示出的，基于用于生成從視點(diǎn)位置p^H和視線方向q^H(同上)看到的圖像的函數(shù)f生成在這個(gè)過(guò)程中生成的自由視點(diǎn)圖像I^H。

[數(shù)學(xué)式5]

I^B＝f(p^B，q^H)…(5)

在上述式(4)中，基于用戶的軀干姿勢(shì)信息q^B計(jì)算移動(dòng)量Δ^B。因此，在步驟S905中，相比使用基于用戶的頭部姿勢(shì)信息計(jì)算移動(dòng)量q^H的上述式(2)的情況，可以計(jì)算更加自然的移動(dòng)之后的點(diǎn)p^B。因此，在步驟S906中生成的自由視點(diǎn)圖像I^B變成UI，該UI比根據(jù)在圖7中示出的處理過(guò)程生成的自由視點(diǎn)圖像I^H更自然。換言之，在視線與軀干的前方不一致的狀態(tài)中(例如，在頭部與一側(cè)面成角度時(shí)向前移動(dòng))可以通過(guò)將空間移動(dòng)至軀干的前方(軀干的前向方向)表示真實(shí)空間中的自然行為。

同樣在圖9中示出的處理過(guò)程中，可以通過(guò)考慮在從檢測(cè)用戶的頭部和軀干姿勢(shì)到顯示圖像的時(shí)間期間出現(xiàn)的延遲時(shí)間執(zhí)行圖像渲染(同上)。

在本實(shí)施方式中，如參照?qǐng)D8描述的，基于從頭部運(yùn)動(dòng)追蹤設(shè)備200提供的姿勢(shì)信息q^H定向用戶在自由視點(diǎn)空間中的視線方向801，并且基于從軀干運(yùn)動(dòng)追蹤設(shè)備300提供的姿勢(shì)信息q^B定向用戶的身體在自由視點(diǎn)空間中的朝向802。然后，將身體的朝向802設(shè)為用戶將其識(shí)別為前方的方向。

如在圖7和以上式(2)中示出的，當(dāng)僅考慮頭部姿勢(shì)信息時(shí)，與頭部姿勢(shì)q^H(即，視線的朝向)相關(guān)聯(lián)地計(jì)算自由視點(diǎn)空間中的移動(dòng)量。在這種情況下，參照?qǐng)D8，將提供其中自由視點(diǎn)空間朝向視線方向801而不是用戶的前向方向802移動(dòng)的圖像，并且因此圖像移動(dòng)不自然。作為一個(gè)實(shí)例，使用游戲控制器的操縱桿等輸入用于指示移動(dòng)至前向方向的控制信號(hào)v。圖10示出了僅追蹤用戶頭部的移動(dòng)的自由視點(diǎn)圖像。如示出的，在用戶將他的頭部(視線方向1001)傾斜至左側(cè)的姿勢(shì)中，即使從控制器輸入指向前向方向1002的指令，在從當(dāng)前點(diǎn)沿著用戶的頭部姿勢(shì)q^H(視線方向)1001的方向移動(dòng)移動(dòng)量Δ^H的點(diǎn)處生成圖像I^H并從點(diǎn)p^H處沿視線方向q^H觀看該圖像。換言之，即使存在移動(dòng)至前向方向的指令，待生成的圖像I^H行進(jìn)至視線方向1001，并且因此圖像將不自然。

同時(shí)，如在圖9中和以上式(4)中示出的，存在通過(guò)考慮頭部和軀干姿勢(shì)信息計(jì)算自由視點(diǎn)空間中的移動(dòng)量的情況。在這種情況下，參照?qǐng)D8，基于頭部姿勢(shì)信息定向視線方向801并基于軀干姿勢(shì)信息定向自由視點(diǎn)空間中的用戶的身體朝向802。因此，可以通過(guò)將身體朝向802識(shí)別為用戶前方的位置來(lái)計(jì)算在自由視點(diǎn)空間中的移動(dòng)量。因此，可以渲染追蹤用戶的頭部和身體的移動(dòng)的自然自由視點(diǎn)圖像。作為一個(gè)實(shí)例，使用游戲控制器的操縱桿等輸入用于指示移動(dòng)至前向方向的控制信號(hào)v。

圖11示出了通過(guò)考慮用戶的頭部姿勢(shì)和身體姿勢(shì)生成的自由視點(diǎn)圖像。如示出的，在用戶將他的頭部?jī)A斜(視線方向1001)至左側(cè)的姿勢(shì)中，當(dāng)從控制器輸入指向前向方向1102的指令時(shí)，在從當(dāng)前點(diǎn)沿著用戶的軀干姿勢(shì)q^B的方向(視線方向)1102移動(dòng)移動(dòng)量Δ^B的點(diǎn)處生成圖像I^B并從點(diǎn)p^B處沿視線方向q^H觀看。換言之，生成視線方向1101的風(fēng)景行進(jìn)至前向方向1102的自然圖像I^B。

C.校準(zhǔn)

當(dāng)如上所述在自由視點(diǎn)空間中單獨(dú)定向用戶的視線方向和軀干朝向時(shí)，需要使頭部運(yùn)動(dòng)追蹤設(shè)備200檢測(cè)用戶的頭部姿勢(shì)的坐標(biāo)系與軀干運(yùn)動(dòng)追蹤設(shè)備300檢測(cè)用戶的軀干姿勢(shì)的坐標(biāo)系相關(guān)聯(lián)。

當(dāng)頭部運(yùn)動(dòng)追蹤設(shè)備200結(jié)合到用作顯示設(shè)備500的頭戴式顯示器中時(shí)，可以機(jī)械的方式大致嚴(yán)格地限定頭部運(yùn)動(dòng)追蹤設(shè)備200附接至用戶的頭部的位置。這是因?yàn)楦鶕?jù)用戶通過(guò)左眼和右眼中的每一個(gè)的圖像顯示單元觀看的事實(shí)每次佩戴時(shí)用戶都將其佩戴在基本固定的位置。

另一方面，嚴(yán)格限定以機(jī)械的方式附接至用戶的軀干的初始朝向的方法也可以考慮用于軀干運(yùn)動(dòng)追蹤設(shè)備300。然而，在使用包含于附接至用戶的軀干的盒子600中的軀干運(yùn)動(dòng)追蹤設(shè)備300的模式中(例如，參照?qǐng)D6)，難以如頭戴式顯示器一樣嚴(yán)格地限定附接位置。

考慮到用戶可用性，優(yōu)選用戶通過(guò)用戶自身的選擇來(lái)選擇軀干運(yùn)動(dòng)追蹤設(shè)備300的附接位置而不是嚴(yán)格地限定。作為一個(gè)實(shí)例，設(shè)想用戶將其放入口袋的狀態(tài)或者用戶將其鉤在皮帶上的狀態(tài)。

因此，需要通過(guò)校準(zhǔn)確定用于相互轉(zhuǎn)換頭部運(yùn)動(dòng)追蹤設(shè)備200檢測(cè)用戶的頭部姿勢(shì)的坐標(biāo)系和軀干運(yùn)動(dòng)追蹤設(shè)備300檢測(cè)用戶的軀干姿勢(shì)的坐標(biāo)系的參數(shù)。當(dāng)嚴(yán)格限定附接頭部運(yùn)動(dòng)追蹤設(shè)備200的位置時(shí)，可以校準(zhǔn)軀干運(yùn)動(dòng)追蹤設(shè)備300的初始位置。換言之，只要在用戶佩帶軀干運(yùn)動(dòng)追蹤設(shè)備300之后僅執(zhí)行一次校準(zhǔn)，用戶可以通過(guò)用戶自身的選擇確定附接軀干運(yùn)動(dòng)追蹤設(shè)備300的位置。

在用戶面向用戶頭部正前方并且身體布置在一條線上(即，直立姿勢(shì))的狀態(tài)下，通過(guò)確定頭部運(yùn)動(dòng)追蹤設(shè)備200的檢測(cè)坐標(biāo)系與軀干運(yùn)動(dòng)追蹤設(shè)備300的檢測(cè)坐標(biāo)系之間的相應(yīng)關(guān)系來(lái)執(zhí)行校準(zhǔn)。下面描述了用于執(zhí)行包括項(xiàng)(a)至(c)的校準(zhǔn)的觸發(fā)器的實(shí)例。

(a)設(shè)置在頭部運(yùn)動(dòng)追蹤設(shè)備200或軀干運(yùn)動(dòng)追蹤設(shè)備300中的觸發(fā)按鈕的用戶操作。

(b)用戶選擇通過(guò)在顯示設(shè)備500上顯示的圖形用戶界面(GUI)執(zhí)行校準(zhǔn)。

(c)用戶輸入用于頭部運(yùn)動(dòng)追蹤設(shè)備200或軀干運(yùn)動(dòng)追蹤設(shè)備300的特定輸入(例如，當(dāng)頭部豎直地?fù)u動(dòng)兩次時(shí)頭部運(yùn)動(dòng)追蹤設(shè)備200和軀干運(yùn)動(dòng)追蹤設(shè)備300的旋轉(zhuǎn)角速度同步的時(shí)刻被設(shè)置為觸發(fā)器)。

替換地，可在圖像顯示系統(tǒng)100中自動(dòng)地執(zhí)行校準(zhǔn)，而不是使用戶執(zhí)行如在以上項(xiàng)(a)至(c)中描述的校準(zhǔn)的觸發(fā)操作。

作為一個(gè)實(shí)例，在某個(gè)時(shí)段可以顯示(或者，通過(guò)聲音表示)誘導(dǎo)用戶采用直立姿勢(shì)的圖像，并且在該時(shí)段可以執(zhí)行校準(zhǔn)。

替換地，可以記錄從記錄用戶發(fā)起自由視點(diǎn)觀看的狀態(tài)起的某個(gè)時(shí)段坐標(biāo)系的旋轉(zhuǎn)位移，并且可以從坐標(biāo)系的旋轉(zhuǎn)位移的記錄數(shù)據(jù)和人體的特性確定在用戶站立的狀態(tài)下的軀干運(yùn)動(dòng)追蹤設(shè)備300的傳感器單元301的坐標(biāo)系。

圖12通過(guò)流程圖示出了在圖像顯示系統(tǒng)100中使用由校準(zhǔn)參數(shù)校正的姿勢(shì)信息來(lái)渲染自由視點(diǎn)圖像的處理過(guò)程。在執(zhí)行校準(zhǔn)之后的正常操作期間執(zhí)行所示出的處理過(guò)程。

在頭部運(yùn)動(dòng)追蹤設(shè)備200中，傳感器單元201檢測(cè)用戶頭部的姿勢(shì)(步驟S1201)，并且姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶頭部的姿勢(shì)的四元數(shù)q^H執(zhí)行運(yùn)算(步驟S1202)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運(yùn)動(dòng)追蹤設(shè)備300中，傳感器單元301檢測(cè)用戶的軀干姿勢(shì)(步驟S1211)。姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶的軀干的姿勢(shì)的四元數(shù)q^B執(zhí)行運(yùn)算(步驟S1212)并通過(guò)發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400從頭部運(yùn)動(dòng)追蹤設(shè)備200接收表示頭部姿勢(shì)的四元數(shù)q^H并且從軀干運(yùn)動(dòng)追蹤設(shè)備300接收表示軀干姿勢(shì)的四元數(shù)q^B。然后，獲得校準(zhǔn)四元數(shù)q作為校準(zhǔn)參數(shù)(步驟S1221)。然后，使用校準(zhǔn)參數(shù)q校正表示軀干姿勢(shì)的四元數(shù)q^B，并且獲得校正的四元數(shù)q′^B(步驟S1213)。

校準(zhǔn)四元數(shù)q是用于相互轉(zhuǎn)換頭部運(yùn)動(dòng)追蹤設(shè)備200檢測(cè)用戶的頭部姿勢(shì)的坐標(biāo)系和軀干運(yùn)動(dòng)追蹤設(shè)備300檢測(cè)用戶的軀干姿勢(shì)的坐標(biāo)系并通過(guò)校正確定的參數(shù)。當(dāng)使用四元數(shù)表示姿勢(shì)信息時(shí)，用于對(duì)其進(jìn)行校正的校準(zhǔn)參數(shù)是用四元數(shù)形式表示的校準(zhǔn)四元數(shù)。在步驟S1213中，通過(guò)根據(jù)以下式(6)從左側(cè)乘以校準(zhǔn)四元數(shù)q來(lái)校正表示軀干姿勢(shì)的四元數(shù)q^B。

[數(shù)學(xué)式6]

q′^B＝qq^B…(6)

然后，圖像渲染設(shè)備400接收用于在自由視點(diǎn)空間中移動(dòng)的控制信號(hào)v(諸如，位移速度和位移量)作為輸入(步驟S1203)。作為一個(gè)實(shí)例，當(dāng)生成三維圖像(諸如，游戲)時(shí)，圖像渲染設(shè)備400接收對(duì)應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號(hào)v作為輸入。通過(guò)使智能手機(jī)顯示用戶要操作的操作屏幕，可以接收控制信號(hào)v作為輸入。替換地，可以輸入使用安裝在外部的相機(jī)等檢測(cè)的用戶的頭部的物理位置的移動(dòng)作為控制信號(hào)v。

圖像渲染處理單元402根據(jù)所輸入的控制信號(hào)v計(jì)算自由視點(diǎn)空間中的移動(dòng)量Δ^B(步驟S1204)。在該處理例程中，使用可從軀干運(yùn)動(dòng)追蹤設(shè)備300獲得的用戶的軀干的姿勢(shì)信息，并且因此，控制信號(hào)v可與用戶的軀干的校正姿勢(shì)信息q’^B相關(guān)聯(lián)，并且如以下式(7)中所示確定移動(dòng)量Δ^B。在以下式(7)中，g是用于基于表示姿勢(shì)信息的校正四元數(shù)q’^B從表示位移速度或位移量的控制信號(hào)v計(jì)算自由視點(diǎn)空間中的移動(dòng)量Δ^B的函數(shù)(同上)。

[數(shù)學(xué)式7]

Δ^B＝g(v，q′^B)…(7)

圖像渲染處理單元402計(jì)算通過(guò)在自由視點(diǎn)空間中沿著用戶的軀干姿勢(shì)q^B(即，軀干的前向方向)的方向?qū)?dāng)前點(diǎn)移動(dòng)移動(dòng)量Δ^B獲得的點(diǎn)p^B(步驟S1205)。與用戶的軀干姿勢(shì)信息q^B相關(guān)聯(lián)的點(diǎn)p^B被設(shè)為自由視點(diǎn)空間中的視點(diǎn)位置，從視點(diǎn)位置p^B渲染在表示為四元數(shù)q^H的視線方向看到的圖像I^B(步驟S1206)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出。如在以上式(5)中示出的，基于用于生成從視點(diǎn)位置p^H和視線方向q^H(同上)看到的圖像的函數(shù)f生成在這個(gè)過(guò)程中生成的自由視點(diǎn)圖像I^H。

同樣在圖12中示出的處理過(guò)程中，可以通過(guò)考慮在從檢測(cè)用戶的頭部和軀干姿勢(shì)到顯示圖像的時(shí)間期間出現(xiàn)的延遲時(shí)間執(zhí)行圖像渲染(同上)。

圖13通過(guò)流程圖示出了在圖像顯示系統(tǒng)100中使用由校準(zhǔn)參數(shù)校正的姿勢(shì)信息渲染自由視點(diǎn)圖像的另一處理過(guò)程。在所示出的處理過(guò)程中，根據(jù)如在以上項(xiàng)(a)至(c)中描述的明確操作執(zhí)行校準(zhǔn)。

在頭部運(yùn)動(dòng)追蹤設(shè)備200中，傳感器單元201檢測(cè)用戶頭部的姿勢(shì)(步驟S1301)，并且姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶頭部的姿勢(shì)的四元數(shù)q^H執(zhí)行運(yùn)算(步驟S1302)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運(yùn)動(dòng)追蹤設(shè)備300中，傳感器單元301檢測(cè)用戶的軀干姿勢(shì)(步驟S1311)。姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶的軀干的姿勢(shì)的四元數(shù)q^B執(zhí)行運(yùn)算(步驟S1312)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400使用以下式(8)從表示用戶的頭部姿勢(shì)的從頭部運(yùn)動(dòng)追蹤設(shè)備200發(fā)送的四元數(shù)q^H和從軀干運(yùn)動(dòng)追蹤設(shè)備300發(fā)送的表示用戶的軀干姿勢(shì)的四元數(shù)q^B計(jì)算校準(zhǔn)四元數(shù)q(步驟S1321)，并將其暫時(shí)存儲(chǔ)。在以下式(8)中，“q^B-1”的上標(biāo)“-1”表示四元數(shù)“q^B”的倒數(shù)(inverse)(以下同樣)。

[數(shù)學(xué)式8]

q＝q^Hq^B-1…(8)

然后，圖像渲染設(shè)備400根據(jù)以上式(6)通過(guò)從左側(cè)乘以校準(zhǔn)四元數(shù)q來(lái)校正表示軀干姿勢(shì)的四元數(shù)(步驟S1313)。

接下來(lái)，圖像渲染設(shè)備400接收用于在自由視點(diǎn)空間中移動(dòng)的控制信號(hào)v(諸如，位移速度和位移量)作為輸入(步驟S1303)。作為一個(gè)實(shí)例，當(dāng)生成三維圖像(諸如，游戲)時(shí)，圖像渲染設(shè)備400接收對(duì)應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號(hào)v作為輸入。通過(guò)使智能手機(jī)顯示用戶要操作的操作屏幕，可以接收控制信號(hào)v作為輸入。替換地，可以輸入使用安裝在外部的相機(jī)等檢測(cè)的用戶的頭部的物理位置的移動(dòng)作為控制信號(hào)v。

圖像渲染處理單元402由控制信號(hào)v計(jì)算在自由視點(diǎn)空間中的移動(dòng)量Δ^B(步驟S1304)。在該處理例程中，使用可從軀干運(yùn)動(dòng)追蹤設(shè)備300獲得的用戶軀干的姿勢(shì)信息使得可以使控制信號(hào)v與用戶的軀干的校正姿勢(shì)信息q′^B相關(guān)聯(lián)，從而根據(jù)以上式(7)確定移動(dòng)量Δ^B。

圖像渲染處理單元402計(jì)算通過(guò)在自由視點(diǎn)空間中沿著用戶的軀干姿勢(shì)q^B的方向(即，軀干的前向方向)將當(dāng)前點(diǎn)移動(dòng)移動(dòng)量Δ^B獲得的點(diǎn)p^B(步驟S1305)。與用戶的軀干姿勢(shì)信息q^B相關(guān)聯(lián)的點(diǎn)p^B被設(shè)為自由視點(diǎn)空間中的視點(diǎn)位置，從視點(diǎn)位置p^B渲染在表示為四元數(shù)q^H的視線方向看到的圖像I^B(步驟S1306)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出。如在以上式(5)中示出的，基于用于生成從視點(diǎn)位置p^H和視線方向q^H(同上)看到的圖像的函數(shù)f生成在這個(gè)過(guò)程中生成的自由視點(diǎn)圖像I^H。

同樣在圖13中示出的處理過(guò)程中，可以通過(guò)考慮在從檢測(cè)用戶的頭部和軀干姿勢(shì)到顯示圖像的時(shí)間期間出現(xiàn)的延遲時(shí)間執(zhí)行圖像渲染(同上)。

圖14通過(guò)流程圖示出了在圖像顯示系統(tǒng)100中使用由校準(zhǔn)參數(shù)校正的姿勢(shì)信息渲染自由視點(diǎn)圖像的又一處理過(guò)程。在所示出的處理過(guò)程中，基于某個(gè)時(shí)段的坐標(biāo)系的旋轉(zhuǎn)位移和人體的特性自動(dòng)執(zhí)行校準(zhǔn)。

在頭部運(yùn)動(dòng)追蹤設(shè)備200中，傳感器單元201檢測(cè)用戶頭部的姿勢(shì)(步驟S1401)，并且姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶頭部的姿勢(shì)的四元數(shù)q^H執(zhí)行運(yùn)算(步驟S1402)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運(yùn)動(dòng)追蹤設(shè)備300中，傳感器單元301檢測(cè)用戶的軀干姿勢(shì)(步驟S1411)。姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶的軀干的姿勢(shì)的四元數(shù)q^B執(zhí)行運(yùn)算(步驟S1412)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400基于某個(gè)時(shí)段的坐標(biāo)系的旋轉(zhuǎn)位移和人體的特性估計(jì)校準(zhǔn)四元數(shù)q(步驟S1421)。在這個(gè)過(guò)程中，一直而不是僅在特定時(shí)間點(diǎn)執(zhí)行校準(zhǔn)四元數(shù)q的估計(jì)。下面將更詳細(xì)地描述在步驟S1421中估計(jì)校準(zhǔn)四元數(shù)q的方法。

然后，圖像渲染設(shè)備400根據(jù)以上式(6)通過(guò)從左側(cè)乘以校準(zhǔn)四元數(shù)q來(lái)校正表示軀干姿勢(shì)的四元數(shù)q^B(步驟S1413)。

接下來(lái)，圖像渲染設(shè)備400接收用于在自由視點(diǎn)空間中移動(dòng)的控制信號(hào)v(諸如，位移速度和位移量)作為輸入(步驟S1403)。作為一個(gè)實(shí)例，當(dāng)生成三維圖像(諸如，游戲)時(shí)，圖像渲染設(shè)備400接收對(duì)應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號(hào)v作為輸入。通過(guò)使智能手機(jī)顯示用戶要操作的操作屏幕，可以接收控制信號(hào)v作為輸入。替換地，可以輸入使用安裝在外部的相機(jī)等檢測(cè)的用戶的頭部的物理位置的移動(dòng)作為控制信號(hào)v。

圖像渲染處理單元402由控制信號(hào)v計(jì)算在自由視點(diǎn)空間中的移動(dòng)量Δ^B(步驟S1404)。在該處理例程中，使用可從軀干運(yùn)動(dòng)追蹤設(shè)備300獲得的用戶軀干的姿勢(shì)信息使得可以使控制信號(hào)v與用戶的軀干的校正姿勢(shì)信息q′^B相關(guān)聯(lián)，從而根據(jù)以上式(7)確定移動(dòng)量Δ^B(同上)。

圖像渲染處理單元402計(jì)算通過(guò)在自由視點(diǎn)空間中沿著用戶的軀干姿勢(shì)q^B的方向(即，軀干的前向方向)將當(dāng)前點(diǎn)移動(dòng)移動(dòng)量Δ^B獲得的點(diǎn)p^B(步驟S1405)。與用戶的軀干姿勢(shì)信息q^B相關(guān)聯(lián)的點(diǎn)p^B被設(shè)為自由視點(diǎn)空間中的視點(diǎn)位置，從視點(diǎn)位置p^B渲染沿表示為四元數(shù)q^H的視線方向看到的圖像I^B(步驟S1406)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出。如在以上式(5)中示出的，基于用于生成從視點(diǎn)位置p^H和視線方向q^H(同上)看到的圖像的函數(shù)f生成在這個(gè)過(guò)程中生成的自由視點(diǎn)圖像I^H。

同樣在圖14中示出的處理過(guò)程中，可以通過(guò)考慮在從檢測(cè)用戶的頭部和軀干姿勢(shì)到顯示圖像的時(shí)間期間出現(xiàn)的延遲時(shí)間執(zhí)行圖像渲染(同上)。

圖15通過(guò)流程圖示出了在圖14中示出的流程圖的步驟S1421中執(zhí)行的自動(dòng)校準(zhǔn)的處理過(guò)程。在所示出的處理過(guò)程中，基于某個(gè)時(shí)段的坐標(biāo)系的旋轉(zhuǎn)位移和人體的特性估計(jì)校準(zhǔn)四元數(shù)q。盡管可在圖像顯示系統(tǒng)100的設(shè)備200至500中的任何一個(gè)中執(zhí)行這個(gè)處理過(guò)程，但假定在圖像渲染設(shè)備400中執(zhí)行處理過(guò)程為方便起見(jiàn)將進(jìn)行描述。

圖像渲染設(shè)備400接收從頭部運(yùn)動(dòng)追蹤設(shè)備200發(fā)送的表示用戶的頭部姿勢(shì)的四元數(shù)q^H作為常數(shù)輸入以及從軀干運(yùn)動(dòng)追蹤設(shè)備300發(fā)送的表示用戶的軀干姿勢(shì)的四元數(shù)q^B作為時(shí)間序列數(shù)據(jù)(步驟S1501)。

根據(jù)以下式(9)，基于由頭部運(yùn)動(dòng)追蹤設(shè)備200和軀干運(yùn)動(dòng)追蹤設(shè)備300中的每一個(gè)重新檢測(cè)的姿勢(shì)信息的四元數(shù)，計(jì)算新校準(zhǔn)四元數(shù)q′并依次進(jìn)行記錄(步驟S1502)。

[數(shù)學(xué)式9]

q′＝q^Hq^B-1…(9)

由在用戶面向用戶頭部的正前方并且軀干布置成一直線(即，直立姿勢(shì))的時(shí)刻檢測(cè)的四元數(shù)q^H和q^B計(jì)算的四元數(shù)q′是合適的校準(zhǔn)四元數(shù)。因此，在該處理過(guò)程中，基于當(dāng)長(zhǎng)時(shí)間測(cè)量用戶的頭部和軀干姿勢(shì)時(shí)平均說(shuō)來(lái)用戶經(jīng)常面向頭部的正前方并且身體布置成一直線的假設(shè)，通過(guò)采用在步驟S1502中記錄的校準(zhǔn)四元數(shù)q′的時(shí)間序列平均值計(jì)算最后校準(zhǔn)四元數(shù)q(步驟S1503)，并輸出(S1504)。

與根據(jù)在圖13中示出的明確操作執(zhí)行校準(zhǔn)的情況不同，在圖15中示出的處理過(guò)程中，校準(zhǔn)四元數(shù)q不是固定值而是會(huì)隨時(shí)發(fā)生變化，并且可以除去傳感器單元201或301的干擾因素，諸如站著或坐著的用戶。

在步驟S1502中，通過(guò)求取校準(zhǔn)四元數(shù)q′的時(shí)間序列的平均值更新最終校準(zhǔn)四元數(shù)，內(nèi)插更新前(pre-updated)的校準(zhǔn)四元數(shù)q_prev和新計(jì)算的校準(zhǔn)四元數(shù)q′以確定更新的校準(zhǔn)四元數(shù)q_updated。

表示姿勢(shì)的四元數(shù)被描述為三維球體上的一點(diǎn)。因此，如在以下式(10)和圖22中示出的，通過(guò)球面線性內(nèi)插(Slerp)更新的校準(zhǔn)四元數(shù)q_updated可以用于對(duì)四元數(shù)q_prev與q′之間的三維球體執(zhí)行線性內(nèi)插。

[數(shù)學(xué)式10]

在以上式(10)中，通過(guò)用權(quán)重(1-δ)加權(quán)的更新前的校準(zhǔn)四元數(shù)q_prev和用δ加權(quán)的新的計(jì)算值q′的加權(quán)平均值確定更新的校準(zhǔn)四元數(shù)q_updated(內(nèi)插(interpolation)而不是外插(extrapolation，外推))。作為一個(gè)實(shí)例，權(quán)重系數(shù)δ＝0.01。首先，用權(quán)重1更新四元數(shù)q_updated。因此，當(dāng)用戶在啟動(dòng)的時(shí)候采用正確姿勢(shì)時(shí)(頭部面向正前方并且身體成一條線)，不久達(dá)到收斂。

Slerp的運(yùn)算僅定義為二元關(guān)系，如在以上式(10)中示出的。因此，不適合同時(shí)用大量四元數(shù)計(jì)算平均值(如上所述，四元數(shù)的順序更新q_updated是可以的)。為了解決這個(gè)問(wèn)題(即，為了同時(shí)用大量四元數(shù)計(jì)算平均值)，考慮對(duì)數(shù)空間中的算術(shù)平均值。利用單位向量u，表示繞u旋轉(zhuǎn)的角度θ的四元數(shù)q可表示為如在以下式(11)中示出的。采用這個(gè)對(duì)數(shù)，得出以下式(12)。

[數(shù)學(xué)式11]

[數(shù)學(xué)式12]

因此，通過(guò)對(duì)數(shù)變換將校準(zhǔn)四元數(shù){q′}的時(shí)間序列映射到三維空間以計(jì)算代表值(諸如，算術(shù)平均值)，并且然后可以通過(guò)如在以下式(13)中示出的指數(shù)轉(zhuǎn)換設(shè)置回四元數(shù)。當(dāng)計(jì)算算術(shù)平均值時(shí)，可視情況執(zhí)行所需過(guò)程，諸如，去除異常值。

[數(shù)學(xué)式13]

圖16通過(guò)流程圖示出了在圖14中示出的流程圖的步驟S1421中執(zhí)行的自動(dòng)校準(zhǔn)的另一處理過(guò)程。在所示出的處理過(guò)程中，基于某個(gè)時(shí)段的坐標(biāo)系的旋轉(zhuǎn)位移和人體的特性估計(jì)校準(zhǔn)參數(shù)q?？深A(yù)見(jiàn)用戶的頭部和軀干姿勢(shì)在作為共用軸線的重力方向上的情況，并且假設(shè)傳感器單元201和301具有檢測(cè)重力方向并執(zhí)行自動(dòng)校準(zhǔn)的功能。盡管可在圖像顯示系統(tǒng)100的設(shè)備200至500中的任何一個(gè)中執(zhí)行這個(gè)處理過(guò)程，但假定在圖像渲染設(shè)備400中執(zhí)行處理過(guò)程為方便起見(jiàn)將進(jìn)行描述。

圖像渲染設(shè)備400接收從頭部運(yùn)動(dòng)追蹤設(shè)備200發(fā)送的表示用戶的頭部姿勢(shì)的四元數(shù)q^H作為常數(shù)輸入并接收從軀干運(yùn)動(dòng)追蹤設(shè)備300發(fā)送的表示用戶的軀干姿勢(shì)的四元數(shù)q^B作為時(shí)間序列數(shù)據(jù)(步驟S1601)。

用戶的頭部和軀干姿勢(shì)在作為共用軸線的重力方向上，并且坐標(biāo)系的偏差僅累加成θ的一個(gè)參數(shù)。因此，當(dāng)重力方向被設(shè)為旋轉(zhuǎn)軸線時(shí)，計(jì)算并依次進(jìn)行記錄表示用戶的頭部姿勢(shì)的四元數(shù)q^H和表示用戶的軀干姿勢(shì)的四元數(shù)q^B的旋轉(zhuǎn)方向的角度差θ(t)(步驟S1602)。

然后，計(jì)算角度差θ(t)的平均值，并且估計(jì)計(jì)算結(jié)果作為在頭部運(yùn)動(dòng)追蹤設(shè)備200的傳感器單元201和軀干運(yùn)動(dòng)追蹤設(shè)備300的傳感器單元301所附接的位置的偏差量(步驟S1603)。

因此，基于重力方向和角度差θ(t)的平均值計(jì)算校準(zhǔn)四元數(shù)q(步驟S1604)，并輸出(步驟S1605)。

在步驟S1604中，假設(shè)計(jì)算用于將用戶的軀干姿勢(shì)的四元數(shù)q^B轉(zhuǎn)換成與頭部姿勢(shì)的四元數(shù)q^H相同的坐標(biāo)系的表示的校準(zhǔn)四元數(shù)。

在圖16中示出的處理過(guò)程中，校準(zhǔn)四元數(shù)q不是固定值而是會(huì)隨時(shí)發(fā)生變化，并且可以去除傳感器單元201或301的干擾因素(諸如，站著或坐著的用戶)(同上)。

在步驟S1603中，除了計(jì)算角度差θ(t)的簡(jiǎn)單平均之外，可以采用以下項(xiàng)(d)至(g)的任意計(jì)算方法。

(d)頻率分布的中值

(e)去除異常值之后的平均值

(f)用于確定材料的速度和加速度數(shù)據(jù)的組合

(g)用于確定材料的頭部旋轉(zhuǎn)的極限值的組合

在項(xiàng)(f)中描述的“用于確定材料的速度和加速度數(shù)據(jù)的組合”僅使用在自由視點(diǎn)空間中以某個(gè)范圍的速度和加速度執(zhí)行移動(dòng)時(shí)的數(shù)據(jù)。當(dāng)長(zhǎng)時(shí)間保持靜止?fàn)顟B(tài)時(shí)，不包含于樣本。

在項(xiàng)(g)中描述了“用于確定材料的頭部旋轉(zhuǎn)的極限值的組合”，僅使用在范圍[θ_max-θ_th,θ_min+θ_th]內(nèi)的數(shù)據(jù)計(jì)算角度差θ(t)的平均值，其中，極限值θ_th暫時(shí)被設(shè)為120度，測(cè)量數(shù)據(jù)中的角度差的最大值被設(shè)為θ_max并且最小值被設(shè)為θ_min。

D.生物安全支持

在由顯示設(shè)備500(諸如，頭戴式顯示器)呈現(xiàn)的自由視點(diǎn)空間中，當(dāng)用戶試圖通過(guò)從初始位置移動(dòng)固定點(diǎn)超過(guò)90度而往回看時(shí)，用戶可以采用以下(A)和(B)兩種類型的運(yùn)動(dòng)。

(A)僅轉(zhuǎn)動(dòng)頭部90度

(B)轉(zhuǎn)動(dòng)整個(gè)軀干90度

當(dāng)僅通過(guò)檢測(cè)用戶的頭部姿勢(shì)渲染自由視點(diǎn)圖像時(shí)，用戶不能確定是否執(zhí)行以上項(xiàng)(A)和(B)的運(yùn)動(dòng)中的任一個(gè)。運(yùn)動(dòng)(A)是不自然的姿勢(shì)，并且因此擔(dān)心影響人體，從而導(dǎo)致生產(chǎn)安全性問(wèn)題。

同時(shí)，在根據(jù)本實(shí)施方式的圖像顯示系統(tǒng)100中，除了通過(guò)頭部運(yùn)動(dòng)追蹤設(shè)備200得到的用戶的頭部的姿勢(shì)信息q^H之外，可使用通過(guò)軀干運(yùn)動(dòng)追蹤設(shè)備300得到的用戶的軀干的姿勢(shì)信息q^B。因此，用戶可以確定所執(zhí)行的運(yùn)動(dòng)是項(xiàng)(A)還是(B)。因此，可以引入用于基于通過(guò)確定運(yùn)動(dòng)得出的結(jié)果來(lái)減少或避免由于自由視點(diǎn)觀看引起的頭部的不自然的觀看姿勢(shì)的機(jī)構(gòu)。

作為一個(gè)實(shí)例，用于減少或避免用戶不自然的觀看姿勢(shì)的第一方法可以包括顯示圖像以將用戶的頭部返回到正常位置。如果由用戶的頭部和軀干的姿勢(shì)信息q^H和q^B確定某個(gè)時(shí)段保持伴有用戶的不自然的姿勢(shì)的運(yùn)動(dòng)(A)(諸如，極度地扭轉(zhuǎn)頭部或軀干)的狀態(tài)，以低速無(wú)意識(shí)地顯示用戶的頭部朝向軀干的前向方向返回到初始位置的圖像。圖17示出了如何移動(dòng)自由視點(diǎn)圖像使得可以通過(guò)在圖像中移動(dòng)固定點(diǎn)1701而使用戶的視線方向1702朝向軀干的前向方向回到初始位置。

在圖9、圖12、圖13、以及圖14中示出的處理過(guò)程中，渲染通過(guò)將分別通過(guò)頭部運(yùn)動(dòng)追蹤設(shè)備200和軀干運(yùn)動(dòng)追蹤設(shè)備300實(shí)際上檢測(cè)的頭部姿勢(shì)q^H和軀干姿勢(shì)q^B沒(méi)有任何修改地映射至自由視點(diǎn)空間的世界坐標(biāo)系得到的自由視點(diǎn)圖像。同時(shí)，在減少或避免用戶的不自然的觀看姿勢(shì)的第一方法中，如果在用戶觀看自由視點(diǎn)圖像時(shí)用戶的姿勢(shì)不自然(頭部相對(duì)于軀干扭曲)，則對(duì)自由視點(diǎn)空間的世界坐標(biāo)系進(jìn)行校正使得自由視點(diǎn)空間中的頭部姿勢(shì)q^H*與軀干姿勢(shì)q^B*之間的差異可以減小，從而提示甚至在真實(shí)空間中要減小用戶的頭部姿勢(shì)q^H與軀干姿勢(shì)q^B之間的差異。

作為減少或避免用戶的不自然的觀看姿勢(shì)的第二方法可以包括自動(dòng)取消追蹤頭部的移動(dòng)(頭部追蹤)。如果確定在某個(gè)時(shí)段保持伴有用戶的不自然的姿勢(shì)的運(yùn)動(dòng)(A)的狀態(tài)，則自動(dòng)取消追蹤頭部的移動(dòng)(頭部追蹤)并且使用戶的頭部利用在前方顯示的固定點(diǎn)朝向軀干的前向方向返回到初始位置，從而重新執(zhí)行坐標(biāo)對(duì)準(zhǔn)?？梢酝ㄟ^(guò)用戶的主動(dòng)操作(諸如，按壓按鈕)取消頭部追蹤而不是自動(dòng)取消。

在減少或避免用戶的不自然的觀看姿勢(shì)的第二方法中，當(dāng)指示取消頭部追蹤時(shí)通過(guò)在自由視點(diǎn)空間中固定頭部姿勢(shì)而保持在前方顯示固定點(diǎn)。然后，在取消頭部追蹤的期間，根據(jù)由頭部運(yùn)動(dòng)追蹤設(shè)備200檢測(cè)的頭部姿勢(shì)q^H引起自由視點(diǎn)空間中的軀干姿勢(shì)發(fā)生改變(即，用戶移動(dòng)脖子相同的量)。這提示用戶的頭部朝向軀干的前向方向回到初始姿勢(shì)。

圖18通過(guò)流程圖示出了用于渲染自由視點(diǎn)圖像的處理過(guò)程，其包括使用第一方法減少或避免用戶的不自然的觀看姿勢(shì)的過(guò)程。通過(guò)校正自由視點(diǎn)空間的世界坐標(biāo)系執(zhí)行這個(gè)過(guò)程。盡管在圖18中未示出，表示世界坐標(biāo)系的校正的四元數(shù)q^W的初始值被設(shè)為單位四元數(shù)。

在頭部運(yùn)動(dòng)追蹤設(shè)備200中，傳感器單元201檢測(cè)用戶頭部的姿勢(shì)(步驟S1801)，并且姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶頭部的姿勢(shì)的四元數(shù)q^H執(zhí)行運(yùn)算(步驟S1802)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運(yùn)動(dòng)追蹤設(shè)備300中，傳感器單元301檢測(cè)用戶的軀干姿勢(shì)(步驟S1811)。姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶的軀干的姿勢(shì)的四元數(shù)q^B執(zhí)行運(yùn)算(步驟S1812)并通過(guò)發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400從頭部運(yùn)動(dòng)追蹤設(shè)備200接收表示頭部姿勢(shì)的四元數(shù)q^H并且從軀干運(yùn)動(dòng)追蹤設(shè)備300接收表示軀干姿勢(shì)的四元數(shù)q^B。然后，獲得校準(zhǔn)四元數(shù)q作為校準(zhǔn)參數(shù)(步驟S1821)。然后，使用校準(zhǔn)參數(shù)q校正表示軀干姿勢(shì)的四元數(shù)q^B，并且獲得校正的四元數(shù)q′^B(步驟S1813)。

校準(zhǔn)四元數(shù)q是用于相互轉(zhuǎn)換頭部運(yùn)動(dòng)追蹤設(shè)備200檢測(cè)用戶的頭部姿勢(shì)的坐標(biāo)系和軀干運(yùn)動(dòng)追蹤設(shè)備300檢測(cè)用戶的軀干姿勢(shì)的坐標(biāo)系的參數(shù)(如上所述)。獲得校準(zhǔn)四元數(shù)q的方法是可選擇的。在步驟S1813中，通過(guò)根據(jù)以上式(6)從左邊乘以校準(zhǔn)四元數(shù)q校正表示軀干姿勢(shì)的四元數(shù)q^B。

然后，基于從頭部運(yùn)動(dòng)追蹤設(shè)備200接收的頭部姿勢(shì)四元數(shù)q^H和校正后的軀干姿勢(shì)四元數(shù)q′^B執(zhí)行圖像顯示系統(tǒng)100是否處于生物安全支持模式的模式確定(步驟S1831)。模式確定的方法是可選擇的。作為一個(gè)實(shí)例，根據(jù)如下所述的條件(C1)至(C3)執(zhí)行模式確定。

(C1)在初始狀態(tài)下關(guān)掉生物安全支持模式。

(C2)當(dāng)在關(guān)掉生物安全支持模式的狀態(tài)下用戶的頭部與軀干姿勢(shì)之間的差異ψ超過(guò)第一閾值ψ_th1的狀態(tài)持續(xù)一定時(shí)間時(shí)，開(kāi)啟生物安全支持模式。

(C3)當(dāng)在開(kāi)啟生物安全支持模式的狀態(tài)下用戶的頭部與軀干姿勢(shì)之間的差異ψ降到第二閾值ψ_th2以下時(shí)，關(guān)掉生物安全支持模式。

在這點(diǎn)上，在以上條件(C2)中，可通過(guò)以下式(14)使用頭部姿勢(shì)四元數(shù)q^H和校正后的軀干姿勢(shì)四元數(shù)q′^B計(jì)算用戶的頭部與軀干姿勢(shì)之間的差異ψ。

[數(shù)學(xué)式14]

ψ＝||q^Hq′^B-1||...(14)

通過(guò)將通過(guò)以上式(14)計(jì)算的頭部與軀干姿勢(shì)之間的差異ψ與閾值ψ_th2和ψ_th2中的每一個(gè)進(jìn)行比較可以確定是否設(shè)置生物安全支持模式。然而，根據(jù)以上條件(C1)至(C3)，當(dāng)用戶處于不舒服的姿勢(shì)可以主動(dòng)(或手動(dòng))執(zhí)行生物安全支持模式的開(kāi)/關(guān)之間的轉(zhuǎn)換，而不是生物安全支持模式的開(kāi)/關(guān)之間的自動(dòng)轉(zhuǎn)換。

然后，在生物安全支持模式下(在步驟S1831中為是)，對(duì)自由視點(diǎn)空間中的世界坐標(biāo)系進(jìn)行校正使得自由視點(diǎn)空間中的頭部姿勢(shì)與軀干姿勢(shì)之間的差異可以減少(步驟S1832)。如果未處于生物安全支持模式中(在步驟S1831中為否)，則跳過(guò)世界坐標(biāo)系的校正處理。

在步驟S1832中執(zhí)行的世界坐標(biāo)系的校正對(duì)應(yīng)于通過(guò)逐漸旋轉(zhuǎn)世界坐標(biāo)系使頭部姿勢(shì)接近軀干姿勢(shì)的操作。如在以下式(15)中示出的，當(dāng)表示世界坐標(biāo)系的校正的四元數(shù)是q^W時(shí)，通過(guò)從左側(cè)乘以接近軀干姿勢(shì)的四元數(shù)δ來(lái)更新世界坐標(biāo)系的校正四元數(shù)q^W。世界坐標(biāo)系的校正四元數(shù)q^W的初始值是單位四元數(shù)(如上所述)。

[數(shù)學(xué)式15]

q^W＝δq^W…(15)

如在以下式(16)中示出的，逐漸接近軀干姿勢(shì)的四元數(shù)δ是通過(guò)將表示頭部姿勢(shì)與軀干姿勢(shì)之間的差異的四元數(shù)劃分成n得出的四元數(shù)。在此，n是允許用戶不費(fèi)事地(或無(wú)意識(shí)地)觀察的劃分的數(shù)目。替換地，如在以下式(17)中示出的，逐漸接近軀干姿勢(shì)的四元數(shù)δ是通過(guò)將通過(guò)標(biāo)準(zhǔn)化頭部姿勢(shì)與軀干姿勢(shì)之間的差異得出的四元數(shù)乘以小標(biāo)量ε得出的四元數(shù)。

[數(shù)學(xué)式16]

[數(shù)學(xué)式17]

當(dāng)使用以上式(16)校正世界坐標(biāo)系時(shí)，每當(dāng)它出現(xiàn)時(shí)校正量都發(fā)生變化。因此，如果改變大，可能會(huì)被觀察為不自然的移動(dòng)。同時(shí)，當(dāng)使用以上式(17)校正世界坐標(biāo)系時(shí)，可使每當(dāng)出現(xiàn)時(shí)校正量恒定。

然后，通過(guò)將在步驟S1802中計(jì)算的頭部姿勢(shì)的四元數(shù)q^H和在步驟S1813中校正的軀干姿勢(shì)的四元數(shù)q′^B中的每一個(gè)從左側(cè)乘以四元數(shù)q^W來(lái)執(zhí)行在自由視點(diǎn)空間中的頭部姿勢(shì)q^H*和軀干姿勢(shì)q′^B*中的每一個(gè)的校正(步驟S1833和S1834)，并且通過(guò)逐漸旋轉(zhuǎn)世界坐標(biāo)系執(zhí)行使頭部姿勢(shì)接近軀干姿勢(shì)的操作。

圖像渲染設(shè)備400接收用于在自由視點(diǎn)空間中移動(dòng)的控制信號(hào)v(諸如，位移速度和位移量)作為輸入(步驟S1803)。作為一個(gè)實(shí)例，當(dāng)生成三維圖像(諸如，游戲)時(shí)，圖像渲染設(shè)備400接收對(duì)應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號(hào)v作為輸入。通過(guò)使智能手機(jī)顯示用戶要操作的操作屏幕，可以接收控制信號(hào)v作為輸入。替換地，可以輸入使用安裝在外部的相機(jī)等檢測(cè)的用戶的頭部的物理位置的移動(dòng)作為控制信號(hào)v。

然后，在圖像渲染處理單元402中，基于通過(guò)用四元數(shù)q^W校正世界坐標(biāo)系得出的自由視點(diǎn)空間中的軀干姿勢(shì)q′^B*，使用以下式(18)計(jì)算對(duì)應(yīng)于所輸入的控制信號(hào)v的移動(dòng)量Δ^B*(步驟S1804)。在以下式(18)中，g是用于基于表示姿勢(shì)信息的校正四元數(shù)q′^B*由表示位移速度和位移量的控制信號(hào)v計(jì)算自由視點(diǎn)空間中的移動(dòng)量Δ^B*的函數(shù)(同上)。

[數(shù)學(xué)式18]

Δ^B*＝g(v，q′^B*)…(18)

然后，圖像渲染處理單元402計(jì)算通過(guò)在自由視點(diǎn)空間中沿著用戶的軀干姿勢(shì)q^B的方向(即，軀干的前向方向)將當(dāng)前點(diǎn)移動(dòng)移動(dòng)量Δ^B*獲得的點(diǎn)p^B*(步驟S1805)。與校正后的用戶的軀干姿勢(shì)信息q^B*相關(guān)聯(lián)的點(diǎn)p^B*被設(shè)為自由視點(diǎn)空間中的視點(diǎn)位置，從視點(diǎn)位置p^B*渲染在表示為頭部姿勢(shì)的校正后的四元數(shù)q^H*的視線方向看到的圖像I^B*(步驟S1806)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出?；谟糜谏蓮囊朁c(diǎn)位置p^B*和視線方向q^H*看到的圖像的函數(shù)f生成在這個(gè)過(guò)程中生成的自由視點(diǎn)圖像I^B*(同上)。

同樣在圖18中示出的處理過(guò)程中，可以通過(guò)考慮在從檢測(cè)用戶的頭部和軀干姿勢(shì)到顯示圖像的時(shí)間期間出現(xiàn)的延遲時(shí)間執(zhí)行圖像渲染(同上)。

圖19和圖20通過(guò)流程圖示出了用于渲染自由視點(diǎn)圖像的處理過(guò)程，其包括使用第一方法減少或避免用戶的不自然的觀看姿勢(shì)的過(guò)程。通過(guò)校正自由視點(diǎn)空間的世界坐標(biāo)系執(zhí)行這個(gè)過(guò)程。盡管在圖19和圖20中未示出，但表示世界坐標(biāo)系的校正的四元數(shù)q^W的初始值被設(shè)為單位四元數(shù)。

在頭部運(yùn)動(dòng)追蹤設(shè)備200中，傳感器單元201檢測(cè)用戶頭部的姿勢(shì)(步驟S1901)，并且姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶頭部的姿勢(shì)的四元數(shù)q^H執(zhí)行操作(步驟S1902)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運(yùn)動(dòng)追蹤設(shè)備300中，傳感器單元301檢測(cè)用戶的軀干姿勢(shì)(步驟S1911)。姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶的軀干的姿勢(shì)的四元數(shù)q^B執(zhí)行運(yùn)算(步驟S1912)并通過(guò)發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

圖像渲染設(shè)備400從頭部運(yùn)動(dòng)追蹤設(shè)備200接收表示頭部姿勢(shì)的四元數(shù)q^H并且從軀干運(yùn)動(dòng)追蹤設(shè)備300接收表示軀干姿勢(shì)的四元數(shù)q^B。然后，獲得校準(zhǔn)四元數(shù)q作為校準(zhǔn)參數(shù)(步驟S1921)。然后，使用校準(zhǔn)參數(shù)q校正表示軀干姿勢(shì)的四元數(shù)q^B，并且獲得軀干姿勢(shì)的校正后的四元數(shù)q′^B(步驟S1913)。

校準(zhǔn)四元數(shù)q是用于相互轉(zhuǎn)換頭部運(yùn)動(dòng)追蹤設(shè)備200檢測(cè)用戶的頭部姿勢(shì)的坐標(biāo)系和軀干運(yùn)動(dòng)追蹤設(shè)備300檢測(cè)用戶的軀干姿勢(shì)的坐標(biāo)系的參數(shù)(如上所述)。獲得校準(zhǔn)四元數(shù)q的方法是可選擇的。在步驟S1913中，通過(guò)根據(jù)以上式(6)從左側(cè)乘以校準(zhǔn)四元數(shù)q來(lái)校正表示軀干姿勢(shì)的四元數(shù)q^B。

然后，確定圖像顯示系統(tǒng)100是否處于生物安全支持模式(步驟S1941)。作為一個(gè)實(shí)例，通過(guò)判斷根據(jù)以上式(14)計(jì)算的頭部和軀干姿勢(shì)之間的差異ψ是否超過(guò)預(yù)定閥值可以自動(dòng)執(zhí)行確定是否設(shè)置生物安全支持模式。替換地，可以由判斷是否指示取消頭部追蹤的用戶主動(dòng)執(zhí)行這個(gè)確定(或者，通過(guò)手動(dòng)，諸如，按壓按鈕)。

如果設(shè)置生物安全支持模式(在步驟S1941中為是)，進(jìn)一步檢查當(dāng)前時(shí)間是否是設(shè)置生物安全支持模式的時(shí)刻(步驟S1942)，然后在設(shè)置模式的時(shí)刻的用戶的頭部姿勢(shì)q^H被保存為q^H0(步驟S1943)。

然后，在生物安全支持模式期間，通過(guò)用q^H0替換重新檢測(cè)并計(jì)算的頭部姿勢(shì)的四元數(shù)q^H來(lái)固定自由視點(diǎn)空間中的頭部姿勢(shì)，從而防止在渲染時(shí)執(zhí)行頭部追蹤。通過(guò)替換根據(jù)以下式(19)在步驟S1913中校正的軀干姿勢(shì)的q′^B，自由視點(diǎn)空間中的軀干姿勢(shì)q′^B可以改變通過(guò)由頭部運(yùn)動(dòng)追蹤設(shè)備200檢測(cè)的頭部姿勢(shì)q^H改變的量(步驟S1944)。更具體地，通過(guò)將軀干姿勢(shì)q′^B從左側(cè)乘以當(dāng)前頭部姿勢(shì)的四元數(shù)q^H的倒數(shù)和在取消頭部追蹤的時(shí)刻頭部姿勢(shì)的四元數(shù)q^H0(按以上順序)，使用軀干姿勢(shì)補(bǔ)償頭部姿勢(shì)上的改變。

[數(shù)學(xué)式19]

另一方面，如果沒(méi)有設(shè)置生物安全支持模式(在步驟S1941中為否)，確定這個(gè)時(shí)間是否是釋放生物安全支持模式的時(shí)刻(步驟S1945)。然后，如果這個(gè)時(shí)間是釋放生物安全支持模式的時(shí)刻(在步驟S1945中為是)，則使用以下式(20)更新用于校正世界坐標(biāo)系的四元數(shù)以補(bǔ)償在生物安全支持模式期間頭部姿勢(shì)實(shí)際上的改變(步驟S1946)。更具體地，通過(guò)將四元數(shù)q^W從左側(cè)乘以當(dāng)前頭部姿勢(shì)的四元數(shù)q^H的倒數(shù)和在取消頭部追蹤的時(shí)刻頭部姿勢(shì)的四元數(shù)q^H0(按以上順序)，使用軀干姿勢(shì)補(bǔ)償頭部姿勢(shì)上的改變。

[數(shù)學(xué)式20]

q^W＝q^Wq^H0q^H-1…(20)

然后，通過(guò)將頭部姿勢(shì)的四元數(shù)q^H和軀干姿勢(shì)的四元數(shù)q′^B中的每一個(gè)從左側(cè)乘以四元數(shù)q^W執(zhí)行自由視點(diǎn)空間中的頭部姿勢(shì)q^H*和軀干姿勢(shì)q′^B*中的每一個(gè)的校正(步驟S1947和S1948)，并且通過(guò)逐漸旋轉(zhuǎn)世界坐標(biāo)系執(zhí)行使頭部姿勢(shì)接近軀干姿勢(shì)的操作。

圖像渲染設(shè)備400接收用于在自由視點(diǎn)空間中移動(dòng)的控制信號(hào)v(諸如，位移速度和位移量)作為輸入(步驟S1903)。作為一個(gè)實(shí)例，當(dāng)生成三維圖像(諸如，游戲)時(shí)，圖像渲染設(shè)備400接收對(duì)應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號(hào)v作為輸入。通過(guò)使智能手機(jī)顯示用戶要操作的操作屏幕，可以接收控制信號(hào)v作為輸入。替換地，可以輸入使用安裝在外部的相機(jī)等檢測(cè)的用戶的頭部的物理位置的移動(dòng)作為控制信號(hào)v。

然后，在圖像渲染處理單元402中，基于通過(guò)用四元數(shù)q^W校正世界坐標(biāo)系得出的自由視點(diǎn)空間中的軀干姿勢(shì)q′^B*，使用以上式(18)計(jì)算對(duì)應(yīng)于所輸入的控制信號(hào)v的移動(dòng)量Δ^B*(步驟S1904)。

圖像渲染處理單元402計(jì)算通過(guò)在自由視點(diǎn)空間中沿著用戶的軀干姿勢(shì)q^B的方向(即，軀干的前向方向)將當(dāng)前點(diǎn)移動(dòng)移動(dòng)量Δ^B*獲得的點(diǎn)p^B*(步驟S1905)。與校正后的用戶的軀干姿勢(shì)信息q^B*相關(guān)聯(lián)的點(diǎn)p^B*被設(shè)為自由視點(diǎn)空間中的視點(diǎn)位置，從視點(diǎn)位置p^B*渲染在表示為頭部姿勢(shì)的校正后的四元數(shù)q^H*的視線方向看到的圖像I^B*(步驟S1906)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出?；谟糜谏蓮囊朁c(diǎn)位置p^B*和視線方向q^H*看到的圖像的函數(shù)f生成在這個(gè)過(guò)程中生成的自由視點(diǎn)圖像I^B*(同上)。

同樣在圖19和圖20中示出的處理過(guò)程中，可以通過(guò)考慮在從檢測(cè)用戶的頭部和軀干姿勢(shì)到顯示圖像的時(shí)間期間出現(xiàn)的延遲時(shí)間執(zhí)行圖像渲染(同上)。

以這種方式，在根據(jù)本實(shí)施方式的圖像顯示系統(tǒng)100中，除了由頭部運(yùn)動(dòng)追蹤設(shè)備200得到的用戶的頭部姿勢(shì)信息q^H之外，可以使用由軀干運(yùn)動(dòng)追蹤設(shè)備300得到的用戶的軀干姿勢(shì)信息q^B。因此，可以減少或避免由于自由視點(diǎn)觀看引起的頭部的不自然的觀看姿勢(shì)。

E.自由視點(diǎn)圖像的元信息的顯示

除了現(xiàn)有的TV廣播之外，自由視點(diǎn)圖像內(nèi)容的實(shí)例可以包括由安置在移動(dòng)設(shè)備(諸如，汽車)和無(wú)線電控制中的廣角相機(jī)捕捉的圖像和第一人稱視點(diǎn)的游戲圖像。

用戶有時(shí)想要指的是與正在觀看的自由視點(diǎn)圖像內(nèi)容有關(guān)的元信息。本文中所指的元信息的實(shí)例可包括與內(nèi)容播放位置或剩余播放時(shí)間有關(guān)的信息，與指示其在虛擬空間中自身的當(dāng)前位置的地圖或坐標(biāo)有關(guān)的信息，以及在游戲中操縱的人物的狀態(tài)(例如，在戰(zhàn)斗游戲中，疲勞或損傷程度、武器或彈藥的剩余數(shù)量、迄今進(jìn)行的破壞、分?jǐn)?shù)等)。

觀看自由視點(diǎn)圖像的用戶的視野與外部世界隔絕或者用戶沉浸于虛擬世界中。因此，用戶有時(shí)想要指的是真實(shí)世界信息而不是如上所述的元信息。真實(shí)世界信息的實(shí)例可包括當(dāng)前時(shí)間或其他環(huán)境信息、電子郵件或電話呼叫通知等。

用戶可以通過(guò)在自由視點(diǎn)圖像中用在其上描述的這樣的內(nèi)容元信息或真實(shí)世界信息顯示用戶界面組件而在不妨礙觀看自由視點(diǎn)圖像的情況下檢查期望元信息或真實(shí)世界信息。

當(dāng)通過(guò)僅考慮用戶的頭部姿勢(shì)布置這樣的UI控件時(shí)，即，當(dāng)UI控件布置在基于頭部姿勢(shì)定向的固定位置中時(shí)，自由視點(diǎn)圖像追蹤用戶的頭部姿勢(shì)，即，視線方向，并且繼續(xù)在同一地方顯示UI控件。

當(dāng)始終在同一地方顯示UI控件時(shí)，用戶可以在觀看期間在任何時(shí)間檢查元信息或真實(shí)世界信息。自由視點(diǎn)圖像隨著頭部姿勢(shì)的移動(dòng)而改變，但始終在同一地方的UI控件的布置是反常的，這會(huì)導(dǎo)致顯著削弱真實(shí)或沉浸的感覺(jué)。與自由視點(diǎn)圖像有關(guān)的信息通常將位于布置UI控件的地點(diǎn)，從而使用戶感覺(jué)觀看或播放游戲困難。有時(shí)，存在用戶不想看元信息或真實(shí)世界信息的時(shí)域，并且用戶從UI控件的顯示中可以感覺(jué)到繁重。

圖25和圖26示出了當(dāng)UI控件布置在基于從頭部運(yùn)動(dòng)追蹤設(shè)備200獲得的用戶的頭部姿勢(shì)定向的固定位置中時(shí)的自由視點(diǎn)圖像的顯示實(shí)例。

在圖25中示出的實(shí)例中，用戶的頭部面向前方，并且UI控件布置在用戶的頭部的前向方向上，如由參考標(biāo)號(hào)2501表示的。因此，在這種情況下，如由參考標(biāo)號(hào)2502表示的，UI控件投影到自由視點(diǎn)圖像2500上。

在圖26中示出的實(shí)例中，用戶鞠躬且他的頭部朝下。在這種情況下，UI控件布置在用戶的頭部的前向方向上，如由參考標(biāo)號(hào)2601表示。因此，同樣在這種情況下，UI控件被投影到自由視點(diǎn)圖像2600上，如由參考標(biāo)號(hào)2602表示。換言之，無(wú)論用戶的頭部姿勢(shì)怎樣，UI控件一直存在于自由視點(diǎn)圖像中。

圖27和圖28示出了當(dāng)UI控件布置在基于從頭部運(yùn)動(dòng)追蹤設(shè)備200獲得的用戶的頭部姿勢(shì)定向的固定位置中時(shí)的自由視點(diǎn)圖像的另一顯示實(shí)例。

在圖27中示出的實(shí)例中，用戶的頭部面向前方，并且UI控件布置在如由參考標(biāo)號(hào)2701表示的用戶的頭部的前向方向上。因此，在這種情況下，UI控件投影到自由視點(diǎn)圖像2700上，如由參考標(biāo)號(hào)2702表示的。

在圖28中示出的實(shí)例中，用戶向左轉(zhuǎn)彎并且頭朝向左邊。在這種情況下，UI控件如由參考標(biāo)號(hào)2801表示的布置在用戶的頭部的前向方向上。因此，在這種情況下，UI控件如由參考標(biāo)號(hào)2802表示的被投影到自由視點(diǎn)圖像2800上。換言之，無(wú)論用戶的頭部姿勢(shì)怎樣，UI控件一直存在于自由視點(diǎn)圖像中。

另一方面，圖29和圖30示出了當(dāng)UI控件布置在基于從軀干運(yùn)動(dòng)追蹤設(shè)備300獲得的用戶的軀干姿勢(shì)定向的固定位置中時(shí)自由視點(diǎn)圖像的顯示實(shí)例。

在圖29中示出的實(shí)例中，用戶的頭部面向前方，但UI控件布置在用戶的軀干的前向方向上，如由參考標(biāo)號(hào)2901表示的。因此，在這種情況下，自由視點(diǎn)圖像2600中不存在UI控件。

在圖30中示出的實(shí)例中，用戶鞠躬且他的頭部向下轉(zhuǎn)。在這種情況下，UI控件如由參考標(biāo)號(hào)3001表示的布置在用戶的軀干的前向方向上。因此，用戶的頭向下轉(zhuǎn)使得UI控件能夠顯示在自由視點(diǎn)圖像3000上，如由參考標(biāo)號(hào)3002表示的。

換言之，盡管在用戶將他的頭向前轉(zhuǎn)的正常的姿勢(shì)中UI控件隱藏，但可以通過(guò)向下轉(zhuǎn)動(dòng)頭使UI控件在自由視點(diǎn)圖像中顯示。三維UI控件可以通過(guò)根據(jù)用戶的頭部姿勢(shì)校正基于用戶面向前方的軀干姿勢(shì)定向在固定位置的UI控件的姿勢(shì)而布置在自由視點(diǎn)圖像中。

另一方面，圖31和圖32示出了當(dāng)UI控件布置在基于從軀干運(yùn)動(dòng)追蹤設(shè)備300獲得的用戶的軀干姿勢(shì)定向的固定位置中時(shí)自由視點(diǎn)圖像的另一顯示實(shí)例。

在圖31中示出的實(shí)例中，用戶的頭部面向前方，但UI控件布置在用戶的軀干的左側(cè)方向上，如由參考標(biāo)號(hào)3101表示的。因此，在這種情況下，自由視點(diǎn)圖像3100中不存在UI控件。

在圖32中示出的實(shí)例中，用戶向左轉(zhuǎn)彎并且頭朝向左邊。在這種情況下，UI控件如由參考標(biāo)號(hào)3201表示的布置在用戶的軀干的左側(cè)方向上。因此，用戶的頭向左轉(zhuǎn)使得UI控件能夠顯示在自由視點(diǎn)圖像3200上，如由參考標(biāo)號(hào)3202表示的。

換言之，盡管在用戶將他的頭向前轉(zhuǎn)的正常的姿勢(shì)中UI控件隱藏，但可以通過(guò)向左轉(zhuǎn)動(dòng)頭使UI控件顯示在自由視點(diǎn)圖像中。三維UI控件可以通過(guò)根據(jù)用戶的頭部姿勢(shì)校正基于用戶面向前方的軀干姿勢(shì)定向在固定位置的UI控件的姿勢(shì)而布置在自由視點(diǎn)圖像中。

圖23通過(guò)流程圖示出了其中UI控件布置在基于用戶的軀干姿勢(shì)定向的固定位置中的自由視點(diǎn)圖像的圖像渲染處理的過(guò)程。

在頭部運(yùn)動(dòng)追蹤設(shè)備200中，傳感器單元201檢測(cè)用戶頭部的姿勢(shì)(步驟S2301)，并且姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶頭部的姿勢(shì)的四元數(shù)q^H執(zhí)行運(yùn)算(步驟S2302)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運(yùn)動(dòng)追蹤設(shè)備300中，傳感器單元301檢測(cè)用戶的軀干姿勢(shì)(步驟S2311)。姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶的軀干的姿勢(shì)的四元數(shù)q^B執(zhí)行運(yùn)算(步驟S2312)并通過(guò)發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

然后，如果圖像渲染設(shè)備400接收上述內(nèi)容元信息或真實(shí)世界信息作為輸入(步驟S2321)，表示所輸入的信息的UI控件布置在基于表示用戶的軀干姿勢(shì)的四元數(shù)q^B定向在用戶軀干坐標(biāo)系上的固定位置中(步驟S2313)。然后，圖像渲染處理單元402基于表示用戶的頭部姿勢(shì)的四元數(shù)q^H將布置在用戶軀干坐標(biāo)系上的UI控件的位置和姿勢(shì)轉(zhuǎn)換成頭部坐標(biāo)系上的位置和姿勢(shì)(步驟S2314)。

當(dāng)將用戶軀干坐標(biāo)系中的第i個(gè)UI控件的位置設(shè)為p_i，并將其姿勢(shì)設(shè)為q_i時(shí)，可以根據(jù)以下式(21)和(22)將位置和姿勢(shì)轉(zhuǎn)換成用戶頭部坐標(biāo)系中的位置p′_i和姿勢(shì)q′_i。

[數(shù)學(xué)式21]

p′_i＝p_i+p^BH…(21)

[數(shù)學(xué)式22]

q′_i＝q^Bq^H-1q_i…(22)

在以上式(21)中，p^BH是如從用戶頭部坐標(biāo)系的原點(diǎn)看到的用戶軀干坐標(biāo)系的原點(diǎn)位置。如果可以獲得頭部或軀干的位置信息(以及姿勢(shì)信息)，實(shí)際測(cè)量值可以用于p^BH。作為一個(gè)實(shí)例，通過(guò)使用日本成年男性的平均值，p^BH可以參數(shù)化，諸如，p^BH＝(0m、0m、-0.75m)等。

在以上式(22)中，通過(guò)將表示用戶的軀干姿勢(shì)的四元數(shù)q^B從右側(cè)乘以表示頭部姿勢(shì)的四元數(shù)q^H的倒數(shù)得出右側(cè)中的q^Bq^H-1，并且是用于將軀干坐標(biāo)系中的物體(UI控件)的姿勢(shì)轉(zhuǎn)換成頭部坐標(biāo)系中的姿勢(shì)的四元數(shù)。

然后，圖像渲染處理單元402渲染其中在由四元數(shù)q^H表示的視線方向上觀看布置有UI控件的自由視點(diǎn)的圖像(步驟S2315)，并且然后渲染的圖像顯示在顯示設(shè)備500上作為輸出。

同樣在圖23中示出的處理過(guò)程中，可以通過(guò)考慮在從檢測(cè)用戶的頭部和軀干姿勢(shì)到顯示圖像的時(shí)間期間出現(xiàn)的延遲時(shí)間執(zhí)行圖像渲染(同上)。

盡管在圖23中示出的流程圖中未示出，通過(guò)采用在以上項(xiàng)C中描述的校準(zhǔn)處理，可以執(zhí)行由頭部運(yùn)動(dòng)追蹤設(shè)備200檢測(cè)的用戶的頭部姿勢(shì)的坐標(biāo)系與由軀干運(yùn)動(dòng)追蹤設(shè)備300檢測(cè)的用戶的軀干姿勢(shì)的坐標(biāo)系之間的關(guān)聯(lián)。

圖24通過(guò)流程圖示出了用于渲染其中UI控件布置在基于用戶的軀干姿勢(shì)定向的固定位置中的自由視點(diǎn)圖像的處理過(guò)程的另一實(shí)例。圖24中示出的處理過(guò)程與圖23中示出的處理過(guò)程的不同之處在于基于用戶的軀干姿勢(shì)控制自由視點(diǎn)中的用戶的視點(diǎn)位置。

在頭部運(yùn)動(dòng)追蹤設(shè)備200中，傳感器單元201檢測(cè)用戶頭部的姿勢(shì)(步驟S2401)，并且姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶頭部的姿勢(shì)的四元數(shù)q^H執(zhí)行運(yùn)算(步驟S2402)并通過(guò)發(fā)送器203將其發(fā)送至圖像渲染設(shè)備400。

在軀干運(yùn)動(dòng)追蹤設(shè)備300中，傳感器單元301檢測(cè)用戶的軀干姿勢(shì)(步驟S2411)。姿勢(shì)角度操作單元202基于檢測(cè)結(jié)果對(duì)表示用戶的軀干的姿勢(shì)的四元數(shù)q^B執(zhí)行運(yùn)算(步驟S2412)并通過(guò)發(fā)送器303將其發(fā)送至圖像渲染設(shè)備400。

然后，如果圖像渲染設(shè)備400接收上述內(nèi)容元信息或真實(shí)世界信息作為輸入(步驟S2421)，則表示所輸入的信息的UI控件布置在基于表示用戶的軀干姿勢(shì)的四元數(shù)q^B定向在用戶軀干坐標(biāo)系上的固定位置中(步驟S2413)。然后，圖像渲染處理單元402根據(jù)以上式(21)和(22)基于表示用戶的頭部姿勢(shì)的四元數(shù)q^H將布置在用戶軀干坐標(biāo)系上的UI控件的位置和姿勢(shì)轉(zhuǎn)換成頭部坐標(biāo)系上的位置和姿勢(shì)(步驟S2414)。

圖像渲染設(shè)備400接收用于在自由視點(diǎn)空間中移動(dòng)的控制信號(hào)v(諸如，位移速度和位移量)作為輸入(步驟S2431)。作為一個(gè)實(shí)例，當(dāng)生成三維圖像(諸如，游戲)時(shí)，圖像渲染設(shè)備400接收對(duì)應(yīng)于游戲控制器的操縱桿等的操縱變量的控制信號(hào)v作為輸入。通過(guò)使智能手機(jī)顯示用戶要操作的操作屏幕，可以接收控制信號(hào)v作為輸入。替換地，可以輸入使用安裝在外部的相機(jī)等檢測(cè)的用戶的頭部的物理位置的移動(dòng)作為控制信號(hào)v。

圖像渲染處理單元402根據(jù)所輸入的控制信號(hào)v計(jì)算自由視點(diǎn)空間中的移動(dòng)量Δ^B(步驟S2432)。在該處理例程中，使用可從軀干運(yùn)動(dòng)追蹤設(shè)備300獲得的用戶的軀干的姿勢(shì)信息，并且因此，控制信號(hào)v可與用戶的軀干的姿勢(shì)信息q^B相關(guān)聯(lián)，并且如以上式(4)中所示確定移動(dòng)量Δ^B。

圖像渲染處理單元402計(jì)算通過(guò)在自由視點(diǎn)空間中沿著用戶的軀干姿勢(shì)q^B的方向(即，軀干的前向方向)將當(dāng)前點(diǎn)移動(dòng)移動(dòng)量Δ^B獲得的點(diǎn)p^B(步驟S2433)。

與用戶的軀干姿勢(shì)信息q^B相關(guān)聯(lián)的點(diǎn)p^B被設(shè)為自由視點(diǎn)空間中的視點(diǎn)位置，從視點(diǎn)位置p^B渲染在表示為頭部姿勢(shì)的四元數(shù)q^H的視線方向看到的圖像(步驟S2415)，并且然后在顯示設(shè)備500上顯示渲染的圖像作為輸出。

同樣在圖24中示出的處理過(guò)程中，可以通過(guò)考慮在從檢測(cè)用戶的頭部和軀干姿勢(shì)到顯示圖像的時(shí)間期間出現(xiàn)的延遲時(shí)間執(zhí)行圖像渲染(同上)。

盡管在圖24中示出的流程圖中未示出，通過(guò)采用在以上項(xiàng)C中描述的校準(zhǔn)處理，可以執(zhí)行由頭部運(yùn)動(dòng)追蹤設(shè)備200檢測(cè)的用戶的頭部姿勢(shì)的坐標(biāo)系與由軀干運(yùn)動(dòng)追蹤設(shè)備300檢測(cè)的用戶的軀干姿勢(shì)的坐標(biāo)系之間的關(guān)聯(lián)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：特開(kāi)2012-141461號(hào)公報(bào)

專利文獻(xiàn)2：特開(kāi)平9-106322號(hào)公報(bào)

專利文獻(xiàn)3：特開(kāi)2010-256534號(hào)公報(bào)

工業(yè)實(shí)用性

因此上文參照具體實(shí)施方式詳細(xì)地描述了本說(shuō)明書(shū)中公開(kāi)的技術(shù)。然而，對(duì)本領(lǐng)域中的技術(shù)人員顯而易見(jiàn)的是，在不偏離在本說(shuō)明書(shū)中公開(kāi)的精神的前提下，可以對(duì)這些實(shí)施方式進(jìn)行修改和替換。

盡管本文中已主要描述了用于實(shí)現(xiàn)自由視點(diǎn)觀看和具有頭戴式顯示器的視點(diǎn)移動(dòng)的環(huán)境的實(shí)施方式，但本文中描述的技術(shù)可應(yīng)用于其他使用案例。作為一個(gè)實(shí)例，坐在大屏幕顯示器(諸如，電視或投影儀)的前方玩游戲的用戶可佩帶頭部運(yùn)動(dòng)追蹤設(shè)備200和軀干運(yùn)動(dòng)追蹤設(shè)備300，從而在電視的游戲屏幕中實(shí)現(xiàn)自由視點(diǎn)觀看和視點(diǎn)移動(dòng)的環(huán)境。

本文中描述的技術(shù)可應(yīng)用于任何類型的沉浸、透視、視頻透視頭戴式顯示器。本文中描述的技術(shù)可應(yīng)用于任何類型的雙眼和單眼頭戴式顯示器。

基本上，已通過(guò)舉例的方式描述了本說(shuō)明書(shū)中公開(kāi)的技術(shù)，并且本說(shuō)明書(shū)陳述的內(nèi)容不應(yīng)當(dāng)被解釋為限制性的。應(yīng)當(dāng)考慮到權(quán)利要求確定本說(shuō)明書(shū)中公開(kāi)的技術(shù)的精神。

此外，還可以如下配置本技術(shù)。

(1)

一種信息處理裝置，包括：

接收器，被配置為接收關(guān)于觀察者的頭部的姿勢(shì)的第一信息和關(guān)于觀察者的除頭部以外的身體的姿勢(shì)的第二信息；以及

圖像渲染處理單元，被配置為基于第一信息和第二信息生成對(duì)應(yīng)于觀察者的姿勢(shì)的顯示圖像。

(2)

根據(jù)(1)所述的信息處理裝置，

其中，接收器接收至少觀察者的軀干的姿勢(shì)作為第二信息，并且

圖像渲染處理單元通過(guò)基于第一信息在自由視點(diǎn)空間中定向觀察者的視線方向并通過(guò)基于從第二信息獲得的觀察者的軀干的姿勢(shì)在自由視點(diǎn)空間中定向觀察者的身體的朝向(視點(diǎn)位置)，來(lái)生成追蹤觀察者的頭部的姿勢(shì)的自由視點(diǎn)圖像。

(3)

根據(jù)(2)所述的信息處理裝置，

其中，當(dāng)接收用于指示觀察者在自由視點(diǎn)空間中移動(dòng)的控制信號(hào)作為輸入時(shí)，圖像渲染處理單元通過(guò)將基于從第二信息獲得的觀察者的軀干的姿勢(shì)定向的身體的朝向識(shí)別為前向方向，來(lái)確定移動(dòng)之后的點(diǎn)(視點(diǎn)位置)。

(4)

根據(jù)(1)所述的信息處理裝置，

其中，圖像渲染處理單元通過(guò)基于第一信息在自由視點(diǎn)空間中定向觀察者的視線方向并通過(guò)布置在基于從第二信息獲得的姿勢(shì)定向的固定位置中，來(lái)生成追蹤觀察者的頭部的姿勢(shì)的自由視點(diǎn)圖像。

(5)

根據(jù)(1)所述的信息處理裝置，

其中，接收器接收至少觀察者的軀干的姿勢(shì)作為第二信息，并且

圖像渲染處理單元通過(guò)基于第一信息在自由視點(diǎn)空間中定向觀察者的視線方向、通過(guò)基于從第二信息獲得的觀察者的軀干的姿勢(shì)在自由視點(diǎn)空間中定向觀察者的身體的朝向(視點(diǎn)位置)、并通過(guò)將預(yù)定圖像控件布置在基于觀察者的軀干的姿勢(shì)定向的固定位置中，來(lái)生成追蹤觀察者的頭部的姿勢(shì)的自由視點(diǎn)圖像。

(5-1)

根據(jù)(4)和(5)中任一項(xiàng)所述的信息處理裝置，

其中圖像渲染處理單元布置包括與自由視點(diǎn)圖像有關(guān)的原信息的圖像控件。

(6)

根據(jù)(1)至(5)中任一項(xiàng)所述的信息處理裝置，進(jìn)一步包括：

校準(zhǔn)處理單元，被配置為獲得校準(zhǔn)參數(shù)，

其中，圖像渲染處理單元使用通過(guò)校準(zhǔn)參數(shù)校正的姿勢(shì)信息執(zhí)行圖像生成。

(7)

根據(jù)(6)所述的信息處理裝置，

其中，校準(zhǔn)處理單元基于從第一信息獲得的頭部姿勢(shì)信息和從第二信息獲得的第二姿勢(shì)信息計(jì)算用于校正第二姿勢(shì)信息的校準(zhǔn)參數(shù)并且使用校準(zhǔn)參數(shù)校正第二姿勢(shì)信息。

(8)

根據(jù)(7)所述的信息處理裝置，

其中，校準(zhǔn)處理單元通過(guò)使用頭部姿勢(shì)信息和第二姿勢(shì)信息計(jì)算用于將第二姿勢(shì)信息與頭部姿勢(shì)信息匹配的姿勢(shì)轉(zhuǎn)換參數(shù)作為校準(zhǔn)參數(shù)。

(9)

根據(jù)(7)所述的信息處理裝置，

其中，由四元數(shù)表示姿勢(shì)信息，

校準(zhǔn)處理單元通過(guò)將頭部姿勢(shì)信息從右側(cè)乘以第二姿勢(shì)信息的四元數(shù)的倒數(shù)計(jì)算用于校正第二姿勢(shì)信息的校準(zhǔn)四元數(shù)，并且

通過(guò)將第二姿勢(shì)信息的四元數(shù)從左側(cè)乘以校準(zhǔn)四元數(shù)執(zhí)行校正。

(10)

根據(jù)(6)所述的信息處理裝置，

其中，校準(zhǔn)處理單元基于從第一信息獲得的頭部姿勢(shì)的坐標(biāo)系和從第二信息獲得的姿勢(shì)的坐標(biāo)系的某個(gè)時(shí)段的旋轉(zhuǎn)位移以及人體的特性估計(jì)用于校正第二姿勢(shì)信息的校準(zhǔn)參數(shù)。

(11)

根據(jù)(6)所述的信息處理裝置，

其中，校準(zhǔn)處理單元將基于從第一信息獲得的頭部姿勢(shì)信息和從第二信息獲得的第二姿勢(shì)信息計(jì)算的某個(gè)時(shí)段的校準(zhǔn)參數(shù)的時(shí)間序列平均值設(shè)置為最終校準(zhǔn)參數(shù)。

(12)

根據(jù)(11)所述的信息處理裝置，

其中，由四元數(shù)表示姿勢(shì)信息，并且

校準(zhǔn)處理單元通過(guò)在基于從重新接收的第一信息和第二信息中的每一個(gè)獲得的姿勢(shì)信息的四元數(shù)重新計(jì)算的校準(zhǔn)四元數(shù)與由時(shí)間序列平均值確定的最后校準(zhǔn)四元數(shù)之間執(zhí)行球面線性內(nèi)插，來(lái)更新校準(zhǔn)四元數(shù)。

(12-1)

根據(jù)(11)所述的圖像顯示設(shè)備，

其中校準(zhǔn)處理單元通過(guò)對(duì)數(shù)轉(zhuǎn)換將校準(zhǔn)四元數(shù)的時(shí)間序列映射到三維空間上、計(jì)算包括算術(shù)平均值的代表值、并且然后通過(guò)指數(shù)轉(zhuǎn)換將所得出的值返回至四元數(shù)。

(13)

根據(jù)(11)所述的信息處理裝置，

其中，基于第二信息計(jì)算觀察者的軀干的姿勢(shì)，并且

當(dāng)重力方向被設(shè)為旋轉(zhuǎn)軸線時(shí)，校準(zhǔn)處理單元確定分別從重新接收的第一信息和第二信息獲得的頭部和軀干的姿勢(shì)信息的旋轉(zhuǎn)方向的角度差的平均值、并計(jì)算重力方向上的校準(zhǔn)參數(shù)和平均值。

(14)

根據(jù)(1)所述的信息處理裝置，

其中，圖像渲染處理單元基于從第一信息獲得的頭部姿勢(shì)與從第二信息獲得的軀干姿勢(shì)之間的差異處理顯示單元上的顯示圖像。

(15)

根據(jù)(2)和(3)中任一項(xiàng)所述的信息處理裝置，

其中，圖像渲染處理單元通過(guò)在生物安全支持模式下以自由視點(diǎn)空間中的頭部姿勢(shì)與軀干姿勢(shì)之間的差異減少的方式校正世界坐標(biāo)系，來(lái)生成自由視點(diǎn)圖像。

(16)

根據(jù)(2)和(3)中任一項(xiàng)所述的信息處理裝置，

其中，圖像渲染處理單元通過(guò)在設(shè)置生物安全支持模式時(shí)的時(shí)間點(diǎn)在自由視點(diǎn)空間中固定頭部姿勢(shì)并通過(guò)在生物安全支持模式下根據(jù)由頭部姿勢(shì)檢測(cè)單元檢測(cè)的頭部姿勢(shì)在自由視點(diǎn)空間中改變軀干姿勢(shì)，來(lái)生成自由視點(diǎn)圖像。

(17)

根據(jù)(15)和(16)中任一項(xiàng)所述的信息處理裝置，

其中，當(dāng)從第一信息獲得的頭部姿勢(shì)與從第二信息獲得的軀干姿勢(shì)之間的差異超過(guò)第一閾值的狀態(tài)持續(xù)一定時(shí)間時(shí)設(shè)置生物安全支持模式，并且當(dāng)差異等于或小于第二閾值時(shí)釋放生物安全支持模式，第二閾值小于第一閾值。

(18)

一種信息處理方法，包括：

接收步驟，接收關(guān)于觀察者的頭部的姿勢(shì)的第一信息以及關(guān)于觀察者的除頭部以外的身體的姿勢(shì)的第二信息；以及

圖像渲染處理步驟，基于第一信息和第二信息生成對(duì)應(yīng)于觀察者的姿勢(shì)的顯示圖像。

(19)

一種計(jì)算機(jī)程序，其以計(jì)算機(jī)可讀格式編寫(xiě)，用于使計(jì)算機(jī)用作：

頭部姿勢(shì)操作單元，被配置為基于通過(guò)在頭部姿勢(shì)檢測(cè)單元中的檢測(cè)獲得的結(jié)果計(jì)算觀察者的頭部的姿勢(shì)信息，頭部姿勢(shì)檢測(cè)單元被配置為檢測(cè)觀察者的頭部的姿勢(shì)；

第二姿勢(shì)操作單元，被配置為基于通過(guò)第二姿勢(shì)檢測(cè)單元中的檢測(cè)獲得的結(jié)果計(jì)算觀察者的除頭部以外的身體的第二部分的姿勢(shì)信息，第二姿勢(shì)檢測(cè)單元被配置為檢測(cè)第二部分的一個(gè)或多個(gè)的姿勢(shì)；以及

圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢(shì)和第二部分的姿勢(shì)處理待顯示在顯示單元上的圖像，顯示單元被固定至觀察者的頭部或面部。

(20)

一種圖像處理系統(tǒng)，包括：

顯示單元，被固定至觀察者的頭部或面部；

頭部姿勢(shì)檢測(cè)單元，被配置為檢測(cè)觀察者的頭部的姿勢(shì)；

第二姿勢(shì)檢測(cè)單元，被配置為檢測(cè)觀察者的除頭部以外的身體的一個(gè)或多個(gè)第二部分的姿勢(shì)；以及

圖像渲染處理單元，被配置為基于觀察者的頭部的姿勢(shì)和第二部分中的每一個(gè)的姿勢(shì)處理顯示單元上的顯示圖像。

符號(hào)說(shuō)明

100 圖像顯示系統(tǒng)

200 頭部運(yùn)動(dòng)追蹤設(shè)備

201 傳感器單元

202 姿勢(shì)角度操作單元

203 發(fā)送器

300 軀干運(yùn)動(dòng)追蹤設(shè)備

301 傳感器單元

302 姿勢(shì)角度操作單元

303 發(fā)送器

400 圖像渲染設(shè)備

401 接收器

402 圖像渲染處理單元

403 發(fā)送器

404 圖像源

500 顯示設(shè)備

501 接收器

502 顯示單元。