本公開整體涉及視頻通話系統(tǒng)。例如，本公開的各方面涉及針對一個設備上多個對象的視頻通話體驗。

背景技術：

1、電話系統(tǒng)已成為遠程用戶進行通信的普遍工具。如今，電話系統(tǒng)通常支持多個常見功能，諸如語音通信、視頻通信、呼叫等待、呼叫保持和會議等等。一般來講，視頻通話的性能質量可取決于用于建立和進行視頻通話的網(wǎng)絡連接的質量。然而，即使隨著更快和更可靠的通信協(xié)議和技術變得越來越普遍和可用，網(wǎng)絡問題仍然普遍存在。例如，視頻通話的穩(wěn)定性/連續(xù)性常常受到網(wǎng)絡問題的阻礙。網(wǎng)絡問題可導致在通話期間幀丟失(例如，兩個用戶之間的通話、電話會議等)，這可中斷通話并且迫使通話中的用戶等待問題解決以便繼續(xù)通話。

2、除了連接/網(wǎng)絡問題之外，在視頻通話期間使用的相機的放置位置可引起問題，諸如例如通話的參與者在相機的視場(fov)之外，并且因此從由相機捕獲的視頻幀中排除，這阻止了通話另一端的用戶看到該通話參與者。又如，根據(jù)相機的放置位置，相機可捕獲無意地捕獲并且包括于在通話期間發(fā)送的視頻幀中的其他用戶或干擾。

技術實現(xiàn)思路

1、公開了用于針對設備上多個對象的視頻通話體驗的系統(tǒng)、方法和計算機可讀介質。根據(jù)至少一個示例，提供了一種用于針對設備上多個對象的視頻通話體驗的方法。該方法可以包括：在設備與遠程設備之間建立視頻通話；顯示第一相機饋送和第二相機饋送的預覽，該第一相機饋送包括由設備的第一圖像捕獲設備捕獲的第一視頻幀和由設備的第二圖像捕獲設備捕獲的第二視頻幀，該第一視頻幀和該第二視頻幀在預覽內在視覺上分開；接收對在預覽中描繪的對象集的選擇；以及基于第一相機饋送和第二相機饋送生成描繪該對象集的單個幀。

2、根據(jù)至少一個示例，提供了一種用于針對裝置上多個對象的視頻通話體驗的裝置。該裝置可以包括存儲器和一個或多個處理器，該一個或多個處理器耦合到該存儲器，該一個或多個處理器被配置為：在設備與遠程設備之間建立視頻通話；顯示第一相機饋送和第二相機饋送的預覽，該第一相機饋送包括由設備的第一圖像捕獲設備捕獲的第一視頻幀和由設備的第二圖像捕獲設備捕獲的第二視頻幀，該第一視頻幀和該第二視頻幀在預覽內在視覺上分開；接收對在預覽中描繪的對象集的選擇；以及基于第一相機饋送和第二相機饋送生成描繪該對象集的單個幀。

3、根據(jù)至少一個示例，提供了另一種用于針對裝置上多個對象的視頻通話體驗的裝置。該裝置可以用于進行以下操作的構件：在設備與遠程設備之間建立視頻通話；顯示第一相機饋送和第二相機饋送的預覽，該第一相機饋送包括由設備的第一圖像捕獲設備捕獲的第一視頻幀和由設備的第二圖像捕獲設備捕獲的第二視頻幀，該第一視頻幀和該第二視頻幀在預覽內在視覺上分開；接收對在預覽中描繪的對象集的選擇；以及基于第一相機饋送和第二相機饋送生成描繪該對象集的單個幀。

4、根據(jù)至少一個示例，提供了一種用于針對裝置上多個對象的視頻通話體驗的非暫態(tài)計算機可讀介質。該非暫態(tài)計算機可讀介質可以包括指令，這些指令在由一個或多個處理器執(zhí)行時使得該一個或多個處理器進行以下操作：在設備與遠程設備之間建立視頻通話；顯示第一相機饋送和第二相機饋送的預覽，該第一相機饋送包括由設備的第一圖像捕獲設備捕獲的第一視頻幀和由設備的第二圖像捕獲設備捕獲的第二視頻幀，該第一視頻幀和該第二視頻幀在預覽內在視覺上分開；接收對在預覽中描繪的對象集的選擇；以及基于第一相機饋送和第二相機饋送生成描繪該對象集的單個幀。

5、在一些方面中，上文所描述的方法、非暫態(tài)計算機可讀介質和裝置可從第一圖像捕獲設備獲得第一視頻幀以及從第二圖像捕獲設備獲得第二視頻幀。

6、在一些示例中，第一視頻幀和第二視頻幀描繪包括對象集的多個對象，并且對該對象集的選擇可以包括第一輸入和第二輸入，該第一輸入選擇對象集作為要包括在單個幀中的多個對象的子集，該第二輸入選擇要從單個幀中排除的多個對象中的一個或多個對象。在一些示例中，一個或多個對象可以不同于該對象集。

7、在一些示例中，生成單個幀可以包括基于第一輸入和/或第二輸入，從單個幀中排除多個對象中的一個或多個對象；以及向遠程設備傳送單個幀。在一些示例中，從單個幀中排除一個或多個對象可以包括從預覽、第一視頻幀、第二視頻幀和/或單個幀中移除一個或多個對象。

8、在一些方面中，生成單個幀可以包括將第一視頻幀的至少一部分和第二視頻幀的至少一部分組合成單個幀。在一些示例中，將第一視頻幀的至少一部分和第二視頻幀的至少一部分組合成單個幀可以包括將第一視頻幀的至少一部分和第二視頻幀的至少一部分布置到單個幀的相應幀區(qū)域中。在一些示例中，每個幀區(qū)域可以描繪來自對象集的相應對象。

9、在一些示例中，第一視頻幀可以包括來自該對象集的一個或多個第一對象，并且第二視頻幀可以包括來自該對象集的一個或多個第二對象。在一些方面中，生成單個幀可以包括基于與第一視頻幀相關聯(lián)的第一元數(shù)據(jù)確定一個或多個第一對象中的每個第一對象在第一視頻幀內的相應位置；基于與第二視頻幀相關聯(lián)的第二元數(shù)據(jù)確定一個或多個第二對象中的每個第二對象在第二視頻幀內的相應位置；以及基于一個或多個第一對象中的每個第一對象在第一視頻幀內的相應位置和一個或多個第二對象中的每個第二對象在第二視頻幀內的相應位置，確定描繪一個或多個第一對象的第一視頻幀的第一部分和描繪一個或多個第二對象的第二視頻幀的第二部分。在一些示例中，第一元數(shù)據(jù)可以包括與一個或多個第一對象相關聯(lián)的坐標。在一些示例中，第二元數(shù)據(jù)可以包括與一個或多個第二對象相關聯(lián)的坐標。

10、在一些示例中，生成單個幀可以包括將第一視頻幀的第一部分和第二視頻幀的第二部分組合成單個幀。在一些情況下，將第一視頻幀的第一部分和第二視頻幀的第二部分組合成單個幀可以包括將第一視頻幀的第一部分和第二視頻幀的第二部分放置在單個幀的相應幀區(qū)域內。在一些示例中，相應幀區(qū)域的第一區(qū)域描繪一個或多個第一對象，并且相應幀區(qū)域的第二區(qū)域描繪一個或多個第二對象。

11、在一些示例中，生成單個幀可以包括在單個幀內呈現(xiàn)第一視頻幀的至少一部分和第二視頻幀的至少一部分。在一些情況下，第一視頻幀的至少一部分與第二視頻幀的至少一部分在視覺上分開。在一些情況下，第一視頻幀的至少一部分和第二視頻幀的至少一部分由視覺標記物在視覺上分開。在一些示例中，視覺標記物可以包括線、輪廓、框、高亮、標簽、顏色、陰影和/或視覺標記。

12、在一些方面中，上文所描述的方法、非暫態(tài)計算機可讀介質和裝置可以確定一個或多個對象處于第一圖像捕獲設備的視場(fov)內；以及觸發(fā)第一圖像捕獲設備捕獲第一視頻幀。在一些示例中，第一視頻幀描繪一個或多個對象。

13、在一些方面中，上文所描述的方法、非暫態(tài)計算機可讀介質和裝置可以基于由第一圖像捕獲設備捕獲的一個或多個視頻幀跟蹤一個或多個對象；基于該跟蹤，確定一個或多個對象不再處于第一圖像捕獲設備的fov內；以及基于該確定一個或多個對象不再處于第一圖像捕獲設備的fov內，確定停止從第一圖像捕獲設備向遠程設備發(fā)送視頻數(shù)據(jù)。

14、在一些方面中，上文所描述的方法、非暫態(tài)計算機可讀介質和裝置可以響應于確定至少一個對象處于第二圖像捕獲設備的fov內，經(jīng)由第二圖像捕獲設備獲得描繪至少一個對象的第三視頻幀；以及向遠程設備傳送第三視頻幀。

15、在一些方面中，上文所描述的裝置可以包括一個或多個傳感器。在一些示例中，上文所描述的裝置可以包括移動電話、會議系統(tǒng)、電話系統(tǒng)、可穿戴設備、顯示設備、移動計算機、頭戴式顯示器和/或相機。

16、在一些方面中，上文所描述的裝置中的一者或多者可以是物聯(lián)網(wǎng)(iot)設備和/或擴展現(xiàn)實(xr)設備(例如，虛擬現(xiàn)實(vr)設備、增強現(xiàn)實(ar)設備或混合現(xiàn)實(mr)設備)的一部分，或可以包括這些設備。在一些示例中，該裝置可包括車輛、移動設備(例如，移動電話或所謂的“智能電話”或其他移動設備)、可穿戴設備、個人計算機、膝上型計算機、平板計算機、服務器計算機、機器人設備或系統(tǒng)、航空系統(tǒng)或其他設備，或是這些設備的一部分。在一些方面中，該裝置包括用于捕獲一個或多個圖像的一個圖像傳感器(例如，一個相機)或多個圖像傳感器(例如，多個相機)。在一些方面中，該裝置包括用于顯示一個或多個圖像、通知和/或其他可顯示數(shù)據(jù)的一個或多個顯示器。在一些方面中，該裝置包括一個或多個揚聲器、一個或多個發(fā)光設備和/或一個或多個麥克風。在一些方面中，上文所描述的裝置可以包括一個或多個傳感器。例如，一或多個傳感器可包括光傳感器、音頻傳感器、運動傳感器、溫度傳感器、濕度傳感器、圖像傳感器、加速度計、陀螺儀、壓力傳感器、觸摸傳感器和磁力計中的至少一者。在一些情況下，一個或多個傳感器可用于確定裝置的位置、裝置的狀態(tài)和/或用于其他目的。

17、該
技術實現(xiàn)要素：
不旨在標識所要求保護的主題的關鍵或必要特征，其也不旨在孤立地用于確定所要求保護的主題的范圍。本主題應當參考本專利的整個說明書的合適部分、任何或所有附圖、以及每項權利要求來理解。

18、前述內容以及其他特征和方面將在參照以下說明書、權利要求書和所附附圖時變得更明顯。