數字視頻流傳輸中的特技播放的制作方法
【專利說明】
【背景技術】
[0001]本發(fā)明的各方面總體涉及視頻顯示領域，并且更具體地，涉及優(yōu)化最終用戶設備上顯示的視頻內容的回放。
[0002]當在顯示設備上導航音頻內容和視頻內容時，特定的回放模式允許用戶以預先確定的速度對視頻內容進行快進或回退。通過視頻內容進行導航的問題中的一個問題是難以在期望的精確時刻按下播放鍵，使得回放將在視頻流中的期望位置處恢復。此外，常規(guī)的回放模式將常常以與正?；胤畔嗤膸俾蕘盹@示幀，在此期間，快進回放模式可能導致視頻序列閃爍并且難以觀看或理解。另選地，常規(guī)回放模式將常常以更慢的幀速率來顯示更少的幀，以避免閃爍。然而，幀之間的更大的跳躍可能會跳過包含期望停止點的幀。
[0003]因此，在本領域中需要這些系統(tǒng)和方法，以在快進和回退回放模式期間以更加用戶友好的方式顯示視頻數據。
【附圖說明】
[0004]結合附圖，通過檢查本發(fā)明的以下詳細描述，本發(fā)明的各個實施例的前述內容和其他方面將是顯而易見的，在附圖中，類似的附圖標號用于指示功能上類似的元件。
[0005]圖1是示出了根據本發(fā)明的實施例的示例性視頻顯示設備的部件的簡化框圖。
[0006]圖2是示出了根據本發(fā)明的實施例的示例性視頻通信系統(tǒng)的部件的簡化框圖。
[0007]圖3是示出了根據本發(fā)明的實施例的示例性編碼器的部件的簡化框圖。
[0008]圖4(A)_(C)示出了用于視頻數據幀的子集的常規(guī)回放模式。
[0009]圖5(A)_(D)示出了根據本發(fā)明的實施例的具有用于回放的固定間隔的示例性回放模式。
[0010]圖6(A)_(C)示出了根據本發(fā)明的實施例的示例性回放模式。
[0011]圖7㈧-(B)示出了根據本發(fā)明的實施例的示例性回退回放模式。
[0012]圖8示出了根據本發(fā)明的實施例的用于選擇用于回放的幀的示例性方法。
【具體實施方式】
[0013]在所公開的實施例中，對視頻幀進行子采樣以用于改善回放。并非一次回放一個隔離幀，而是回放若干個連續(xù)的或緊密隔開的幀。然后可在更高幀速率下回放，而不會導致閃爍。通過這種方式，觀看者將看到連續(xù)運動，這是一種更令人愉悅的體驗并且使得觀看者更容易識別該內容。
[0014]可通過首先識別用于顯示的片段來確定視頻序列的回放。片段以選擇用于顯示的第一幀開始，接著是從視頻流選擇的以回放次序排在第一所選擇的幀之后的若干個幀。片段可在視頻流中均勻隔開。
[0015]片段的選擇也可適應于內容。然后，可選擇片段的第一幀作為場景的第一幀。場景檢測、對象檢測和/或運動檢測可輔助進行適當的片段選擇。例如，給定關于與可映射到該元數據以選擇適當片段的數字媒體中的標記結合的程序之間的邊界的元數據，可優(yōu)化回放體驗以通過允許觀看者選擇適當停止點的方式來顯示視頻數據的內容。
[0016]如果內容的質量差、如果場景中的幀數低于預先確定的閾值、如果在序列中檢測到的運動過高而不能形成有意義的片段等等，則在回放期間可跳過場景或視頻序列。
[0017]根據實施例，可將視頻片段的第一幀或視頻片段的最后一幀顯示稍長時間。這為用戶提供了更寬的時間范圍來命中播放并停在他們希望的精確點上。
[0018]圖1是示出了根據本發(fā)明的實施例的示例性視頻顯示設備100的部件的簡化框圖。如圖1所示，顯示設備100可從信道、從本地存儲裝置110 (作為由相機115捕獲的源視頻)、或從另一種視頻通信方法接收視頻數據，另一種視頻通信方法例如是經由衛(wèi)星連接或電視電纜供應商(未示出)。可根據預測編碼技術或其他已知的編碼方法來對編碼視頻數據進行編碼。對于從信道接收的視頻數據，顯示設備100包括用于接收和存儲信道數據的緩存105。
[0019]如圖1所示，為了處理視頻數據，顯示設備100進一步包括:解碼引擎125，該解碼引擎用于接收編碼視頻數據并通過反轉視頻數據編碼期間執(zhí)行的編碼過程來對編碼視頻數據進行解碼；控制器130，該控制器用于識別編碼視頻數據的特性、為編碼視頻數據選擇解碼模式、并管理視頻的顯示；以及后期處理器135，該后續(xù)處理器擁有進一步處理視頻以準備顯示。后期處理操作可包括濾波、解交織、縮放或對視頻數據進行的可提高所顯示的視頻的質量的其他處理操作。然后在屏幕或其他顯示器上顯示視頻數據。
[0020]此外，在快進、回退或其他技巧回放模式期間，控制器130和/或后期處理器135可準備和管理視頻數據的回放。此類準備可包括生成具有所選擇的或經更改的幀的交替流，將在交替回放模式期間顯示該交替流。顯示設備100可包含用于存儲經更改的視頻數據的序列的緩存140，以根據本文所述的回放模式來顯示視頻。因此，可在本地存儲器110中與視頻數據一起存儲先前生成的本文所述的交替，或者通過信道或其他通信流來與視頻數據一起接收該交替。
[0021]圖2是示出了根據本發(fā)明的實施例的示例性視頻通信系統(tǒng)200的部件的簡化框圖。如圖2所示，示例性視頻編碼系統(tǒng)可包括在經由信道230的通信中提供的編碼器系統(tǒng)210和解碼器系統(tǒng)220。編碼器系統(tǒng)210可接受源視頻201并可將源視頻201編碼成編碼視頻。編碼器系統(tǒng)210可向信道230輸出編碼視頻數據，該信道可以是存儲設備諸如光學存儲設備、磁存儲設備或電存儲設備，或由計算機網絡或通信網絡形成的通信信道。
[0022]解碼器系統(tǒng)220可從信道230檢索編碼視頻數據，反轉由編碼器系統(tǒng)210執(zhí)行的編碼操作，并向相關聯的顯示設備輸出解碼視頻數據。視頻顯示設備可包括電視機、個人計算機(臺式計算機和膝上計算機兩者)、平板計算機、手持式計算設備、媒體播放器、專用視頻會議設備等。如圖所示，系統(tǒng)200僅在一個方向上支持視頻編碼和解碼。然而，根據實施例，可在每個終端處捕獲視頻，并且可與在每個終端處實施的編碼器和解碼器實現雙向通
?目Ο
[0023]圖3是示出了根據本發(fā)明的實施例的示例性編碼器300的部件的簡化框圖。如圖3所示，編碼器300可包括預處理器305、編碼引擎310、解碼引擎315、復用器320和控制器325。編碼器300可從視頻源諸如相機或視頻存儲器接收輸入源視頻序列301。預處理器305可將輸入源視頻序列301處理為一系列幀，并調節(jié)源視頻以用于更有效的壓縮。例如，可評估輸入源視頻序列的圖像內容以為每個幀確定適當的編碼模式。預處理器305可另外對幀執(zhí)行視頻處理操作，該視頻處理操作包括濾波操作諸如降噪濾波、雙側濾波或改善由編碼器300執(zhí)行的編碼操作的效率的其他種類處理操作。
[0024]常規(guī)編碼器可將源視頻序列301編碼成解碼表達，該解碼表達的比特率比源視頻的比特率小，由此實現數據壓縮。編碼引擎310可以從預處理器305接收處理過的視頻數據并產生壓縮視頻。用于數據壓縮的一種常見技術使用預測編碼技術(例如，時間/運動預測編碼)。例如，可獨立地對視頻流中的一些幀(I幀)進行編碼，并且可使用其他幀作為參考幀來對一些其他幀(例如，P幀或B幀)進行編碼?？蓞⒖紗蝹€先前編碼幀(P幀)來對P幀進行編碼，并且可參考一對先前編碼幀來對B幀進行編碼，該一對先前編碼幀通常是按顯示次序出現在B幀之前的一個幀，以及按顯示次序出現于在B幀之后的另一個幀。
[0025]編碼引擎310可根據預先確定的多級協議諸如Η.263、H.264或MPEG-2進行操作。因此，編碼視頻數據可符合由所使用的協議指定的語法。編碼引擎可另外從多種編碼模式中選擇或被分配一種編碼模式，以對視頻數據進行編碼，其中取決于源視頻的內容，每種不同的編碼模式產生不同水平的壓縮。例如，編碼引擎310可根據像素數據的規(guī)則陣列(例如，8X8塊或16X16塊)(這里稱為“像素塊”)來對源視頻幀進行語法分析，并可根據塊預測和預測殘余的計算、量化和熵編碼來對像素塊進行編碼。
[0026]編碼器300還可包括解碼引擎315，通過反轉在編碼引擎310中執(zhí)行的編碼操作來對從該編碼引擎輸出的編碼像素塊進行解碼。解碼引擎315可產生解碼器系統(tǒng)將要產生的源視頻數據的相同解碼副本，可將其用作由編碼引擎310執(zhí)行的預測編碼技術的依據。解碼引擎315可訪問參考幀高速緩存，以檢索用于解碼的參考數據，并存儲可代表針對輸入到視頻編碼系統(tǒng)中的稍晚接收的幀的預測源的解碼幀數據。
[0027]然后可從編碼引擎310輸出編碼幀或像素塊并由MUX 320存儲，其中可將它們組合成待由傳輸信道遞送到解碼器、終端或數據存儲器的普通比特流。為了恢復視頻數據，可在解碼器處通過反轉由編碼器執(zhí)行的編碼過程來對比特流進行解壓，從而產生所接收的解碼視頻序列。
[0028]根據該實施例的一個方面，在解碼過程期間，編碼器300可識別場景變化或與本文所述的調節(jié)視頻數據的回放相關的其他信息。例如，預處理器305或控制器325可在上文所述的編碼過程期間捕獲這種信息。然后可與編碼視頻一起存儲由編碼器捕獲或生成的此