類信息和/或?qū)⑵鋫鬏數(shù)浇獯a器以用于解碼和處理。在實(shí)施例中，編碼器300可在由用于帶外數(shù)據(jù)的支配協(xié)議所建立的邏輯信道中與用于視頻數(shù)據(jù)序列的編碼幀一起來傳輸回放信息。作為由H.264協(xié)議使用的一個(gè)實(shí)例，編碼器300可在H.264指定的補(bǔ)充增強(qiáng)信息(SEI)信道中傳輸回放信息。在此類實(shí)施例中，MUX 320代表在與SEI信道對應(yīng)的邏輯信道中引入回放信息的過程。在待將本發(fā)明用于不指定此類帶外信道的協(xié)議時(shí)，MUX 320可在輸出信道內(nèi)針對回放信息建立獨(dú)立邏輯信道。
[0029]根據(jù)該實(shí)施例的一個(gè)方面，編碼器300可另外生成包含視頻數(shù)據(jù)的片段的交替流，將在各種回放模式期間顯示該交替流。這種交替流可被獨(dú)立編碼并與源視頻數(shù)據(jù)的編碼流一起被傳輸或存儲(chǔ)，并在技巧播放期間被訪問。
[0030]圖4(A)_(C)示出了用于視頻數(shù)據(jù)幀的子集的常規(guī)回放模式。在圖4(A)中，包括幀1-30的幀序列400可代表場景、幀序列、一組圖片或視頻數(shù)據(jù)流的其他子集。然后，如圖4(A)所示，在正?；胤牌陂g，可以回放速率按次序來播放幀1-30，該回放速率例如是每秒30 幀(fps)ο
[0031]常規(guī)上，各種快進(jìn)或回退回放速率將以相同回放速率(圖4(B))或以不同回放速率例如lOfps (圖4(C))來對視頻數(shù)據(jù)幀進(jìn)行采樣。如圖4(B)所示，30fps下的4X快進(jìn)回放模式可能得到有閃爍且難以觀看或理解的視頻序列410。如圖4(C)所示，常規(guī)4X快進(jìn)回放模式可將幀速率降低到lOfps，對于顯示的幀獲得了可視性改進(jìn)的視頻序列420，但所顯示的幀更少，由此可能跳過適當(dāng)?shù)耐Ｖ裹c(diǎn)。
[0032]根據(jù)實(shí)施例，快進(jìn)回放模式將在向前跳到另一幀之前顯示多個(gè)連續(xù)幀。圖5(A)-(B)示出了根據(jù)本發(fā)明的實(shí)施例的示例性回放模式。如圖5㈧所示，以4X回放速度顯示的視頻序列500將在每次跳躍時(shí)按回放次序來顯示預(yù)先確定數(shù)量的連續(xù)幀。例如，如圖5(A)所示，初始顯示包含幀0-2的片段，然后顯示包含幀12-14的片段，然后顯示幀24-26，等等。通過這種方式，回放模式將維持4X回放速度(以30fps進(jìn)行顯示)。在每次跳躍時(shí)顯示連續(xù)運(yùn)動(dòng)允許觀看者獲得對內(nèi)容的理解，同時(shí)避免閃爍，在以更高的回放速率進(jìn)行的常規(guī)回放中這是一個(gè)問題。
[0033]根據(jù)實(shí)施例的一個(gè)方面，可將片段的初始幀顯示更長時(shí)間，由此確保觀看者有時(shí)間看到正在顯示的新片段并識別片段的內(nèi)容。
[0034]在用戶利用例如遙控器或其他輸入設(shè)備指示應(yīng)當(dāng)停止快進(jìn)回放時(shí)，顯示設(shè)備可能在所指示的停止點(diǎn)之前顯示預(yù)先確定數(shù)量的幀，這些幀代表來自用戶停止的場景的起點(diǎn)或來自用戶指出應(yīng)當(dāng)停止快進(jìn)回放的點(diǎn)的所指定的停止點(diǎn)之前的視頻序列的預(yù)先確定的時(shí)間量。
[0035]應(yīng)當(dāng)理解，可變更預(yù)先確定數(shù)量的幀，例如以用于顯示每個(gè)片段中的5個(gè)或6個(gè)連續(xù)幀或可變更每次跳躍之間的固定間隔。然后為了維持回放速度(例如，4X)，可根據(jù)需要來變更幀或片段之間的距離或片段中的幀數(shù)。
[0036]類似地，可變更視頻片段的回放幀速率，例如可基于視頻數(shù)據(jù)的內(nèi)容來自適應(yīng)地變更回放幀速率。如圖5(B)所示，以20FPS速率利用4X回放速度來顯示視頻序列510。另選地，可以標(biāo)準(zhǔn)回放速率(即，30fps)來顯示連續(xù)幀，其與待顯示的下一組幀具有更長的過渡。如圖5(C)中所示，在視頻序列520中例示了這種替代回放模式。
[0037]根據(jù)實(shí)施例的一個(gè)方面，先前識別的幀的時(shí)間間隔可適應(yīng)于內(nèi)容。圖5(D)示出了將以內(nèi)容適應(yīng)性幀定時(shí)顯示的視頻序列530。在圖5(D)中，對于呈現(xiàn)低運(yùn)動(dòng)量的幀序列，子采樣序列將包括緊密隔開但連續(xù)的幀，用于顯示。在圖5(D)中示出了示例性序列?？赏ㄟ^任何常規(guī)運(yùn)動(dòng)分析方法例如參考本地和/或全局運(yùn)動(dòng)線索來檢測低運(yùn)動(dòng)序列。例如，基于所存儲(chǔ)的參考幀具有最佳預(yù)測的幀可能幾乎沒有運(yùn)動(dòng)，高運(yùn)動(dòng)幀可能幾乎不與所存儲(chǔ)的參考幀相關(guān)。
[0038]根據(jù)實(shí)施例的一個(gè)方面，回放期間的片段之間的跳躍可不以固定間隔發(fā)生。例如，可基于其內(nèi)容來選擇回放期間所顯示的幀。如圖6(A)所示，在視頻序列600的回放期間，每個(gè)片段開始于場景的起點(diǎn)。在序列600中，場景開始于陰影幀中的每個(gè)陰影幀(S卩，在幀0和84處)。然后可在跳到下一場景之前，在每個(gè)場景的起點(diǎn)處顯示連續(xù)運(yùn)動(dòng)。
[0039]可通過常規(guī)場景檢測方法來檢測場景的變化。例如，在編碼期間，編碼器可輸入所檢測的場景的標(biāo)記或其他指示符。另選地，可在檢測到內(nèi)編碼(I幀)時(shí)在編碼器處或利用另一種已知檢測方法來檢測場景變化。
[0040]可識別所檢測到的場景和其他片段起始幀，并組織成分級結(jié)構(gòu)，以輔助生成各種速度的回放流。例如，可識別主要的場景變化。主要的場景變化可包括在商業(yè)節(jié)目和主要節(jié)目之間的過渡，或視頻內(nèi)容中的其他可識別的變化。然后，可識別較不顯著或較小的場景變化。例如，揚(yáng)聲器之間或視頻內(nèi)容中的位置之間的變化。一旦識別出場景的分級結(jié)構(gòu)，例如可與視頻數(shù)據(jù)一起存儲(chǔ)此類分級結(jié)構(gòu)并在要求顯示設(shè)備在替代回放模式中顯示視頻內(nèi)容時(shí)進(jìn)行訪問。然后，對于更低速的回放，可將主要場景變化和次要場景變化兩者識別為片段起始點(diǎn)。然而，在高速回放中，僅顯示與主要場景對應(yīng)的片段。
[0041]基于視頻的內(nèi)容類型可考慮其他選擇片段的方法。例如，對于電影或電視播放，幀間隔選擇可基于如上所述的常規(guī)場景檢測。然而，對于體育節(jié)目，可基于拿球方變化、分?jǐn)?shù)變化、每次打比賽等來選擇間隔。可利用對視頻圖像內(nèi)容的分析來檢測此類內(nèi)容。例如，可通過識別代表記分牌的幀的部分中的變化或通過檢測可代表拿球權(quán)變化的運(yùn)動(dòng)方向的變化來檢測分?jǐn)?shù)變化。類似地，對于新聞節(jié)目，可設(shè)置片段以在每個(gè)新聞區(qū)段之間的過渡處開始。
[0042]音頻提示可另外輔助識別片段起始點(diǎn)。例如，代表觀眾歡呼的聲音的增大可表示分?jǐn)?shù)的變化。
[0043]可利用常規(guī)上可用于為顯示作準(zhǔn)備或在編碼或解碼期間生成的視頻數(shù)據(jù)的其他信息來識別片段。例如，隱蔽字幕信息可表示會(huì)話何時(shí)開始或結(jié)束，新人物何時(shí)講話等。此夕卜，對象檢測和相關(guān)的信息可提供關(guān)于場景中的內(nèi)容和/或變化的線索。如果片段整體相對于視頻或音頻內(nèi)容，則也可優(yōu)選片段并相應(yīng)地進(jìn)行選擇。與視頻數(shù)據(jù)相關(guān)聯(lián)的其他元數(shù)據(jù)還可提供與識別片段應(yīng)在哪里開始相關(guān)的信息。例如，用于視頻的創(chuàng)建時(shí)間或其他時(shí)間戳信息可表示視頻數(shù)據(jù)序列是獨(dú)立于相鄰序列而創(chuàng)建的。此類特征可能對于識別電影或電視節(jié)目視頻流內(nèi)的廣告尤其有用。
[0044]根據(jù)實(shí)施例的一個(gè)方面，在顯示設(shè)備處接收的視頻可包括代表視頻流的時(shí)間線的播放列表或清單。例如，清單可識別視頻數(shù)據(jù)的完整區(qū)段。視頻流的提供者可能已編寫了清單以識別區(qū)段。此類清單對于有線電視而言是常見的，可允許有效地變更視頻流而不會(huì)影響主要內(nèi)容。例如，該清單允許本地電視臺向視頻流中插入本地商業(yè)廣告。然后，可選擇片段以與清單中識別的區(qū)段重合。
[0045]另選地，可設(shè)置片段以跳過視頻中的較不重要的序列。例如，在快進(jìn)回放期間，可跳過拍攝不良，光照不佳捕獲或其他原因而具有有限重要內(nèi)容的視頻序列，而不顯示來自該序列的任何幀。對于用戶創(chuàng)建的移動(dòng)視頻或其他用戶捕獲的圖像，此類特征可能尤其有用。另選地，可通過序列的大小來識別較不重要的序列。例如，如果檢測到具有有限數(shù)量(例如低于預(yù)先確定的閾值)幀的場景，則可在回放期間跳過該序列。
[0046]根據(jù)實(shí)施例的一個(gè)方面，由用戶捕獲的視頻數(shù)據(jù)可包括預(yù)設(shè)片段。在視頻創(chuàng)建或編輯期間，用戶可將幀標(biāo)記為片段起始點(diǎn)。然后，在快進(jìn)回放期間，片段可在每個(gè)標(biāo)記的幀處開始。
[0047]根據(jù)實(shí)施例的一個(gè)方面，可混合片段過渡處的幀以產(chǎn)生淡出效果。如圖6(B)所示，在視頻序列610的回放期間，可組合片段開始之前和之后的多個(gè)幀以產(chǎn)生淡出效果。在片段之間可類似地實(shí)現(xiàn)其他效果。例如，在圖像處理期間，可對片段之間的過渡或所檢測到的場景進(jìn)行平滑化，使得過渡更加清晰。此外，可在片段之間的過渡處實(shí)現(xiàn)翻頁或其他視覺效果，以使過渡對于觀看者而言更加可見。此類效果將使用戶清楚他們處于快進(jìn)模式中，并將使場景過渡更明顯。
[0048]根據(jù)實(shí)施例的一個(gè)方面，可將片段過渡處的幀顯示更長時(shí)間。如圖6(C)所示，在視頻序列620的回放期間，顯示將在所顯示序列的最后一幀上暫停預(yù)先確定的時(shí)間段。為了實(shí)現(xiàn)這個(gè)效果，如圖6(C)所示，可將該間隔的最后一幀(S卩，幀10)顯示延長的時(shí)間。另選地，可反復(fù)顯示最后一幀，直到顯示下一片段的場景。
[0049]根據(jù)實(shí)施例的一個(gè)方面，用于快進(jìn)回放的選項(xiàng)可包括直接跳到視頻流中的最后一項(xiàng)或最后片段。最后一項(xiàng)可適應(yīng)于內(nèi)容，使得最后一項(xiàng)可以是電影中的最后的場景變、球賽中的最后拿球權(quán)、喜劇演出中的最后一次笑話等。
[0050]根據(jù)實(shí)施例的一個(gè)方面，可在編碼期間生成具有代表本文所述的快進(jìn)回放流的變更幀序列的視頻數(shù)據(jù)流，并在視頻顯示設(shè)備處與視頻數(shù)據(jù)一起進(jìn)行傳輸和/或存儲(chǔ)。然后，顯示設(shè)備可僅訪問用于顯示針對所選擇的回放模式如本文所述的適當(dāng)片段所需的那些回放流，而不是整個(gè)視頻流。另選地，可在解碼、