專利名稱：視頻內(nèi)容觀看支持系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻內(nèi)容觀看支持系統(tǒng)，其能夠給用戶提供以主題為單位進(jìn)行分割的視頻內(nèi)容并能夠高效地觀看該視頻內(nèi)容，并且，還涉及該系統(tǒng)中所用的視頻內(nèi)容觀看支持方法。
背景技術(shù)：
目前，視聽(tīng)者可以訪問(wèn)例如通過(guò)地面、衛(wèi)星以及有線廣播傳輸?shù)母鞣N類型的視頻內(nèi)容，例如TV節(jié)目，并且也可以訪問(wèn)通過(guò)各種媒體傳播的電影，例如DVD。可以預(yù)見(jiàn)的是，可視內(nèi)容的量將隨著信道數(shù)量的增加和高性價(jià)比媒體的傳播繼續(xù)增加。因此，選擇性觀看可能會(huì)取代傳統(tǒng)觀看方式而變得普及，在選擇性觀看中，首先瀏覽單段視頻內(nèi)容的整個(gè)結(jié)構(gòu)，例如目錄，然后僅選擇和觀看有趣的部分，而在傳統(tǒng)觀看方式中，一段視頻內(nèi)容需要從頭到尾觀看。
例如，如果從包括無(wú)條理主題的兩小時(shí)信息節(jié)目中選擇并且觀看兩個(gè)或三個(gè)特定主題，那么，總共需要的時(shí)間只有幾十分鐘，剩余的時(shí)間可以用于觀看其他節(jié)目或用于除觀看視頻內(nèi)容之外的事情，因此，可以建立高效的生活方式。
為了實(shí)現(xiàn)選擇性觀看視頻內(nèi)容，可以給觀看者提供一個(gè)用戶界面(例如，參看JP-A 2004-23799(KOKAI))。該用戶界面顯示以視頻內(nèi)容項(xiàng)為單位進(jìn)行分割的關(guān)鍵幀，即縮略圖，并且將表示用戶興趣程度的信息同各縮略圖一起顯示。
在上述傳統(tǒng)方法中，假定用于視頻內(nèi)容的適當(dāng)分割方法是唯一確定的。具體而言，如果一個(gè)特定的新聞節(jié)目包括五項(xiàng)新聞，那么，假定將該節(jié)目分割成與相應(yīng)的新聞項(xiàng)相對(duì)應(yīng)的五部分。但是，通常情況下，從視頻內(nèi)容中提取主題的方法根據(jù)用戶的興趣或該視頻內(nèi)容的類別而不同。也就是說(shuō)，提取方法并不總是唯一確定的。例如，在TV節(jié)目與旅游相關(guān)的情況下，特定用戶可能想要觀看他們喜歡的特定表演者所出現(xiàn)的節(jié)目部分。在該情況下，需要基于表演者的變化來(lái)提供視頻內(nèi)容分割結(jié)果。
正在觀看相同節(jié)目的另一用戶可能對(duì)特定表演者不感興趣而對(duì)旅游的特定目的地感興趣。在該情況下，需要基于地方、旅館等的名稱的變化來(lái)提供視頻內(nèi)容分割結(jié)果。此外，例如，在TV節(jié)目與動(dòng)物相關(guān)的情況下，如果視頻內(nèi)容分割結(jié)果基于動(dòng)物名的變化，以及，該節(jié)目包括與猴子、狗和鳥(niǎo)相關(guān)的部分，那么，例如，用戶可能只選擇和觀看狗的部分。
同樣，在烹飪節(jié)目的情況下，如果提供基于盤碟名稱變化的分割結(jié)果以及基于表演者變化的分割結(jié)果，那么，例如，用戶可以選擇“表演者A出現(xiàn)的部分”和“正在演示燉牛肉的制作方法的部分”。
如上所述，在現(xiàn)有技術(shù)中，針對(duì)任何視頻內(nèi)容只能提供單個(gè)分割結(jié)果，這意味著，對(duì)用戶來(lái)說(shuō)，選擇一個(gè)合意的部分很困難。此外，當(dāng)用戶提供與特定分割結(jié)果相關(guān)的諸如“愛(ài)好”、“非愛(ài)好”之類的反饋時(shí)，執(zhí)行適當(dāng)?shù)膫€(gè)性化是很困難的，因?yàn)閷⒂糜诠烙?jì)的依據(jù)(觀點(diǎn))告知系統(tǒng)是很困難的，即，該估計(jì)是基于特定表演者的出現(xiàn)或還是基于與特定地方有關(guān)的內(nèi)容。個(gè)性化也稱為相關(guān)性反饋，是用于根據(jù)用戶興趣來(lái)修改系統(tǒng)的處理內(nèi)容的過(guò)程。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一方面，提供了一種視頻內(nèi)容觀看支持系統(tǒng)，包括獲取單元，獲取視頻內(nèi)容和與所述視頻內(nèi)容相對(duì)應(yīng)的文本數(shù)據(jù)；觀點(diǎn)提取單元，基于所述文本數(shù)據(jù)，從所述視頻內(nèi)容中提取多個(gè)觀點(diǎn)；主題提取單元，基于所述文本數(shù)據(jù)，從所述視頻內(nèi)容中提取與所述觀點(diǎn)相對(duì)應(yīng)的多個(gè)主題；分割單元，針對(duì)各所述提取主題，將所述視頻內(nèi)容分割成包括第一片段和第二片段的多個(gè)內(nèi)容片段，所述第一片段與所述觀點(diǎn)中包括的第一觀點(diǎn)相對(duì)應(yīng)，所述第二片段與所述觀點(diǎn)中包括的第二觀點(diǎn)相對(duì)應(yīng)；生成單元，針對(duì)各所述內(nèi)容片段，生成縮略圖和關(guān)鍵詞；提供單元，提供所述第一片段，并且，針對(duì)各所述第一片段，提供與一個(gè)第一片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一；選擇單元，選擇至少一個(gè)所述提供的第一片段。
根據(jù)本發(fā)明的另一方面，提供了一種視頻內(nèi)容觀看支持方法，包括獲取視頻內(nèi)容和與所述視頻內(nèi)容相對(duì)應(yīng)的文本數(shù)據(jù)；基于所述文本數(shù)據(jù)，從所述視頻內(nèi)容中提取多個(gè)觀點(diǎn)；基于所述文本數(shù)據(jù)，從所述視頻內(nèi)容中提取與所述多個(gè)觀點(diǎn)相對(duì)應(yīng)的多個(gè)主題；針對(duì)各所述提取主題，將所述視頻內(nèi)容分割成包括第一片段的多個(gè)內(nèi)容片段，所述第一片段與所述觀點(diǎn)中包括的第一觀點(diǎn)相對(duì)應(yīng)，所述第二片段與所述觀點(diǎn)中包括的第二觀點(diǎn)相對(duì)應(yīng)；針對(duì)各所述內(nèi)容片段，生成縮略圖和關(guān)鍵詞；提供所述第一片段，并且，針對(duì)各所述第一片段，提供與一個(gè)第一片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一；選擇至少一個(gè)所述提供的第一片段。


圖1的框圖示出了根據(jù)本發(fā)明第一實(shí)施例的視頻內(nèi)容觀看支持系統(tǒng)；圖2的流程圖示出了圖1中出現(xiàn)的觀點(diǎn)確定單元的過(guò)程；圖3的示意圖示出了在圖2的步驟S203中獲取的唯一的表達(dá)提取結(jié)果；圖4的流程圖示出了圖1中出現(xiàn)的主題分割單元的處理；圖5的流程圖示出了圖1中出現(xiàn)的主題列表生成單元的處理；圖6的示意圖示出了由圖1中出現(xiàn)的輸出單元提供的主題列表信息；圖7的流程圖示出了圖1中出現(xiàn)的重放部分選擇單元的處理；圖8的框圖示出了根據(jù)本發(fā)明第二實(shí)施例的視頻內(nèi)容支持系統(tǒng)；圖9的示意圖示出了由圖8中出現(xiàn)的輸出單元提供的主題列表信息。
具體實(shí)施例方式
下面將參考附圖詳細(xì)描述根據(jù)本發(fā)明實(shí)施例的視頻內(nèi)容觀看系統(tǒng)和方法。
本發(fā)明實(shí)施例的視頻內(nèi)容觀看支持系統(tǒng)和方法能夠高效觀看基于用戶觀點(diǎn)的給定視頻內(nèi)容。
(第一實(shí)施例)首先參考圖1，將描述根據(jù)第一實(shí)施例的視頻內(nèi)容觀看支持系統(tǒng)。圖1的示意性框圖示出了第一實(shí)施例的視頻內(nèi)容觀看支持系統(tǒng)。
如圖所示，第一實(shí)施例的視頻內(nèi)容觀看支持系統(tǒng)100包括觀點(diǎn)確定單元101、主題分割單元102、主題分割結(jié)果數(shù)據(jù)庫(kù)(DB)103、主題列表生成單元104、輸出單元105、輸入單元106以及重放部分選擇單元107。
觀點(diǎn)確定單元101確定至少一個(gè)觀點(diǎn)，以用于對(duì)視頻內(nèi)容進(jìn)行主題分割。
主題分割單元102基于相應(yīng)的觀點(diǎn)，將視頻內(nèi)容分割成多個(gè)主題。
主題分割結(jié)果數(shù)據(jù)庫(kù)103將主題分割單元102執(zhí)行的主題分割結(jié)果進(jìn)行存儲(chǔ)。
主題列表生成單元104基于主題分割結(jié)果，生成將要以主題列表信息的形式提供給用戶的縮略圖和關(guān)鍵詞。
輸出單元105將主題列表信息和視頻內(nèi)容提供給用戶。例如，輸出單元105具有顯示屏。
例如，輸入單元106是遙控器或鍵盤，其接受用戶發(fā)出的操作指令，例如選擇主題的指令以及開(kāi)始、結(jié)束或快進(jìn)視頻內(nèi)容重放的指令。
重放部分選擇單元107根據(jù)用戶選擇的主題，生成將要提供給用戶的視頻信息。
下面將描述圖1的視頻內(nèi)容觀看支持系統(tǒng)的操作。
首先，觀點(diǎn)確定單元101獲取從諸如電視機(jī)、DVD播放器/記錄器或硬盤記錄器之類的外部裝置中輸出的并由解碼器108進(jìn)行解碼的視頻內(nèi)容?；谒@取的視頻內(nèi)容，觀點(diǎn)確定單元101確定多個(gè)觀點(diǎn)。如果視頻內(nèi)容是廣播數(shù)據(jù)，那么可以同時(shí)獲取與視頻內(nèi)容相關(guān)的電子節(jié)目指南(EPG)。EPG信息包括文本數(shù)據(jù)，其表示廣播站提供的各節(jié)目的概要或類別以及在各節(jié)目中出現(xiàn)的表演者。
主題分割單元102基于觀點(diǎn)確定單元101確定的多個(gè)觀點(diǎn)，將視頻內(nèi)容分割成多個(gè)主題，并將分割結(jié)果存儲(chǔ)在主題分割結(jié)果數(shù)據(jù)庫(kù)103中。
許多視頻內(nèi)容項(xiàng)包括文本數(shù)據(jù)，也稱為隱藏字幕，可以通過(guò)解碼器將其提取出來(lái)。在該情況下，對(duì)于視頻內(nèi)容的主題分割，可以利用用于文本數(shù)據(jù)的公知的主題分割方法。例如，“Hearst，M.TextTilingSomething Text into Multi-Paragraph Subtopic Passages，ComputationalLinguistics，23(1)，pp.33-64，March 1997.http://acl.ldc.upenn.edu/J/J97/J97-1003.pdf”披露了一種用于比較文本數(shù)據(jù)中包括的術(shù)語(yǔ)和自動(dòng)檢測(cè)主題的切換點(diǎn)的方法。
此外，在視頻內(nèi)容不包括隱藏字幕的情況下，可以將自動(dòng)語(yǔ)言識(shí)別技術(shù)施加于視頻內(nèi)容中的音頻數(shù)據(jù)上，從而獲取用于主題分割的文本數(shù)據(jù)，這披露于“Smeaton，A.，W.and Over，P.The TREC VideoRetrieval Evaluation(TRECVID)A Case Study and Status Report，RIAO 2004 conference proceedings，2004.http://www.riao.org/Proceedings-2004/papaers/0030.pdf.”中。
隨后，主題列表生成單元104基于主題分割結(jié)果數(shù)據(jù)庫(kù)103中存儲(chǔ)的主題分割結(jié)果，生成與各主題中包括的各主題片段相對(duì)應(yīng)的縮略圖和/或關(guān)鍵詞，并將其經(jīng)由輸出單元105(例如TV屏幕)提供給用戶。用戶使用輸入單元106(例如遙控器或鍵盤)，從所提供的主題分割結(jié)果中包括的主題片段中選擇一個(gè)他們想要觀看的主題片段。
最后，重放部分選擇單元107基于從輸入單元106輸出的選擇信息，參考主題分割結(jié)果數(shù)據(jù)庫(kù)103，以生成將要提供給用戶的視頻信息。
參考圖2的流程圖，將描述圖1的觀點(diǎn)確定單元101執(zhí)行的處理。
首先，從電視機(jī)、DVD播放器/記錄器或硬盤記錄器等中獲取視頻內(nèi)容(步驟S201)。如果視頻內(nèi)容是廣播數(shù)據(jù)，那么可以同時(shí)獲取與該視頻內(nèi)容相對(duì)應(yīng)的EPG信息。
通過(guò)對(duì)視頻內(nèi)容中的隱藏字幕進(jìn)行解碼或?qū)σ曨l內(nèi)容中的音頻數(shù)據(jù)執(zhí)行自動(dòng)語(yǔ)言識(shí)別而生成與視頻內(nèi)容中包括的時(shí)間信息相對(duì)應(yīng)的文本數(shù)據(jù)(步驟S202)?，F(xiàn)在將描述文本數(shù)據(jù)主要由隱藏字幕組成時(shí)的情況。
使用命名實(shí)體識(shí)別，從在步驟S202中生成的文本數(shù)據(jù)中提取表示人名、食物名、動(dòng)物名和/或地名的信息(命名實(shí)體類)，并且，選擇更高檢測(cè)頻率的命名實(shí)體類(步驟S203)。后面將參考圖3對(duì)在步驟S203中獲取的結(jié)果進(jìn)行描述。
例如，命名實(shí)體識(shí)別技術(shù)披露于“Zhou，G.and Su，J.NamedEntity Recognition using an HMM-based Chunk Tagger，ACL 2002Proceedings，pp.473-480，2004.http://acl.ldc.upenn.edu/P/P02/P02-1060.pdf.”中。
在步驟S203中選擇命名實(shí)體類，并將在步驟S202中生成的視頻數(shù)據(jù)和文本數(shù)據(jù)或解碼的隱藏字幕傳送到主題分割單元102(步驟S204)。
參考圖3，將描述通過(guò)對(duì)與時(shí)間信息相關(guān)的隱藏字幕執(zhí)行命名實(shí)體提取處理所獲取的結(jié)果示例。圖3示出了在步驟S203中獲取的命名實(shí)體提取結(jié)果。
在圖3中，TIMESTAMP(時(shí)戳)表示從視頻內(nèi)容開(kāi)始所經(jīng)歷的時(shí)間(秒)。在所示的示例中，針對(duì)四個(gè)命名實(shí)體類執(zhí)行命名實(shí)體提取，例如PERSON(人名)、ANIMAL(動(dòng)物名)、FOOD(食物名)以及LOCATION(地名)，從而，例如，將表演者的“人名A”提取成PERSON，并且提取“咖喱和米飯”和“漢堡包”等等。另一方面，未提取與ANIMAL或LOCATION相對(duì)應(yīng)的字符串。
因此，當(dāng)基于預(yù)先準(zhǔn)備的多個(gè)命名實(shí)體類對(duì)檢測(cè)到的隱藏字幕進(jìn)行命名實(shí)體提取時(shí)，對(duì)與某些命名實(shí)體類相關(guān)的許多元素進(jìn)行提取，而對(duì)與其他實(shí)體類相關(guān)的少許元素進(jìn)行提取。
基于圖3的提取結(jié)果，例如，觀點(diǎn)確定單元101確定將檢測(cè)到的具有高頻率的命名實(shí)體類PERSON和FOOD用為主題分割的觀點(diǎn)。觀點(diǎn)確定單元101將觀點(diǎn)信息、視頻數(shù)據(jù)、隱藏字幕以及命名實(shí)體提取結(jié)果傳送到主題分割單元102。
當(dāng)對(duì)烹飪節(jié)目執(zhí)行命名實(shí)體提取時(shí)，可以獲取有所偏重的(biased)提取結(jié)果，例如，其中只包括人名和食物名，如圖3所示。此外，當(dāng)對(duì)有關(guān)寵物的節(jié)目執(zhí)行命名實(shí)體提取時(shí)，可以獲取有所偏重的提取結(jié)果，其中人名和動(dòng)物名遠(yuǎn)遠(yuǎn)多于其他名稱。同樣，當(dāng)對(duì)TV旅游節(jié)目執(zhí)行命名實(shí)體提取時(shí)，可以獲取有所偏重的提取結(jié)果，其中人名和地方名遠(yuǎn)遠(yuǎn)多于其他名稱。因此，在該實(shí)施例中，主題分割的觀點(diǎn)可以根據(jù)視頻內(nèi)容而改變。此外，可以將基于多個(gè)觀點(diǎn)的分割結(jié)果提供給用戶，也可以將基于單個(gè)觀點(diǎn)的分割結(jié)果提供給用戶。
可以修改觀點(diǎn)確定單元101執(zhí)行的圖2的過(guò)程，從而，根據(jù)類別信息或EPG信息中所講述的節(jié)目?jī)?nèi)容確定一個(gè)觀點(diǎn)，而不是對(duì)隱藏字幕執(zhí)行命名實(shí)體提取。在該情況下，如果預(yù)先準(zhǔn)備確定規(guī)則，其中，當(dāng)類別是烹飪節(jié)目或節(jié)目?jī)?nèi)容包括術(shù)語(yǔ)“烹飪”時(shí)，將觀點(diǎn)設(shè)成PERSON和FOOD，而當(dāng)類別是動(dòng)物節(jié)目或節(jié)目?jī)?nèi)容包括術(shù)語(yǔ)“動(dòng)物”、“狗”或“貓”等時(shí)，將觀點(diǎn)設(shè)成PERSON和ANIMAL，那么，這也是合乎需要的。
參考圖4，將描述圖1的主題分割單元102的處理。圖4的流程圖示出了根據(jù)第一實(shí)施例的主題分割單元102執(zhí)行的過(guò)程示例。
首先，主題分割單元102從觀點(diǎn)確定單元101中接收視頻數(shù)據(jù)、隱藏字幕、圖3中所示的命名提取結(jié)果以及N個(gè)觀點(diǎn)(步驟S401)。例如，其中，如上所述，將PERSON和FOOD選擇為觀點(diǎn)，N＝2。
隨后，針對(duì)各觀點(diǎn)執(zhí)行主題分割處理，并將分割結(jié)果存儲(chǔ)在主題分割結(jié)果數(shù)據(jù)庫(kù)103中(步驟S402至S405)。對(duì)于主題分割而言，可以利用多種技術(shù)，其包括“Hearst，M.TextTilingSomething Text intoMulti-Paragraph Subtopic Passages，Computational Linguistics，23(1)，pp.33-64，March 1997.http://acl.ldc.upenn.edu/J/J97/J97-1003.pdf”中披露的文本分割方法(TextTiling)。例如，最簡(jiǎn)單的分割方法是只要在圖3所示的命名實(shí)體提取結(jié)果中出現(xiàn)新詞語(yǔ)時(shí)就執(zhí)行主題分割的方法。具體而言，當(dāng)根據(jù)PERSON的觀點(diǎn)執(zhí)行主題分割時(shí)，在視頻內(nèi)容開(kāi)始之后執(zhí)行19.805秒、64.451秒以及90.826秒，即，當(dāng)分別檢測(cè)到詞語(yǔ)“人名A”、“人名B”以及“人名C”時(shí)。
可以修改上述過(guò)程，從而，將鏡頭邊界檢測(cè)(shot boundarydetection)作為主題分割的預(yù)處理來(lái)執(zhí)行。鏡頭邊界檢測(cè)是基于諸如情景切換之類的圖像幀的改變而分割視頻內(nèi)容的技術(shù)。例如，在“Smeaton，A.，Kraaij，W.and Over，P.The TREC Video RetrievalEvaluation(TRECVID)A Case Study and Status Report，RIAO 2004conference proceedings，2004.http://www.riao.org/Proceedings-2004/papaers/0030.pdf.”中披露了鏡頭邊界檢測(cè)。
在該情況下，只將與各鏡頭邊界相對(duì)應(yīng)的時(shí)間點(diǎn)視為用于主題分割的時(shí)間點(diǎn)候選者。
最后，主題分割單元102將基于相應(yīng)觀點(diǎn)的主題分割結(jié)果合并成單個(gè)主題分割結(jié)果，并將其與原始視頻數(shù)據(jù)一起進(jìn)行存儲(chǔ)(步驟S406)。
在該合并中，可以采用基于PERSON的觀點(diǎn)的分割部分和基于FOOD的觀點(diǎn)的分割部分，或者，可以只采用基于PERSON和FOOD兩者觀點(diǎn)的分割部分的重疊部分。
此外，如果可以獲取各分割點(diǎn)處的信任分?jǐn)?shù)(confidence score)，那么，例如，可以根據(jù)該信任分?jǐn)?shù)的總和確定合并的分割點(diǎn)。也可以修改第一實(shí)施例，以便不生成合并的分割結(jié)果。
參考圖5，將描述圖1所示的主題列表生成單元104的過(guò)程。圖5的流程圖示出了根據(jù)第一實(shí)施例的主題列表生成單元104執(zhí)行的過(guò)程示例。
首先，主題列表生成單元104基于某視頻數(shù)據(jù)、隱藏字幕以及觀點(diǎn)，從主題分割結(jié)果數(shù)據(jù)庫(kù)103中獲取主題分割結(jié)果(步驟S501)。
隨后，主題列表生成單元104使用公知的任意技術(shù)，針對(duì)主題分割結(jié)果中包括的并與各觀點(diǎn)相對(duì)應(yīng)的各主題片段，生成縮略圖和關(guān)鍵詞(步驟S502至步驟S505)。通常，通過(guò)從視頻數(shù)據(jù)的幀圖像中選擇與各主題片段的開(kāi)始時(shí)間相對(duì)應(yīng)的幀圖像并將其壓縮來(lái)生成縮略圖。此外，例如，通過(guò)將信息搜索過(guò)程中執(zhí)行的相關(guān)性反饋的關(guān)鍵詞選擇方法施加于隱藏字幕來(lái)選擇表示各主題片段特征的關(guān)鍵詞。相關(guān)性反饋也稱為個(gè)性化，并意味著根據(jù)用戶興趣修改系統(tǒng)處理內(nèi)容的過(guò)程。例如，其披露于“Robertson，S.E.and Sparck Jones，KSimple，proven approaches to text retrieval，University of Cambridge ComputerLaboratory Technical Report TR-356，1997.http://www.cl.cam.ac.uk/TechReports/UCAM-CL-TR-356.pdf.”中。
主題列表生成單元104基于主題分割結(jié)果、縮略圖以及關(guān)鍵詞，生成將要提供給用戶的主題列表信息，并將其輸出到輸出單元105(步驟S506)。參考圖6，將描述主題列表信息示例。
圖6示出了主題列表信息的顯示示例。
在圖6所示的并由輸出單元105提供的界面上，用戶選擇與他們想要觀看的一個(gè)或多個(gè)主題片段相對(duì)應(yīng)的一個(gè)或多個(gè)縮略圖。因此，用戶可以高效地只觀看他們想要觀看的節(jié)目部分。在圖6所示的示例中，給用戶提供針對(duì)兩個(gè)觀點(diǎn)“PERSON”和“LOCATION”的60分鐘旅游節(jié)目執(zhí)行的主題分割結(jié)果，并且，用戶通過(guò)合并兩個(gè)主題分割結(jié)果以獲取結(jié)果。
各主題片段包括表示其特征的縮略圖和關(guān)鍵詞。例如，基于觀點(diǎn)PERSON的分割結(jié)果是由五個(gè)主題片段組成的，以及，第一片段的特征關(guān)鍵詞是“人名A”和“人名B”。根據(jù)該分割結(jié)果，用戶可以大概掌握TV旅游節(jié)目中的表演者的改變。例如，如果用戶喜歡具有名稱D的表演者，那么，他們可以選擇與觀點(diǎn)PERSON相對(duì)應(yīng)的第二和第三主題片段。
此外，基于溫泉或旅館的名稱，通過(guò)對(duì)TV旅游節(jié)目執(zhí)行主題分割來(lái)獲取與觀點(diǎn)LOCATION相對(duì)應(yīng)的主題分割結(jié)果。在該示例中，假定訪問(wèn)三個(gè)溫泉。如果用戶對(duì)節(jié)目中出現(xiàn)的表演者不感興趣，而對(duì)第二溫泉感興趣，那么，他們可以通過(guò)選擇與觀點(diǎn)LOCATION相對(duì)應(yīng)的第二片段而只觀看與第二溫泉相對(duì)應(yīng)的部分。
用戶可以選擇不同觀點(diǎn)之間重疊的主題片段。例如，他們可以同時(shí)選擇與觀點(diǎn)PERSON相對(duì)應(yīng)的第二和第三片段以及與觀點(diǎn)LOCATION相對(duì)應(yīng)的第二片段。雖然對(duì)應(yīng)于觀點(diǎn)PERSON的第三片段暫時(shí)與對(duì)應(yīng)于觀點(diǎn)LOCATION的第二片段重疊，但是，避免將相同內(nèi)容重放兩次是很容易的。下面將參考圖7描述該過(guò)程(即，重放部分選擇單元的過(guò)程)。
雖然圖6也示出了通過(guò)合并與觀點(diǎn)PERSON和LOCATION相對(duì)應(yīng)的分割結(jié)果所獲取的分割結(jié)果，但是，可以不按照上述修改來(lái)提供合并分割結(jié)果。
參考圖7，將描述圖1的重放部分選擇單元107的過(guò)程。圖7的流程圖示出了由根據(jù)第一實(shí)施例的重放部分選擇單元107執(zhí)行的過(guò)程示例。
首先，重放部分選擇單元107從輸入單元106中接收表示用戶選擇的主題片段的信息(步驟S701)。
隨后，重放部分選擇單元107從主題分割結(jié)果數(shù)據(jù)庫(kù)103中獲取表示各主題片段的開(kāi)始和結(jié)束時(shí)間的TIMESTAMP(步驟S702)。
之后，重放部分選擇單元107合并所有主題片段的開(kāi)始和結(jié)束時(shí)間，確定應(yīng)當(dāng)重放原始視頻內(nèi)容的哪部分，然后，重放所確定的部分(步驟S703)。
這里假定，在圖6中，用戶已經(jīng)選擇了與觀點(diǎn)PERSON相對(duì)應(yīng)的第二和第三片段以及與觀點(diǎn)LOCATION相對(duì)應(yīng)的第二片段。進(jìn)一步假定，相應(yīng)的主題片段的開(kāi)始時(shí)間是視頻內(nèi)容開(kāi)始之后600秒的時(shí)間、視頻內(nèi)容開(kāi)始之后700秒的時(shí)間以及視頻內(nèi)容開(kāi)始之后1700秒的時(shí)間，同時(shí)，結(jié)束時(shí)間是視頻內(nèi)容開(kāi)始之后700秒的時(shí)間、視頻內(nèi)容開(kāi)始之后2100秒的時(shí)間以及視頻內(nèi)容開(kāi)始之后2700秒的時(shí)間。在該情況下，如果重放部分選擇單元107繼續(xù)重放從視頻內(nèi)容開(kāi)始之后600秒的時(shí)間到視頻內(nèi)容開(kāi)始之后2700秒的時(shí)間之間的時(shí)間段，那么，這是合乎需要的。
如上所述，在第一實(shí)施例中，根據(jù)與視頻內(nèi)容相對(duì)應(yīng)的多個(gè)觀點(diǎn)執(zhí)行主題分割，并且，用戶可以選擇所得的主題片段中的任何片段。因此，可以給用戶提供與觀點(diǎn)相對(duì)應(yīng)的多個(gè)分割結(jié)果，以及，可以通過(guò)使用戶從與觀點(diǎn)相對(duì)應(yīng)的分割結(jié)果中選擇主題片段來(lái)實(shí)現(xiàn)反映其觀點(diǎn)的個(gè)性化。具體而言，在TV烹飪節(jié)目中，用戶可以選擇特定表演者出現(xiàn)的主題片段和與特定盤碟相關(guān)的主題片段。相比之下，在TV旅游節(jié)目中，用戶可以只選擇與特定溫泉相關(guān)的主題片段。
(第二實(shí)施例)第二實(shí)施例和第一實(shí)施例之間的結(jié)構(gòu)和功能差別僅在于第二實(shí)施例包括簡(jiǎn)檔管理單元。因此，在第二實(shí)施例中，將主要描述由簡(jiǎn)檔管理單元執(zhí)行的過(guò)程。因?yàn)樘峁┝撕?jiǎn)檔管理單元，所以，觀點(diǎn)確定單元和輸入單元執(zhí)行的過(guò)程稍微不同于第一實(shí)施例中觀點(diǎn)確定單元和輸入單元執(zhí)行的過(guò)程。
參考圖8和圖9，將描述根據(jù)第二實(shí)施例的視頻內(nèi)容觀看支持系統(tǒng)。圖8的示意性框圖示出了第二實(shí)施例的視頻內(nèi)容觀看支持系統(tǒng)。圖9示出了在第二實(shí)施例中提供的主題列表信息示例。
在第二實(shí)施例中采用的簡(jiǎn)檔管理單元802將表示各用戶興趣的關(guān)鍵詞和分配給該關(guān)鍵詞的權(quán)重保存在稱為用戶簡(jiǎn)檔的文件中。相應(yīng)的用戶可以通過(guò)輸入單元803寫(xiě)入各文件的初始值。例如，如果用戶喜歡具有名稱A和B的TV藝人，那么，可以將與該藝人相對(duì)應(yīng)的關(guān)鍵詞“人名A”和“人名B”以及分配給該關(guān)鍵詞的權(quán)重寫(xiě)入該用戶的用戶簡(jiǎn)檔中。這能夠?qū)⑼扑]片段提供給用戶，如圖9中的標(biāo)記“推薦的”所示。在圖9的示例中，因?yàn)樵趯?duì)應(yīng)于觀點(diǎn)PERSON的第一片段中包括的一些關(guān)鍵詞與用戶簡(jiǎn)檔中保存的關(guān)鍵詞相同，所以，將具有標(biāo)記“推薦的”的第一片段提供給用戶。
需要注意的是，例如，在JP-A 2004-23799(KOKAI)中披露了向用戶提供推薦信息或表示興趣程度的信息的技術(shù)，其不是該實(shí)施例的要點(diǎn)。本實(shí)施例和現(xiàn)有技術(shù)之間的主要區(qū)別在于，在本實(shí)施例中，可以從用戶獲取以觀點(diǎn)為單位的相關(guān)性反饋信息?，F(xiàn)在，將對(duì)這進(jìn)行詳細(xì)描述。
如圖7所示，簡(jiǎn)檔管理單元802監(jiān)控通過(guò)輸入單元803輸入的用戶主題選擇信息，并使用該信息修改用戶簡(jiǎn)檔。例如，在圖9中，假定用戶已經(jīng)選擇了對(duì)應(yīng)于觀點(diǎn)PERSON的第四個(gè)主題片段。因?yàn)橛芍黝}列表生成單元104生成的關(guān)鍵詞“人名E”和“人名F”包括在第四個(gè)主題片段中，所以，簡(jiǎn)檔管理單元802可以將它們添加到用戶簡(jiǎn)檔中。
此外，假定用戶已經(jīng)選擇了對(duì)應(yīng)于觀點(diǎn)LOCATION的第二個(gè)主題片段。因?yàn)殛P(guān)鍵詞“地方名Y”包括在第二個(gè)主題片段中，所以，簡(jiǎn)檔管理單元802可以從輸入單元803接收它們并將它們添加到用戶簡(jiǎn)檔中。相比之下，在現(xiàn)有技術(shù)中，因?yàn)椴皇且杂^點(diǎn)為單位執(zhí)行主題分割，所以，在圖9中，只能將與“基于合并點(diǎn)的分割結(jié)果”明顯類似的單個(gè)分割結(jié)果提供給用戶。此外，在現(xiàn)有技術(shù)中，各主題片段包括混合關(guān)鍵詞，例如人名和地方名。例如，在圖9中，“基于合并點(diǎn)的分割結(jié)果”的第五個(gè)主題片段包括三個(gè)關(guān)鍵詞“人名E”、“人名F”以及“地方名Y”。另一方面，在現(xiàn)有技術(shù)中，因?yàn)椴皇且杂^點(diǎn)為單位執(zhí)行主題分割，所以，可以將與未分類觀點(diǎn)而非以上觀點(diǎn)有關(guān)的詞語(yǔ)用作關(guān)鍵詞。因此，在現(xiàn)有技術(shù)中，當(dāng)用戶選擇主題片段時(shí)，判斷該用戶為何選擇它的原因較為困難。即，例如，當(dāng)用戶已選擇包括關(guān)鍵詞“人名E”、“人名F”以及“地方名Y”的某一主題片段時(shí)，判斷該用戶是否已選擇該片段較為困難，因?yàn)樗麄兿矚g具有名稱E和F的人，或者，因?yàn)樗麄儗?duì)具有名稱Y的地方感興趣。
相比之下，在本實(shí)施例中，向用戶提供了以觀點(diǎn)為單位執(zhí)行的主題分割結(jié)果，從而使他們能夠選擇主題片段。因此，可以以觀點(diǎn)為單位獲取用戶主題選擇信息，與現(xiàn)有技術(shù)相比，其需要較少地修改用戶簡(jiǎn)檔。
此外，在第二實(shí)施例中，至少觀點(diǎn)確定單元801或主題分割單元102可以參考用戶簡(jiǎn)檔來(lái)修改處理內(nèi)容。例如，如果只將與觀點(diǎn)PERSON和FOOD有關(guān)的詞語(yǔ)添加到用戶簡(jiǎn)檔中，其意味著用戶未利用觀點(diǎn)LOCATION，那么，觀點(diǎn)確定單元801可以執(zhí)行以下處理，預(yù)先只向用戶提供觀點(diǎn)PERSON和FOOD、而不提供觀點(diǎn)LOCATION。
同樣，在圖9中，當(dāng)用戶已選擇與觀點(diǎn)PERSON相關(guān)的第二和第三個(gè)主題片段時(shí)，可以估計(jì)出該用戶喜歡具有名稱D的人，因此，可以重新將關(guān)鍵詞“人名D”添加到用戶簡(jiǎn)檔中，或者，可以增加分配給關(guān)鍵詞“人名D”的權(quán)重，并在后面執(zhí)行的主題分割時(shí)作為參考。在該情況下，在后面的主題分割過(guò)程中，可以將“人名D”視為重要的，并且，將第二和第三個(gè)主題片段合并成一個(gè)主題片段。
如上所述，在這些實(shí)施例中，可以以觀點(diǎn)為單位收集用戶主題片段選擇信息，這樣就易于判斷用戶為何已選擇某一特定主題片段，因此，便于適當(dāng)修改用戶簡(jiǎn)檔。這在向用戶提供推薦信息方面非常有用。此外，從用戶反饋回來(lái)的信息可以用于修改將要提供給他們的觀點(diǎn)，并用于提供主題分割方法。
雖然在以上實(shí)施例中假定隱藏字母是用特定語(yǔ)言書(shū)寫(xiě)的，但是，這些實(shí)施例并不限于以該語(yǔ)言書(shū)寫(xiě)視頻內(nèi)容。
對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，其他優(yōu)點(diǎn)和修改是很容易想到的。因此，就更寬泛方面而言，本發(fā)明并不限于這里描述及所示的特定細(xì)節(jié)和說(shuō)明性實(shí)施例。因此，在不脫離由所附的權(quán)利要求書(shū)及其等同物所界定的總體發(fā)明構(gòu)思的精神和保護(hù)范圍的前提下，可以做出各種修改。
權(quán)利要求
1.一種視頻內(nèi)容觀看支持系統(tǒng)，包括獲取單元，獲取視頻內(nèi)容和與所述視頻內(nèi)容相對(duì)應(yīng)的文本數(shù)據(jù)；觀點(diǎn)提取單元，基于所述文本數(shù)據(jù)，從所述視頻內(nèi)容中提取多個(gè)觀點(diǎn)；主題提取單元，基于所述文本數(shù)據(jù)，從所述視頻內(nèi)容中提取與所述多個(gè)觀點(diǎn)相對(duì)應(yīng)的多個(gè)主題；分割單元，針對(duì)各所述提取主題，將所述視頻內(nèi)容分割成包括有多個(gè)第一片段和多個(gè)第二片段的多個(gè)內(nèi)容片段，所述多個(gè)第一片段與所述多個(gè)觀點(diǎn)中包括的第一觀點(diǎn)相對(duì)應(yīng)，所述多個(gè)第二片段與所述多個(gè)觀點(diǎn)中包括的第二觀點(diǎn)相對(duì)應(yīng)；生成單元，針對(duì)各所述內(nèi)容片段，生成縮略圖和關(guān)鍵詞；提供單元，提供所述多個(gè)第一片段，并且，針對(duì)各所述第一片段，提供與一個(gè)第一片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一；以及選擇單元，選擇至少一個(gè)所述提供的第一片段。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述提供單元包括第三提取單元，用于從所述多個(gè)內(nèi)容片段中提取所述多個(gè)第二片段，以及其中，所述提供單元提供所述多個(gè)第二片段，并且，針對(duì)各所述第二片段，提供與一個(gè)第二片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述提供單元提供所述多個(gè)第一片段、所述多個(gè)第二片段，針對(duì)所述多個(gè)第一片段，提供與所述一個(gè)第一片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一，以及，針對(duì)所述多個(gè)第二片段，提供與所述一個(gè)第二片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一。
4.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，針對(duì)各所述第二片段，所述第三提取單元基于與所述一個(gè)第二片段相對(duì)應(yīng)的關(guān)鍵詞，提取所述多個(gè)第二片段。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括第三提取單元，用于從與所有所述觀點(diǎn)相對(duì)應(yīng)的所述多個(gè)內(nèi)容片段中提取時(shí)間相同的多個(gè)第二片段，以及，所述提供單元提供所述多個(gè)第二片段，并且，針對(duì)各所述第二片段，提供與一個(gè)第二片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，所述提供單元提供所述多個(gè)第一片段、所述多個(gè)第二片段，針對(duì)所述多個(gè)第一片段，提供與所述一個(gè)第一片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一，以及，針對(duì)所述多個(gè)第二片段，提供與所述一個(gè)第二片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一。
7.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，針對(duì)各所述第二片段，所述第三提取單元基于與所述一個(gè)第二片段相對(duì)應(yīng)的所述關(guān)鍵詞，提取所述多個(gè)第二片段。
8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述文本數(shù)據(jù)包括隱藏字幕和自動(dòng)識(shí)別結(jié)果中至少之一，所述隱藏字幕包括在與所述文本數(shù)據(jù)相對(duì)應(yīng)的所述視頻內(nèi)容中，而所述自動(dòng)識(shí)別結(jié)果與所述視頻內(nèi)容中包括的語(yǔ)音數(shù)據(jù)相對(duì)應(yīng)。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述獲取單元獲取表示所述視頻內(nèi)容的類別和表示所述視頻內(nèi)容的詞語(yǔ)中至少之一，作為所述文本數(shù)據(jù)，以及，所述觀點(diǎn)提取單元基于所述類別和所述詞語(yǔ)中至少之一，提取所述觀點(diǎn)。
10.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括存儲(chǔ)單元和修改單元，所述存儲(chǔ)單元存儲(chǔ)表示用戶興趣的用戶簡(jiǎn)檔，而所述修改單元基于所選中的至少一個(gè)第一片段修改所述用戶簡(jiǎn)檔。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述主題提取單元基于所述用戶簡(jiǎn)檔提取所述主題。
12.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述觀點(diǎn)提取單元基于所述用戶簡(jiǎn)檔提取所述觀點(diǎn)。
13.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述觀點(diǎn)是命名實(shí)體類，以及，所述主題是命名實(shí)體。
14.一種視頻內(nèi)容觀看支持方法，包括獲取視頻內(nèi)容和與所述視頻內(nèi)容相對(duì)應(yīng)的文本數(shù)據(jù)；基于所述文本數(shù)據(jù)，從所述視頻內(nèi)容中提取多個(gè)觀點(diǎn)；基于所述文本數(shù)據(jù)，從所述視頻內(nèi)容中提取與所述多個(gè)觀點(diǎn)相對(duì)應(yīng)的多個(gè)主題；針對(duì)各所述提取主題，將所述視頻內(nèi)容分割成包括有多個(gè)第一片段的多個(gè)內(nèi)容片段，所述多個(gè)第一片段與所述多個(gè)觀點(diǎn)中包括的第一觀點(diǎn)相對(duì)應(yīng)，所述多個(gè)第二片段與所述多個(gè)觀點(diǎn)中包括的第二觀點(diǎn)相對(duì)應(yīng)；針對(duì)各所述視頻片段，生成縮略圖和關(guān)鍵詞；提供所述多個(gè)第一片段，并且，針對(duì)各所述第一片段，提供與一個(gè)第一片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一；以及選擇至少一個(gè)所述提供的第一片段。
全文摘要
一種視頻內(nèi)容觀看支持系統(tǒng)，包括獲取單元，獲取視頻內(nèi)容和與所述視頻內(nèi)容相對(duì)應(yīng)的文本數(shù)據(jù)；觀點(diǎn)提取單元，基于所述文本數(shù)據(jù)從所述視頻內(nèi)容中提取觀點(diǎn)；主題提取單元，基于所述文本數(shù)據(jù)從所述視頻內(nèi)容中提取與所述觀點(diǎn)相對(duì)應(yīng)的主題；分割單元，針對(duì)各所述提取主題，將所述視頻內(nèi)容分割成包括有第一片段和第二片段的內(nèi)容片段，所述第一片段與所述觀點(diǎn)中包括的第一觀點(diǎn)相對(duì)應(yīng)，所述第二片段與所述觀點(diǎn)中包括的第二觀點(diǎn)相對(duì)應(yīng)；生成單元，針對(duì)各所述內(nèi)容片段，生成縮略圖和關(guān)鍵詞；提供單元，提供所述第一片段，以及，針對(duì)各所述第一片段，提供與一個(gè)第一片段相對(duì)應(yīng)的縮略圖和關(guān)鍵詞中至少之一；選擇單元，選擇至少一個(gè)所述提供的第一片段。
文檔編號(hào)H04N7/08GK1975733SQ200610160460
公開(kāi)日2007年6月6日 申請(qǐng)日期2006年11月28日 優(yōu)先權(quán)日2005年11月28日
發(fā)明者酒井哲也 申請(qǐng)人:株式會(huì)社東芝