視頻拼接方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種視頻拼接方法及系統(tǒng)，該視頻拼接方法包括提取及匹配步驟、模板建立步驟、圖像融合步驟和處理步驟。本發(fā)明的有益效果是：本發(fā)明能夠?qū)⒁曨l進行完美的融合及拼接，使拼接后的視頻清晰無縫，滿足用戶的需求。
【專利說明】
視頻拼接方法及系統(tǒng)
技術領域
[0001 ]本發(fā)明涉及視頻數(shù)據(jù)處理技術領域，尤其涉及視頻拼接方法及系統(tǒng)。
【背景技術】
[0002] 目前的視頻拼接技術，拼接的視頻效果不理想，無法滿足用戶的需求。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明提供了一種視頻拼接方法，包括如下步驟：
[0004] 提取及匹配步驟，對多攝像機同一時刻所捕獲的首幀圖像組進行相應的特征提 取，對首幀圖像進行特征點匹配，確定精確有效的匹配特征點組合；
[0005] 模板建立步驟，根據(jù)首幀圖像組中幀圖像的匹配特征點對每幀圖像進行形狀及角 度變換和精確剪切，并建立空白模板，將首幀圖像組中的每個幀圖像剪切后的數(shù)據(jù)精確投 影到各自對應的空白模板上，建立公用數(shù)據(jù)單元；
[0006] 圖像融合步驟，再次從多個攝像機中連續(xù)捕獲一組組幀圖像，將每幀圖像按照各 自所屬攝像機對應的變換矩陣及剪切模板進行變形裁剪，然后對每對應組已經(jīng)變形及裁剪 過的幀圖像進行幀圖像融合；
[0007] 處理步驟，最后，設置幀率，將多個攝像機每個對應組所融合完成的最終圖像以新 的幀圖像形式重新按順序播放，形成多個攝像機組合成一個的效果。
[0008] 作為本發(fā)明的進一步改進，在所述圖像融合步驟中包括重疊區(qū)域初步融合步驟， 在所述重疊區(qū)域初步融合步驟中，當各攝像機之間的變換矩陣產(chǎn)生后，存儲在空矩陣H中， 以供后續(xù)幀使用，將匹配的幀圖像組通過以下變換運算法對攝像機首幀進行變形：
[0009]
[0010] A，B分別為兩個幀圖像的坐標矩陣，As表示兩幅幀圖像之間的位移，Θ為旋轉(zhuǎn)角 度，a為尺度變化倍數(shù)，1和7分別表示點的X坐標和y坐標，八1和八 7分別表示變換后的X坐標 和y坐標的偏移量。
[0011] 作為本發(fā)明的進一步改進，在所述重疊區(qū)域初步融合步驟中，為實現(xiàn)多攝像機最 終的實時融合，采用計算量小，運算速度快的加權平均法，其最終圖像灰度值由下公式確 定：
[0012]
[0013] 其中Cm(x，y)表示轉(zhuǎn)換后的灰度圖像在坐標(x，y)處的灰度值，w為各坐標位置的 權重值。
[0014] 作為本發(fā)明的進一步改進，在所述圖像融合步驟中包括消除拼接縫步驟，在所述 消除拼接縫步驟中，首先對圖像進行小波變換分解，其次，根據(jù)中值濾波技術對小波分解中 各高頻部分進行中值濾波，最后重構(gòu)圖像。
[0015] 本發(fā)明還提供了一種視頻拼接系統(tǒng)，包括：
[0016] 提取及匹配模塊，用于對多攝像機同一時刻所捕獲的首幀圖像組進行相應的特征 提取，對首幀圖像進行特征點匹配，確定精確有效的匹配特征點組合；
[0017] 模板建立模塊，用于根據(jù)首幀圖像組中幀圖像的匹配特征點對每幀圖像進行形狀 及角度變換和精確剪切，并建立空白模板，將首幀圖像組中的每個幀圖像剪切后的數(shù)據(jù)精 確投影到各自對應的空白模板上，建立公用數(shù)據(jù)單元；
[0018]圖像融合模塊，用于再次從多個攝像機中連續(xù)捕獲一組組幀圖像，將每幀圖像按 照各自所屬攝像機對應的變換矩陣及剪切模板進行變形裁剪，然后對每對應組已經(jīng)變形及 裁剪過的幀圖像進行幀圖像融合；
[0019] 處理模塊，最后，設置幀率，將多個攝像機每個對應組所融合完成的最終圖像以新 的幀圖像形式重新按順序播放，形成多個攝像機組合成一個的效果。
[0020] 作為本發(fā)明的進一步改進，在所述圖像融合模塊中包括重疊區(qū)域初步融合模塊， 在所述重疊區(qū)域初步融合模塊中，當各攝像機之間的變換矩陣產(chǎn)生后，存儲在空矩陣H中， 以供后續(xù)幀使用，將匹配的幀圖像組通過以下變換運算法對攝像機首幀進行變形：
[0021]
[0022] A，B分別為兩個幀圖像的坐標矩陣，As表示兩幅幀圖像之間的位移，Θ為旋轉(zhuǎn)角 度，a為尺度變化倍數(shù)，1和7分別表示點的X坐標和y坐標，八1和八 7分別表示變換后的X坐標 和y坐標的偏移量。
[0023] 作為本發(fā)明的進一步改進，在所述重疊區(qū)域初步融合模塊中，為實現(xiàn)多攝像機最 終的實時融合，采用計算量小，運算速度快的加權平均法，其最終圖像灰度值由下公式確 定：
[0024]
[0025] 其中Cm(x，y)表示轉(zhuǎn)換后的灰度圖像在坐標(x，y)處的灰度值，w為各坐標位置的 權重值。
[0026] 作為本發(fā)明的進一步改進，在所述圖像融合模塊中包括消除拼接縫模塊，在所述 消除拼接縫模塊中，首先對圖像進行小波變換分解，其次，根據(jù)中值濾波技術對小波分解中 各高頻部分進行中值濾波，最后重構(gòu)圖像。
[0027] 本發(fā)明的有益效果是:本發(fā)明能夠?qū)⒁曨l進行完美的融合及拼接，使拼接后的視 頻清晰無縫，滿足用戶的需求。
【附圖說明】
[0028]圖1是本發(fā)明的方法流程圖。
【具體實施方式】
[0029]如圖1所示，本發(fā)明公開了一種視頻拼接方法，包括如下步驟：
[0030] 步驟SI.提取及匹配步驟，對多攝像機同一時刻所捕獲的首幀圖像組進行相應的 特征提取，對首幀圖像進行特征點匹配，確定精確有效的匹配特征點組合；
[0031] 步驟S2.模板建立步驟，根據(jù)首幀圖像組中幀圖像的匹配特征點對每幀圖像進行 形狀及角度變換和精確剪切，并建立空白模板，將首幀圖像組中的每個幀圖像剪切后的數(shù) 據(jù)精確投影到各自對應的空白模板上，建立公用數(shù)據(jù)單元；
[0032] 步驟S3.圖像融合步驟，再次從多個攝像機中連續(xù)捕獲一組組幀圖像，將每幀圖像 按照各自所屬攝像機對應的變換矩陣及剪切模板進行變形裁剪，然后對每對應組已經(jīng)變形 及裁剪過的幀圖像進行幀圖像融合；
[0033]步驟S4.處理步驟，最后，設置幀率，將多個攝像機每個對應組所融合完成的最終 圖像以新的幀圖像形式重新按順序播放，形成多個攝像機組合成一個的效果。
[0034] 另外，在執(zhí)行步驟Sl之前，將多個攝像機放置在具有穩(wěn)定光照和相對位移和角度 固定的位置，對每個攝像機捕獲的幀圖像進行初始對比，使他具有大致相同的環(huán)境和一定 的重疊區(qū)域。
[0035] 在所述圖像融合步驟中包括重疊區(qū)域初步融合步驟，在所述重疊區(qū)域初步融合步 驟中，當各攝像機之間的變換矩陣產(chǎn)生后，存儲在空矩陣H中，以供后續(xù)幀使用，將匹配的幀 圖像組通付W下亦拖S笪法對梧僮M首巾陽井桿亦報.
[0036]
[0037] A，B分別為兩個幀圖像的坐標矩陣，As表示兩幅幀圖像之間的位移，Θ為旋轉(zhuǎn)角 度，a為尺度變化倍數(shù)，1和7分別表示點的X坐標和y坐標，八1和八 7分別表示變換后的X坐標 和y坐標的偏移量。
[0038] 在所述重疊區(qū)域初步融合步驟中，為實現(xiàn)多攝像機最終的實時融合，采用計算量 小，運算速度快的加權平均法，其最終圖像灰度值由下公式確定：
[0039]
[0040] 其中Cm(x，y)表示轉(zhuǎn)換后的灰度圖像在坐標(x，y)處的灰度值，w為各坐標位置的 權重值。
[0041] 在所述圖像融合步驟中包括消除拼接縫步驟，在所述消除拼接縫步驟中，首先對 圖像進行小波變換分解，其次，根據(jù)中值濾波技術對小波分解中各高頻部分進行中值濾波， 最后重構(gòu)圖像。
[0042] 在消除拼接縫步驟中，融合階段結(jié)束后，還需要進行幀圖像去噪，因此幀圖像在融 合的過程中用的是加權平法。在兩幅圖像中間的臨界部分，通過去噪小波變換法，使圖像過 渡區(qū)域看上去更自然。利用圖像噪聲和信號所在頻域分布不同，噪聲常常表現(xiàn)為圖像上孤 立像素的灰度突變，具有高頻特性和空間不相關性。具體去噪步驟為，首先對圖像進行小波 變換分解，其次，根據(jù)中值濾波技術對小波分解中各高頻部分進行中值濾波，最后重構(gòu)圖 像。
[0043] 由于直接移植圖像拼接及融合算法到多攝像頭拼接，會導致最后新幀圖像無法形 成整體及無法滿足實時性等問題，那么在對攝像機圖像拼接算法進行改進時首先要想到的 是提速。CPU的特點是強控制弱計算，更多資源用于緩存，而GPU(圖像處理器)的特點是弱控 制強計算，更多的資源是用于計算。因此，在圖像圖形處理提速方面，GPU編程是極有效的處 理方法之一。由于圖像拼接的每一個步驟都十分復雜精確，從特征描述的方式到特征檢測 的方式，從特征點相似判定標準到剔除誤配，從最開始的初步融合到精細化的去噪，每一步 既精細又不多余。要對整個過程精簡，首先要找出整個過程的重復處和耗時處。
[0044] GPU(圖像處理器）的運行需要程序進行指揮，但不是用原始的C程序，要調(diào)用它需 要用到CUDA硬件編程框架。與GPU以及所包含的SP，SM相對應的CUDA編程框架可大致對應分 為gird ,block ,thread。它們之間的關系為，一個網(wǎng)絡(Grid)由若干線程塊(block)組成，每 個線程塊則由最多512個線程組成。而軟件程序中的并行計算部分有kennel以網(wǎng)絡grid的 形式執(zhí)行。其基本步驟如下：
[0045] 1.主機代碼執(zhí)行；
[0046] 2.傳輸數(shù)據(jù)到GPU;
[0047] 3.確定grid ,block即并行線路的多少；
[0048] 4.調(diào)用內(nèi)核函數(shù)，GPU運行程序；
[0049] 5.傳輸結(jié)果到GPU;
[0050] 6.繼續(xù)運行主機代碼；
[0051 ]本發(fā)明還公開了一種視頻拼接系統(tǒng)，包括：
[0052] 提取及匹配模塊，用于對多攝像機同一時刻所捕獲的首幀圖像組進行相應的特征 提取，對首幀圖像進行特征點匹配，確定精確有效的匹配特征點組合；
[0053] 模板建立模塊，用于根據(jù)首幀圖像組中幀圖像的匹配特征點對每幀圖像進行形狀 及角度變換和精確剪切，并建立空白模板，將首幀圖像組中的每個幀圖像剪切后的數(shù)據(jù)精 確投影到各自對應的空白模板上，建立公用數(shù)據(jù)單元；
[0054]圖像融合模塊，用于再次從多個攝像機中連續(xù)捕獲一組組幀圖像，將每幀圖像按 照各自所屬攝像機對應的變換矩陣及剪切模板進行變形裁剪，然后對每對應組已經(jīng)變形及 裁剪過的幀圖像進行幀圖像融合；
[0055] 處理模塊，最后，設置幀率，將多個攝像機每個對應組所融合完成的最終圖像以新 的幀圖像形式重新按順序播放，形成多個攝像機組合成一個的效果。
[0056] 在所述圖像融合模塊中包括重疊區(qū)域初步融合模塊，在所述重疊區(qū)域初步融合模 塊中，當各攝像機之間的變換矩陣產(chǎn)生后，存儲在空矩陣H中，以供后續(xù)幀使用，將匹配的幀 圖像組通過以下變換運算法對攝像機首幀進行變形：
[0057]
[0058] A，B分別為兩個幀圖像的坐標矩陣，As表示兩幅幀圖像之間的位移，Θ為旋轉(zhuǎn)角 度，a為尺度變化倍數(shù)，1和7分別表示點的X坐標和y坐標，八1和八7分別表示變換后的X坐標 和y坐標的偏移量。
[0059]在所述重疊區(qū)域初步融合模塊中，為實現(xiàn)多攝像機最終的實時融合，采用計算量 小，運算速度快的加權平均法，其最終圖像灰度值由下公式確定：
[0060]
[0061] 其中Cm(x，y)表示轉(zhuǎn)換后的灰度圖像在坐標(x，y)處的灰度值，w為各坐標位置的 權重值。
[0062] 在所述圖像融合模塊中包括消除拼接縫模塊，在所述消除拼接縫模塊中，首先對 圖像進行小波變換分解，其次，根據(jù)中值濾波技術對小波分解中各高頻部分進行中值濾波， 最后重構(gòu)圖像。
[0063]攝像機捕獲一些列靜止圖片是一幅幅靜止的圖像，同理，拼接的視頻也一樣，都是 由攝像頭捕獲的一系列靜止圖像按一定的順序連接構(gòu)成的。所以，將幾個攝像機拼接到一 起，本質(zhì)上是視頻圖像包含的幀圖像拼接。
[0064] 本發(fā)明是從各攝像機拍攝的視頻中獲取幀圖像，按時間順序?qū)λ麄冞M行分組，利 用每個攝像機對應的關鍵幀圖像，運用圖像拼接的技術方法，將每個攝像機所拍攝的視頻 片段關鍵幀進行圖像匹配和圖像融合，并用圖像去噪的算法消除可能存在的接縫，再將拼 接好的幀序列連成視頻，由于將圖像拼接的相關算法應用于視頻后，計算量加大，導致處理 的過程中效果和實時性較差，因此本發(fā)明將充分運用GPU等并行計算算法以及opencv運算 庫，同時進行幀圖像處理部分并行處理，從而節(jié)省運行時間，提高性能。
[0065] 以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定 本發(fā)明的具體實施只局限于這些說明。對于本發(fā)明所屬技術領域的普通技術人員來說，在 不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單推演或替換，都應當視為屬于本發(fā)明的 保護范圍。
【主權項】
1. 一種視頻拼接方法，其特征在于，包括如下步驟： 提取及匹配步驟，對多攝像機同一時刻所捕獲的首帖圖像組進行相應的特征提取，對 首帖圖像進行特征點匹配，確定精確有效的匹配特征點組合； 模板建立步驟，根據(jù)首帖圖像組中帖圖像的匹配特征點對每帖圖像進行形狀及角度變 換和精確剪切，并建立空白模板，將首帖圖像組中的每個帖圖像剪切后的數(shù)據(jù)精確投影到 各自對應的空白模板上，建立公用數(shù)據(jù)單元； 圖像融合步驟，再次從多個攝像機中連續(xù)捕獲一組組帖圖像，將每帖圖像按照各自所 屬攝像機對應的變換矩陣及剪切模板進行變形裁剪，然后對每對應組已經(jīng)變形及裁剪過的 帖圖像進行帖圖像融合； 處理步驟，最后，設置帖率，將多個攝像機每個對應組所融合完成的最終圖像W新的帖 圖像形式重新按順序播放，形成多個攝像機組合成一個的效果。2. 根據(jù)權利要求1所述的視頻拼接方法，其特征在于，在所述圖像融合步驟中包括重疊 區(qū)域初步融合步驟，在所述重疊區(qū)域初步融合步驟中，當各攝像機之間的變換矩陣產(chǎn)生后， 存儲在空矩陣H中，W供后續(xù)帖使用，將匹配的帖圖像組通過W下變換運算法對攝像機首帖 進行變形：A，B分別為兩個帖圖像的坐標矩陣，As表示兩幅帖圖像之間的位移，0為旋轉(zhuǎn)角度，a為 尺度變化倍數(shù)，X和y分別表示點的X坐標和y坐標，Ax和Ay分別表示變換后的X坐標和y坐 標的偏移量。3. 根據(jù)權利要求2所述的視頻拼接方法，其特征在于，在所述重疊區(qū)域初步融合步驟 中，為實現(xiàn)多攝像機最終的實時融合，采用計算量小，運算速度快的加權平均法，其最終圖 像灰度值由下公式確定：其中Cm(x，y)表示轉(zhuǎn)換后的灰度圖像在坐標(x，y)處的灰度值，W為各坐標位置的權重 值。4. 根據(jù)權利要求1所述的視頻拼接方法，其特征在于，在所述圖像融合步驟中包括消除 拼接縫步驟，在所述消除拼接縫步驟中，首先對圖像進行小波變換分解，其次，根據(jù)中值濾 波技術對小波分解中各高頻部分進行中值濾波，最后重構(gòu)圖像。5. -種視頻拼接系統(tǒng)，其特征在于，包括： 提取及匹配模塊，用于對多攝像機同一時刻所捕獲的首帖圖像組進行相應的特征提 取，對首帖圖像進行特征點匹配，確定精確有效的匹配特征點組合； 模板建立模塊，用于根據(jù)首帖圖像組中帖圖像的匹配特征點對每帖圖像進行形狀及角 度變換和精確剪切，并建立空白模板，將首帖圖像組中的每個帖圖像剪切后的數(shù)據(jù)精確投 影到各自對應的空白模板上，建立公用數(shù)據(jù)單元； 圖像融合模塊，用于再次從多個攝像機中連續(xù)捕獲一組組帖圖像，將每帖圖像按照各 自所屬攝像機對應的變換矩陣及剪切模板進行變形裁剪，然后對每對應組已經(jīng)變形及裁剪 過的帖圖像進行帖圖像融合； 處理模塊，最后，設置帖率，將多個攝像機每個對應組所融合完成的最終圖像W新的帖 圖像形式重新按順序播放，形成多個攝像機組合成一個的效果。6. 根據(jù)權利要求5所述的視頻拼接系統(tǒng)，其特征在于，在所述圖像融合模塊中包括重疊 區(qū)域初步融合模塊，在所述重疊區(qū)域初步融合模塊中，當各攝像機之間的變換矩陣產(chǎn)生后， 存儲在空矩陣H中，W供后續(xù)帖使用，將匹配的帖圖像組通過W下變換運算法對攝像機首帖 進行變形：A，B分別為兩個帖圖像的坐標矩陣，As表示兩幅帖圖像之間的位移，0為旋轉(zhuǎn)角度，a為 尺度變化倍數(shù)，X和y分別表示點的X坐標和y坐標，Ax和Ay分別表示變換后的X坐標和y坐 標的偏移量。7. 根據(jù)權利要求6所述的視頻拼接系統(tǒng)，其特征在于，在所述重疊區(qū)域初步融合模塊 中，為實現(xiàn)多攝像機最終的實時融合，采用計算量小，運算速度快的加權平均法，其最終圖 像灰度值由下公式確定：其中Cm( X，y)表示轉(zhuǎn)換后的灰度圖像在坐標(X，y)處的灰度值，W為各坐標位置的權重 值。8. 根據(jù)權利要求5所述的視頻拼接系統(tǒng)，其特征在于，在所述圖像融合模塊中包括消除 拼接縫模塊，在所述消除拼接縫模塊中，首先對圖像進行小波變換分解，其次，根據(jù)中值濾 波技術對小波分解中各高頻部分進行中值濾波，最后重構(gòu)圖像。
【文檔編號】H04N5/265GK105915804SQ201610422452
【公開日】2016年8月31日
【申請日】2016年6月16日
【發(fā)明人】蔡業(yè)飛, 劉勇, 鄒時鵬
【申請人】恒業(yè)智能信息技術（深圳）有限公司