一種三維掃描方法
【專利摘要】本發(fā)明提出一種三維掃描方法，其包括如下步驟：S101、數(shù)據(jù)采集，連續(xù)掃描獲得物體的連續(xù)數(shù)據(jù)，所述連續(xù)數(shù)據(jù)包括物體靜止時(shí)的外幾何表面數(shù)據(jù)、用戶與物體或場景進(jìn)行交互時(shí)的運(yùn)動(dòng)掃描數(shù)據(jù)及物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)；S103、數(shù)據(jù)段分割，將所述連續(xù)數(shù)據(jù)分割為沒有用戶交互的片段及有用戶交互的片段；S105、交互運(yùn)動(dòng)分析，在所述有用戶交互的片段中檢測用戶的交互并剔除對應(yīng)的運(yùn)動(dòng)掃描數(shù)據(jù)；S107、數(shù)據(jù)融合，對所述物體靜止時(shí)的外幾何表面數(shù)據(jù)和所述物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)進(jìn)行配準(zhǔn)，重建物體的三維模型。所述三維掃描方法可有效解決物體內(nèi)部結(jié)構(gòu)等不可見部分的存在而造成的難以捕捉三維物體的全部數(shù)據(jù)的問題。
【專利說明】一種三維掃描方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)圖像【技術(shù)領(lǐng)域】，尤其涉及一種三維掃描方法。
【背景技術(shù)】
[0002]基于三維掃描數(shù)據(jù)進(jìn)行物體的測量和重建有著廣泛的應(yīng)用背景，一直受到學(xué)術(shù)研究和工業(yè)開發(fā)的持續(xù)關(guān)注。隨著近年來三維掃描技術(shù)的迅猛發(fā)展，各種精度、靈活度和價(jià)位的掃描儀相繼問世。其中有用于大規(guī)模場景捕獲的車載或機(jī)載掃描儀，有快速捕獲運(yùn)動(dòng)的高速掃描儀，有高精度捕獲物體表面細(xì)節(jié)的掃描儀。空間數(shù)據(jù)采集技術(shù)還將在分辨率、速度、精度上不斷地進(jìn)步和發(fā)展，進(jìn)而為三維技術(shù)的應(yīng)用打開一個(gè)新的局面。
[0003]靜態(tài)物體與動(dòng)態(tài)可形變物體的完整獲取工作在國內(nèi)外的發(fā)展包括:
[0004]靜態(tài)物體掃描
[0005]由于掃描儀每次只能掃描物體的一側(cè)，所以如果要完整掃描物體，必須對其進(jìn)行多視角掃描，然后將各個(gè)視角的掃描數(shù)據(jù)配準(zhǔn)到一起組成該物體完整的掃描數(shù)據(jù)。多視角數(shù)據(jù)的配準(zhǔn)主要用到迭代最近點(diǎn)算法ICP(Iterative Closest Point),該算法最早由Besl和 McKay (BESL, P.J., AND MCKAY, N.D.1992.A method for registration of3-D shapes.1EEE Trans.PAMI14，2，239 - 256.)及 Chen 和 Medioni (CHEN, Y., AND MED10NI, G.1992.0bject modelling by registration of multiple range images.1mage and VisionComputinglO, 3，145 - 155.)提出，用于將兩個(gè)有足夠重疊部分的掃描數(shù)據(jù)或者是網(wǎng)格進(jìn)行對齊。在已知兩個(gè)數(shù)據(jù)的大概對齊的位置的情況下，ICP經(jīng)過迭代地尋找匹配點(diǎn)對，并依此計(jì)算兩個(gè)數(shù)據(jù)的剛性變換，最終收斂到對齊的位置。為了重建完整的物體模型，Chen和Medioni逐漸地將新的掃描數(shù)據(jù)對齊到所有之前的數(shù)據(jù)中。
[0006]然而即便每兩個(gè)數(shù)據(jù)可以對齊到理想位置，因?yàn)樵肼暫蛿?shù)據(jù)缺失的原因，也會(huì)產(chǎn)生微小的誤差，這些誤差的累積將會(huì)導(dǎo)致環(huán)線閉合差(Loop Closure)的問題，即最前面的數(shù)據(jù)和最后的數(shù)據(jù)本來應(yīng)該重合，但是由于累積誤差而最終無法對齊。為此，Bergevin等人(BERGEVIN, R.，S 0UCY, M., G AGN0N, H., AND LAURENDEAU, D.1996.Towards a generalmult1-view registration technique.1EEE Trans.PAMI18, 5, 540 - 547.)> Pulli 等人(PULLI, Κ.1999.Multiview registration for large data sets.1n Proceedings ofthe2nd international conference on3_D digital imaging and modeling.)以及 Brown等人(BROWN, B.J.,AND RUSINKIEWICZ, S.2007: Global non-rigid alignment of3-dscans.1n ACM SIGGRAPH2007Papers, ACM, New York, NY, USA, SIGGRAPH’07.)通過將每一個(gè)掃描數(shù)據(jù)通與它重疊的所有其他數(shù)據(jù)進(jìn)行配準(zhǔn)，從而將累積誤差均勻擴(kuò)散到每一數(shù)據(jù)中，以此來得到正確的結(jié)果。
[0007]之后Weise 等人(WEISE, T.，WISMER, T.，LEIBE, B.，ANDG00L，L.V.2011.0nline loop closure for real-time interactive3d scanning.Comput.Vis.1mageUnderst.115, 5 (May))開發(fā)了解決實(shí)時(shí)掃描系統(tǒng)中環(huán)線閉合差問題的方法。同時(shí)掃描設(shè)備的非線性特性和標(biāo)定誤差通常會(huì)引起物體掃描數(shù)據(jù)的低頻失真。為了矯正這種失真，Ikemoto等人(IKEMOTO，L.，G ELFAND, N., AND LEVOY, Μ.2003.A hierarchical method foraligning warped meshes.1n Proc.3DIM.)引入了非線性配準(zhǔn)技術(shù)。該技術(shù)將掃描數(shù)據(jù)分作多個(gè)重疊的小塊，對這些小塊進(jìn)行全局的剛性對齊。雖然不要求特定的失真特性，然而這種方法會(huì)導(dǎo)致最終結(jié)果過于光滑，并且運(yùn)行時(shí)間是小塊個(gè)數(shù)的平方級。Brown等人利用薄板樣條來表示這種低頻失真，通過局部權(quán)重化的ICP方法首先獲得各個(gè)視角掃描數(shù)據(jù)間的稀疏對應(yīng)，并計(jì)算出特征點(diǎn)的最終位置，最后用薄榜樣條的方法將所有點(diǎn)數(shù)據(jù)映射到其最終位置上。
[0008]動(dòng)態(tài)可形變物體掃描[0009]對于在掃描過程中會(huì)出現(xiàn)自身形狀變化的物體，我們統(tǒng)一歸為此類。一種直觀的方法是利用物體自身的先驗(yàn)知識，比如物體的一個(gè)大概模板，或者假定物體是鉸接式結(jié)構(gòu)(例如人體)來簡化該問題的復(fù)雜性。Pekelny與Gostsman (PEKELNY, Y., ANDGOTSMAN, C.2008.Articulated object reconstruction and markerless motion capturefrom depth vide0.Computer Graphics Forum27, 2 (Apr.), 399 - 408.)提出了針對絞接式結(jié)構(gòu)物體的運(yùn)動(dòng)跟蹤與配準(zhǔn)的方法，該方法假設(shè)物體的骨架和各個(gè)剛性部件已經(jīng)給定。類似的，Chang 和 Zwicker (CHANG, ff.，AND ZffICKER, M.2011.Global registrationof dynamic range scans for articulated model reconstruction.ACM Trans.Graph.30, 3 (May) ,26:1 - 26:15.)通過尋找一組最優(yōu)的分段剛性變換來進(jìn)行鉸接式物體的掃描數(shù)據(jù)的配準(zhǔn)。之后Chang等人又利用可變形模板來解決帶有數(shù)據(jù)缺失的鉸接式物體的配準(zhǔn)問題，通過優(yōu)化可變形模板的參數(shù)將所有的掃描數(shù)據(jù)配準(zhǔn)到一起。Li等人(LI，H.，LUO，L.，VLASIC, D.，PEERS, P.，P0P0VI?, J.，PAULY, Μ.，AND RUSINKIEWICZ, S.2012.Temporallycoherent completion of dynamic shapes.ACM Trans.Graph.31，I(Feb.)，2:1 - 2:11.)利用粗糙的模板為指導(dǎo)進(jìn)行可形變物體運(yùn)動(dòng)的重建，最后利用掃描數(shù)據(jù)獲得較為精確的模型細(xì)節(jié)。
[0010]利用物體的先驗(yàn)知識進(jìn)行問題簡化雖然可以得到不錯(cuò)的效果，但是這些方法卻無法通用，所以一些直接利用掃描數(shù)據(jù)進(jìn)行可變形物體重建的算法被相繼提出。Mitra等人(MITRA, N.J., F LORY, S.，0VSJANIK0V, Μ.，G ELFAND, N.，⑶IBAS, L.，AND Ρ0ΤΤΜΑΝΝ, H.2007.Dynamic geometry registration.1n Proceedings of the fifth Eurographicssymposium on Geometry processing, Eurographics Association, Airela-Ville, Switzerland, Switzerland, SGP’ 07, 173 - 182.)利用四維時(shí)空表面數(shù)據(jù)的動(dòng)力學(xué)性質(zhì)來跟蹤和配準(zhǔn)可形變物體的多幀數(shù)據(jù)。類似的，Wand等人(WAND，M.，J ENKE, P., H UANG, Q., B0KEL0H, M., G UIBAS, L., AND SCHILLING, A.2007.Reconstruction of deforming geometryfrom time-varying point clouds.1n Proceedings of the fifth Eurographicssymposium on Geometry processing, Eurographics Association, Aire-la-Ville,Switzerland, Switzerland, SGP，07, 49 - 58.)通過四維形狀優(yōu)化算法重建掃描數(shù)據(jù)的形狀以及其運(yùn)動(dòng)軌跡，在之后的工作中，他們將表面運(yùn)動(dòng)定義為位移場并計(jì)算與掃描數(shù)據(jù)可以匹配的模型(WAND, M.，A DAMS, B.，0VSJANIK0V, Μ.，B ERNER, A.，B0KEL0H, Μ.，JENKE, P.，G UIBAS, L.，S EIDEL, H.-P.，AND SCHILLING, A.2009.Efficient reconstructionof nonrigid shape and motion from real-time3d scanner data.ACM Trans.Graph.28，2(May), 15: 1- 15: 15.)。Sumuth 等人(SUMUTH, J.，W INTER, M., ANDGREINER, G.2008.Reconstructing animated meshes from time-varying point clouds.1n Proceedings of the Symposium on Geometry Processing, Eurographics Association，Aire-la-Ville，Switzerland, Switzerland, SGP，08，1469 - 1476.)和 Sharf 等ACSHARFj A.,A LCANTARA，D.A.，L EWINER，T.，G REIF，C.，SHEFFER，A.，A MENTAj N., ANDCOHEN-O Rj D.2008.Space-time surface reconstruction using incompressible flow.1n ACM SIGGRAPH Asia2008papers, ACM, New York, NYj USA, SIGGRAPH Asia，08，110:1-110:10.)通過隱式時(shí)空運(yùn)動(dòng)表達(dá)方式直接恢復(fù)四維表面模型。但是這些技術(shù)不僅耗時(shí)而且需要相鄰數(shù)據(jù)之間相差不能太大。
[0011]Li 等人(LI, H., S UMNER, R.ff., AND PAULY, M.2008.Global correspondenceoptimization for non-rigid registration of depth scans.1n Proceedings ofthe Symposium on Geometry Processing, Eurographics Association, Aire-1a-Ville, Switzerland, Switzerland, SGP，08, 1421 - 1430.)于 2007 年提出 了 一 種兩兩非剛性配準(zhǔn)方法，該方法將非剛性變形描述為基于圖的形變問題，通過全局優(yōu)化，同時(shí)得到兩個(gè)數(shù)據(jù)的重疊部分和對齊變換。該算法對于形變不大的兩個(gè)數(shù)據(jù)比較魯棒。之后，Li等人將該算法擴(kuò)展到動(dòng)態(tài)形體在連續(xù)時(shí)間內(nèi)不同狀態(tài)數(shù)據(jù)的補(bǔ)全、人物的三維自拍以及癌癥檢測數(shù)據(jù)的分析等有實(shí)際意義的應(yīng)用中。和Li等人的方法類似，Huang等人(HUANG, Q.-X., A DAMS, B., W ICKE,M.,AND GUIBAS, L.J.2008.Non-rigid registrationunder isometric deformations.1n Proceedings of the Symposium on GeometryProcessing, Eurographics Association,Aire-la-Ville, Switzerland, Switzerland, SGP’ 08，1449 - 1457.)假設(shè)物體的形變?yōu)榈染嘧兓⒂脠D的形式描述物體數(shù)據(jù)的測地距離，進(jìn)而提取出一組兩數(shù)據(jù)之間的測地對應(yīng)點(diǎn)，利用這些對應(yīng)點(diǎn)對數(shù)據(jù)進(jìn)行配準(zhǔn)。這些兩兩非剛性配準(zhǔn)方法都可以用于重建可形變物體的運(yùn)動(dòng)。
[0012]但是，在傳統(tǒng)的三維物體的掃描方法中，不論是靜態(tài)物體還是動(dòng)態(tài)物體，當(dāng)前所有的技術(shù)只能用于物體外在表面的完整獲取。然而，在許多的應(yīng)用中，物體的完整信息不僅僅包括外在表面，更包括物體內(nèi)部結(jié)構(gòu)或者由于其他遮擋原因而對被掃描儀不可見的部分。例如重建一座寫字樓，除了樓外面四周的墻面外，更重要的是樓層內(nèi)部的辦公室、大廳；再如一個(gè)櫥柜除了外面的門、把手和其他外圍外，櫥柜內(nèi)部的隔板或者內(nèi)部呈放的物品也非常重要；更為復(fù)雜但是非常重要的例子是枝葉繁茂的室內(nèi)植物，其內(nèi)部的枝葉被外部的枝葉全部或者局部地遮擋，而無法被掃描儀直接捕獲。用以往的方法，必須首先對這些物體的內(nèi)外部分分別進(jìn)行單獨(dú)的掃描，然后將內(nèi)外掃描數(shù)據(jù)手動(dòng)配準(zhǔn)到一起。但是通常由于內(nèi)部和外部的數(shù)據(jù)沒有重疊部分而使配準(zhǔn)工作相當(dāng)困難且無法保證結(jié)果的正確性。對于植物的情況，問題變得更糟。因此，如何完整地獲取三維對象的全部完整數(shù)據(jù)仍然存在瓶頸。
[0013]可知，現(xiàn)有的掃描方法中，存在以下缺陷:
[0014]掃描質(zhì)量低:掃描過程覆蓋整個(gè)掃描對象，轉(zhuǎn)動(dòng)物體或者掃描儀，從多個(gè)不同的視角仔細(xì)地對物體所有表面進(jìn)行采樣。而真實(shí)世界中，形狀復(fù)雜的對象存在隱蔽部分，如物理遮擋等，尤其是三維對象自身結(jié)構(gòu)中具有大面積的凹面，隱蔽的內(nèi)部結(jié)構(gòu)，通過掃描儀無法獲取數(shù)據(jù)的褶皺和遮擋等，使得采樣數(shù)據(jù)中不可避免地存在著空洞和采樣過于稀疏的問題，從而影響掃描質(zhì)量，大大降低了數(shù)據(jù)的精確度。
[0015]掃描過程繁雜:整個(gè)掃描過程是十分繁重復(fù)雜的，一方面，用戶應(yīng)該具有一定程度的專業(yè)知識指導(dǎo)掃描過程，另一方面，用戶需要不斷地掃描，核對并且重新掃描那些不正確的部分，以此來完成冗長的操作過程。

【發(fā)明內(nèi)容】

[0016]針對上述問題，本發(fā)明將通過提出一種三維掃描方法，以解決現(xiàn)有技術(shù)中三維掃描過程中物體存在遮擋、褶皺、空洞等不可見內(nèi)容導(dǎo)致的數(shù)據(jù)缺失、精度低等問題，能夠在掃描過程中與場景動(dòng)態(tài)交互，對物體或者場景內(nèi)外部分進(jìn)行真正連續(xù)的完整掃描，并捕獲不可見部分的數(shù)據(jù)，重建出物體內(nèi)外部完整的三維模型。
[0017]一種三維掃描方法，其包括如下步驟:
[0018]S101、數(shù)據(jù)采集，連續(xù)掃描獲得物體的連續(xù)數(shù)據(jù)，所述連續(xù)數(shù)據(jù)包括物體靜止時(shí)的外幾何表面數(shù)據(jù)、用戶與物體或場景進(jìn)行交互時(shí)的運(yùn)動(dòng)掃描數(shù)據(jù)及物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)；
[0019]S103、數(shù)據(jù)段分割，將所述連續(xù)數(shù)據(jù)分割為沒有用戶交互的片段及有用戶交互的片段；
[0020]S105、交互運(yùn)動(dòng)分析，在所述有用戶交互的片段中檢測用戶的交互并剔除對應(yīng)的運(yùn)動(dòng)掃描數(shù)據(jù)；
[0021]S107、數(shù)據(jù)融合，對所述物體靜止時(shí)的外幾何表面數(shù)據(jù)和所述物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)進(jìn)行配準(zhǔn)，重建物體的三維模型。
[0022]本發(fā)明一較佳實(shí)施方式中，步驟SlOl中，采用掃描設(shè)備對物體進(jìn)行數(shù)據(jù)采集。
[0023]本發(fā)明一較佳實(shí)施方式中，步驟S103中，通過在所述連續(xù)數(shù)據(jù)中檢測是否出現(xiàn)連續(xù)運(yùn)動(dòng)或者劇烈變化來分割所述有用戶交互的片段。
[0024]本發(fā)明一較佳實(shí)施方式中，步驟S105進(jìn)一步包括:
[0025]S1051、對應(yīng)點(diǎn)估計(jì)，采用全局剛性變換與局部非剛性變換估計(jì)對應(yīng)點(diǎn)，獲得轉(zhuǎn)換矩陣；
[0026]S1053、按照所述轉(zhuǎn)換矩陣進(jìn)行配準(zhǔn)，計(jì)算新的對應(yīng)點(diǎn)，并以此進(jìn)行迭代；
[0027]S1055、對所述連續(xù)數(shù)據(jù)中連續(xù)運(yùn)動(dòng)或者劇烈變化的地方，通過計(jì)算軌跡聚類、分析運(yùn)動(dòng)、檢測運(yùn)動(dòng)和變化；
[0028]S1057、得到運(yùn)動(dòng)軌跡，檢測出動(dòng)態(tài)部分，剔除所述動(dòng)態(tài)部分，保留運(yùn)動(dòng)過程中的靜態(tài)部分。
[0029]本發(fā)明一較佳實(shí)施方式中，步驟S105中，通過計(jì)算所述連續(xù)數(shù)據(jù)中對應(yīng)點(diǎn)運(yùn)動(dòng)的軌跡來檢測所述運(yùn)動(dòng)掃描數(shù)據(jù)。
[0030]本發(fā)明一較佳實(shí)施方式中，步驟S107采用魯棒的非剛性變化算法進(jìn)行配準(zhǔn)。
[0031]應(yīng)用本發(fā)明提出的三維掃描方法，其有益效果體現(xiàn)在:
[0032]本發(fā)明提出的三維掃描方法，可以有效地解決由于遮擋、褶皺、凹面、隱藏的內(nèi)部結(jié)構(gòu)等不可見部分的存在而造成的難以捕捉三維物體的全部數(shù)據(jù)的問題。
[0033]本發(fā)明提出的三維掃描方法是一個(gè)對物體或者場景內(nèi)外部分進(jìn)行真正連續(xù)的完整掃描流，采用保持場景靜止而移動(dòng)掃描儀捕獲物體外表面和不可見部分的數(shù)據(jù)，保持掃描儀靜止允許用戶與場景交互進(jìn)行操作捕獲運(yùn)動(dòng)過程的方式，通過動(dòng)態(tài)交互這一橋梁，連接沒有重疊的內(nèi)外兩部分(或外表面和不可見部分)，真正意義上的實(shí)現(xiàn)了物體或場景的完整數(shù)據(jù)的獲取。
[0034]此外，本發(fā)明提出的三維掃描方法在處理動(dòng)態(tài)交互的運(yùn)動(dòng)分析和剔除過程中，通過計(jì)算運(yùn)動(dòng)軌跡來檢測動(dòng)作，算法簡單高效、易于實(shí)現(xiàn)。同時(shí)，所述三維掃描方法不僅適用于剛性物體(如櫥柜、馬桶、汽車后備箱、箱子等)，針對非剛性可行變物體(如葉片遮擋的植物、桌布、窗簾等)也能得到非常完整的三維模型。
[0035]上述說明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說明書的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉實(shí)施例，并配合附圖，詳細(xì)說明如下。
【專利附圖】

【附圖說明】
[0036]圖1為本發(fā)明提供的三維掃描方法的流程圖；
[0037]圖2為圖1所示三維掃描方法中交互運(yùn)動(dòng)分析的流程圖；
[0038]圖3為圖1所示三維掃描方法中交互運(yùn)動(dòng)分析的分析過程示意圖；
[0039]圖4為圖1所示三維掃描方法中對應(yīng)點(diǎn)估計(jì)與配準(zhǔn)示意圖；
[0040]圖5為為圖1所示三維掃描方法中運(yùn)動(dòng)軌跡示意圖；
[0041]圖6為櫥柜的運(yùn)動(dòng)軌跡示意圖；
[0042]圖7為櫥柜的數(shù)據(jù)采集和自動(dòng)配準(zhǔn)結(jié)果圖；
[0043]圖8為應(yīng)用圖1所示三維掃描方法對櫥柜進(jìn)行三維掃描后重建的模型圖；
[0044]圖9為應(yīng)用圖1所示三維掃描方法對植物進(jìn)行三維掃描后重建的模型圖；
[0045]圖10為應(yīng)用圖1所示三維掃描方法對桌布進(jìn)行三維掃描后重建的模型圖。
【具體實(shí)施方式】
[0046]下面結(jié)合附圖及具體實(shí)施例對本發(fā)明作進(jìn)一步詳細(xì)的說明。
[0047]請參閱圖1，本發(fā)明提供一種三維掃描方法，其包括如下步驟:
[0048]S101、數(shù)據(jù)采集，連續(xù)掃描獲得物體的連續(xù)數(shù)據(jù)，所述連續(xù)數(shù)據(jù)包括物體靜止時(shí)的外幾何表面數(shù)據(jù)、用戶與物體或場景進(jìn)行交互時(shí)的運(yùn)動(dòng)掃描數(shù)據(jù)及物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)。
[0049]本實(shí)施例中，采用主動(dòng)式掃描方式，即用戶(即掃描設(shè)備操作者)可以隨時(shí)控制掃描設(shè)備的位置和朝向，以對物體(與/或場景)進(jìn)行靈活的掃描，已采集所述連續(xù)數(shù)據(jù)?？梢岳斫獾氖牵锌梢杂行Р蹲竭\(yùn)動(dòng)的移動(dòng)掃描設(shè)備都適用于所述數(shù)據(jù)采集，考慮到當(dāng)前掃描設(shè)備自身的精度和視場的限制，對于不同尺度的物體和分辨率要求，通常需要采用不同的掃描設(shè)備，即針對不同尺度的物體，采用不同的掃描設(shè)備。本實(shí)施例中，使用Mantis F5手持掃描儀對中等物體進(jìn)行掃描，而對于較袖珍物體，則采用Artec Eva手持掃描儀。
[0050]本實(shí)施例中，數(shù)據(jù)采集獲得的連續(xù)數(shù)據(jù)包括物體靜止時(shí)的外幾何表面數(shù)據(jù)獲取、用戶與物體或場景進(jìn)行交互時(shí)的運(yùn)動(dòng)掃描數(shù)據(jù)及物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)。
[0051]其中，對物體的靜態(tài)外幾何表面進(jìn)行掃描時(shí)，保持物體或場景靜止，移動(dòng)掃描儀，使其覆蓋物體外表面的所有視角，即可得到外幾何表面數(shù)據(jù)，供后續(xù)進(jìn)行配準(zhǔn)。
[0052]所述用戶與物體進(jìn)行交互指對物體/場景進(jìn)行操作，允許改變場景，進(jìn)行一些操作，如打開櫥柜門、移動(dòng)遮擋物、撥開植物外層葉片等。通過用戶與物體進(jìn)行交互，即可以有效地掃描物體顯示出來的內(nèi)部結(jié)構(gòu)、被遮擋部分等不可見部分。掃描操作時(shí)，保持掃描儀靜止，并捕獲動(dòng)態(tài)交互的動(dòng)作，即可獲得用戶與物體或場景進(jìn)行交互時(shí)的運(yùn)動(dòng)掃描數(shù)據(jù)。
[0053]對物體不可見部分進(jìn)行掃描時(shí)，場景保持為動(dòng)態(tài)交互掃描時(shí)的靜止?fàn)顟B(tài)，移動(dòng)掃描儀掃描物體被隱藏的內(nèi)部、被遮擋部分等不可見的內(nèi)容，以獲取完整數(shù)據(jù)，即物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)，供后續(xù)進(jìn)行配準(zhǔn)。
[0054]S103、數(shù)據(jù)段分割，將所述連續(xù)數(shù)據(jù)分割為沒有用戶交互的片段及有用戶交互的片段。
[0055]為了得到被掃描物體靜止時(shí)刻的數(shù)據(jù)，需要將交互動(dòng)作從掃描數(shù)據(jù)序列中識別并剔除，所以在獲得物體的連續(xù)數(shù)據(jù)后，首先需要將交互數(shù)據(jù)分割出來。
[0056]本專利發(fā)明人通過觀察發(fā)現(xiàn):當(dāng)用戶與物體/場景沒有進(jìn)行交互時(shí)，采集到的相鄰數(shù)據(jù)在重疊的位置，并沒有連續(xù)的劇烈變化；而在用戶與物體/場景進(jìn)行交互的過程中，物體的同一部件會(huì)在掃描數(shù)據(jù)中呈現(xiàn)連續(xù)運(yùn)動(dòng)或者劇烈的變化，由此，本發(fā)明通過在所述連續(xù)數(shù)據(jù)中檢測是否出現(xiàn)連續(xù)運(yùn)動(dòng)或者劇烈變化來分割所述有用戶交互的片段。
[0057]用戶交互的過程中會(huì)引起物體較大的變化，即運(yùn)動(dòng)。這些運(yùn)動(dòng)的部分不屬于物體靜態(tài)時(shí)刻的數(shù)據(jù)，另外交互過程中用戶的某些數(shù)據(jù)也會(huì)被一起采集，這些都不是最終需要的數(shù)據(jù)，而是輔助我們得到精確的遮擋與被遮擋物體數(shù)據(jù)配準(zhǔn)的中間橋梁。所以首先需要將用戶與掃描物體之間的交互部分找到，即將連續(xù)數(shù)據(jù)序列分割為沒有用戶交互的片段(物體為靜態(tài))和有用戶交互的片段。具體地，將所述連續(xù)數(shù)據(jù)中出現(xiàn)連續(xù)運(yùn)動(dòng)或劇烈變化的片段分割出來，作為所述有用戶交互的片段，供后續(xù)交互運(yùn)動(dòng)分析。
[0058]為了剔除交互，首先必須在連續(xù)掃描數(shù)據(jù)序列中定位用戶交互的起始和終止。由于物體可能存在多處遮擋，所以在一個(gè)連續(xù)掃描中，交互可能出現(xiàn)多次。用戶交互會(huì)引起數(shù)據(jù)在某些部分的突然或者較大的變化，所以在這一部分，我們旨在通過分析交互數(shù)據(jù)的特征以及與非交互數(shù)據(jù)之間的差異，檢測與交互相關(guān)的數(shù)據(jù)序列幀。
[0059]S105、交互運(yùn)動(dòng)分析，在所述有用戶交互的片段中檢測用戶的交互并剔除對應(yīng)的運(yùn)動(dòng)掃描數(shù)據(jù)。
[0060]本實(shí)施例中，在交互運(yùn)動(dòng)分析中，通過計(jì)算掃描數(shù)據(jù)序列中對應(yīng)點(diǎn)運(yùn)動(dòng)的軌跡(trajectory)來檢測動(dòng)態(tài)部分，即通過計(jì)算所述連續(xù)數(shù)據(jù)中對應(yīng)點(diǎn)運(yùn)動(dòng)的軌跡來檢測所述運(yùn)動(dòng)掃描數(shù)據(jù)。
[0061]交互數(shù)據(jù)的檢測是本發(fā)明的核心工作。本發(fā)明將數(shù)據(jù)幀比較精確地配準(zhǔn)到一起，然后檢測相鄰幀數(shù)據(jù)之間的位置對應(yīng)關(guān)系與差別進(jìn)行檢測，進(jìn)而通過分析整個(gè)交互序列數(shù)據(jù)中連續(xù)運(yùn)動(dòng)或者劇烈變化。為了比較精確地進(jìn)行交互檢測與分割，需要對交互數(shù)據(jù)序列進(jìn)行精確的配準(zhǔn)。然而由于物體在該過程中不斷發(fā)生變化，導(dǎo)致簡單的剛性與非剛性配準(zhǔn)方法失效。
[0062]基于此，本發(fā)明通過如下部分進(jìn)行交互運(yùn)動(dòng)的分析，如圖2和圖3所示，包括:
[0063]S1051、對應(yīng)點(diǎn)估計(jì)，采用全局剛性變換與局部非剛性變換估計(jì)對應(yīng)點(diǎn)，獲得轉(zhuǎn)換矩陣。
[0064]S1053、按照所述轉(zhuǎn)換矩陣進(jìn)行配準(zhǔn)，計(jì)算新的對應(yīng)點(diǎn)，并以此進(jìn)行迭代。
[0065]對應(yīng)點(diǎn)估計(jì)與配準(zhǔn)具體為:
[0066]對于給定的任意兩相鄰幀fk，fk+1，初始時(shí)，與數(shù)據(jù)分割為塊類似，P e fk的對應(yīng)點(diǎn)q e fk+1是P在fk+1中距離最近、法向相似的點(diǎn)。
[0067] 本發(fā)明在數(shù)據(jù)采集過程中，進(jìn)行動(dòng)態(tài)交互時(shí)，既有動(dòng)態(tài)部分又有靜態(tài)部分，因此采用全局剛性變換Dk與局部非剛性變換De估計(jì)對應(yīng)點(diǎn)。首先剛性ICP算法對相鄰兩幀數(shù)據(jù)進(jìn)行全局剛性變換；由于動(dòng)態(tài)交互，局部信息發(fā)生變換，所以使用基于塊密度的局部非剛性變換。在基于塊的局部非剛性變換中，對于每一對對應(yīng)塊:計(jì)算基于塊的剛性變換，對
于每一個(gè)塊:計(jì)算。按照得到的轉(zhuǎn)換矩陣進(jìn)行配準(zhǔn)，計(jì)算新的對應(yīng)點(diǎn)，以此不斷迭代，如圖4所示。
[0068]S1055、對所述連續(xù)數(shù)據(jù)中連續(xù)運(yùn)動(dòng)或者劇烈變化的地方，通過計(jì)算軌跡聚類、分析運(yùn)動(dòng)、檢測運(yùn)動(dòng)和變化。
[0069]S1057、得到運(yùn)動(dòng)軌跡，檢測出動(dòng)態(tài)部分，剔除所述動(dòng)態(tài)部分，保留運(yùn)動(dòng)過程中的靜態(tài)部分。
[0070]軌跡聚類與運(yùn)動(dòng)清除具體為:
[0071]對于連續(xù)運(yùn)動(dòng)或者變化劇烈的地方，通過計(jì)算軌跡聚類，分析運(yùn)動(dòng)，檢測運(yùn)動(dòng)和變化。給定已配準(zhǔn)的兩相鄰幀，得到基于塊的對應(yīng)點(diǎn)集。沿著幀序列3D+時(shí)間的多邊形向量的方向，連接某一點(diǎn)在各連續(xù)幀上的所有對應(yīng)點(diǎn)，得到一條運(yùn)動(dòng)軌跡。對于一點(diǎn)，在前n+1
連續(xù)幀上，該點(diǎn)的對應(yīng)點(diǎn)組成定義第i條軌跡<‘,ι?I >，如圖5所示。
[0072]由于運(yùn)動(dòng)過程中抖動(dòng)的發(fā)送,這樣得到的軌跡有噪聲,使用space-time拉普拉斯算子來近似離散拉普拉斯，平滑軌跡。
[0073]得到運(yùn)動(dòng)軌跡，檢測出動(dòng)態(tài)部分，剔除這些動(dòng)態(tài)部分，保留運(yùn)動(dòng)過程中的靜態(tài)部分。具體地,通過S1055步驟得到交互運(yùn)動(dòng)軌跡之后,劃定動(dòng)態(tài)交互范圍,剔除該范圍內(nèi)的數(shù)據(jù)以實(shí)現(xiàn)運(yùn)動(dòng)剔除。
[0074]本實(shí)施例中，用戶交互的過程也是被遮擋物體逐漸對掃描儀可見的過程，在該過程中，運(yùn)動(dòng)時(shí)刻掃描到的動(dòng)態(tài)數(shù)據(jù)不屬于物體靜態(tài)時(shí)刻的數(shù)據(jù)，而此時(shí)掃描到的靜態(tài)數(shù)據(jù)包括一部分外部遮擋部分的數(shù)據(jù)以及一部分之前被遮擋部分的數(shù)據(jù)，這些靜態(tài)數(shù)據(jù)構(gòu)成了外部數(shù)據(jù)與內(nèi)部數(shù)據(jù)之間配準(zhǔn)的橋梁。另外由于與物體接觸的一部分也會(huì)被掃描設(shè)備捕獲，此數(shù)據(jù)也是運(yùn)動(dòng)的，也要被一并剔除。
[0075]S107、數(shù)據(jù)融合，對所述物體靜止時(shí)的外幾何表面數(shù)據(jù)和所述物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)進(jìn)行配準(zhǔn)，重建物體的三維模型。
[0076]剔除交互后的數(shù)據(jù)主要是包含物體的靜態(tài)數(shù)據(jù)，其中有交互過程中引起的物體變形以及掃描儀移動(dòng)帶來的剛性變換。本實(shí)施例中，采用魯棒的非剛性變化算法把所有的掃描數(shù)據(jù)配準(zhǔn)到一起，來得到完整掃描數(shù)據(jù)。
[0077]在剔除了交互階段的掃描數(shù)據(jù)中動(dòng)態(tài)數(shù)據(jù)之后，需要對整個(gè)掃描序列幀進(jìn)行非剛性配準(zhǔn)。如前所述，在這些數(shù)據(jù)中包含了因掃描設(shè)備自身的非線性問題或者標(biāo)定問題引起的低頻失真，以及物體在交互過程中自身的一些局部變形。所以不能簡單地利用剛性的多視角數(shù)據(jù)配準(zhǔn)方法進(jìn)行處理，必須利用非剛性配準(zhǔn)方法對這些數(shù)據(jù)進(jìn)行配準(zhǔn)以得到物體的完整且精確的掃描。
[0078]數(shù)據(jù)融合是本發(fā)明所述三維掃描方法的結(jié)果展示。數(shù)據(jù)采集得到了物體或場景靜態(tài)時(shí)的外表面、內(nèi)層的數(shù)據(jù)，即物體靜止時(shí)的外幾何表面數(shù)據(jù)獲取和物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)，分別配準(zhǔn)。再通過動(dòng)態(tài)交互這一橋梁，并經(jīng)過運(yùn)動(dòng)分析檢測出靜態(tài)和動(dòng)態(tài)部分，將外表面和內(nèi)層這兩個(gè)從數(shù)據(jù)獲取過程看沒有重疊的部分連接起來，精確地配準(zhǔn)在一起，重建出真實(shí)完整的三維模型。如圖6所示，以櫥柜為例。
[0079]請參閱圖7和圖8，為采用所述三維掃描方法掃描以櫥柜為代表的剛性物體數(shù)據(jù)的掃描過程和重建結(jié)果；請參閱圖9和圖10，為采用所述三維掃描方法分別掃描植物、桌布等非剛性可行變物體的掃描過程和重建結(jié)果?？芍鋈S掃描方法具有較高的可行性和廣泛的適用性。
[0080]以上所述，僅是本發(fā)明的實(shí)施例而已，并非對本發(fā)明作任何形式上的限制，雖然本發(fā)明已以實(shí)施例揭露如上，然而并非用以限定本發(fā)明，任何熟悉本專業(yè)的技術(shù)人員，在不脫離本發(fā)明技術(shù)方案范圍內(nèi)，當(dāng)可利用上述揭示的技術(shù)內(nèi)容作出些許更動(dòng)或修飾為等同變化的等效實(shí)施例，但凡是未脫離本發(fā)明技術(shù)方案內(nèi)容，依據(jù)本發(fā)明的技術(shù)實(shí)質(zhì)對以上實(shí)施例所作的任何簡單修改、等同變化與修飾，均仍屬于本發(fā)明技術(shù)方案的范圍內(nèi)。
【權(quán)利要求】
1.一種三維掃描方法，其特征在于，包括如下步驟: S101、數(shù)據(jù)采集，連續(xù)掃描獲得物體的連續(xù)數(shù)據(jù)，所述連續(xù)數(shù)據(jù)包括物體靜止時(shí)的外幾何表面數(shù)據(jù)、用戶與物體或場景進(jìn)行交互時(shí)的運(yùn)動(dòng)掃描數(shù)據(jù)及物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)； S103、數(shù)據(jù)段分割，將所述連續(xù)數(shù)據(jù)分割為沒有用戶交互的片段及有用戶交互的片段； S105、交互運(yùn)動(dòng)分析，在所述有用戶交互的片段中檢測用戶的交互并剔除對應(yīng)的運(yùn)動(dòng)掃描數(shù)據(jù)； S107、數(shù)據(jù)融合，對所述物體靜止時(shí)的外幾何表面數(shù)據(jù)和所述物體內(nèi)部和被遮擋部的隱藏?cái)?shù)據(jù)進(jìn)行配準(zhǔn)，重建物體的三維模型。
2.如權(quán)利要求1所述的三維掃描方法，其特征在于，步驟SlOl中，采用掃描設(shè)備對物體進(jìn)行數(shù)據(jù)采集。
3.如權(quán)利要求1所述的三維掃描方法，其特征在于，步驟S103中，通過在所述連續(xù)數(shù)據(jù)中檢測是否出現(xiàn)連續(xù)運(yùn)動(dòng)或者劇烈變化來分割所述有用戶交互的片段。
4.如權(quán)利要求1所述的三維掃描方法，其特征在于，步驟S105進(jìn)一步包括: S1051、對應(yīng)點(diǎn)估計(jì)，采用全局剛性變換與局部非剛性變換估計(jì)對應(yīng)點(diǎn)，獲得轉(zhuǎn)換矩陣； S1053、按照所述轉(zhuǎn)換矩陣進(jìn)行配準(zhǔn)，計(jì)算新的對應(yīng)點(diǎn)，并以此進(jìn)行迭代； S1055、對所述連續(xù)數(shù)據(jù)中連續(xù)運(yùn)動(dòng)或者劇烈變化的地方，通過計(jì)算軌跡聚類、分析運(yùn)動(dòng)、檢測運(yùn)動(dòng)和變化； S1057、得到運(yùn)動(dòng)軌跡，檢測出動(dòng)態(tài)部分，剔除所述動(dòng)態(tài)部分，保留運(yùn)動(dòng)過程中的靜態(tài)部分。
5.如權(quán)利要求1所述的三維掃描方法，其特征在于，步驟S105中，通過計(jì)算所述連續(xù)數(shù)據(jù)中對應(yīng)點(diǎn)運(yùn)動(dòng)的軌跡來檢測所述運(yùn)動(dòng)掃描數(shù)據(jù)。
6.如權(quán)利要求1所述的三維掃描方法，其特征在于，步驟S107采用魯棒的非剛性變化算法進(jìn)行配準(zhǔn)。
【文檔編號】G06T17/00GK103927784SQ201410155804
【公開日】2014年7月16日 申請日期:2014年4月17日 優(yōu)先權(quán)日:2014年4月17日
【發(fā)明者】燕飛龍, 林文珍, 安德雷·沙夫, 黃惠 申請人:中國科學(xué)院深圳先進(jìn)技術(shù)研究院