專利名稱：利用一組二維照片與三維模型庫生成新的三維模型的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及三維攝影技術(shù)領(lǐng)域，特別涉及三維攝影技術(shù)領(lǐng)域中三維模型的生成方法。
背景技術(shù)：
由于三維攝影技術(shù)的發(fā)展，目前已經(jīng)能夠?qū)崿F(xiàn)利用三維攝影技術(shù)制造精確的三維模型。但由于進行拍攝的攝影儀器屬于專業(yè)設(shè)備，比較昂貴；因此三維造模的方法造價較高。
微軟公司曾經(jīng)完成一個實驗，將一個小孩的二維照片合成三維模型，采用的是雙眼視差法；是通過尋找二維照片上的特征點建立三維模型。但此法的局限性是在尋找特征點時需要此人的臉部有許多利于定位的特征點，如痣、斑等。
也有利用剪影的方法，即在不同的角度拍攝多張照片，利用剪影建立三維模型。這需要選擇很小的角度拍攝多張照片，且在凹陷的部分不能取得精確的特征點。
也有利用手工操作方法，即利用兩張照片，手動的尋找特征點。但特殊的點，如嘴角、眼角、鼻翼，可以自動尋找，再經(jīng)過匹配，建立三維模型。此法的缺點是，精度較低，僅能滿足視覺的要求，不適合制作雕塑產(chǎn)品。目前可以看到，在網(wǎng)上出現(xiàn)的利用二維相片制作三維模型均采用此法。
技術(shù)內(nèi)容本發(fā)明目的是提供一種利用一組二維照片與三維模型庫生成新的三維模型的方法，以實現(xiàn)在沒有三維攝影亭的地方，以二維照片制作出精確的三維模型。
本發(fā)明目的可以通過以下技術(shù)方案實現(xiàn)一種利用一組二維照片與三維模型庫生成新的三維模型的方法，包括以下步驟A、照相a、用照相機或攝影機圍繞被照物體照一組照片。
b、將被照物轉(zhuǎn)一角度，這一角度越小，照片張數(shù)越多，結(jié)果越精確，每一角度照一張照片。
B、特征點識別a、在每張照片上尋找特征點。
b、在一組照片的每一張相應的照片上用模式識別方法自動尋找特征點，并根據(jù)部分特征點的坐標計算被照物體的動畫參數(shù)標準中的主要特征距離；如果兩張照片的夾角很小，在兩張照片上物體變化不大，則可以用特征點對比方式從M張照片的特征點位置推算出第M+1張照片上的特征點位置。
c、在兩張相關(guān)照片上找到相對應的一組特征點，從而計算出照相機的相對位置。
d、在照片上找出相對應的特征點組合，從而計算出每一個特征點在三維空間中相對坐標。也可以在每一張照片上找出被照物體的邊界，從而計算出此邊界上的點在空間的投影位置，通過兩張照片上的邊界投影相交線，即可以計算出相交線上的點在空間的位置。
C、特征點匹配a、在物體三維模型庫中尋找與照片上被照物最接近的一組模型；b、調(diào)整此組模型上特征點的空間坐標，使其逼近相對應的照片上空間特征點，采用區(qū)域微調(diào)的方法，在調(diào)整特征點坐標時，以移動一個圍繞特征點的面逼近此特征點；c、比較模型上的特征點與照片上空間特征點以及二維效果圖與照片的灰度分布的差異，重點步驟6，直到誤差最小；二維效果圖的對比進行整體比較，再局部精確定位；d、將新的模型放入模型庫中，標注此新的被照物模型的特征長度和特征點。
利用一組二維照片與三維模型庫生成新的三維模型的方法，在所述照相步驟中，對被照物在不同角度照相至少照兩張以上。最好在相機與被照物的距離不變，光照條件不變的條件下，照被照物，相鄰照片之間的夾角越小，照片越多，精確度也越高。
利用一組二維照片與三維模型庫生成新的三維模型的方法，在特點識別步驟中，特征點的識別，部分特征點用模式識別方法自動尋找，部分特征點用插值方法得到，也可使用手動方式確定。
本發(fā)明技術(shù)進步在于，方法簡單，適用范圍廣，在沒有三維攝影亭的地方，以二維照片可制作出精確的三維模型。


圖1為建立三維模型庫流程圖；具體實施方法以人為被照物，我們所提出的利用一組二維照片與三維模型庫生成新的三維模型的方法能夠?qū)崿F(xiàn)在沒有三維攝影亭的地方，以二維照片制作出精確的三維模型。一般情況下，必須尋找到面部足夠的特征點，以保證能夠只通過三維模型可辨識出人臉(無需參照二維貼圖)，我們在二維照片上自動加上手動輔助尋找這些特征點，在經(jīng)過與三維模型上匹配，調(diào)整，使三維模型上每個特征點更貼近二維照片的特征，故它可以準確的描述人體的臉部特征。除此之外，我們還有一個建立好的并在不斷的動態(tài)添加的人頭模型庫，在此模型庫中會按照不同的分類方式區(qū)別不同特征的人頭模型，例如，針對不同的膚色分類有黃種人、白種人、黑種人、印第安人等等，或是按照不同的臉型特征分類，如圓臉、方臉、國字臉、鵝蛋臉等等。所以在匹配特征點時能夠比較快速的找到最接近的頭模，從而減少了匹配的時間和工作的難度。同時此三維模型庫是處在不斷的增長過程中，經(jīng)過匹配、調(diào)整、修改最終生成的一個新的個性化人頭模型將被放入此模型庫中。因此，它是一個動態(tài)的、增長的庫。
此方法比現(xiàn)有的利用二維照片生成三維模型的方法更精確，更具優(yōu)越性。因為在尋找特征點時，參考MPEG-4標準，并在此基礎(chǔ)上添加更多的特征點，如描述輪廓的特征點，采用自動尋找(統(tǒng)計算法、模式識別等)和手動尋找結(jié)合的方式獲取人臉部精確的特征點數(shù)據(jù)。在客戶無法親自去三維攝影棚拍攝像片時，可以采用此方法，利用一組二維照片和已經(jīng)建立的三維模型人頭庫生成新的三維模型，同時添加進三維人頭模型庫。在此三維模型庫上會標注特征點的資料，以便進行特征點的匹配。
一、照相1、用照相機照一個人的正面。
2、讓此人轉(zhuǎn)一定角度，每一角度照一張照片。
3、夾角選的越小，照片張數(shù)越多，則結(jié)果越精確。
4、相機與人的距離基本不變，光照條件基本不變5、原則上至少照兩張照片(正面和側(cè)面)，在不同角度照相張數(shù)越多越好相機可以采用普通相機或是數(shù)碼相機，最好是已知的相機，因為如果已知相機的照像參數(shù)，如鏡頭焦距指數(shù)等，可以精確計算出相機的位置，從而得出準確的特征點數(shù)據(jù)。
二、特征點識別1、在每一張照片上尋找特征點。
2、基本特征點可接MPEG-4定義的FAPU人臉特征點，適當增加特征點(如表現(xiàn)臉部或器官的輪廓的特征點)，或另選一組特征點以便更好描述人臉以及人頭三維空間特征小的空心點和實心點均為標準特征點。
3、但在人臉的關(guān)鍵部位需增加特征點數(shù)目，以達到人臉三維曲線的逼真。特征點數(shù)目的多少取決于精度要求，精度趙高則要法語的特征點數(shù)目越多。
4、部分特征點需用模式識別方法自動尋找，部分特征點可以用插值方法得到，一些少量的特征點可用手動方式確定，但原則上要求手動尋找的點越少越好。例如，嘴角、眼角、眉毛等具有顯著特征的部位采用模式識別方法自動尋找；唇線或眉毛邊緣位置可以用插值法獲取特征點數(shù)據(jù)；臉頰等沒有明顯特征的點需要用手動方式確定。不論采用何種方式，都需要進行手動調(diào)整，自動逼近，以達到人臉三維曲線的逼真效果。
5、在模型相應的正面照片上用模式識別方法自動尋找特征點，并根據(jù)部分特征點的坐標自動計算FAPU(Facial Animator ParameterUnit)--臉部動畫參數(shù)標準中的ESO，IRISDO(可忽略)，ENSO和MWO的長度?？梢栽黾邮褂每煽康奶卣鼽c作為FAPU。
6、在兩張相關(guān)照片上找到相對應的一組特征點，從而計算出照相機的相對位置(Photogrammetry方法—由已知照片的特征點數(shù)據(jù)反推出相機的位置)。
7、在照片上找出相對應的特征點組合，從而計算出每一個特征點三維空間中相對坐標。
8、在特征點尋找過程中盡量用軟件自動尋找，但可以在超始時手動定一到二個關(guān)鍵特征點可以縮小搜索的范圍，減少計算量。特征點自動尋找的算法有許多，如模板匹配，Snake算法，ASM(ActiveShape Model)，AAM(Active Appearance Model)，等。
如果兩張照片的夾角很小，在兩張照片上物體變化不大，則可以用特征點對比方式從M張照片上的特征點位置推算出第M+1張照片上的特征點位置。
9、在特征點尋找過程中，會有部分的偏移和不準確，所以允許少量手動調(diào)整特征點。
三、特征點匹配1、在人頭模型庫中首先尋找與照片上FAPU最接近的一組頭模型。在已經(jīng)建好的人頭模型庫中的頭模型具備基本的特征長度的標示，可以縮小特征點搜索的范圍。
2、在此組人頭模型中尋找與照片上空間特征點最接近的人頭模型。
3、調(diào)整此人頭模型上特征點的空間坐標，使其逼近相對應的照片上空間特征點，使得人頭模型更加像照片上的人臉結(jié)構(gòu)。采用區(qū)域微調(diào)的方法，在調(diào)整特征點坐標時，以移動一個面來逼近此特征點。
4、比較人頭模型上特征點與照片上空間特征點以及二維效果圖與照片的灰度分布的差異，重復步驟三(3)，直到誤差最小。二維效果圖的對比進行整體比較，再局部精確定位。通過模型擬燈源，制造與像片相同的光照效果，可以實現(xiàn)灰度分布差異的比較，但如果原像片的光源較多，出現(xiàn)漫射光，將無法完全模擬，就不可能在灰度上實現(xiàn)完全的比較。
5、將新的人頭模型放入模型庫中，其中會標注此新的人頭模型的特征長度和特征點。
權(quán)利要求
1.一種利用一組二維照片與三維模型庫生成新的三維模型的方法，其特征在于，所述方法包括以下步驟A、照相用照相機或攝影機圍繞被照物體照一組照片；B、特征點識別a、在每張照片上尋找特征點；b、在一組照片的每一張相應的正面照片上用模式識別方法自動尋找特征點，并根據(jù)部分特征點的坐標計算被照物體的動畫參數(shù)標準中的主要特征距離；c、在兩張相關(guān)照片上找到相對應的一組特征點，從而計算出照相機的相對位置；d、在照片上找出相對應的特征點組合，從而計算出每一個特征點在三維空間中相對坐標。C、特征點匹配a、在物體三維模型庫中尋找與照片上被照物最接近的一組模型；可以先用特征距離參數(shù)先找出一組接近的模型，再用特征點空間位置找到一個最接近的三維模型；也可以直接用特征點空間位置找到一個最接近的三維模型；b、調(diào)整此三維模型上特征點的空間坐標，使其逼近相對應的照片上空間特征點，采用區(qū)域微調(diào)的方法，在調(diào)整特征點坐標時，以移動一個圍繞特征點的面逼近此特征點；c、比較模型上的特征點與照片上空間特征點以及二維效果圖與照片的灰度分布的差異，重點步驟6，直到誤差最?。欢S效果圖的對比進行整體比較，再局部精確定位；d、將新的模型放入模型庫中，標注此新的被照物模型的特征長度和特征點。
2.根據(jù)權(quán)利要求1所述的利用一組二維照片與三維模型庫生成新的三維模型的方法，其特征在于，所述照相步驟中，對被照物在不同角度照相至少照兩張以上。
3.根據(jù)權(quán)利要求1或2所述的利用一組二維照片與三維模型庫生成新的三維模型的方法，其特征在于所述特點識別步驟中，特征點的識別，部分特征點用模式識別方法自動尋找，部分特征點用插值方法得到，也可使用手動方式確定。
4.根據(jù)權(quán)利要求1所述的利用一組三維照片與三維模型庫生成新的三維模型的方法，其特征在于，所述照相步驟中，照相時相機與被照物的距離不變，光照條件不變的條件下照被照物；相鄰照片之間所選的夾角越小，照片越多，建立的三維模型越精確。
全文摘要
一種利用一組二維照片與三維模型庫生成新的三維模型的方，涉及三維攝影技術(shù)領(lǐng)域中三維模型的生成方法。包括以下步驟A.照相，用照相機或攝影機圍繞被照物體照一組照片，將被照物轉(zhuǎn)一角度，這一角度越小，照片張數(shù)越多，結(jié)果越精確，每一角度照一張照片。B.特征點識別，在每張照片上尋找特征點。C.特征點匹配，在物體三維模型庫中尋找與照片上被照物最接近的一組模型；調(diào)整此組模型上特征點的空間坐標，使其逼近相對應的照片上空間特征點。本發(fā)明技術(shù)進步在于，方法簡單，適用范圍廣，在沒有三維攝影亭的地方，以二維照片可制作出精確的三維模型。
文檔編號G06T17/05GK1482580SQ0213475
公開日2004年3月17日 申請日期2002年9月15日 優(yōu)先權(quán)日2002年9月15日
發(fā)明者陸泰瑋, 湯毅 申請人:深圳市泛友科技有限公司