基于密集匹配子自適應(yīng)相似性度量的rgb-d物體識別方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明實施例涉及模式識別、機器學(xué)習(xí)、計算機視覺技術(shù)領(lǐng)域，尤其是涉及一種基 于密集匹配子自適應(yīng)相似性度量的RGB-D物體識別方法和裝置。
【背景技術(shù)】
[0002] 隨著計算機運算能力的飛速提升，計算機視覺、人工智能、機器感知等領(lǐng)域也迅猛 發(fā)展。圖像分類作為計算機視覺中的一個基本問題之一，也得到了長足的發(fā)展。圖像分類就 是利用計算機對圖像進行智能分析，進而判斷圖像所屬的類別。傳統(tǒng)的圖像分類算法一般 僅僅依靠 RGB圖片來對物體進行識別，很容易受到光線變化、物體顏色變化以及背景嘈雜的 干擾，在實際運用中很不魯棒，精度也很難到用戶需求。
[0003] 深度傳感技術(shù)的發(fā)展，像微軟的Kinect，能夠捕捉到高精度的深度圖片，很好地彌 補了傳統(tǒng)的RGB圖片的上述缺陷，為魯棒性好、精度高的物體識別提供了可能性。在計算機 視覺和機器人領(lǐng)域，有大量的研究探索如何有效地利用RGB和深度信息來提高物體識別的 精度。這些算法基本上都可以歸納為模式識別中的三大環(huán)節(jié):模式(特征)表達、相似性度量 和分類器設(shè)計。由于現(xiàn)在的特征表達方法基本上都是與輸入無關(guān)的，無法自適應(yīng)輸入圖片 中物體的任意尺度、視角和姿態(tài)，所以物體識別的魯棒性差。
[0004] 有鑒于此，特提出本發(fā)明。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實施例的主要目的在于提供一種基于密集匹配子自適應(yīng)相似性度量的 RGB-D物體識別方法和裝置，其至少部分地解決了如何提高物體識別的魯棒性的技術(shù)問題。
[0006] 為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，提供了以下技術(shù)方案：
[0007] -種基于密集匹配子自適應(yīng)相似性度量的RGB-D物體識別方法，至少可以包括：
[0008] 提取待查詢物體和參考物體的卷積神經(jīng)網(wǎng)絡(luò)特征；
[0009] 基于所述卷積神經(jīng)網(wǎng)絡(luò)特征，并融合RGB和深度信息，對所述參考物體和所述待查 詢物體進行密集匹配；
[0010] 基于所述密集匹配的結(jié)果，度量所述參考物體和所述待查詢物體之間的相似性；
[0011] 基于所述參考物體和所述待查詢物體之間的相似性，對所述待查詢物體進行分 類。
[0012] 進一步地，利用以下公式來對所述參考物體和所述待查詢物體進行密集匹配：
[0013]

其中，示數(shù)據(jù)項；項； ：示平7目 i I 項;ti表示待查詢物體中第i個像素點在參考物體中找到的對應(yīng)像素點的位移量;tj表示待 查詢物體中第j個像素點在參考物體中找到的對應(yīng)像素點的位移量;Ddt)表示兩個匹配的 像素點的卷積神經(jīng)網(wǎng)絡(luò)特征之間的差異;λ表示限定待查詢物體中相鄰像素點的結(jié)構(gòu)關(guān)系 的一個閾值;α和β表示數(shù)據(jù)項、平移項和平滑項之間的加權(quán)系數(shù)。
[0014] 進一步地，所述數(shù)據(jù)項具體包括：
[0015] Di(ti) = 0 · [frgb(pi | Ir)-frgb(pi+ti | Iq) ] +
[0016] ；
[0017] (1-θ) · [fdepth(pi I Ir)-fdepth(pi+ti I Iq)].
[0018] 其中，5社(？」1<1)，5的(？」1:)是指待查詢物體和參考物體的1^圖片中第1個像素 點提取的卷積神經(jīng)網(wǎng)絡(luò)特征;fdepth(Pi I Iq)，fdepth(Pi I Ir)是指提取的深度特征；Θ是指RGB和 深度信息的融合系數(shù)。
[0019] 進一步地，所述度量所述參考物體和所述待查詢物體之間的相似性，具體包括：
[0020] 利用以下公式來度量所述參考物體和所述待查詢物體之間的相似性：
[0021]
[0022] 其中，γ表示尺度化因子;se(Ir|lq)表示參考物體和待查詢物體之間的相似度分 數(shù)。
[0023] 進一步地，所述利用以下公式來度量所述參考物體和所述待查詢物體之間的相似 性，
[0024] 還具體包括：
[0025]
Θ：-
[0026] 其中，80是指與其對應(yīng)的相似度分數(shù)，訓(xùn)是指權(quán)重系數(shù)，b表示融合的偏差因子;w表 示融合的權(quán)重向量，Φ表示融合的分數(shù)向量。
[0027] 進一步地，所述W通過ranking SVM算法，并利用以下公式來求解：
[0028]
[0029] 其中，Ω二丨(/;.,/;+, 表示三元組數(shù)據(jù)庫；h表示待查詢物體;#表示與所示 待查詢物體同類別的參考物體；7「表示與所示待查詢物體不同類別的參考物體;ξ表示松弛 變量;C表示懲罰參數(shù)。
[0030] 進一步地，所述對待查詢物體進行分類，具體包括：
[0031 ]利用以下公式來對所述待查詢物體進行分類：
[0032]
[0033] 其中，It表示待查詢物體;Ci表示檢索的候選類的類別;Κ表示候選類中參考物體的 個數(shù)。
[0034] 根據(jù)本發(fā)明的另一個方面，還提供了一種基于密集匹配子自適應(yīng)相似性度量的 RGB-D物體識別裝置，所述裝置至少包括：
[0035] 特征提取模塊，用于提取待查詢物體和參考物體的卷積神經(jīng)網(wǎng)絡(luò)特征；
[0036] 密集匹配模塊，用于基于所述卷積神經(jīng)網(wǎng)絡(luò)特征，并融合RGB和深度信息，對所述 參考物體和所述待查詢物體進行密集匹配；
[0037] 相似性度量模塊，用于基于所述密集匹配的結(jié)果，度量所述參考物體和所述待查 詢物體之間的相似性；
[0038] 分類模塊，用于基于所述參考物體和所述待查詢物體之間的相似性，對所述待查 詢物體進行分類。
[0039] 與現(xiàn)有技術(shù)相比，上述技術(shù)方案至少具有以下有益效果：
[0040] 本發(fā)明實施例通過將卷積神經(jīng)網(wǎng)絡(luò)特征與RGB和深度信息相融合，來對參考物體 和待查詢物體進行密集匹配，并基于該密集匹配的結(jié)果，度量參考物體和待查詢物體之間 的相似性，再基于該相似性，對待查詢物體進行分類。由此，能夠很好地利用RGB和深度的互 補性，提高了物體識別的魯棒性。
[0041] 當(dāng)然，實施本發(fā)明的任一產(chǎn)品不一定需要同時實現(xiàn)以上所述的所有優(yōu)點。
[0042]本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變 得顯而易見，或者通過實施本發(fā)明而了解。本發(fā)明的目的和其它優(yōu)點可通過在所寫的說明 書、權(quán)利要求書以及附圖中所特別指出的方法來實現(xiàn)和獲得。
[0043]需要說明的是，
【發(fā)明內(nèi)容】
部分并非旨在標識出請求保護的主題的必要技術(shù)特征， 也并非是用來確定請求保護的主題的保護范圍。所要求保護的主題不限于解決在【背景技術(shù)】 中提及的任何或所有缺點。
【附圖說明】
[0044]附圖作為本發(fā)明的一部分，用來提供對本發(fā)明的進一步的理解，本發(fā)明的示意性 實施例及其說明用于解釋本發(fā)明，但不構(gòu)成對本發(fā)明的不當(dāng)限定。顯然，下面描述中的附圖 僅僅是一些實施例，對于本領(lǐng)域普通技術(shù)人員來說，在不付出創(chuàng)造性勞動的前提下，還可以 根據(jù)這些附圖獲得其他附圖。在附圖中：
[0045]圖1為根據(jù)一示例性實施例示出的基于密集匹配子自適應(yīng)相似性度量的RGB-D物