魯棒式圖像相關(guān)性提取結(jié)構(gòu)的制作方法
【專利摘要】本發(fā)明提出一種魯棒式圖像相關(guān)性提取結(jié)構(gòu)，包括幀圖像讀選擇控制模塊、相關(guān)性計(jì)算模塊和偏移量跟蹤模塊，相關(guān)性計(jì)算模塊包括，相關(guān)性算法處理模塊選定覆蓋區(qū)域數(shù)據(jù)中的每個(gè)數(shù)據(jù)進(jìn)行相關(guān)性計(jì)算，并將得到的相關(guān)性計(jì)算值輸入到累加器模塊中；累加器模塊分段累加相關(guān)性計(jì)算值，得到選定覆蓋區(qū)域數(shù)據(jù)的分段相關(guān)性矩陣；累加結(jié)果處理模塊將累加器模塊得到的所有分段相關(guān)性矩陣?yán)奂拥玫娇傮w相關(guān)性矩陣，并分別得到分段相關(guān)性矩陣和總體相關(guān)性矩陣的相關(guān)性數(shù)據(jù)。本發(fā)明由硬件實(shí)現(xiàn)兩幀圖像的相關(guān)性計(jì)算及提取其特殊值的方法，采用一種并行架構(gòu)，結(jié)構(gòu)流水化，在資源上可復(fù)用，此種并行流水線結(jié)構(gòu)，提升了處理速度。
【專利說明】魯棒式圖像相關(guān)性提取結(jié)構(gòu)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及集成電路設(shè)計(jì)領(lǐng)域，尤其涉及一種魯棒式圖像相關(guān)性提取結(jié)構(gòu)。
【背景技術(shù)】
[0002]圖像拼接就是將多幅來自同一場景的有重疊區(qū)域的小尺寸圖像合成為一幅大尺寸的高質(zhì)量圖像。圖像拼接技術(shù)解決由于采集窗口視角和大小的限制，不能產(chǎn)生很大圖片的問題。圖像拼接技術(shù)最早應(yīng)用于航空領(lǐng)域，現(xiàn)已廣泛應(yīng)用于數(shù)字視頻、動(dòng)態(tài)分析、指紋重構(gòu)等領(lǐng)域。
[0003]圖像拼接的前提條件是相鄰圖像之間有一部分在邏輯上是相同的，及必須有一定的重合部分。圖像的拼接最重要的一點(diǎn)是選擇一個(gè)魯棒而快捷的圖像對(duì)準(zhǔn)方法。圖像對(duì)準(zhǔn)方法就是確定相鄰圖像在寬度和高度上的重疊程度。這種重疊程度稱為兩幀圖像的相關(guān)性。
[0004]目前現(xiàn)有的圖像相關(guān)性提取方式存在著各種缺陷:如計(jì)算量非常大、計(jì)算速度慢、精度低、成本高，無法適應(yīng)大數(shù)據(jù)量圖像拼接。從而在產(chǎn)品的性價(jià)比上大打折扣。因此需要一個(gè)能在綜合上述條件下還具有更高性價(jià)比的方法來解決這些問題。
[0005]本文提供了一種魯棒式圖像相關(guān)性提取結(jié)構(gòu)。適用于兩張或兩張以上相鄰間具有部分重疊的圖像相關(guān)性計(jì)算，且圖像無旋轉(zhuǎn)。用ASIC的方式實(shí)現(xiàn)了高速、低成本、計(jì)算量小且流水化的結(jié)構(gòu)。使計(jì)算出的相關(guān)性數(shù)據(jù)能夠較好的應(yīng)用到圖像拼接、圖像檢測和導(dǎo)航等方面。
[0006]本發(fā)明中所用到的名詞解釋如下:
[0007]每一種覆蓋情況:對(duì)于用于當(dāng)前相關(guān)性計(jì)算的前后兩幀圖像完全重合的基礎(chǔ)上，固定一幀不動(dòng)，在幀圖像長寬范圍內(nèi)的一定區(qū)域，有規(guī)律的上下左右移動(dòng)另一幀，每次移動(dòng)會(huì)產(chǎn)生一定的覆蓋區(qū)域，并產(chǎn)生兩幀之間的相對(duì)位移。每一次移動(dòng)以像素級(jí)為最小單位。
[0008]坐標(biāo):坐標(biāo)為直角坐標(biāo)系，每一種覆蓋情況對(duì)應(yīng)一個(gè)坐標(biāo)，前后兩幀圖像完全重合的覆蓋情況對(duì)應(yīng)坐標(biāo)原點(diǎn)。
[0009]模板幀:上述兩幀中圖像中參照不動(dòng)的那一幀。
[0010]當(dāng)前幀:上述兩幀中圖像中參照模板幀有規(guī)律上下左右移動(dòng)的另一幀(可和模板幀互換)。
[0011]上一幀:上一次參與相關(guān)性計(jì)算的兩幀圖像。
[0012]覆蓋區(qū)域數(shù)據(jù):每一種覆蓋情況下，覆蓋區(qū)域的全部數(shù)據(jù)，
[0013]選定覆蓋區(qū)域數(shù)據(jù):每一種覆蓋情況下，其覆蓋區(qū)域的部分或全部數(shù)據(jù)為選定覆蓋區(qū)域數(shù)據(jù)。選取時(shí)可以根據(jù)幀圖像數(shù)據(jù)的行、列跳躍選擇。且每種覆蓋情況下的選定覆蓋區(qū)域大小相同。
[0014]總體相關(guān)性矩陣:對(duì)每一種覆蓋情況下的選定覆蓋區(qū)域數(shù)據(jù)進(jìn)行相關(guān)性運(yùn)算，將所求得的相關(guān)性運(yùn)算結(jié)果以兩幀移動(dòng)的位移坐標(biāo)映射成的矩陣。
[0015]分段相關(guān)性矩陣:將選定覆蓋區(qū)域數(shù)據(jù)在采集對(duì)象相對(duì)于采集窗口的主要移動(dòng)方向上分成X段(段數(shù)可調(diào))，分別對(duì)每一段數(shù)據(jù)的每一種覆蓋情況下的選定覆蓋區(qū)域數(shù)據(jù)進(jìn)行相關(guān)性運(yùn)算，將所求得的相關(guān)性運(yùn)算結(jié)果以兩幀移動(dòng)的位移坐標(biāo)映射成的矩陣作為分段相關(guān)性矩陣。
[0016]相關(guān)性矩陣:總體相關(guān)性矩陣和分段相關(guān)性矩陣統(tǒng)稱相關(guān)性矩陣。
[0017]RAM控制信號(hào):包括RAM讀寫地址、數(shù)據(jù)、和使能信號(hào)。
[0018]偏移量數(shù)據(jù):包括參與運(yùn)算的兩幀水平和垂直方向的偏移量、水平和垂直方向的速度、水平和垂直方向的速度權(quán)重。
[0019]總體相關(guān)性數(shù)據(jù):包括總體相關(guān)性矩陣的最大值最小值及其對(duì)應(yīng)的坐標(biāo)。
[0020]分段相關(guān)性數(shù)據(jù):包括分段相關(guān)性矩陣的最大值最小值及其對(duì)應(yīng)的坐標(biāo)。
[0021]相關(guān)性數(shù)據(jù):總體相關(guān)性數(shù)據(jù)和分段相關(guān)性數(shù)據(jù)的統(tǒng)稱。
[0022]控制信號(hào):數(shù)據(jù)有效信號(hào)或同步信號(hào)，也包括利用子功能或者其組合描述的控制信號(hào)。
[0023]RAM矩陣:即存儲(chǔ)陣列，由多個(gè)RAM單元組成。用于循環(huán)存儲(chǔ)幀圖像和相關(guān)性矩陣或其他。存儲(chǔ)幀圖像時(shí)每一個(gè)RAM單元存儲(chǔ)一幀圖像數(shù)據(jù)。
[0024]開窗范圍:在偏移量跟蹤模塊根據(jù)當(dāng)前總體相關(guān)性矩陣求出的開窗范圍包括上下左右四個(gè)值，用在下一幀相關(guān)性計(jì)算時(shí)，在前后兩幀圖像完全重合的基礎(chǔ)上，固定一幀不動(dòng)，上下左右(對(duì)應(yīng)于開窗范圍的四個(gè)值)移動(dòng)另一巾貞的范圍。

【發(fā)明內(nèi)容】

[0025]現(xiàn)有的技術(shù)存在速度慢、拼接圖像效果差，有明顯的圖像錯(cuò)位、圖像形變、短圖像、圖像拖尾等現(xiàn)象。為了解決上述技術(shù)問題，本發(fā)明提出一種魯棒式圖像相關(guān)性提取結(jié)構(gòu)，包括幀圖像讀選擇控制模塊、相關(guān)性計(jì)算模塊和偏移量跟蹤模塊，其特征在于，相關(guān)性計(jì)算模塊包括相關(guān)性算法處理模塊、累加器模塊、累加結(jié)果處理模塊，其中，
[0026]相關(guān)性算法處理模塊對(duì)選定覆蓋區(qū)域數(shù)據(jù)中的每個(gè)數(shù)據(jù)進(jìn)行相關(guān)性計(jì)算，并將得到的相關(guān)性計(jì)算值輸入到累加器模塊中；
[0027]累加器模塊分段累加相關(guān)性計(jì)算值，得到選定覆蓋區(qū)域數(shù)據(jù)的分段相關(guān)性矩陣；
[0028]累加結(jié)果處理模塊將累加器模塊得到的所有分段相關(guān)性矩陣?yán)奂拥玫娇傮w相關(guān)性矩陣，并分別得到分段相關(guān)性矩陣和總體相關(guān)性矩陣的極大值、極小值以及極大值對(duì)應(yīng)的坐標(biāo)、極小值對(duì)應(yīng)的坐標(biāo)。
[0029]所述選定覆蓋區(qū)域數(shù)據(jù)是按照上一幀圖像求得的開窗范圍內(nèi)的所有覆蓋情況下所覆蓋區(qū)域的部分或全部數(shù)據(jù)，且每種覆蓋情況下的選定覆蓋區(qū)域大小相同。
[0030]還包括RAM矩陣，RAM矩陣與幀圖像讀選擇控制模塊和相關(guān)性計(jì)算模塊相連，幀圖像讀選擇控制模塊提供選定覆蓋區(qū)域數(shù)據(jù)的讀控信號(hào)給RAM矩陣，使得RAM矩陣可根據(jù)選定覆蓋區(qū)域數(shù)據(jù)的讀控信號(hào)流水線的將讀取的選定覆蓋區(qū)域數(shù)據(jù)傳給相關(guān)性計(jì)算模塊。
[0031]偏移量跟蹤模塊與相關(guān)性計(jì)算模塊相連，根據(jù)相關(guān)性計(jì)算模塊得到的當(dāng)前幀的分段相關(guān)性矩陣和總體相關(guān)性矩陣的極大值、極小值以及極大值對(duì)應(yīng)的坐標(biāo)、極小值對(duì)應(yīng)的坐標(biāo)得到開窗范圍和當(dāng)前幀的偏移量。
[0032]當(dāng)前幀的總體相關(guān)性矩陣的極大值或者極小值對(duì)應(yīng)的坐標(biāo)即為當(dāng)前幀的偏移量。
[0033]當(dāng)前相關(guān)性矩陣求出的開窗范圍是，在下一幀相關(guān)性計(jì)算時(shí)，在前后兩幀圖像完全重合的基礎(chǔ)上，固定一幀不動(dòng)，上下左右移動(dòng)另一幀的范圍；開窗范圍包括上下左右四個(gè)值，具體計(jì)算方法為:由當(dāng)前幀的垂直偏移量減去閾值thre得到開窗范圍內(nèi)的向上的最大移動(dòng)范圍；由當(dāng)前幀的垂直偏移量加上閾值thre得到開窗范圍內(nèi)的向下的最大移動(dòng)范圍；由當(dāng)前幀的水平偏移量加上閾值thre得到開窗范圍內(nèi)的向右的最大移動(dòng)范圍；由當(dāng)前幀的水平偏移量減去閾值thre得到開窗范圍內(nèi)的向左的最大移動(dòng)范圍；(后面還有多處)
[0034]閾值thre的設(shè)定要使得在開窗范圍內(nèi)每一種覆蓋情況下的覆蓋區(qū)域的數(shù)據(jù)大于等于選定覆蓋區(qū)域的數(shù)據(jù)。
[0035]所述相關(guān)性算法處理模塊包括k個(gè)相關(guān)性計(jì)算單元，可同時(shí)進(jìn)行兩幀圖像在一個(gè)垂直位移情況下的所有k個(gè)水平方向可移動(dòng)范圍內(nèi)覆蓋區(qū)域的選定覆蓋區(qū)域數(shù)據(jù)的相關(guān)性計(jì)算，或者兩幀圖像在一個(gè)水平位移情況下的所有k個(gè)垂直方向可移動(dòng)范圍內(nèi)覆蓋區(qū)域的選定覆蓋區(qū)域數(shù)據(jù)的相關(guān)性計(jì)算。
[0036]所述累加器模塊由多個(gè)加法器組成，包括第一累加器和第二累加器，所述第一累加器由k個(gè)加法器構(gòu)成，對(duì)應(yīng)累加k個(gè)相關(guān)性計(jì)算單元內(nèi)得到的相關(guān)性計(jì)算值，若選定覆蓋區(qū)域被分為X段，這k組加法器每次在當(dāng)前段內(nèi)所有數(shù)據(jù)的相關(guān)性計(jì)算值累加完畢后被清零。
[0037]所述第二累加器有X組加法器組成，其中每組加法器中包含k個(gè)加法器；所述X組加法器中的k個(gè)加法器分別對(duì)應(yīng)累加第一累加器中X段的被清零前累加的數(shù)據(jù)，得到X段的分段相關(guān)性矩陣。
[0038]本發(fā)明由硬件實(shí)現(xiàn)兩幀圖像的相關(guān)性計(jì)算及提取其特殊值的方法。硬件實(shí)現(xiàn)時(shí)，本方案采用一種并行架構(gòu)，結(jié)構(gòu)流水化，在資源上可復(fù)用。此種并行流水線結(jié)構(gòu)，大大提升了處理速度。此模塊特別適用于指紋刮擦傳感器采集到的連續(xù)指紋圖像的相關(guān)性提取，也能廣泛適用于采集物在采集窗口上移動(dòng)獲得的連續(xù)圖像、或移動(dòng)采集窗口獲得的連續(xù)圖像的處理。
【專利附圖】

【附圖說明】
[0039]圖1是本發(fā)明結(jié)構(gòu)框圖；
[0040]圖2是幀圖像讀選擇控制模塊控制RAM矩陣流水線選數(shù)的示意圖；
[0041]圖3是相關(guān)性計(jì)算模塊的結(jié)構(gòu)框圖；
[0042]圖4是相關(guān)性計(jì)算模塊詳細(xì)累加結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0043]下面結(jié)合附圖對(duì)本發(fā)明做詳細(xì)介紹，其中所用到的附圖中細(xì)線表示控制信號(hào)線，寬線表示數(shù)據(jù)線。
[0044]如圖1所示，相關(guān)性模塊架構(gòu)圖包括:幀圖像讀選擇控制模塊1、相關(guān)性計(jì)算模塊2和偏移量跟蹤模塊3，具體細(xì)化如下:
[0045]1、幀圖像讀選擇控制模塊
[0046]幀圖像讀選擇控制模塊I提供選定覆蓋區(qū)域數(shù)據(jù)的讀控信號(hào)給RAM矩陣4，使得RAM矩陣4可根據(jù)選定覆蓋區(qū)域數(shù)據(jù)的讀控信號(hào)流水線的將讀取的選定覆蓋區(qū)域數(shù)據(jù)傳給相關(guān)性計(jì)算模塊2。[0047]所述選定覆蓋區(qū)域數(shù)據(jù)是按照上一幀圖像求得的開窗范圍內(nèi)的所有覆蓋情況下所覆蓋區(qū)域的部分或全部數(shù)據(jù)，且每種覆蓋情況下的選定覆蓋區(qū)域大小相同。所述選定覆蓋區(qū)域數(shù)據(jù)的具體大小是人為定制的參數(shù)，根據(jù)不同計(jì)算速度反比調(diào)整選定覆蓋區(qū)域數(shù)據(jù)大小。
[0048]此模塊生成指定RAM矩陣4的選定覆蓋區(qū)域數(shù)據(jù)的讀控制信號(hào)(包括RAM的讀地址，讀使能)，并生成相關(guān)控制信號(hào)給相關(guān)性計(jì)算模塊2和偏移量跟蹤模塊3。
[0049]幀圖像數(shù)據(jù)在RAM矩陣4中以一定規(guī)則順序存儲(chǔ)。如以行順序存儲(chǔ)、以列順序存儲(chǔ)等，一幀圖像數(shù)據(jù)存儲(chǔ)在RAM矩陣4中的連續(xù)區(qū)域。
[0050]1)如圖像數(shù)據(jù)在RAM矩陣4中以行順序存儲(chǔ)，讀數(shù)據(jù)時(shí)，先讀在一種垂直方向覆蓋情況的所有水平覆蓋情況之后，再讀下一種垂直方向覆蓋情況的所有水平覆蓋情況，直至所有垂直方向覆蓋情況讀取完成。
[0051]2)如圖像數(shù)據(jù)在RAM矩陣4中以列順序存儲(chǔ)，讀數(shù)據(jù)時(shí)，先讀在一種水平方向覆蓋情況的所有垂直覆蓋情況之后，再讀下一種水平方向覆蓋情況的所有垂直覆蓋情況，直至所有水平方向覆蓋情況讀取完成。
[0052]定義:一種垂直方向覆蓋情況下的每一種水平方向覆蓋情況或者一種水平方向覆蓋情況下的每一種垂直方向覆蓋情況運(yùn)算完時(shí)為一種大覆蓋情況。
[0053]圖2描述了幀圖像讀選擇控制模塊I控制RAM矩陣4流水線選數(shù)的流程，本實(shí)施例中圖像數(shù)據(jù)在RAM矩陣4中以行順序存儲(chǔ)。圖中模板幀和當(dāng)前幀各有r行。陰影部分為覆蓋區(qū)域數(shù)據(jù)。
[0054]圖中的a、b、c、d分別對(duì)應(yīng)開窗范圍的上下左右四個(gè)參數(shù)，由偏移量跟蹤模塊3提供，即偏移量跟蹤模塊3計(jì)算出當(dāng)前幀的開窗范圍用于幀圖像讀選擇控制模塊I在下一幀相關(guān)性計(jì)算讀取數(shù)據(jù)。
[0055]在垂直方向上，如圖2左側(cè)列中Fv (0)到Fv (b+a)為:從當(dāng)前幀位于模板幀下方b行時(shí)，到覆蓋所有行，再到當(dāng)前幀位于模板幀上方a行。
[0056]在水平方向上，如圖2右側(cè)列中F1 (0)到F1 (c+d)為:從當(dāng)前幀位于模板幀右方c列，到覆蓋所有列，再到當(dāng)前幀位于模板幀左方d列。
[0057]幀圖像讀選擇控制模塊I在提供選定覆蓋區(qū)域數(shù)據(jù)的讀控信號(hào)給RAM矩陣4時(shí)，按照上面所述四個(gè)方向的所有組合位移，提供每一個(gè)組合位移下的選定覆蓋區(qū)域數(shù)據(jù)的讀控信號(hào)。
[0058]其流水化取數(shù)可以有如下幾種方式:
[0059]方式一:雙向取數(shù)方式，例如，先讀取當(dāng)前幀位于模板幀下方b行(圖Fv (0))時(shí)的所有水平方向覆蓋情況(即從F1 (0)到匕(c+d))內(nèi)的選定覆蓋區(qū)域數(shù)據(jù)，在一種垂直方向覆蓋情況的所有水平覆蓋情況取數(shù)完成之后，再按從當(dāng)前幀位于模板幀下方b行時(shí)，到所有行覆蓋，再到當(dāng)前幀位于模板幀上方a行的順序(即從Fv (0)到^ (b+a))依次讀取每一個(gè)垂直方向覆蓋情況下的所有水平方向覆蓋情況的選定覆蓋區(qū)域數(shù)據(jù)。
[0060]在讀取每一種覆蓋情況下的選定覆蓋區(qū)域數(shù)據(jù)時(shí)，以數(shù)據(jù)在RAM矩陣4中的存放規(guī)則(以行存儲(chǔ)或以列存儲(chǔ)或其他)依次讀取選定覆蓋區(qū)域數(shù)據(jù)，實(shí)現(xiàn)流水化。
[0061]上述的讀取順序，水平方向和垂直方向的順序可以互換。垂直方向上的最少覆蓋行數(shù)可以根據(jù)實(shí)際情況進(jìn)行調(diào)整。[0062]方式二:單方向的取數(shù)方式，例如，垂直方向上從當(dāng)前幀位于模板幀下方b行到所有行覆蓋即止；或按從當(dāng)前幀位于模板幀上方a行到所有行覆蓋即止；或從所有行覆蓋到當(dāng)前幀位于模板幀上方a行即止；或從所有行覆蓋到當(dāng)前幀位于模板幀下方b行即止。水平方向上從當(dāng)前幀位于模板幀左方d行到所有行覆蓋即止；或從當(dāng)前幀位于模板幀右方c行到所有行覆蓋即止；或從所有行覆蓋到當(dāng)前幀位于模板幀左方d行即止；或從所有行覆蓋到當(dāng)前幀位于模板幀右方c行即止。
[0063]在特定情況下為了減少計(jì)算時(shí)間，提高圖像拼接速度，可以根據(jù)實(shí)際需要選取此硬件結(jié)構(gòu)所包含的上述雙向取數(shù)或單向取數(shù)的方式。
[0064]2、相關(guān)性計(jì)算模塊
[0065]相關(guān)性計(jì)算模塊2從RAM矩陣4中流水線的接收兩幀圖像的選定覆蓋區(qū)域數(shù)據(jù)(即模板幀對(duì)應(yīng)的選定覆蓋區(qū)域數(shù)據(jù)和當(dāng)前幀對(duì)應(yīng)的選定覆蓋區(qū)域數(shù)據(jù))，并將選定覆蓋區(qū)域數(shù)據(jù)分成X段(段數(shù)根據(jù)行列可調(diào))，并行得到總體相關(guān)性矩陣、分段式相關(guān)性矩陣和相關(guān)性數(shù)據(jù)，在資源上可復(fù)用，結(jié)構(gòu)上并行執(zhí)行。此模塊輸出相關(guān)性矩陣和相關(guān)性數(shù)據(jù)及其控制信號(hào)。
[0066]如圖3所示，其結(jié)構(gòu)上包括:相關(guān)性算法處理模塊21、累加器模塊22、累加結(jié)果處理模塊23。圖4為該相關(guān)性計(jì)算模塊2的詳細(xì)累加結(jié)構(gòu)示意圖。
[0067](I)相關(guān)性算法處理模塊21:根據(jù)上級(jí)模塊提供控制信號(hào)，對(duì)兩幀圖像的選定覆蓋區(qū)域數(shù)據(jù)中的每個(gè)數(shù)據(jù)進(jìn)行相關(guān)性計(jì)算，相關(guān)性計(jì)算方法是本領(lǐng)域慣用方法，此處不做詳述，在本實(shí)施例中采用求選定覆蓋區(qū)域數(shù)據(jù)中的每個(gè)數(shù)據(jù)的差值平方的方法。相關(guān)性計(jì)算處理模塊21對(duì)兩幀圖像的選定覆蓋區(qū)域數(shù)據(jù)中的每個(gè)數(shù)據(jù)求差值平方，并將得到的差值平方值依次輸入到累加器模塊22中，并輸出控制信號(hào)給累加器輸出處理模塊23。
[0068]相關(guān)性算法處理模塊21包括k個(gè)相關(guān)性計(jì)算單元，可同時(shí)處理一個(gè)垂直(水平)位移情況下的所有k個(gè)水平(垂直)方向可移動(dòng)范圍內(nèi)覆蓋區(qū)域的選定覆蓋區(qū)域數(shù)據(jù)。如果幀圖像在RAM陣列4中以行存儲(chǔ)，那么k表示水平方向的可移動(dòng)次數(shù)，此時(shí)k=c+d+l ;如果幀圖像在RAM陣列k中以列存儲(chǔ)，那么k表示垂直方向的可移動(dòng)次數(shù)，此時(shí)k=a+b+l。
[0069](2)累加器模塊22:由多個(gè)或多組加法器組成(由算法需要幾個(gè)到幾十個(gè)不等)，包括累加器221和累加器222，分類累加相關(guān)性算法處理模塊21得到的所有差值平方值，輸出多組累加數(shù)據(jù)和相關(guān)有效控制信號(hào)。
[0070]累加器221由k個(gè)加法器組成，對(duì)應(yīng)累加k個(gè)相關(guān)性計(jì)算單元內(nèi)得到的差值平方值，若選定覆蓋區(qū)域被分為X段，這k組加法器每次在當(dāng)前段數(shù)據(jù)的所有差值平方值累加完畢后會(huì)被清零，實(shí)現(xiàn)分段式累加。
[0071]選定覆蓋區(qū)域數(shù)據(jù)分成X段時(shí)，累加器222則有X組加法器分別累加累加器221被清零前累加的數(shù)據(jù)，其中每組加法器中包含k個(gè)加法器，其中每一個(gè)加法器對(duì)應(yīng)累加一種垂直(水平)方向覆蓋情況下的每一種水平(垂直)方向覆蓋情況下累加器221被清零前累加的數(shù)據(jù)。累加器222依次輸出每種大覆蓋情況下的分段相關(guān)性數(shù)據(jù)，所有大覆蓋情況計(jì)算完畢時(shí)，得到分段相關(guān)性矩陣。
[0072](3)累加結(jié)果處理模塊23:包含少量加法器，在累加器模塊22工作的同時(shí)根據(jù)累加器模塊22和相關(guān)性計(jì)算模塊21輸出的控制信號(hào)，組合累加累加器模塊22輸出的多組累加數(shù)據(jù)，在遍歷每一種覆蓋情況后，輸出總體相關(guān)性矩陣和分段相關(guān)性矩陣。在累加輸出相關(guān)性矩陣的同時(shí)搜索每一個(gè)相關(guān)性矩陣的最大值、最小值和對(duì)應(yīng)的坐標(biāo)。累加器輸出處理模塊23還要輸出相應(yīng)的控制信號(hào)給下級(jí)模塊。
[0073]累加步驟如下:
[0074]S1、將兩幀圖像的選定覆蓋區(qū)域數(shù)據(jù)進(jìn)行相關(guān)性運(yùn)算，在本實(shí)施中采用求選定覆蓋區(qū)域數(shù)據(jù)中的每個(gè)數(shù)據(jù)的差值平方的方法，得到選定覆蓋區(qū)域數(shù)據(jù)中的每個(gè)數(shù)據(jù)的差值平方值送入累加器221中；
[0075]S2、分別在累加器221內(nèi)(如圖3的加法器f加法器k)分別累加一種垂直方向覆蓋情況下的k個(gè)水平方向覆蓋情況產(chǎn)生的差值平方值；或者是累加一種水平方向覆蓋情況下的k個(gè)垂直方向覆蓋情況產(chǎn)生的差值平方值。若k個(gè)選定覆蓋區(qū)域數(shù)據(jù)被分為了 X段，k個(gè)選定覆蓋區(qū)域數(shù)據(jù)的第一段數(shù)據(jù)在加法器I中累加完成后，分別將此時(shí)數(shù)據(jù)記錄到累加器222的段I加法器I至段I加法器k中，并清零累加器221 (即加法器f加法器k)，累加器221再進(jìn)行第二段數(shù)據(jù)的累加，累加完后放入累加器222的段2加法器I至段2加法器k內(nèi)，如此循環(huán)，直到X段數(shù)據(jù)全部累加結(jié)束。此時(shí)累加器222輸出一種大覆蓋情況下的分段相關(guān)性矩陣。
[0076]S3、數(shù)據(jù)按一種大覆蓋情況接下一種大覆蓋情況的順序傳入，累加器222也按照同樣的順序流水化輸出每種大覆蓋情況下的分段相關(guān)性矩陣，最終得到分段相關(guān)性矩陣。累加結(jié)果處理模塊23將每段的分段相關(guān)性矩陣相應(yīng)流水化的累加，得到總體相關(guān)性矩陣。
[0077]S4、在流水化的得到分段相關(guān)性矩陣和總體相關(guān)性矩陣中的數(shù)據(jù)的同時(shí)，累加結(jié)果處理模塊23分別搜索這些數(shù)據(jù)中的極值和坐標(biāo)，分別確定分段相關(guān)性矩陣和總體相關(guān)性矩陣的最大值、最小值和其相對(duì)應(yīng)的坐標(biāo)。
[0078]當(dāng)選定覆蓋區(qū)域數(shù)據(jù)個(gè)數(shù)大于當(dāng)前覆蓋情況下的選定覆蓋區(qū)域數(shù)據(jù)個(gè)數(shù)時(shí)，累加結(jié)果處理模塊23需要對(duì)此種大覆蓋情況下的相關(guān)性矩陣中的每一個(gè)值進(jìn)行歸一化處理。歸一化處理的方法有多種，且為本領(lǐng)域技術(shù)人員的慣用手段，在本實(shí)施例中，累加結(jié)果處理模塊23輸出此種大覆蓋情況下的相關(guān)性矩陣時(shí)，對(duì)其中每一個(gè)數(shù)據(jù)乘以選定覆蓋區(qū)域數(shù)據(jù)的個(gè)數(shù)除以當(dāng)前覆蓋情況下的選定覆蓋區(qū)域數(shù)據(jù)個(gè)數(shù)的商，使得到的相關(guān)性矩陣中的每一個(gè)值是通過相同數(shù)據(jù)計(jì)算得到的。
[0079]此架構(gòu)在計(jì)算總體相關(guān)性矩陣的基礎(chǔ)上，只添加了累加器2，在消耗最少資源且不增加計(jì)算時(shí)間的情況下就能夠得到分段相關(guān)性矩陣，幾組相關(guān)性矩陣同時(shí)得到，在得到幾組相關(guān)性矩陣同時(shí)搜索其最大值最小值，及其坐標(biāo)，最后同時(shí)輸出，實(shí)現(xiàn)了資源復(fù)用化，結(jié)構(gòu)并行化。
[0080]3、偏移量跟蹤模塊
[0081]此模塊根據(jù)相關(guān)性計(jì)算模塊2得到的相關(guān)性矩陣和相關(guān)性數(shù)據(jù)得到開窗范圍和當(dāng)前幀的偏移量以及相應(yīng)的控制信號(hào)。
[0082]在相關(guān)性算法不同時(shí)，總體相關(guān)性矩陣的極大值或者極小值對(duì)應(yīng)的坐標(biāo)即為當(dāng)前幀的偏移量:例如本實(shí)施例中用差分平方和求得的相關(guān)性矩陣，其極小值對(duì)應(yīng)的坐標(biāo)即為當(dāng)前巾貞的偏移量，該偏移量包括垂直偏移量和水平偏移量。
[0083]開窗范圍用于幀圖像讀選擇控制模塊I在下一幀相關(guān)性計(jì)算時(shí)讀取數(shù)據(jù)，當(dāng)前相關(guān)性矩陣求出的開窗范圍包括上下左右四個(gè)值，在下一幀相關(guān)性計(jì)算時(shí)，在前后兩幀圖像完全重合的基礎(chǔ)上，固定一巾貞不動(dòng)，上下左右(對(duì)應(yīng)于開窗范圍的四個(gè)值)移動(dòng)另一中貞的范圍。具體計(jì)算方法為:由當(dāng)前幀的垂直偏移量減去閾值thre得到開窗范圍內(nèi)的向上的最大移動(dòng)范圍；由當(dāng)前幀的垂直偏移量加上閾值thre得到開窗范圍內(nèi)的向下的最大移動(dòng)范圍；由當(dāng)前幀的水平偏移量加上閾值thre得到開窗范圍內(nèi)的向右的最大移動(dòng)范圍；由當(dāng)前幀的水平偏移量減去閾值thre得到開窗范圍內(nèi)的向左的最大移動(dòng)范圍。
[0084]閾值thre的設(shè)定要使得在開窗范圍內(nèi)每一種覆蓋情況下的覆蓋區(qū)域的數(shù)據(jù)大于等于選定覆蓋區(qū)域的數(shù)據(jù)。
[0085]本發(fā)明由硬件實(shí)現(xiàn)兩幀圖像的相關(guān)性計(jì)算及提取其特殊值的方法。硬件實(shí)現(xiàn)時(shí)，本方案采用一種并行架構(gòu)，結(jié)構(gòu)流水化，在資源上可復(fù)用。此種并行流水線結(jié)構(gòu)，大大提升了處理速度。此模塊特別適用于指紋刮擦傳感器采集到的連續(xù)指紋圖像的相關(guān)性提取外，也能廣泛適用于采集物在采集窗口上移動(dòng)獲得的連續(xù)圖像、或移動(dòng)采集窗口獲得的連續(xù)圖像的處理。
[0086]本領(lǐng)域的技術(shù)人員在不脫離權(quán)利要求書確定的本發(fā)明的精神和范圍的條件下，還可以對(duì)以上內(nèi)容進(jìn)行各種各樣的修改。因此本發(fā)明的范圍并不僅限于以上的說明，而是由權(quán)利要求書的范圍來確定的。
【權(quán)利要求】
1.魯棒式圖像相關(guān)性提取結(jié)構(gòu)，包括幀圖像讀選擇控制模塊、相關(guān)性計(jì)算模塊和偏移量跟蹤模塊，其特征在于，相關(guān)性計(jì)算模塊包括相關(guān)性算法處理模塊、累加器模塊、累加結(jié)果處理模塊，其中， 相關(guān)性算法處理模塊對(duì)選定覆蓋區(qū)域數(shù)據(jù)中的每個(gè)數(shù)據(jù)進(jìn)行相關(guān)性計(jì)算，并將得到的相關(guān)性計(jì)算值輸入到累加器模塊中； 累加器模塊分段累加相關(guān)性計(jì)算值，得到選定覆蓋區(qū)域數(shù)據(jù)的分段相關(guān)性矩陣； 累加結(jié)果處理模塊將累加器模塊得到的所有分段相關(guān)性矩陣?yán)奂拥玫娇傮w相關(guān)性矩陣，并分別得到分段相關(guān)性矩陣和總體相關(guān)性矩陣的極大值、極小值以及極大值對(duì)應(yīng)的坐標(biāo)、極小值對(duì)應(yīng)的坐標(biāo)。
2.根據(jù)權(quán)利要求1所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu)，其特征在于，所述選定覆蓋區(qū)域數(shù)據(jù)是按照上一幀圖像求得的開窗范圍內(nèi)的所有覆蓋情況下所覆蓋區(qū)域的部分或全部數(shù)據(jù)，且每種覆蓋情況下的選定覆蓋區(qū)域大小相同。
3.根據(jù)權(quán)利要求2所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu)，其特征在于，還包括RAM矩陣，RAM矩陣與幀圖像讀選擇控制模塊和相關(guān)性計(jì)算模塊相連，幀圖像讀選擇控制模塊提供選定覆蓋區(qū)域數(shù)據(jù)的讀控信號(hào)給RAM矩陣，使得RAM矩陣可根據(jù)選定覆蓋區(qū)域數(shù)據(jù)的讀控信號(hào)流水線的將讀取的選定覆蓋區(qū)域數(shù)據(jù)傳給相關(guān)性計(jì)算模塊。
4.根據(jù)權(quán)利要求2所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu)，其特征在于，偏移量跟蹤模塊與相關(guān)性計(jì)算模塊相連，根據(jù)相關(guān)性計(jì)算模塊得到的當(dāng)前幀的分段相關(guān)性矩陣和總體相關(guān)性矩陣的極大值、極小值以及極大值對(duì)應(yīng)的坐標(biāo)、極小值對(duì)應(yīng)的坐標(biāo)得到開窗范圍和當(dāng)前中貞的偏移量。
5.根據(jù)權(quán)利要求4所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu)，其特征在于，當(dāng)前幀的總體相關(guān)性矩陣的極大值或者極小值對(duì) 應(yīng)的坐標(biāo)即為當(dāng)前幀的偏移量。
6.根據(jù)權(quán)利要求5所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu)，其特征在于，當(dāng)前相關(guān)性矩陣求出的開窗范圍是，在下一幀相關(guān)性計(jì)算時(shí)，在前后兩幀圖像完全重合的基礎(chǔ)上，固定一幀不動(dòng)，上下左右移動(dòng)另一幀的范圍；開窗范圍包括上下左右四個(gè)值，由當(dāng)前幀的垂直偏移量減去閾值thre得到開窗范圍內(nèi)的向上的最大移動(dòng)范圍；由當(dāng)前幀的垂直偏移量加上閾值thre得到開窗范圍內(nèi)的向下的最大移動(dòng)范圍；由當(dāng)前幀的水平偏移量加上閾值thre得到開窗范圍內(nèi)的向右的最大移動(dòng)范圍；由當(dāng)前幀的水平偏移量減去閾值thre得到開窗范圍內(nèi)的向左的最大移動(dòng)范圍； 閾值thre的設(shè)定要使得在開窗范圍內(nèi)每一種覆蓋情況下的覆蓋區(qū)域的數(shù)據(jù)大于等于選定覆蓋區(qū)域的數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu)，其特征在于，所述相關(guān)性算法處理模塊包括k個(gè)相關(guān)性計(jì)算單元，可同時(shí)進(jìn)行兩幀圖像在一個(gè)垂直位移情況下的所有k個(gè)水平方向可移動(dòng)范圍內(nèi)覆蓋區(qū)域的選定覆蓋區(qū)域數(shù)據(jù)的相關(guān)性計(jì)算，或者兩幀圖像在一個(gè)水平位移情況下的所有k個(gè)垂直方向可移動(dòng)范圍內(nèi)覆蓋區(qū)域的選定覆蓋區(qū)域數(shù)據(jù)的相關(guān)性計(jì)算。
8.根據(jù)權(quán)利要求7所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu)，其特征在于，所述累加器模塊由多個(gè)加法器組成，包括第一累加器和第二累加器，所述第一累加器由k個(gè)加法器構(gòu)成，對(duì)應(yīng)累加k個(gè)相關(guān)性計(jì)算單元內(nèi)得到的相關(guān)性計(jì)算值，若選定覆蓋區(qū)域被分為X段，這k組加法器每次在當(dāng)前段內(nèi)所有數(shù)據(jù)的相關(guān)性計(jì)算值累加完畢后被清零。
9.根據(jù)權(quán)利要求8所述的魯棒式圖像相關(guān)性提取結(jié)構(gòu)，其特征在于，所述第二累加器有X組加法器組成，其中每組加法器中包含k個(gè)加法器；所述X組加法器中的k個(gè)加法器分別對(duì)應(yīng)累加第一累加器中X段的被清零前累加的數(shù)據(jù)，得到X段的分段相關(guān)性矩陣。
【文檔編號(hào)】G06T1/00GK103679622SQ201210344242
【公開日】2014年3月26日 申請(qǐng)日期:2012年9月18日 優(yōu)先權(quán)日:2012年9月18日
【發(fā)明者】張婭舸 申請(qǐng)人:成都方程式電子有限公司