校正圖像的裝置及其方法
【專利摘要】本發(fā)明提供一種校正圖像的裝置及其方法，可在不引起圖像劣化的情況下反復(fù)進(jìn)行校正處理。CPU在第2次以后的彎曲校正時(shí)，使彎曲校正后的處理圖像和重疊在該處理圖像上的矩形形狀的網(wǎng)格圖像顯示于顯示部。用戶從操作部(觸摸面板)通過觸摸操作使網(wǎng)格圖像的形狀伸縮而使其與彎曲的處理圖像的形狀相匹配。CPU根據(jù)網(wǎng)格圖像的形狀，生成表示構(gòu)成圖像的像素的彎曲校正后的坐標(biāo)的變換用映射表，并且基于變換用映射表所表示的坐標(biāo)，對(duì)用于前一次彎曲校正中的記錄用映射表所表示的坐標(biāo)進(jìn)行更新，并使用該更新后的記錄用映射表，針對(duì)原圖像進(jìn)行彎曲校正。
【專利說明】
校正圖像的裝置及其方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及校正圖像的裝置及其方法。
【背景技術(shù)】
[0002]在現(xiàn)有技術(shù)中，提出了如下技術(shù)，無需對(duì)書籍進(jìn)行裁剪，保持其原有狀態(tài)的情況下，一邊翻頁(yè)一邊用照相機(jī)拍攝來將其電子化。若以自然的狀態(tài)打開書籍并從上部拍攝，則由于書頁(yè)的翹曲，圖像中的字符串或圖表會(huì)失真，難以閱讀和理解圖像中的字符串或圖表。
[0003]因此，例如，在JP特開2014-192901號(hào)公報(bào)中，提出了如下技術(shù)，在失真的圖像上顯示網(wǎng)格圖像，操作網(wǎng)格圖像以使其與紙面的彎曲狀態(tài)相匹配，基于該網(wǎng)格圖像來校正圖像的失真。
[0004]但是，在現(xiàn)有技術(shù)中，在僅基于網(wǎng)格圖像進(jìn)行一次圖像的校正處理，通過所指定的網(wǎng)格圖像無法得到良好的處理圖像的情況下，需要再一次針對(duì)原來失真的圖像調(diào)整網(wǎng)格圖像來執(zhí)行校正，存在本應(yīng)是更新處理圖像卻產(chǎn)生時(shí)滯(切換期間)的問題。此外，也可以想到在已經(jīng)校正的處理圖像上顯示網(wǎng)格圖像來再次進(jìn)行校正的方法，但由于根據(jù)處理圖像進(jìn)行校正，因此存在圖像劣化的程度變大這樣的問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的第I觀點(diǎn)所涉及的裝置是校正圖像的裝置，具備:輸入部，受理來自用戶的指示輸入;和處理器，實(shí)現(xiàn)以下功能，即:將處理對(duì)象的圖像和重疊于該圖像上的網(wǎng)格圖像顯示于顯示裝置;基于所述指示輸入，使所述網(wǎng)格圖像的形狀發(fā)生變形;基于變形后的所述網(wǎng)格圖像的形狀，生成變換用矩陣，該變換用矩陣表示構(gòu)成處理對(duì)象的所述圖像的像素的彎曲校正后的坐標(biāo);基于所生成的所述變換用矩陣所表示的坐標(biāo)，更新記錄用矩陣，該紀(jì)錄用矩陣表示構(gòu)成原圖像的像素的變換履歷；以及，基于更新后的所述記錄用矩陣，針對(duì)所述原圖像進(jìn)行彎曲校正。
[0006]本發(fā)明的第2觀點(diǎn)所涉及的方法是一種校正圖像的方法，包括以下處理:將處理對(duì)象的圖像和重疊于該圖像上的網(wǎng)格圖像顯示于顯示裝置;受理來自用戶的指示輸入;基于所述指示輸入，使所述網(wǎng)格圖像的形狀發(fā)生變形;基于變形后的所述網(wǎng)格圖像的形狀，生成變換用矩陣，該變換用矩陣表示構(gòu)成處理對(duì)象的所述圖像的像素的彎曲校正后的坐標(biāo);基于所生成的所述變換用矩陣所表示的坐標(biāo)，更新記錄用矩陣，該紀(jì)錄用矩陣表示構(gòu)成原圖像的像素的變換履歷;和基于更新后的所述記錄用矩陣，針對(duì)所述原圖像進(jìn)行彎曲校正。
【附圖說明】
[0007]若結(jié)合以下的附圖來考慮以下的詳細(xì)記述，則能夠更深刻地理解本申請(qǐng)。
[0008]圖1是表示作為本發(fā)明的實(shí)施方式的圖像校正裝置的便攜式信息終端I的構(gòu)成的框圖。
[0009]圖2是用于說明本實(shí)施方式的便攜式信息終端I的整體動(dòng)作的流程圖。
[0010]圖3是表示在本實(shí)施方式中原圖像與重疊在該原圖像上的初始的未失真的網(wǎng)格圖像的不意圖。
[0011]圖4是表示在本實(shí)施方式中使網(wǎng)格圖像21重疊顯示在原圖像20上的狀態(tài)的示意圖。
[0012]圖5是用于說明在本實(shí)施方式中網(wǎng)格圖像21的控制點(diǎn)的示意圖。
[0013]圖6是表示本實(shí)施方式的變換用映射表30的一例的概念圖。
[0014]圖7是用于說明本實(shí)施方式的變換用映射表30的生成方法的概念圖。
[0015]圖8是表示本實(shí)施方式的記錄用映射表31(第I次校正之前)的一例的概念圖。
[0016]圖9是用于說明本實(shí)施方式的記錄用映射表31的更新處理的概念圖。
[0017]圖10是用于說明本實(shí)施方式的記錄用映射表31的更新處理的概念圖。
[0018]圖11是用于對(duì)在本實(shí)施方式的記錄用映射表31的更新處理中使用的雙線性方法進(jìn)行說明的概念圖。
【具體實(shí)施方式】
[0019]以下，參照附圖來說明本發(fā)明的實(shí)施方式。
[0020]A.實(shí)施方式的構(gòu)成
[0021]圖1是表示作為本發(fā)明的實(shí)施方式的圖像校正裝置的便攜式信息終端I的構(gòu)成的框圖。在圖中，便攜式信息終端I例如由智能手機(jī)、平板終端等構(gòu)成。便攜式信息終端I具備通信部10、攝像部11、R0M12、RAM13、顯示部14、操作部(觸摸面板)15、記錄介質(zhì)16以及CPU(PROCESSOR 等運(yùn)算部)17。
[0022]通信部10例如使用移動(dòng)體通信、Bluetooth(注冊(cè)商標(biāo))和/或無線LAN(WiFi)連接到因特網(wǎng)等網(wǎng)絡(luò)。攝像部11具備由光學(xué)透鏡群構(gòu)成的透鏡塊、和CCD、CM0S等攝像元件，通過攝像元件對(duì)從透鏡塊進(jìn)入的圖像進(jìn)行拍攝。特別是在本實(shí)施方式中，攝像部11對(duì)書頁(yè)進(jìn)行拍攝。
[0023]R0M12存儲(chǔ)了由后述的CPU17所執(zhí)行的程序、動(dòng)作等所需的各種參數(shù)等。RAM13存儲(chǔ)后述的CPU17執(zhí)行了程序時(shí)的臨時(shí)數(shù)據(jù)、各種應(yīng)用程序、應(yīng)用執(zhí)行所需的各種參數(shù)等數(shù)據(jù)。特別是在本實(shí)施方式中，在RAMl3中存儲(chǔ)從網(wǎng)格圖像生成的變換用映射表、記錄用映射表等，其中，網(wǎng)格圖像是通過用戶操作而使形狀與拍攝書頁(yè)而得到的原圖像或彎曲校正后的處理圖像相匹配的網(wǎng)格圖像。
[0024]記錄用映射表以及變換用映射表是表示為了校正原圖像或處理圖像的彎曲而從上述網(wǎng)格圖像取得的變換后的像素的坐標(biāo)的矩陣(matrix)。變換用映射表表示從當(dāng)前時(shí)間點(diǎn)的網(wǎng)格圖像取得的變換后的像素的坐標(biāo)，記錄用映射表表示前一次變換時(shí)的變換后的像素的坐標(biāo)。該記錄用映射表每次進(jìn)行彎曲校正處理時(shí)都基于上述變換用映射表而被更新，并被用于基于當(dāng)前時(shí)間點(diǎn)的網(wǎng)格圖像的對(duì)原圖像的彎曲校正中。關(guān)于這些記錄用映射表以及變換用映射表的詳細(xì)內(nèi)容，將在后面敘述。
[0025]顯示部14由液晶顯示器或有機(jī)EL(Electro Luminescence)顯示器等構(gòu)成，顯示與特定的功能、應(yīng)用等相關(guān)聯(lián)的圖標(biāo)、應(yīng)用畫面、各種菜單畫面等。操作部(觸摸面板)15檢測(cè)手指或觸控筆(筆)等的直接接觸或者接近。另外，在操作部(觸摸面板)15中，也可以包含電源按鈕、音量按鈕等機(jī)械開關(guān)類。此外，在本實(shí)施方式中，從操作部(觸摸面板)15輸入指定網(wǎng)格圖像的形狀作為對(duì)拍攝到的圖像的曲面(失真)進(jìn)行校正時(shí)的參數(shù)的觸摸操作。通過該觸摸操作，用戶使網(wǎng)格圖像的形狀與拍攝到的書頁(yè)的圖像(原圖像、校正后的處理圖像)的形狀相匹配。
[0026]記錄介質(zhì)16保存拍攝到的圖像數(shù)據(jù)等各種數(shù)據(jù)。CPU17通過執(zhí)行存儲(chǔ)在上述R0M12中的程序來控制各部分的動(dòng)作。特別是，在本實(shí)施方式中，CPU17通過執(zhí)行圖像處理程序，從而針對(duì)拍攝到的圖像執(zhí)行彎曲校正。
[0027]本實(shí)施方式是用在如下方面的支援技術(shù)，S卩，使用戶能夠容易進(jìn)行用于對(duì)由攝像部11或者其他具有攝像功能的設(shè)備拍攝到的書籍或冊(cè)子(以后簡(jiǎn)稱為書籍)的圖像進(jìn)行彎曲校正的參數(shù)(網(wǎng)格圖像)的設(shè)定。CPU17使基于網(wǎng)格方式的網(wǎng)格圖像重疊在原圖像或處理圖像上，并通過用戶操作，調(diào)整網(wǎng)格圖像的形狀以使其與原圖像或處理圖像相匹配。
[0028]此外，CPU17從調(diào)整后的網(wǎng)格圖像生成表示當(dāng)前時(shí)間點(diǎn)的像素的移動(dòng)目的地的坐標(biāo)的變換用映射表30(后述)、和記錄各個(gè)像素如何從原圖像向處理圖像進(jìn)行了坐標(biāo)變換的記錄用映射表31(后述)<XPU17在每次進(jìn)行彎曲校正處理時(shí)，都更新該記錄用映射表31的坐標(biāo)，由此能夠針對(duì)處理圖像反復(fù)設(shè)定網(wǎng)格圖像，并且每次都從原圖像變換成處理圖像來進(jìn)行顯示。由此，能夠在不引起圖像劣化的情況下順暢地反復(fù)進(jìn)行校正處理。
[0029]B.實(shí)施方式的動(dòng)作
[0030]接著，說明上述實(shí)施方式的動(dòng)作。
[0031]圖2是用于說明本實(shí)施方式的便攜式信息終端I的整體動(dòng)作的流程圖。在便攜式信息終端I中，CPU17首先將由拍攝到的書頁(yè)構(gòu)成的原圖像從記錄介質(zhì)16輸入到RAM13中(步驟S10)，向顯示部14輸出原圖像與重疊在該原圖像上的初始的未失真的網(wǎng)格圖像(步驟S12)。
[0032]圖3是表示在本實(shí)施方式中原圖像與重疊在該原圖像上的初始的未失真的網(wǎng)格圖像的示意圖。在步驟S12中，如圖3所示，顯示原圖像20與未失真的網(wǎng)格圖像21。原圖像因拍攝時(shí)的書頁(yè)的翹曲而發(fā)生彎曲。通過可在所安裝的平臺(tái)上執(zhí)行的應(yīng)用程序來描繪網(wǎng)格圖像21。在不能通過應(yīng)用程序來描繪的情況下，也可以通過其他公知的方法，合成原圖像與網(wǎng)格圖像來進(jìn)行顯示。此外，網(wǎng)格圖像21由多個(gè)區(qū)域(縱nX橫m)構(gòu)成。關(guān)于該網(wǎng)格圖像21的詳細(xì)內(nèi)容，將在后面敘述。
[0033]接著，CPU17基于原圖像20，從操作部(觸摸面板)15設(shè)定用于彎曲校正的參數(shù)(網(wǎng)格圖像的形狀)(步驟S14)。用戶可從操作部(觸摸面板)15通過觸摸操作，任意地變更網(wǎng)格圖像。除了用戶的觸摸操作以外，也可以通過其他算法(圖像識(shí)別)來自動(dòng)地導(dǎo)出。以下，對(duì)用戶設(shè)定網(wǎng)格圖像的形狀的情況詳細(xì)進(jìn)行說明。
[0034]圖4是表示在本實(shí)施方式中使網(wǎng)格圖像21重疊顯示在原圖像20上的狀態(tài)的示意圖。此外，圖5是用于說明在本實(shí)施方式中網(wǎng)格圖像21的控制點(diǎn)的示意圖。
[0035]如圖4所示，用戶通過觸摸操作使重疊顯示在原圖像20上的網(wǎng)格圖像21的形狀伸縮，從而使其與彎曲的原圖像20的形狀相匹配。如圖4以及圖5所示，網(wǎng)格圖像21的點(diǎn)為貝塞爾曲線的控制點(diǎn)22-1?22-10，通過觸摸操作能夠使其移動(dòng)。若通過用戶的觸摸操作而使控制點(diǎn)22-1?22-10移動(dòng)，使得原圖像20的形狀與網(wǎng)格圖像21的形狀一致，則網(wǎng)格圖像21的整體形狀跟隨觸摸操作而發(fā)生變形。
[0036]由四階的貝塞爾曲線描繪網(wǎng)格圖像21的最上部的上線UL與最下部的下線DL。通過分別移動(dòng)該上線UL的5點(diǎn)的控制點(diǎn)22-1?22-5與下線DL的5點(diǎn)的控制點(diǎn)22-6?22-10，從而能夠自由地移動(dòng)上線UL與下線DLXPU17以該上線UL與下線DL為基準(zhǔn)，使用給定的網(wǎng)格生成算法，導(dǎo)出被上線UL與下線DL夾住的橫線、縱線的寬度、曲線的彎曲狀況等，實(shí)時(shí)地使網(wǎng)格圖像21的形狀發(fā)生變形。
[0037]另外，在本實(shí)施方式中，將用于使網(wǎng)格圖像21發(fā)生變形的控制點(diǎn)22-1?22-10設(shè)為上下共計(jì)10點(diǎn)，但并不限于此，也可以將構(gòu)成網(wǎng)格圖像21的多個(gè)區(qū)域的各交點(diǎn)設(shè)為控制點(diǎn)。此外，并不限于上線UL與下線DL，也可以通過用戶對(duì)想要變形的部位進(jìn)行觸摸操作，從而使包含該觸摸操作的部位的周圍的交點(diǎn)起到使該部位發(fā)生變形的控制點(diǎn)的作用。在該情況下，為了表示作為控制點(diǎn)而有效的情況，也可以使相應(yīng)的交點(diǎn)的點(diǎn)變大或者改變其顏色。進(jìn)而，為了容易進(jìn)行控制點(diǎn)的移動(dòng)操作，也可以將包含進(jìn)行過觸摸操作的部位的周圍進(jìn)行放大顯不O
[0038]接著，CPU17基于上述實(shí)時(shí)變形的網(wǎng)格圖像21，生成用于對(duì)原圖像20進(jìn)行彎曲校正的變換用映射表(步驟S16)。更具體來說，生成與上述實(shí)時(shí)變形的網(wǎng)格圖像21相對(duì)應(yīng)的、記錄了與原圖像20或處理圖像20a的所有像素的坐標(biāo)相對(duì)應(yīng)的變換后的坐標(biāo)的變換用映射表。
[0039]圖6是表示本實(shí)施方式的變換用映射表30的一例的概念圖。在圖6中，變換用映射表30是保存了原圖像20中的橫向(X)上M個(gè)且縱向(y)上N個(gè)的所有像素的坐標(biāo)的表格。作為記錄形式的一例，如圖6所示，將原圖像20的像素的坐標(biāo)設(shè)為矩陣的下標(biāo)，在其要素中設(shè)定2分量的實(shí)數(shù)，以這樣的數(shù)據(jù)形成保存相對(duì)應(yīng)的變換后的坐標(biāo)。即，在變換用映射表30中，記錄針對(duì)原圖像20的全部像素的變換后的坐標(biāo)。
[0040]圖7是用于說明本實(shí)施方式的變換用映射表30的生成方法的概念圖。如上所述，網(wǎng)格圖像21由多個(gè)區(qū)域構(gòu)成。各區(qū)域由較小的一個(gè)四邊形構(gòu)成，各個(gè)四邊形的頂點(diǎn)是網(wǎng)格的交點(diǎn)。如圖7的上部所示，CPU17按照失真的網(wǎng)格圖像21的各區(qū)域，將原圖像20分割為多個(gè)區(qū)域。即，圖示的網(wǎng)格圖像21與原圖像20大致相等。失真的原圖像20的紙面自身雖是曲面，但通過將分割出的區(qū)域近似到同一平面上來進(jìn)行多邊形化。由于網(wǎng)格圖像21的形狀通過觸摸操作而被變形成與原圖像20的形狀一致，因此例如，如第7行第2列的區(qū)域21-72那樣，各區(qū)域的形狀也發(fā)生變形。即，各區(qū)域也按照原圖像20的彎曲程度而發(fā)生變形。
[0041]在本實(shí)施方式中，為了針對(duì)原圖像20的所有區(qū)域校正其失真，使用將各區(qū)域近似為梯形來進(jìn)行透視變換(梯形校正)的方法，取得像素的變換后的坐標(biāo)。如圖7的下部所示，變換后的原圖像20的各區(qū)域全部成為相同的長(zhǎng)方形，匯集了這些區(qū)域的圖像成為校正后的處理圖像20a。例如，第7行第2列的區(qū)域21-72如區(qū)域21-72a那樣成為長(zhǎng)方形。由于能夠?qū)⒏鲄^(qū)域的變換前的四邊形的頂點(diǎn)的坐標(biāo)和變換后的長(zhǎng)方形的頂點(diǎn)的坐標(biāo)建立對(duì)應(yīng)關(guān)系，因此能夠從該頂點(diǎn)的坐標(biāo)的對(duì)應(yīng)關(guān)系中取得該區(qū)域所包含的像素的變換后的坐標(biāo)。
[0042]CPU17這樣按照透視變換(梯形校正)的方法，對(duì)原圖像20的像素在透視變換(梯形校正)后移動(dòng)到何處進(jìn)行運(yùn)算，并導(dǎo)出原圖像20的各像素的變換后的坐標(biāo)。將該原圖像20的變換前的像素的坐標(biāo)(xy)與各像素的變換后的坐標(biāo)建立對(duì)應(yīng)關(guān)系后將其表格化而得到的就是圖6所示的變換用映射表30。但是，在此時(shí)，并未進(jìn)行實(shí)際的透視變換(梯形校正)。
[0043]接著，CPU17生成記錄用映射表(步驟S18)。另外，在此時(shí)，可以刪除上述變換用映射表30。
[0044]圖8是表示本實(shí)施方式的記錄用映射表31(即將進(jìn)行第I次的校正之前)的一例的概念圖。如前所述，記錄用映射表31是記錄從原圖像20到彎曲校正后的處理圖像20a各個(gè)像素是如何進(jìn)行了坐標(biāo)變換的表。在此時(shí)，由于是在第I次的彎曲校正之前，因此對(duì)于記錄用映射表31而言，對(duì)在上述步驟S16中生成的變換用映射表30進(jìn)行復(fù)制或重命名來使用即可。
[0045]接著，CPU17使用記錄用映射表31，進(jìn)行針對(duì)原圖像20實(shí)施彎曲校正的圖像處理(步驟S20)。即，CPU17使用記錄用映射表31，針對(duì)原圖像20進(jìn)行上述的透視變換(梯形校正)，進(jìn)行移動(dòng)原圖像20的所有像素的圖像變換。該透視變換(梯形校正)后的圖像成為處理圖像20a。
[0046]若圖像處理結(jié)束，則CPU17向顯示部14輸出實(shí)施了圖像處理的處理圖像、即基于記錄用映射表31實(shí)施了彎曲校正的校正后的處理圖像20a、和重疊在該處理圖像20a上的網(wǎng)格圖像21(步驟S22)。接著，CPU17判斷處理圖像20a是否滿足了給定條件(步驟S24)。
[0047]在本實(shí)施方式中，由用戶對(duì)顯示于顯示部14的實(shí)施了彎曲校正的處理圖像20a進(jìn)行確認(rèn)，判斷是否進(jìn)行了充分的彎曲校正或者是彎曲校正的程度過強(qiáng)還是過弱，并從操作部(觸摸面板)15指示是繼續(xù)彎曲校正還是結(jié)束。但是，并不限于此，也可以由CPU17利用圖像識(shí)別來判斷校正后的處理圖像20a的失真是否在容許范圍內(nèi)，從而判斷是否滿足了給定條件。
[0048]然后，在處理圖像20a不滿足給定條件的情況下(步驟S24的“否”)，基于處理圖像20a，從操作部(觸摸面板)15進(jìn)行用于彎曲校正的參數(shù)(網(wǎng)格圖像21的形狀)的重新設(shè)定(步驟S26)。更具體來說，用戶為了增強(qiáng)或者減弱彎曲校正的程度、或者進(jìn)行部分調(diào)整，從操作部(觸摸面板)15通過觸摸操作使重疊顯示在處理圖像20a上的網(wǎng)格圖像21的控制點(diǎn)22-1?22-10移動(dòng)，由此變更形狀。CPU17與上述步驟S14中的處理同樣地，基于網(wǎng)格圖像21的控制點(diǎn)22-1?22-10的移動(dòng)，使網(wǎng)格圖像21進(jìn)行伸縮。
[0049]若用于彎曲校正的參數(shù)(網(wǎng)格圖像21的形狀)被重新設(shè)定，則CPU17廢棄顯示于顯示部14的處理圖像20a(步驟S28)，并基于新設(shè)定的網(wǎng)格圖像21，與上述步驟S16同樣地，生成用于彎曲校正的變換用映射表30(步驟S30)。但是，此時(shí)的變換用映射表30是基于在步驟S26中設(shè)定的網(wǎng)格圖像21而生成的，顯然與在步驟S16中生成的變換用映射表30的內(nèi)容不同。
[0050]接著，CPU17更新記錄用映射表31(步驟S32)。更具體來說，CPU17比較變換用映射表30的各像素的坐標(biāo)、和在上述的步驟S18中生成的記錄用映射表31的各像素的坐標(biāo)，基于變換用映射表30的各像素的坐標(biāo)，更新記錄用映射表31的各像素的坐標(biāo)。通過這樣更新記錄用映射表31的各像素的坐標(biāo)，能夠進(jìn)行相對(duì)于原圖像的新的處理圖像的坐標(biāo)變換。另外，在此時(shí)，可以刪除上述變換用映射表30。
[0051]圖9是用于說明本實(shí)施方式的記錄用映射表31的更新處理的概念圖。另外，在此為了簡(jiǎn)化說明，將各像素的坐標(biāo)的值設(shè)為整數(shù)。在圖9中，上部表示進(jìn)行彎曲校正的前一次的記錄用映射表31(n-l)，中部表示當(dāng)前的變換用映射表30(n)，下部表示更新后的記錄用映射表31(n)。將當(dāng)前的彎曲校正設(shè)為第η次，將前一次的彎曲校正設(shè)為第(η-l)次，記為各表的符號(hào)的下標(biāo)。
[0052]記錄用映射表31的更新按如下方式進(jìn)行。前一次的記錄用映射表31(η-l)的各要素表示彎曲校正前的各像素的坐標(biāo)。另一方面，變換用映射表30(n)的各要素表示彎曲校正后的各像素的坐標(biāo)。因此，記錄用映射表31(n-l)的坐標(biāo)移動(dòng)到當(dāng)前由該坐標(biāo)所示的變換用映射表30 (η)的像素的坐標(biāo)。
[0053]例如，若前一次的記錄用映射表31(η-1)的第2列第I行(x= 2，y = l)的像素的坐標(biāo)為(3，2)，則該像素(2，1)在本次的彎曲校正中，移動(dòng)到由變換用映射表30(11)的第3列第2行(X = 3，y = 2)所示的坐標(biāo)、S卩變換用映射表30(n)的第3列第2行(X = 3，y = 2)的坐標(biāo)(7，8)。
[0054]S卩，在基于針對(duì)處理圖像20a(n_l)設(shè)定的當(dāng)前的網(wǎng)格圖像21的對(duì)原圖像的彎曲校正中，像素(2，1)移動(dòng)到坐標(biāo)(7，8)。因此，通過以變換用映射表的坐標(biāo)來置換記錄用映射表31(n-l)的相對(duì)應(yīng)的要素，從而生成進(jìn)行了更新的記錄用映射表31(n)。通過針對(duì)記錄用映射表31 (η-l)的所有要素進(jìn)行這樣的更新操作，從而更新為記錄用映射表31 (η)。
[0055]但是，上述的說明以及圖9所示的例子為了簡(jiǎn)化說明而將各表的要素設(shè)為了整數(shù)，但實(shí)際上，由于各表的要素是實(shí)數(shù)，因而不能單純地進(jìn)行更新。因此，在本實(shí)施方式中，通過對(duì)各表的坐標(biāo)進(jìn)行內(nèi)插，更新了記錄用映射表31。以下詳細(xì)進(jìn)行說明。
[0056]圖10是用于說明本實(shí)施方式的記錄用映射表31的更新處理的概念圖。另外，對(duì)與圖9相對(duì)應(yīng)的部分標(biāo)注相同的符號(hào)。在本實(shí)施方式中，為了對(duì)各表的坐標(biāo)進(jìn)行內(nèi)插，使用了雙線性方法，但也可以使用雙三次法、圖像變形處理中使用的內(nèi)插法等，并不作特別限定。
[0057]若前一次的記錄用映射表31(η-l)的第i列第j行(X = i，y = j)的像素的坐標(biāo)為(1.8，2.3)，則該坐標(biāo)(1.8，2.3)附近的像素為1<1.8<2，2<2.3<3，所以如圖10的中部所示，相當(dāng)于變換用映射表30(n)的第I列第2行、第2列第2行、第I列第3行、第2列第3行這4個(gè)要素。因此，若根據(jù)這4個(gè)要素通過雙線性方法在X分量、y分量上分別對(duì)(1.8，2.3)的變換后的坐標(biāo)進(jìn)行內(nèi)插，則成為(2.39，2.40)。即，像素(i，j)在本次的彎曲校正中，移動(dòng)到對(duì)由變換用映射表30(n)的4個(gè)要素所示的坐標(biāo)進(jìn)行內(nèi)插而得到的坐標(biāo)(2.39，2.40)。
[0058]在此，簡(jiǎn)單說明雙線性方法。
[0059]圖11是用于對(duì)本實(shí)施方式的記錄用映射表31的更新處理中所使用的雙線性方法進(jìn)行說明的概念圖。在本實(shí)施方式中，使用雙線性方法，從周圍的4個(gè)像素的坐標(biāo)值，根據(jù)其坐標(biāo)(實(shí)數(shù)值)來進(jìn)行線性的坐標(biāo)內(nèi)插。圖11所示的cl、c2、c3、c4是變換后的坐標(biāo)。因此，將變換用映射表30(n)的4個(gè)像素的坐標(biāo)設(shè)定為cl(x，y) = cl(l，2)、c2(x+l，y) = c2(2，2)、c3(x，y+l) =c3(l，3)、c4(x+l，y+l) =c4(2，3)。即，叉=1且7 = 2。
[0060]在雙線性方法中，在導(dǎo)出P(x_r，y_r)的坐標(biāo)C_p的情況下，將僅取出x_r、y_r的小數(shù)部的值設(shè)為x_s、y_s而成為:
[0061 ] d = cl*(l.0_x_s)+c2*x_s...(I)
[0062]e = c3*(l.0_x_s)+c4*x_s...(2)
[0063]c_p = d*(l.0_y_s)+e*y_s...(3)。
[0064]d是cl與c2之間(x_r，y)的內(nèi)插值，e是c3與c4之間(x_r，y+l)的內(nèi)插值，C_p是想要求取的要素的坐標(biāo)的內(nèi)插值。
[0065]首先，對(duì)這4點(diǎn)的要素的X坐標(biāo)進(jìn)行考慮。1_1*在1=1、1+1 = 2之間為1.8，x_s是僅取出x_r的小數(shù)部的值，所以成為x_s = 0.8。因此，根據(jù)上述式(I)，成為d=l.5*(1.0-0.8) +2.5*0.8 = 2.3 ο
[0066]同樣地，根據(jù)上述式(2)，成為e= l.8*(1.0-0.8)+2.8*0.8 = 2.6。另一方面，y_r在y = 2、y+l = 3之間為2.3，y_s是僅取出y_r的小數(shù)部的值，所以成為y_s = 0.3。因此，根據(jù)上述式(3)，(:_?成為(:_? = 2.3*(1.0-0.3)+2.6*0.3 = 2.39。
[0067]接著，對(duì)4點(diǎn)的要素的y坐標(biāo)進(jìn)行考慮。根據(jù)上述式(1)，成為d= 2.3*(1.0_0.8) +2.4*0.8 = 2.38。同樣地，根據(jù)上述式(2)，成為e = 2.3*(1.0-0.8)+2.5*0.8 = 2.46。因此，根據(jù)上述式(3)，(:_?成為(:_? = 2.38*(1.0-0.3)+2.46*0.3 = 2.40。
[0068]若這樣通過雙線性方法在X分量、y分量分別對(duì)(1.8,2.3)的變換后的坐標(biāo)進(jìn)行內(nèi)插，則如圖10的下部所示，成為(2.39，2.40)。同樣地，通過使用雙線性方法，從周圍的4個(gè)像素的坐標(biāo)值，根據(jù)其坐標(biāo)(實(shí)數(shù)值)來進(jìn)行線性的坐標(biāo)內(nèi)插，從而以變換用映射表30(n)的坐標(biāo)置換記錄用映射表31 (η-l)的所有要素，由此更新為記錄用映射表31 (η)。
[0069]接著，CPU17返回到步驟S20，使用更新后的記錄用映射表31(η)，進(jìn)行針對(duì)原圖像20實(shí)施彎曲校正的圖像處理。然后，在步驟S22中，向顯示部14輸出實(shí)施了彎曲校正的校正后的處理圖像20a和重疊在該處理圖像上的網(wǎng)格圖像21。
[0070]以下，在步驟S20?步驟S24的否、步驟S26?S32中，反復(fù)上述的網(wǎng)格圖像21的重新設(shè)定、變換用映射表30的生成、記錄用映射表31的更新、基于記錄用映射表31的對(duì)原圖像20的彎曲校正處理、處理圖像20a向顯示部14的輸出。該反復(fù)處理被反復(fù)執(zhí)行，直到彎曲校正后的處理圖像20a的失真在容許范圍內(nèi)、即被判斷為進(jìn)行了充分的彎曲校正為止。
[0071]然后，在處理圖像20a滿足了給定條件的情況下(步驟S24)，CPU17將最后的處理圖像20a保存在記錄介質(zhì)16中(步驟S34)。接著，CPU17判斷是否存在應(yīng)處理的其他圖像(步驟S36)。然后，在存在應(yīng)處理的其他圖像的情況下(步驟S36的“是”)，返回到步驟S14，針對(duì)下一個(gè)圖像反復(fù)上述的處理。另一方面，在不存在應(yīng)處理的其他圖像的情況下(步驟S36的“否”)，結(jié)束該處理。
[0072]根據(jù)上述的本實(shí)施方式，基于根據(jù)用戶的觸摸操作而發(fā)生了變形的網(wǎng)格圖像21的形狀，生成記錄了構(gòu)成原圖像20的像素的彎曲校正后的坐標(biāo)的變換用映射表30。此外，基于變換用映射表30中記錄的坐標(biāo)，更新記錄了構(gòu)成圖像的像素的過去的變換履歷的記錄用映射表31的坐標(biāo)。此外，基于更新后的記錄用映射表31，針對(duì)原圖像20進(jìn)行彎曲校正。通過這樣的處理，能夠在不引起圖像劣化的情況下順暢地反復(fù)進(jìn)行校正處理。
[0073]此外，根據(jù)上述的本實(shí)施方式，通過將用于前一次的彎曲校正中00000的記錄用映射表31的坐標(biāo)置換為變換用映射表30的相對(duì)應(yīng)的像素的坐標(biāo)，從而更新記錄用映射表31的坐標(biāo)，由此針對(duì)原圖像20進(jìn)行彎曲校正，因此能夠在不引起圖像劣化的情況下順暢地反復(fù)進(jìn)行校正處理。
[0074]此外，根據(jù)上述的本實(shí)施方式，在第2次以后的彎曲校正時(shí)，會(huì)顯示彎曲校正后的處理圖像20a和重疊在該處理圖像20a上的網(wǎng)格圖像21，因此用戶能夠沒有壓力地順暢地反復(fù)進(jìn)行校正處理。
[0075]此外，根據(jù)上述的本實(shí)施方式，通過基于記錄用映射表31對(duì)原圖像20進(jìn)行透視變換來進(jìn)行了彎曲校正，因此即使是處理能力不太高的平板或智能手機(jī)等信息設(shè)備，也能夠順暢地反復(fù)進(jìn)行校正處理。
[0076]此外，根據(jù)上述的本實(shí)施方式，利用四階的貝塞爾曲線來描繪網(wǎng)格圖像21，并根據(jù)用戶的觸摸操作，使貝塞爾曲線的控制點(diǎn)進(jìn)行移動(dòng)，由此使網(wǎng)格圖像21發(fā)生變形，因此即使是處理能力不太高的平板或智能手機(jī)等信息設(shè)備，也能夠容易實(shí)現(xiàn)網(wǎng)格圖像21的變形處理，能夠順暢地反復(fù)進(jìn)行校正處理。
[0077]另外，在上述的本實(shí)施方式中，作為彎曲校正處理而使用了透視變換(梯形校正)，但并不限于此，也可以根據(jù)圖像的上下端的2根基準(zhǔn)線來進(jìn)行梯形校正以及各點(diǎn)的縱向彎曲校正與橫向彎曲校正。
[0078]以上，對(duì)本發(fā)明的幾個(gè)實(shí)施方式進(jìn)行了說明，但本發(fā)明并不限于這些實(shí)施方式，還包含權(quán)利要求書所記載的發(fā)明及其均等的范圍。
【主權(quán)項(xiàng)】
1.一種校正圖像的裝置，具備: 輸入部，受理來自用戶的指示輸入;和 處理器，實(shí)現(xiàn)以下功能，即:將處理對(duì)象的圖像和重疊于該圖像上的網(wǎng)格圖像顯示于顯示裝置;基于所述指示輸入，使所述網(wǎng)格圖像的形狀發(fā)生變形;基于變形后的所述網(wǎng)格圖像的形狀，生成變換用矩陣，該變換用矩陣表示構(gòu)成處理對(duì)象的所述圖像的像素的彎曲校正后的坐標(biāo);基于所生成的所述變換用矩陣所表示的坐標(biāo)，更新記錄用矩陣，該紀(jì)錄用矩陣表示構(gòu)成原圖像的像素的變換履歷；以及，基于更新后的所述記錄用矩陣，針對(duì)所述原圖像進(jìn)行彎曲校正。2.根據(jù)權(quán)利要求1所述的裝置，其中， 所述更新是以下動(dòng)作:在第2次以后的彎曲校正時(shí)，通過將用于前一次彎曲校正中的所述記錄用矩陣所表示的坐標(biāo)置換為所述變換用矩陣所表示的相對(duì)應(yīng)的像素的坐標(biāo)，從而更新所述記錄用矩陣。3.根據(jù)權(quán)利要求1所述的裝置，其中， 所述顯示是以下動(dòng)作:在第2次以后的彎曲校正時(shí)，將所述彎曲校正后的處理圖像和重疊于該處理圖像上的所述網(wǎng)格圖像顯示于所述顯示裝置。4.根據(jù)權(quán)利要求1所述的裝置，其中 所述彎曲校正是通過基于更新后的所述記錄用矩陣針對(duì)所述原圖像進(jìn)行透視變換來進(jìn)行的。5.根據(jù)權(quán)利要求1所述的裝置，其中， 所述顯示是以下動(dòng)作:利用四階的貝塞爾曲線來描繪所述網(wǎng)格圖像， 所述變形是以下動(dòng)作:基于所述指示輸入，使所述貝塞爾曲線的控制點(diǎn)移動(dòng)，從而使所述網(wǎng)格圖像的形狀發(fā)生變形。6.—種校正圖像的方法，包括以下步驟: 將處理對(duì)象的圖像和重疊于該圖像上的網(wǎng)格圖像顯示于顯示裝置； 受理來自用戶的指示輸入； 基于所述指示輸入，使所述網(wǎng)格圖像的形狀發(fā)生變形； 基于變形后的所述網(wǎng)格圖像的形狀，生成變換用矩陣，該變換用矩陣表示構(gòu)成處理對(duì)象的所述圖像的像素的彎曲校正后的坐標(biāo)； 基于所生成的所述變換用矩陣所表示的坐標(biāo)，更新記錄用矩陣，該紀(jì)錄用矩陣表示構(gòu)成原圖像的像素的變換履歷;和 基于更新后的所述記錄用矩陣，針對(duì)所述原圖像進(jìn)行彎曲校正。7.根據(jù)權(quán)利要求6所述的方法，其中， 所述更新是以下動(dòng)作:在第2次以后的彎曲校正時(shí)，通過將用于前一次彎曲校正中的所述記錄用矩陣所表示的坐標(biāo)置換為所述變換用矩陣所表示的相對(duì)應(yīng)的像素的坐標(biāo)，從而更新所述記錄用矩陣。8.根據(jù)權(quán)利要求6所述的方法，其中， 所述顯示是以下動(dòng)作:在第2次以后的彎曲校正時(shí)，將所述彎曲校正后的處理圖像和重疊于該處理圖像上的所述網(wǎng)格圖像顯示于所述顯示裝置。9.根據(jù)權(quán)利要求6所述的方法，其中， 所述彎曲校正是通過基于更新后的所述記錄用矩陣針對(duì)所述原圖像進(jìn)行透視變換來進(jìn)行的。10.根據(jù)權(quán)利要求6所述的方法，其中， 所述顯示是以下動(dòng)作:由四階的貝塞爾曲線來描繪所述網(wǎng)格圖像， 所述變形是以下動(dòng)作:通過基于所述指示輸入，使所述貝塞爾曲線的控制點(diǎn)移動(dòng)，從而使所述網(wǎng)格圖像的形狀發(fā)生變形。
【文檔編號(hào)】G06T3/00GK105989576SQ201610093404
【公開日】2016年10月5日
【申請(qǐng)日】2016年2月19日
【發(fā)明人】二村亮
【申請(qǐng)人】卡西歐計(jì)算機(jī)株式會(huì)社