本發(fā)明涉及一種圖像處理設(shè)備、圖像處理方法和攝像設(shè)備。

背景技術(shù)：

傳統(tǒng)上，在使用圖像傳感器的攝像設(shè)備的取景器顯示中，已知有用于使得容易從視覺上識(shí)別聚焦區(qū)域的功能(有時(shí)被稱為調(diào)焦輔助功能)。作為典型的調(diào)焦輔助功能，已知有對(duì)所拍攝圖像的高頻成分進(jìn)行強(qiáng)調(diào)顯示的峰值功能(peaking)(還可被稱為輪廓校正、邊緣增強(qiáng)、增強(qiáng)器或調(diào)焦等)(日本專利4474641)。

另一方面，為了便于識(shí)別所強(qiáng)調(diào)或突出的區(qū)域，建議了以下：使調(diào)焦區(qū)域內(nèi)的圖像信號(hào)水平下降，以黑白顯示調(diào)焦區(qū)域(日本專利4977047)，或者以黑白顯示高頻成分的水平低于特定水平的區(qū)域(日本特開2010-74549)。

然而，在所有這些傳統(tǒng)技術(shù)中，強(qiáng)調(diào)效果的強(qiáng)度依賴于圖像中所包括的高頻成分的大小，因而存在如下問題：在諸如低亮度區(qū)域等的高頻成分較少(高頻成分的水平或振幅較小)的區(qū)域中，強(qiáng)調(diào)效果弱且難以辨別。另外，還存在如下問題：在具有許多高頻成分的區(qū)域具有高亮度的情況下，由于提供了強(qiáng)調(diào)效果因而導(dǎo)致該區(qū)域發(fā)生高光溢出(blown out)，并且難以辨別強(qiáng)調(diào)效果。

此外，為了便于識(shí)別所強(qiáng)調(diào)或突出的區(qū)域，還建議了向強(qiáng)調(diào)部分添加顏色(日本特開2002-196255)。然而，在向強(qiáng)調(diào)部分應(yīng)用特定顏色的情況下，如果圖像包括大量高頻成分，則圖像整體變得帶有強(qiáng)調(diào)部分的顏色，因而存在難以識(shí)別聚焦?fàn)顟B(tài)并且用戶不再能夠感知被攝體的本來顏色的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供解決傳統(tǒng)技術(shù)的這些問題中的一個(gè)或多個(gè)問題的圖像處理設(shè)備、圖像處理方法和攝像設(shè)備。

根據(jù)本發(fā)明的方面，提供一種圖像處理設(shè)備，包括：提取部件，用于從圖像信號(hào)中提取預(yù)定的頻率成分；生成部件，用于生成具有與所述圖像信號(hào)的處理對(duì)象像素的值相對(duì)應(yīng)的值的信號(hào)；以及應(yīng)用部件，用于根據(jù)基于所述提取部件所提取的所述頻率成分的大小的判斷來將所述生成部件所生成的所述信號(hào)應(yīng)用于所述處理對(duì)象像素，并且輸出所述處理對(duì)象像素，其中，所述生成部件以使所述信號(hào)具有根據(jù)所述處理對(duì)象像素的值的增大而連續(xù)地或逐級(jí)地減小的值的方式來生成所述信號(hào)。

根據(jù)本發(fā)明的另一方面，提供一種攝像設(shè)備，包括：圖像傳感器；顯示部件，用于連續(xù)地顯示所述圖像傳感器所拍攝到的運(yùn)動(dòng)圖像；以及根據(jù)本發(fā)明的圖像處理設(shè)備，其中，所述圖像處理設(shè)備的所述提取部件對(duì)所述顯示部件上要顯示的運(yùn)動(dòng)圖像的信號(hào)進(jìn)行所述提取，以及所述圖像處理設(shè)備的所述應(yīng)用部件的輸出顯示在所述顯示部件上。

根據(jù)本發(fā)明的又一方面，提供一種圖像處理設(shè)備所執(zhí)行的圖像處理方法，所述圖像處理方法包括以下步驟：從圖像信號(hào)中提取預(yù)定的頻率成分；生成步驟，用于生成具有與所述圖像信號(hào)的處理對(duì)象像素的值相對(duì)應(yīng)的值的信號(hào)；以及根據(jù)基于所提取的所述頻率成分的大小的判斷來將所生成的所述信號(hào)應(yīng)用于所述處理對(duì)象像素，并且輸出所述處理對(duì)象像素，其中，在所述生成步驟中，以使所述信號(hào)具有根據(jù)所述處理對(duì)象像素的值的增大而連續(xù)地或逐級(jí)地減小的值的方式來生成所述信號(hào)。

根據(jù)本發(fā)明的另一方面，提供一種圖像處理設(shè)備，包括：提取部件，用于從圖像信號(hào)中提取預(yù)定的頻率成分；生成部件，用于生成用以向所述圖像信號(hào)的處理對(duì)象像素提供強(qiáng)調(diào)效果的信號(hào)；調(diào)整部件，用于降低所述處理對(duì)象像素的亮度和飽和度；以及應(yīng)用部件，用于根據(jù)基于所述提取部件所提取的所述頻率成分的大小的判斷來將所述生成部件所生成的所述信號(hào)應(yīng)用于所述處理對(duì)象像素，并且輸出所述處理對(duì)象像素，其中，所述應(yīng)用部件將所述信號(hào)應(yīng)用于所述調(diào)整部件沒有降低亮度和飽和度的處理對(duì)象像素并輸出該處理對(duì)象像素，并且在不將所述信號(hào)應(yīng)用于所述處理對(duì)象像素的情況下，輸出所述調(diào)整部件降低亮度和飽和度的處理對(duì)象像素。

根據(jù)本發(fā)明的又一方面，提供一種攝像設(shè)備，包括：圖像傳感器；顯示部件，用于連續(xù)地顯示所述圖像傳感器所拍攝到的運(yùn)動(dòng)圖像；以及根據(jù)本發(fā)明的圖像處理設(shè)備，其中，所述圖像處理設(shè)備的所述提取部件對(duì)所述顯示部件上要顯示的運(yùn)動(dòng)圖像的信號(hào)進(jìn)行所述提取，以及所述圖像處理設(shè)備的所述應(yīng)用部件的輸出顯示在所述顯示部件上。

根據(jù)本發(fā)明的另一方面，提供一種圖像處理設(shè)備所執(zhí)行的圖像處理方法，所述圖像處理方法包括以下步驟：從圖像信號(hào)中提取預(yù)定的頻率成分；生成用以向所述圖像信號(hào)的處理對(duì)象像素提供強(qiáng)調(diào)效果的信號(hào)；以及根據(jù)基于所提取的所述頻率成分的大小的判斷，來將所述信號(hào)應(yīng)用于亮度和飽和度沒有降低的處理對(duì)象像素并輸出該處理對(duì)象像素，或者在不將所述信號(hào)應(yīng)用于亮度和飽和度降低的處理對(duì)象像素的情況下輸出該處理對(duì)象像素。

通過以下參考附圖對(duì)典型實(shí)施例的說明，本發(fā)明的其它特征將變得明顯。

附圖說明

圖1是示出作為根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的示例的數(shù)字?jǐn)z像機(jī)的結(jié)構(gòu)示例的框圖。

圖2是示出圖1的視頻信號(hào)處理單元的結(jié)構(gòu)示例的框圖。

圖3A和3B是用于說明根據(jù)實(shí)施例的相加信號(hào)的生成及其效果的示意圖。

圖4A和4B是示出根據(jù)實(shí)施例的變形例的視頻信號(hào)處理單元的結(jié)構(gòu)示例的框圖。

圖5是示出根據(jù)第二實(shí)施例的視頻信號(hào)處理單元的結(jié)構(gòu)示例的框圖。

圖6A和6B是示出根據(jù)其它實(shí)施例的視頻信號(hào)處理單元的結(jié)構(gòu)示例的框圖。

圖7是根據(jù)實(shí)施例的強(qiáng)調(diào)效果提供處理的流程圖。

具體實(shí)施方式

現(xiàn)在將根據(jù)附圖來詳細(xì)說明本發(fā)明的典型實(shí)施例。注意，以下將說明本發(fā)明應(yīng)用于作為圖像處理設(shè)備的示例的數(shù)字?jǐn)z像機(jī)的調(diào)焦輔助功能的實(shí)施例，但攝像功能不是本發(fā)明必須的。此外，本發(fā)明不限于(包括具有攝像功能的電子裝置的)攝像設(shè)備，并且可以應(yīng)用于諸如個(gè)人計(jì)算機(jī)、平板終端、顯示裝置、圖像調(diào)整設(shè)備和移動(dòng)電話等的可以獲得圖像數(shù)據(jù)的任何電子裝置。

第一實(shí)施例

圖1是示出根據(jù)本實(shí)施例的數(shù)字?jǐn)z像機(jī)的功能結(jié)構(gòu)的示例的框圖。透鏡單元101構(gòu)成了在圖像傳感器102的攝像面上形成被攝體圖像的光學(xué)系統(tǒng)，并且具有變焦功能、調(diào)焦功能和光圈調(diào)節(jié)功能。

在圖像傳感器102中，大量光電轉(zhuǎn)換元件呈二維排列，并且將透鏡單元101所形成的被攝體光學(xué)圖像轉(zhuǎn)換成以像素為單位的圖像信號(hào)。圖像傳感器102例如可以是CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器或CCD(電荷耦合器件)圖像傳感器。此外，圖像傳感器102可以通過調(diào)整光電轉(zhuǎn)換元件的電荷累積時(shí)間來實(shí)現(xiàn)電子快門功能。

傳感器驅(qū)動(dòng)單元103根據(jù)照相機(jī)信號(hào)處理單元106所控制的定時(shí)來控制圖像傳感器102的操作。CDS/AGC單元104對(duì)來自圖像傳感器102的模擬圖像信號(hào)進(jìn)行相關(guān)雙采樣(CDS)以降低噪聲，并且根據(jù)系統(tǒng)控制單元111的控制來進(jìn)行信號(hào)水平增益控制(自動(dòng)增益控制：AGC)。A/D轉(zhuǎn)換器105將從CDS/AGC單元104輸出的模擬圖像信號(hào)轉(zhuǎn)換成數(shù)字圖像信號(hào)，并且將這些數(shù)字圖像信號(hào)供給至照相機(jī)信號(hào)處理單元106。照相機(jī)信號(hào)處理單元106與系統(tǒng)控制單元111協(xié)作地進(jìn)行與攝像功能有關(guān)的控制，諸如定時(shí)信號(hào)的生成、自動(dòng)曝光(AE)控制、伽瑪調(diào)整和自動(dòng)調(diào)焦(AF)控制等。

第一存儲(chǔ)單元107、第二存儲(chǔ)單元116、第三存儲(chǔ)單元112和第四存儲(chǔ)單元119是為了進(jìn)行照相機(jī)信號(hào)處理、視頻控制、系統(tǒng)控制和編碼/解碼而分別設(shè)置的存儲(chǔ)設(shè)備(例如，半導(dǎo)體存儲(chǔ)器或磁性記錄介質(zhì))。這些存儲(chǔ)單元在圖中被示出為個(gè)體的構(gòu)成元件，但同一存儲(chǔ)設(shè)備可以實(shí)現(xiàn)第一存儲(chǔ)單元～第四存儲(chǔ)單元中的兩個(gè)或更多個(gè)。

照相機(jī)信號(hào)處理單元106例如使用第一存儲(chǔ)單元107作為在對(duì)所拍攝到的視頻圖像進(jìn)行信號(hào)處理時(shí)的幀存儲(chǔ)器。透鏡驅(qū)動(dòng)單元108根據(jù)系統(tǒng)控制單元111的控制來驅(qū)動(dòng)透鏡單元101的馬達(dá)和致動(dòng)器等，并且改變透鏡單元101的變焦倍率(視角)、焦距和光圈值等。系統(tǒng)控制單元111基于照相機(jī)信號(hào)處理單元106所進(jìn)行的圖像信號(hào)處理的結(jié)果來控制透鏡驅(qū)動(dòng)單元108。例如，在AF控制期間，系統(tǒng)控制單元111控制透鏡驅(qū)動(dòng)單元108，以使透鏡單元101的調(diào)焦透鏡移動(dòng)至基于照相機(jī)信號(hào)處理單元106所獲得的AF評(píng)價(jià)值的聚焦位置。

麥克風(fēng)110用于記錄周圍的聲音，并且將來自麥克風(fēng)110的聲音信號(hào)供給至照相機(jī)信號(hào)處理單元106。例如，在連同圖像傳感器102所拍攝到的圖像一起記錄來自麥克風(fēng)110的聲音的情況下，照相機(jī)信號(hào)處理單元106使圖像和聲音同步，并且將同步后的圖像和聲音供給至視頻信號(hào)處理單元115。

系統(tǒng)控制單元111包括諸如CPU或MPU等的可編程處理器，并且通過例如執(zhí)行第三存儲(chǔ)單元112中所存儲(chǔ)的程序并控制各功能塊來實(shí)現(xiàn)數(shù)字?jǐn)z像機(jī)的整體操作。第三存儲(chǔ)單元112例如包括ROM或RAM，并且存儲(chǔ)系統(tǒng)控制單元111所執(zhí)行的程序、各種設(shè)置和初始值等。此外，第三存儲(chǔ)單元112還用作系統(tǒng)控制單元111的工作區(qū)域。

輸入操作單元113是拍攝者向數(shù)字?jǐn)z像機(jī)給出指示所用的用戶界面，并且設(shè)置有諸如按鍵和各種操作按鈕等的輸入裝置。計(jì)時(shí)單元114設(shè)置有實(shí)時(shí)時(shí)鐘(RTC)和備用電池，并且響應(yīng)于來自系統(tǒng)控制單元111的請(qǐng)求而返回日期和時(shí)間信息。

視頻信號(hào)處理單元115進(jìn)行包括色相、飽和度和明度的調(diào)整的針對(duì)第一顯示單元122和第二顯示單元123的顯示的控制、針對(duì)模擬線輸出單元124的輸出的控制、針對(duì)數(shù)字?jǐn)?shù)據(jù)I/F單元125的輸出的控制、以及針對(duì)記錄/再現(xiàn)單元120的控制等。此外，視頻信號(hào)處理單元115還進(jìn)行圖像信號(hào)的分辨率的轉(zhuǎn)換和疊加所用的信號(hào)(諸如斑馬圖案、輪廓信號(hào)和各種設(shè)置值等的信息)的生成。視頻信號(hào)處理單元115還進(jìn)行針對(duì)諸如菜單畫面和GUI(圖形用戶界面)等的OSD(在屏顯示)的顯示的控制。

視頻信號(hào)處理單元115使用第二存儲(chǔ)單元116作為用于進(jìn)行與視頻基帶信號(hào)有關(guān)的信號(hào)處理的幀存儲(chǔ)器或工作存儲(chǔ)器等。視頻信號(hào)處理單元115還執(zhí)行與以下處理有關(guān)的信號(hào)處理：用于從所拍攝圖像中提取特定頻率成分的處理和用于將用作聚焦程度指標(biāo)的強(qiáng)調(diào)效果提供至圖像的處理。

H.264編解碼單元117是用于對(duì)運(yùn)動(dòng)圖像進(jìn)行編碼和解碼處理的運(yùn)動(dòng)圖像編解碼器的示例。編碼格式不限于H.264，并且可以是諸如MPEG(動(dòng)態(tài)圖像專家組)-2等的其它格式。同樣，JPEG(聯(lián)合圖像專家組)編解碼單元118是用于對(duì)靜止圖像進(jìn)行編碼和解碼處理的靜止圖像編解碼器的示例。編碼格式不限于JPEG，并且可以是諸如JPEG2000或PNG(可移植網(wǎng)絡(luò)圖形)等的其它格式。

注意，JPEG編解碼單元118連接至視頻信號(hào)處理單元115，從而與H.264編解碼單元117共用一部分電路、并且實(shí)現(xiàn)拍攝來自H.264編解碼單元117所再現(xiàn)的運(yùn)動(dòng)圖像的靜止圖像的功能(拍攝功能)。注意，JPEG編解碼單元118可以直接連接至照相機(jī)信號(hào)處理單元106。H.264編解碼單元117和JPEG編解碼單元118使用第四存儲(chǔ)單元119來對(duì)圖像信號(hào)進(jìn)行編碼和解碼處理。

記錄/再現(xiàn)單元120將經(jīng)過了視頻信號(hào)處理單元115和H.264編解碼單元117(或JPEG編解碼單元118)所進(jìn)行的編碼處理并且已被處理成具有與記錄格式相對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)的記錄數(shù)據(jù)記錄至記錄介質(zhì)121。此外，記錄/再現(xiàn)單元120從記錄介質(zhì)121中所記錄的運(yùn)動(dòng)圖像數(shù)據(jù)文件或靜止圖像數(shù)據(jù)文件讀出數(shù)據(jù)。注意，記錄介質(zhì)121不限于存儲(chǔ)卡，并且可以是光學(xué)記錄介質(zhì)、磁性存儲(chǔ)設(shè)備(例如，HDD)或半導(dǎo)體存儲(chǔ)設(shè)備(例如，SSD)。

第一顯示單元122和第二顯示單元123可以顯示相同的信息。在本實(shí)施例中，假定第一顯示單元122例如是殼體的側(cè)面等上以能夠開閉的方式設(shè)置的相對(duì)大型的顯示裝置。第二顯示單元123是比第一顯示單元122小的顯示裝置，并且設(shè)置在數(shù)字?jǐn)z像機(jī)的內(nèi)部以經(jīng)由目鏡進(jìn)行觀看。

在拍攝模式中，除圖像傳感器102所拍攝到的運(yùn)動(dòng)圖像(實(shí)時(shí)取景圖像)外，還將諸如基于所拍攝圖像的寬高比的框等的拍攝輔助圖像疊加在第一顯示單元122和第二顯示單元123上。通過將圖像傳感器102所拍攝到的運(yùn)動(dòng)圖像顯示在第一顯示單元122和第二顯示單元123上，使第一顯示單元122和第二顯示單元123用作電子取景器(EVF)。另一方面，在重放模式中，將記錄介質(zhì)121中所記錄的運(yùn)動(dòng)圖像或靜止圖像顯示在第一顯示單元122和第二顯示單元123上。與數(shù)字?jǐn)z像機(jī)的操作模式是拍攝模式還是重放模式無關(guān)地，可以針對(duì)第一顯示單元122和第二顯示單元123上所顯示的圖像來執(zhí)行根據(jù)本實(shí)施例的強(qiáng)調(diào)效果的提供。另外，將與數(shù)字?jǐn)z像機(jī)的操作狀態(tài)和設(shè)置有關(guān)的信息、與所拍攝圖像有關(guān)的信息以及各種GUI等顯示在第一顯示單元122和第二顯示單元123上。

模擬線輸出單元124是用于進(jìn)行模擬成分輸出、S端子輸出和合成輸出等的接口組。可以通過使模擬線輸出單元124連接至外部設(shè)備，來將數(shù)字?jǐn)z像機(jī)所拍攝到或所再現(xiàn)的運(yùn)動(dòng)圖像或靜止圖像輸出至該外部設(shè)備。數(shù)字?jǐn)?shù)據(jù)I/F單元125可以包括諸如USB、SDI和HDMI(注冊(cè)商標(biāo))等的一個(gè)或多個(gè)數(shù)字接口。還可以將被提供了后面要說明的強(qiáng)調(diào)效果的被攝體視頻圖像輸出至外部設(shè)備。

接著，將參考圖2～3B來說明本實(shí)施例的數(shù)字?jǐn)z像機(jī)中的用于提供強(qiáng)調(diào)效果的處理。注意，用于提供增強(qiáng)效果的該處理可以在調(diào)焦輔助功能有效時(shí)針對(duì)實(shí)時(shí)取景圖像進(jìn)行、或者可以針對(duì)重放模式中所再現(xiàn)的靜止圖像或運(yùn)動(dòng)圖像進(jìn)行。另外，在調(diào)焦輔助功能有效的情況下，可以執(zhí)行手動(dòng)調(diào)焦或自動(dòng)調(diào)焦。

圖2是示意性示出圖1的視頻信號(hào)處理單元115中的與強(qiáng)調(diào)效果的提供有關(guān)的功能塊的框圖。

從圖1的照相機(jī)信號(hào)處理單元106輸入圖像信號(hào)201。不限制從照相機(jī)信號(hào)處理單元106輸入的圖像信號(hào)的格式，但這里假定輸入采用基于亮度(Y)和色差(Cb和Cr)的格式的圖像信號(hào)。

提取電路202從圖像信號(hào)中提取預(yù)定頻率成分。注意，這里的“頻率成分”是指“頻帶成分”，并且不同于單一頻率成分。提取電路202例如包括帶通濾波器或高通濾波器，并且這里假定包括使用抽頭系數(shù)“-1,2,-1”的3抽頭FIR濾波器。注意，提取電路202所提取的頻率成分可以是作為聚焦程度指標(biāo)能夠使用的任意頻率成分。另外，提取電路202的頻率特性可以是可變的。

增益調(diào)整電路203將提取電路202所提取的頻率成分的增益(放大率)調(diào)整為例如預(yù)定值。該增益可以由用戶進(jìn)行調(diào)整，并且增大增益使應(yīng)用相加信號(hào)的像素的數(shù)量增加。以下為了便于說明和理解，假定增益＝1，即增益調(diào)整電路203無任何改變地輸出提取電路202所提取的頻率成分。

閾值設(shè)置電路204例如通過排除超過上限閾值的值和小于下限閾值的值，來防止相加信號(hào)被應(yīng)用于提取電路202所提取的頻率成分中所包括的噪聲成分，其中這些閾值已被預(yù)先設(shè)置為噪聲水平。上限閾值和下限閾值還可以由用戶進(jìn)行調(diào)整。這里，假定設(shè)置了預(yù)定的默認(rèn)值。

信號(hào)生成電路205生成要在信號(hào)改變電路206中應(yīng)用于圖像信號(hào)201的像素的亮度成分的相加信號(hào)。信號(hào)生成電路205生成采用與圖像信號(hào)201的亮度水平相對(duì)應(yīng)的水平的相加信號(hào)(具體地，在亮度水平高時(shí)采用低水平的相加信號(hào)并且在亮度水平低時(shí)采用高水平的相加信號(hào))。

用作應(yīng)用部件的信號(hào)改變電路206通過將信號(hào)生成電路205所生成的相加信號(hào)應(yīng)用(相加)至圖像信號(hào)201的像素中的下述像素來輸出被提供了強(qiáng)調(diào)效果的圖像信號(hào)207，其中針對(duì)這些像素，使用增益調(diào)整電路203和閾值設(shè)置電路204對(duì)提取電路202所提取的頻率成分進(jìn)行處理的結(jié)果滿足了預(yù)設(shè)條件(例如，值大于或等于閾值的條件)。

不像將依賴于從圖像信號(hào)中所提取的高頻成分的相加信號(hào)應(yīng)用于原始圖像信號(hào)的傳統(tǒng)技術(shù)那樣，在本實(shí)施例的技術(shù)中，應(yīng)用依賴于原始圖像信號(hào)的值的大小的相加信號(hào)。另外，例如，選擇具有大小大于或等于閾值的特定頻率成分的像素作為要應(yīng)用相加信號(hào)(要被提供強(qiáng)調(diào)效果)的像素。因此，將本實(shí)施例中的強(qiáng)調(diào)效果提供至聚焦程度大于或等于特定值的像素。

信號(hào)改變電路206將處理之后的圖像信號(hào)207(顯示用圖像信號(hào))輸出至第一顯示單元122、第二顯示單元123、模擬線輸出單元124和數(shù)字?jǐn)?shù)據(jù)I/F單元125等。

圖3A是示意性示出根據(jù)本實(shí)施例的強(qiáng)調(diào)效果的提供的圖，并且圖3B是示意性示出根據(jù)傳統(tǒng)技術(shù)的強(qiáng)調(diào)效果的提供的圖。在圖3A和3B中，橫軸表示圖像的一條水平線的方向，并且縱軸表示亮度水平(8位)。注意，這里，假定圖像信號(hào)是通過按照ITU-R BT.601將RGB 8位的圖像信號(hào)轉(zhuǎn)換成YCbCr格式所獲得的。因此，亮度(Y)取16～235的范圍內(nèi)的值，并且235是飽和水平。

在圖3A和3B中，附圖標(biāo)記301～308表示特定水平線中所包括的四個(gè)像素的兩個(gè)連續(xù)區(qū)間的亮度值。圖4A示意性示出為了與用于實(shí)現(xiàn)本實(shí)施例的技術(shù)的視頻信號(hào)處理單元115(圖2)進(jìn)行比較的目的的、用于實(shí)現(xiàn)圖3B所示的傳統(tǒng)技術(shù)的電路的示例。

將圖像信號(hào)401供給至疊加電路405和高頻成分提取電路402。將高頻成分提取電路402所提取的亮度成分的高頻成分輸入至增益調(diào)整電路403。

增益調(diào)整電路403調(diào)整高頻成分提取電路402所提取的高頻成分的增益(放大率)。該增益可以由用戶進(jìn)行調(diào)整，并且例如，使增益增加成大于1，這樣增大了相加信號(hào)的值，由此增強(qiáng)了強(qiáng)調(diào)效果。

閾值設(shè)置電路404例如從所提取的高頻成分中排除超過上限閾值的值和小于下限閾值的值，其中這些閾值已被預(yù)先設(shè)置為噪聲水平。上限閾值和下限閾值還可以由用戶進(jìn)行調(diào)整。這里，假定設(shè)置了預(yù)定的默認(rèn)值。

疊加電路405在使得定時(shí)相位相匹配的情況下，將從閾值設(shè)置電路404供給的高頻成分(相加信號(hào))應(yīng)用(相加)至作為輸入信號(hào)的圖像信號(hào)401的各像素的亮度成分，由此提供強(qiáng)調(diào)效果。

這里，假定高頻成分提取電路402是使用抽頭系數(shù)“-1,2,-1”的3抽頭FIR濾波器，并且增益調(diào)整電路403的增益是1。在這種情況下，例如在諸如圖3A和3B中的像素302等的具有高亮度水平的像素的情況下，所提取的高頻成分的值(＝50)也高，并且如果將該值應(yīng)用(相加)至原始像素值，則將超過(等于235的)飽和水平。因此，無法辨別包括被攝體的高頻成分的輪廓部分等在高亮度處是發(fā)生高光溢出還是表現(xiàn)出強(qiáng)調(diào)效果，因而難以評(píng)價(jià)聚焦程度。

另一方面，在諸如像素306等的具有低亮度水平的像素的情況下，所提取的高頻成分的值(＝25)也低。這樣，在傳統(tǒng)技術(shù)中，為了提供強(qiáng)調(diào)效果所相加的信號(hào)值依賴于原始像素值，并且提供至值較小的像素的強(qiáng)調(diào)效果也小，因而例如，低亮度區(qū)域中的強(qiáng)調(diào)效果也難以識(shí)別。

與此相對(duì)，在本實(shí)施例的技術(shù)中，信號(hào)生成電路205單獨(dú)生成具有不依賴于提取電路202所提取的頻率成分的值的大小并且與原始像素值相對(duì)應(yīng)的值的相加信號(hào)。例如，信號(hào)生成電路205將任意的固定值(這里為可能的最高值(飽和值)，即235)與輸入像素信號(hào)的亮度值之間的差的大小乘以任意的增益(小于或等于1，并且這里為0.5)，以生成相加信號(hào)。預(yù)定的固定值和輸入信號(hào)值之間的差越大，在該示例中所生成的相加信號(hào)所具有的值越大。例如，如果固定值是諸如飽和值等的高的值，則與具有高亮度的像素302相對(duì)應(yīng)的相加信號(hào)的值較小，并且與具有低亮度的像素306相對(duì)應(yīng)的相加信號(hào)的值較大。

因此，盡管傳統(tǒng)上由于提供了強(qiáng)調(diào)效果而導(dǎo)致像素311的值超過了飽和水平并且強(qiáng)調(diào)效果無法被辨別，但像素309的值處于不會(huì)發(fā)生飽和的水平，并且變得能夠辨別強(qiáng)調(diào)效果。另外，盡管像素312具有小的值、因而被提供了難以辨別的弱的強(qiáng)調(diào)效果，但像素310被提供了大的強(qiáng)調(diào)效果，因而較容易辨別該強(qiáng)調(diào)效果。

注意，這里所述的用于生成相加信號(hào)的方法僅是示例，并且可以使用任何其它方法來生成相加信號(hào)，只要可以抑制強(qiáng)調(diào)效果所引起的具有較大值的像素發(fā)生飽和、同時(shí)還向具有較小值的像素賦予充分的強(qiáng)調(diào)效果即可。在上述示例中，相加信號(hào)的值根據(jù)像素值的線性增大而線性減小，但例如，可以使用諸如相加信號(hào)的值非線性地或逐級(jí)地減小等的、值至少根據(jù)像素值的增大而連續(xù)地或逐級(jí)地減小的信號(hào)。

如上所述，根據(jù)本實(shí)施例，生成了值隨著像素值的變小而增大的相加信號(hào)，并且基于從像素值中所提取的特定頻率成分的大小來判斷是否要應(yīng)用(相加)相加信號(hào)。因此，針對(duì)值低的像素的強(qiáng)調(diào)效果變得容易辨別，并且例如，可以容易地識(shí)別低亮度部中的聚焦?fàn)顟B(tài)。另外，通過生成相加信號(hào)、以使得這些相加信號(hào)的值隨著像素值的變大而變小，可以抑制由于向值高的像素提供強(qiáng)調(diào)效果所引起的像素值的飽和。

例如，即使在高亮度區(qū)域和低亮度區(qū)域存在于相同距離處的場(chǎng)景中，也可以向各個(gè)區(qū)域提供適當(dāng)?shù)膹?qiáng)調(diào)效果，因而可以適當(dāng)?shù)刈R(shí)別聚焦程度。例如，通過將本實(shí)施例應(yīng)用于運(yùn)動(dòng)圖像(實(shí)時(shí)取景圖像或正記錄的運(yùn)動(dòng)圖像)的幀，可以實(shí)現(xiàn)用于精確聚焦的調(diào)焦輔助功能。另外，通過將本實(shí)施例應(yīng)用于正再現(xiàn)的運(yùn)動(dòng)圖像或靜止圖像，可以實(shí)現(xiàn)容易地識(shí)別處于聚焦的部分的功能。

注意，這里說明了作為用以判斷是否提供強(qiáng)調(diào)效果的基準(zhǔn)所使用的頻率成分是從像素的亮度成分中所提取的示例，但可以從其它成分中提取頻率成分。例如，如果圖像信號(hào)采用RGB格式，則可以從G(綠色)成分中提取頻率成分，或者可以從R(紅色)成分、G(綠色)成分和B(藍(lán)色)成分中分別提取頻率成分。在從多個(gè)成分中提取頻率成分的情況下，例如，可以采用向多個(gè)成分中的任一成分滿足條件的像素提供強(qiáng)調(diào)效果的結(jié)構(gòu)。

第二實(shí)施例

接著，將說明本發(fā)明的第二實(shí)施例。本實(shí)施例與第一實(shí)施例的不同之處在于：視頻信號(hào)處理單元降低沒有被提供強(qiáng)調(diào)效果的像素的亮度和飽和度，然后輸出這些像素。其它構(gòu)成元件可以是與第一實(shí)施例共通的，因而以下將說明本實(shí)施例中的視頻信號(hào)處理單元的結(jié)構(gòu)和操作。

圖5是示出本實(shí)施例中的視頻信號(hào)處理單元115'的功能結(jié)構(gòu)的示例的框圖，將相同的附圖標(biāo)記分配至與第一實(shí)施例相同的構(gòu)成元件，并且將不給出重復(fù)說明。本實(shí)施例中的結(jié)構(gòu)與第一實(shí)施例中的結(jié)構(gòu)的不同之處在于：向第一實(shí)施例的視頻信號(hào)處理單元115添加水平調(diào)整電路501，并且信號(hào)改變電路502的操作不同。

具體地，本實(shí)施例的信號(hào)改變電路502除與第一實(shí)施例相同的提供強(qiáng)調(diào)效果的操作外，還利用經(jīng)過了水平調(diào)整電路501的水平調(diào)整的像素值來替換沒有被提供強(qiáng)調(diào)效果的像素值。此外，本實(shí)施例的信號(hào)改變電路502還根據(jù)需要來調(diào)整要被提供強(qiáng)調(diào)效果的像素的亮度和飽和度。

水平調(diào)整電路501使輸入圖像的各個(gè)像素的亮度和飽和度降低預(yù)定量，并且輸出該圖像。預(yù)先將該降低量確定為處于可以感知到降低并且原始圖像的視覺可識(shí)別性沒有極度下降的范圍內(nèi)。另外，還可以基于輸入圖像整體的平均亮度來動(dòng)態(tài)地確定該降低量。例如，關(guān)于亮度，降低量可以與0.5EV～1EV相對(duì)應(yīng)，并且例如，關(guān)于飽和度，在利用0～100％(其中，非彩色與0％相對(duì)應(yīng))來表示飽和度的情況下，降低量可以在0～75％的范圍內(nèi)(在0％的情況下，以灰度級(jí)顯示圖像)。注意，這些僅是示例，并且可以使用其它值。

例如，在將本實(shí)施例應(yīng)用于運(yùn)動(dòng)圖像(實(shí)時(shí)取景圖像或正記錄的運(yùn)動(dòng)圖像)的幀并且實(shí)現(xiàn)調(diào)焦輔助功能的情況下，聚焦程度低的區(qū)域以飽和度和亮度降低的狀態(tài)顯示。在聚焦程度由于手動(dòng)或自動(dòng)調(diào)焦功能而上升并且所提取的頻率成分的大小滿足預(yù)定條件的情況下，應(yīng)用以與第一實(shí)施例相同的方式所生成的相加信號(hào)，并且提供強(qiáng)調(diào)效果。對(duì)于來自閾值設(shè)置電路204的輸出滿足條件的像素，信號(hào)改變電路502不選擇水平調(diào)整電路501的輸出，而是選擇所輸入的圖像信號(hào)201，并且應(yīng)用(相加)相加信號(hào)。

因此，聚焦程度高的像素將具有(未經(jīng)過水平調(diào)整的)原始像素值，并且還向這些像素應(yīng)用相加信號(hào)。因此，由于顏色的變化(飽和度的上升)和亮度的上升的組合，可以提供使聚焦程度從低改變?yōu)楦叩牟糠挚此茝年幱盃顟B(tài)轉(zhuǎn)變?yōu)槊髁琳彰鳡顟B(tài)的強(qiáng)調(diào)效果。因此，即使不添加其它顏色，也可以容易地辨別聚焦程度高的區(qū)域，并且不會(huì)產(chǎn)生由于強(qiáng)調(diào)效果而導(dǎo)致被攝體的視覺可識(shí)別性下降的問題。

注意，由于通過應(yīng)用相加信號(hào)使得像素的亮度上升得大于原始值，因此像素的顏色與原始顏色相比變淺。因此，在信號(hào)改變電路502中，可以采用如下結(jié)構(gòu)：使飽和度上升得高于原始值，使得應(yīng)用相加信號(hào)之后的顏色從視覺上接近原始顏色(應(yīng)用相加信號(hào)之前的顏色)。

如上所述，根據(jù)本實(shí)施例，除第一實(shí)施例的結(jié)構(gòu)外，未被提供強(qiáng)調(diào)效果的像素的亮度和飽和度下降，并且被提供了強(qiáng)調(diào)效果的像素的亮度和飽和度沒有下降。因此，除根據(jù)第一實(shí)施例的效果外，可以實(shí)現(xiàn)能夠提供如下的強(qiáng)調(diào)效果的效果，其中該強(qiáng)調(diào)效果使得能夠在不會(huì)使視覺可識(shí)別性下降的情況下容易地辨別聚焦程度高的區(qū)域。

變形例1

注意，在使用基于所提取的高頻成分的相加信號(hào)來提供強(qiáng)調(diào)效果的情況下，也獲得了通過使未被提供強(qiáng)調(diào)效果的像素的亮度和飽和度下降并且使被提供了強(qiáng)調(diào)效果的像素的亮度和飽和度不下降所獲得的第二實(shí)施例的效果。

圖4B是在將第二實(shí)施例的水平調(diào)整技術(shù)應(yīng)用于使用基于所提取的高頻成分的相加信號(hào)來提供強(qiáng)調(diào)效果的結(jié)構(gòu)的情況下的視頻信號(hào)處理單元115”的框圖。與圖4A和5中的構(gòu)成元件相同的構(gòu)成元件具有相同的附圖標(biāo)記，并且省略了針對(duì)這些構(gòu)成元件的說明。

與第二實(shí)施例中的信號(hào)改變電路502相同，信號(hào)改變電路410判斷是否向?qū)ο笙袼靥峁?qiáng)調(diào)效果。在判斷為要提供強(qiáng)調(diào)效果的情況下，信號(hào)改變電路410接著將從閾值設(shè)置電路404輸入的高頻成分應(yīng)用于未進(jìn)行改變的情況下所輸入的像素信號(hào)、而不是應(yīng)用于水平調(diào)整電路501的輸出，并且輸出這些像素信號(hào)。此外，在判斷為不提供強(qiáng)調(diào)效果的情況下，信號(hào)改變電路410選擇水平調(diào)整電路501的輸出(經(jīng)過了水平調(diào)整的像素信號(hào))并且輸出這些像素信號(hào)。

這樣，同樣在基于所提取的高頻成分來生成相加信號(hào)的情況下，如下結(jié)構(gòu)是可以的：聚焦程度低的像素以亮度和飽和度有所降低的狀態(tài)進(jìn)行顯示，并且在聚焦程度變高的情況下，應(yīng)用相加信號(hào)，另外，亮度和飽和度上升。因此，可以實(shí)現(xiàn)能夠提供如下的強(qiáng)調(diào)效果的效果，其中該強(qiáng)調(diào)效果使得能夠在不會(huì)使視覺可識(shí)別性下降的情況下容易地辨別聚焦程度高的區(qū)域。

其它實(shí)施例

在上述的第一實(shí)施例和第二實(shí)施例中，采用了以下結(jié)構(gòu)：利用提取電路提取一個(gè)頻率成分，并且判斷是否要提供強(qiáng)調(diào)效果。然而，如下結(jié)構(gòu)也是可以的：提取多個(gè)頻率成分，并且針對(duì)各個(gè)頻率成分判斷是否要提供強(qiáng)調(diào)效果。

圖6A和6B示出根據(jù)諸如此類的其它實(shí)施例的視頻信號(hào)處理單元115的結(jié)構(gòu)示例，其中：圖6A與第一實(shí)施例相對(duì)應(yīng)，并且圖6B與第二實(shí)施例相對(duì)應(yīng)。在圖6A和6B中，提取電路601提取與提取電路202所提取的頻率成分(被稱為第一頻率成分)不同的頻率成分(被稱為第二頻率成分)。增益調(diào)整電路602和閾值設(shè)置電路603具有與增益調(diào)整電路203和閾值設(shè)置電路204相同的結(jié)構(gòu)，并且可以設(shè)置針對(duì)第二頻率成分的增益和噪聲降低所用的閾值。

信號(hào)生成電路205與提取電路202相關(guān)聯(lián)，并且生成要應(yīng)用于第一頻率成分滿足條件的像素的相加信號(hào)。此外，信號(hào)生成電路604與提取電路601相關(guān)聯(lián)，并且生成要應(yīng)用于第二頻率成分滿足條件的像素的相加信號(hào)。信號(hào)生成電路604與信號(hào)生成電路205同樣地生成基于原始像素值的相加信號(hào)，但可被配置為諸如通過將上述的固定值改變?yōu)檩^低的值等來生成具有不同值的相加信號(hào)。

信號(hào)改變電路605和605'進(jìn)行與信號(hào)改變電路206和502的操作相同的操作，但信號(hào)改變電路605和605'與信號(hào)改變電路206和502的不同之處在于：根據(jù)所提取的各個(gè)頻率成分的大小來判斷是否需要向?qū)ο笙袼靥峁?qiáng)調(diào)效果，并且應(yīng)用與這些頻率成分相對(duì)應(yīng)的相加信號(hào)。換句話說，可以向所提取的各個(gè)頻率成分獨(dú)立提供強(qiáng)調(diào)效果。

例如，在高對(duì)比度的被攝體和低對(duì)比度的被攝體混合存在的情況下，如果基于一個(gè)頻率成分來判斷是否需要提供強(qiáng)調(diào)效果，則可想到難以向具有低對(duì)比度的被攝體提供強(qiáng)調(diào)效果的情況。然而，通過提取多個(gè)頻率成分并且基于針對(duì)各個(gè)頻率成分的判斷標(biāo)準(zhǔn)來判斷是否需要提供強(qiáng)調(diào)效果，在具有低對(duì)比度的被攝體和具有高對(duì)比度的被攝體混合存在的場(chǎng)景中，也可以適當(dāng)?shù)靥峁?qiáng)調(diào)效果。

例如，假定第一頻率成分是比第二頻率成分具有更高的頻率的成分。在這種情況下，首先，第二頻率成分的大小將滿足條件，然后第一頻率成分的大小將滿足條件。因此，首先，根據(jù)基于第二頻率的大小的判斷，向具有低對(duì)比度的被攝體和具有高對(duì)比度的被攝體提供強(qiáng)調(diào)效果，之后對(duì)于具有高對(duì)比度的被攝體，切換為與基于第一頻率的大小的判斷相對(duì)應(yīng)的強(qiáng)調(diào)效果。因此，不僅可以辨別針對(duì)具有低對(duì)比度的被攝體的聚焦程度，而且還隨著具有高對(duì)比度的被攝體的聚焦程度的提高而切換強(qiáng)調(diào)效果，并且可以提供用于輔助甚至更加精確的聚焦的調(diào)焦輔助功能。

注意，在圖6B的結(jié)構(gòu)(與第二實(shí)施例相對(duì)應(yīng))中，信號(hào)改變電路605'同樣根據(jù)各個(gè)頻率成分的大小來判斷是否選擇水平調(diào)整電路501的輸出。

基于本發(fā)明的典型實(shí)施例詳細(xì)說明了本發(fā)明，但本發(fā)明不限于這些特定實(shí)施例，并且可以進(jìn)行落在權(quán)利要求書的范圍內(nèi)的各種改變。另外，可以采用能夠在進(jìn)行水平調(diào)整的實(shí)施例和不進(jìn)行水平調(diào)整的實(shí)施例之間進(jìn)行切換的結(jié)構(gòu)，或者可以采用能夠在用于根據(jù)實(shí)施例生成相加信號(hào)的結(jié)構(gòu)和用于根據(jù)所提取的頻率成分生成相加信號(hào)的結(jié)構(gòu)之間進(jìn)行切換的結(jié)構(gòu)。

例如，可以將根據(jù)上述實(shí)施例的提供強(qiáng)調(diào)效果的操作應(yīng)用于除調(diào)焦輔助功能外的事物。例如，可以將該操作應(yīng)用于所記錄的運(yùn)動(dòng)圖像或靜止圖像，并且用于明確地指示聚焦區(qū)域。此外，可以將該操作應(yīng)用于諸如光場(chǎng)照相機(jī)所拍攝到的圖像數(shù)據(jù)等的可以在拍攝之后改變聚焦區(qū)域的圖像數(shù)據(jù)。在這種情況下，通過將根據(jù)本實(shí)施例的提供強(qiáng)調(diào)效果的操作應(yīng)用于在每次改變虛擬成像面時(shí)所重建的靜止圖像(再聚焦圖像)，可以輔助獲得期望的被攝體處于聚焦的再聚焦圖像。

本發(fā)明的實(shí)施例還可以通過如下的方法來實(shí)現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲(chǔ)介質(zhì)將執(zhí)行上述實(shí)施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計(jì)算機(jī)或是中央處理單元(CPU)、微處理單元(MPU)讀出并執(zhí)行程序的方法。

例如，根據(jù)上述實(shí)施例的視頻信號(hào)處理單元115可以包括CPU、MPU或者能夠利用軟件動(dòng)態(tài)地重新配置的處理器(以下代表性地稱為CPU)。在這種情況下，該CPU可以通過將非易失性存儲(chǔ)設(shè)備中所存儲(chǔ)的程序載入RAM并執(zhí)行該程序，來如圖7的流程圖所示進(jìn)行工作。注意，在圖7中，利用虛線指示的步驟表示在第二實(shí)施例及其變形例中所執(zhí)行的步驟。

在步驟S101中，CPU將處理對(duì)象圖像全體(一幀)讀入存儲(chǔ)器，并且針對(duì)各像素執(zhí)行以下處理。步驟S103、S105和S201是大致并行地進(jìn)行處理的步驟。在步驟S103中，CPU進(jìn)行用于提取頻率成分的處理。該步驟包括頻率成分提取、增益應(yīng)用和噪聲降低，并且與電路202～204、402～404、601～603的操作相對(duì)應(yīng)。

在步驟S105中，CPU生成基于處理對(duì)象像素的值的相加信號(hào)。該操作與信號(hào)生成電路205和604的操作相對(duì)應(yīng)。另外，在實(shí)現(xiàn)使用水平調(diào)整的實(shí)施例的情況下，CPU在步驟S201中執(zhí)行用于降低處理對(duì)象像素的亮度和飽和度的處理。該處理與水平調(diào)整電路501的操作相對(duì)應(yīng)。

在步驟S107中，CPU基于在用于提取頻率成分的處理中所獲得的值的大小是否滿足預(yù)定條件(例如，是否超過閾值)來判斷是否向處理對(duì)象像素提供強(qiáng)調(diào)效果。例如，在判斷為不滿足預(yù)定條件并且不提供強(qiáng)調(diào)效果的情況下，CPU根據(jù)需要執(zhí)行步驟S207，然后使過程進(jìn)入步驟S111。在使用水平調(diào)整的實(shí)施例中執(zhí)行步驟S207，并且CPU利用經(jīng)過了水平調(diào)整處理的像素來替換處理對(duì)象像素，并輸出該像素(或者選擇經(jīng)過了水平調(diào)整的像素作為處理之后的像素)。

另一方面，例如，在判斷為滿足預(yù)定條件并且要提供強(qiáng)調(diào)效果的情況下，CPU根據(jù)需要執(zhí)行步驟S203，然后使過程進(jìn)入步驟S109。在使用水平調(diào)整的實(shí)施例中執(zhí)行步驟S203，并且CPU原樣輸出處理對(duì)象像素(或者選擇沒有經(jīng)過水平調(diào)整的像素作為處理之后的像素)。

在步驟S109中，CPU將步驟S105中所生成的相加信號(hào)應(yīng)用于處理對(duì)象像素。具體地，CPU將步驟S105中所計(jì)算出的值與處理對(duì)象像素的亮度成分相加。之后，CPU根據(jù)需要執(zhí)行步驟S205，然后使過程進(jìn)入步驟S111。在使用水平調(diào)整的實(shí)施例中根據(jù)需要執(zhí)行步驟S205，并且在由于相加信號(hào)的應(yīng)用因而顏色相對(duì)于原始顏色發(fā)生改變的情況下，處理對(duì)象像素的飽和度上升，從而被感知為與原始顏色相同。

在步驟S111中，CPU判斷是否向一個(gè)畫面的所有像素應(yīng)用了處理。如果存在未經(jīng)處理的像素，則過程返回至步驟S103～S201，并且如果不存在未經(jīng)處理的像素，則針對(duì)一個(gè)畫面的處理結(jié)束。關(guān)于運(yùn)動(dòng)圖像，例如，針對(duì)各幀重復(fù)同樣的處理。

盡管已經(jīng)參考典型實(shí)施例說明了本發(fā)明，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。