飛機駕駛艙顯示器以及用于組合視景顯示中的障礙物的增強顯示的系統(tǒng)和方法
【專利摘要】本發(fā)明涉及飛機駕駛艙顯示器以及用于組合視景顯示中的障礙物的增強顯示的系統(tǒng)和方法。該系統(tǒng)包括顯示單元和被配置成生成表示增強視景圖像的第一信號的增強視景系統(tǒng)。數(shù)據(jù)存儲設(shè)備包含表示障礙物的障礙物數(shù)據(jù)。合成視景系統(tǒng)被配置成從數(shù)據(jù)存儲設(shè)備中選擇性地檢索障礙物數(shù)據(jù)，并且生成表示一個或多個障礙物的合成視景圖像的第二信號。處理器與顯示單元進行可操作通信并且被耦合以接收第一和第二信號，并且被配置成響應(yīng)于第一和第二信號而：將一個或多個障礙物的合成視景圖像覆蓋在增強視景圖像之上，并且命令顯示單元顯示覆蓋在增強視景圖像之上的一個或多個障礙物的合成視景圖像?？梢允挂粋€或多個障礙物的經(jīng)覆蓋的合成視景圖像在視覺上突顯。
【專利說明】飛機駕駛艙顯示器以及用于組合視景顯示中的障礙物的增強顯示的系統(tǒng)和方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明大體上涉及交通工具顯示系統(tǒng)，并且更特別地涉及飛機駕駛艙顯示器以及用于組合視景(Vison)顯示中的障礙物的增強顯示的系統(tǒng)和方法。

【背景技術(shù)】
[0002]諸如飛機之類的許多交通工具普遍裝配有一個或多個視景增強系統(tǒng)。此類視景增強系統(tǒng)被設(shè)計并配置成當(dāng)在從駕駛員座艙的視野縮小的狀況中飛行時，協(xié)助飛行員。視景增強系統(tǒng)的一個示例稱為合成視景系統(tǒng)(下文中，“SVS”)。典型的SVS被配置成聯(lián)合與飛機關(guān)聯(lián)的位置確定單元以及感測飛機海拔、航向、和定向的動態(tài)傳感器來工作。SVS包括或訪問包含與沿著飛機的飛行路徑的地勢相關(guān)的信息(諸如與接近飛機飛行路徑的地形以及已知的人造和自然障礙物相關(guān)的信息)的數(shù)據(jù)庫。SVS從位置確定單元接收指示飛機位置的輸入，并且還從動態(tài)傳感器接收輸入。SVS被配置成利用在數(shù)據(jù)庫中包含的位置、航向、海拔、和定向信息以及地勢信息，并且生成從坐在飛機駕駛員座艙中的人的視角示出該飛機正飛過的地勢環(huán)境的三維圖像。可以在飛行員可接近的任何合適的顯示單元上向飛行員顯示三維圖像(本文也稱為“SVS圖像”)。SVS圖像包括被圖形渲染的特征，包括而不限于，位于接近飛機的飛行路徑的地形和障礙物的合成透視圖。使用SVS，飛行員能夠查看顯示單元的顯示屏，以獲得對飛機正飛過的三維地勢環(huán)境的理解，并且還能夠看到什么位于前方。飛行員還能夠查看顯示屏來確定飛機與接近飛行路徑的一個或多個障礙物的接近度。
[0003]視景增強系統(tǒng)的另一個示例被稱為增強視景系統(tǒng)(下文中，“EVS”)。典型的EVS系統(tǒng)包括成像設(shè)備，諸如但不限于，可見低光電視攝像機、紅外攝像機、或者能夠檢測處于可見光譜內(nèi)或外的光或電磁輻射的任何其他合適的光檢測系統(tǒng)。此類成像設(shè)備被安裝到飛機并且定向成檢測發(fā)源于飛機外并且通常在飛機的飛行路徑中位于飛機前方的區(qū)域的光傳輸。由EVS接收到的光被EVS用來形成EVS圖像，所述EVS圖像然后在飛機的駕駛員座艙中的任何合適的顯示單元上向飛行員顯示。EVS中所使用的傳感器比人眼對光更敏感。因而，使用EVS，飛行員能夠查看對于人眼而言不可見的地勢元素。因此，當(dāng)嘗試在惡劣天氣或晚上降落飛機時，EVS對于飛行員而言非常有益。EVS系統(tǒng)的一個優(yōu)勢是，其描繪實際存在的事物相對于描繪數(shù)據(jù)庫中所記錄的事物。然而，EVS系統(tǒng)具有低分辨率，并且由于某些障礙物的大小或其他狀況而可能沒有靈敏到足以檢測所述障礙物。例如，瘦無線電塔、高壓線、電纜、電力線等表示尤其有害的障礙危險，原因在于即使在具有良好可見度狀況的白晝期間，EVS系統(tǒng)也難以檢測到它們。
[0004]組合視景顯示包括SVS圖像和EVS圖像這二者，并且可以進一步包括采用符號形式的附加圖像。符號普遍表現(xiàn)為顯示屏上的圖標(biāo)或一系列圖標(biāo)，并且可以指示飛機航向、方向、姿態(tài)、和定向。利用組合視景顯示，在相同的顯示屏上向飛行員共同示出SVS和EVS圖像。可以將EVS圖像(其可能小于SVS圖像)覆蓋在SVS圖像的上面，以使得在EVS圖像下面的SVS圖像的部分可能不可見或可能是模糊的(obscured)(分別諸如當(dāng)EVS覆蓋具有較高的不透明度級別或是半透明時)?？梢栽谝曈X上將組合視景顯示中的EVS覆蓋分成單獨的部分。當(dāng)EVS圖像的上部分以與EVS圖像的下部分不同的顏色來顯示時采用提供向/從下面的SVS圖像的無縫銜接的方式，并且采用允許察覺下面的SVS圖像的方式來顯示姿態(tài)基準(zhǔn)(例如，用于飛機的零俯仰姿態(tài))之下的EVS圖像的部分。以該方式，飛行員能夠在維護情境感知時，關(guān)于EVS圖像中所示出的特征而快速且直覺地查明飛機的相對姿態(tài)和/或相對海拔。
[0005]情境感知的一個重要方面是感知對交通工具造成碰撞威脅的障礙物。這對于在起飛和降落或其他低海拔操作期間的飛機而言尤其如此，并且甚至對于在低可見度狀況中的飛機更為如此。地形和障礙物圖像應(yīng)該以此類方式來呈現(xiàn):其將提供對相對于交通工具的可能碰撞威脅的類型、高度、位置、和距離的及時感知。為了成功避開障礙物，操作者將具有較短的響應(yīng)時間，在所述響應(yīng)時間中要確定如何最好地避開障礙物。令人遺憾的是，組合視景顯示中的障礙物圖像即使在傳感器檢測范圍內(nèi)或在數(shù)據(jù)庫中，也可能不是容易可見的，從而限制了障礙物感知并且降低了避開障礙物的可能性。
[0006]因而，令人期望的是，提供用于組合視景顯示中的障礙物的增強顯示的系統(tǒng)和方法。期望通過選擇性地將障礙物圖像帶到組合視景顯示的前面并且使障礙物圖像在視覺上突顯來向飛行員提供提高的障礙物感知，從而在不管障礙物大小和其他狀況如何的情況下，提高障礙物檢測和避開的可能性。此外，根據(jù)聯(lián)合附圖以及前述的【技術(shù)領(lǐng)域】和【背景技術(shù)】而進行的后續(xù)的詳細描述和所附權(quán)利要求，示例性實施例的其他期望的特征和特性將變得明顯。


【發(fā)明內(nèi)容】

[0007]提供了用于組合視景顯示中的障礙物的增強顯示的系統(tǒng)。根據(jù)一個示例性實施例，一種系統(tǒng)包括顯示單元、以及被配置成生成表示增強視景圖像的第一信號的增強視景系統(tǒng)。數(shù)據(jù)存儲設(shè)備包含表示障礙物的障礙物數(shù)據(jù)。合成視景系統(tǒng)被配置成從數(shù)據(jù)存儲設(shè)備中選擇性地檢索障礙物數(shù)據(jù)并且生成表示一個或多個障礙物的合成視景圖像的第二信號。處理器與顯示單元進行可操作通信并且被耦合以接收第一和第二信號，并且被配置成響應(yīng)于第一和第二信號來進行以下操作:將一個或多個障礙物的合成視景圖像覆蓋在增強視景圖像之上，并且命令顯示單元顯示覆蓋在增強視景圖像之上的一個或多個障礙物的合成視景圖像。
[0008]根據(jù)本發(fā)明的又另一個示例性實施例，提供了用于組合視景顯示中的障礙物的增強顯示的方法。該方法包括生成增強視景圖像。生成一個或多個障礙物的合成視景圖像。選擇性地將一個或多個障礙物的合成視景圖像覆蓋在增強視景圖像之上。選擇性地使覆蓋增強視景圖像的一個或多個障礙物的合成視景圖像在視覺上突顯。顯示經(jīng)視覺突顯的覆蓋增強視景圖像的一個或多個障礙物的合成視景圖像。
[0009]根據(jù)本發(fā)明的又另一個示例性實施例，提供了用于飛機的駕駛艙顯示器。駕駛艙顯示器已在其上提供了主飛行顯示，包括針對接近飛機的區(qū)域的地勢的合成透視圖像。地勢的合成透視圖像包括障礙物數(shù)據(jù)的合成視景圖像。增強視景圖像覆蓋地勢的合成透視圖的部分。障礙物數(shù)據(jù)的合成視景圖像覆蓋增強視景圖像。
[0010]此外，根據(jù)聯(lián)合附圖以及前述的【背景技術(shù)】而進行的后續(xù)的詳細描述和所附權(quán)利要求，所述系統(tǒng)和方法的其他期望的特征和特性將變得明顯。

【專利附圖】

【附圖說明】
[0011]下文中將聯(lián)合以下繪圖來描述本發(fā)明，其中相似的附圖標(biāo)記表示相似的元素，并且其中:
圖1是根據(jù)本發(fā)明的示例性實施例的用于組合視景顯示中的障礙物的增強顯示的系統(tǒng)的不意圖；
圖2是其中具有障礙物的增強顯示的示例性駕駛艙顯示器；以及圖3是根據(jù)本發(fā)明的另一個示例性實施例的用于組合視景顯示中的障礙物的增強顯示的方法的流程圖。

【具體實施方式】
[0012]以下詳細描述實質(zhì)上僅是示例性并且不意在限制本發(fā)明或者本發(fā)明的應(yīng)用和使用。如本文所使用的，單詞“示例性”意味著“充當(dāng)示例、實例、或舉例說明”。因而，本文中被描述為“示例性”的任何實施例不必解釋為優(yōu)選或優(yōu)越于其他實施例。本文中所描述的所有實施例都是被提供以使得本領(lǐng)域技術(shù)人員能夠做出或使用本發(fā)明的示例性實施例，并且不限制由權(quán)利要求所定義的本發(fā)明的范圍。此外，不存在由任何明示或暗示的理論來綁定的意圖，所述理論呈現(xiàn)在前述的【技術(shù)領(lǐng)域】、【背景技術(shù)】、
【發(fā)明內(nèi)容】
、或以下詳細描述中。
[0013]各種實施例針對用于組合視景顯示中的障礙物的增強顯示的系統(tǒng)和方法。此類系統(tǒng)和方法將所選的障礙物圖像帶到組合視景顯示的前面，并且可以使其在視覺上突顯，從而使其在視覺上更引人注目并且提高情境和障礙物感知。該系統(tǒng)被配置成通過在包括地勢的合成透視圖像和EVS圖像的組合視景顯示中將一個或多個障礙物的合成視景系統(tǒng)(SVS)圖像覆蓋在增強視景系統(tǒng)(EVS)圖像之上，并且選擇性地使覆蓋EVS圖像的一個或多個障礙物的合成視景圖像在視覺上突顯來操作。組合視景顯示可以進一步包括數(shù)據(jù)符號。如下文中通常所描述的以及本領(lǐng)域中已知的，可以在視覺上劃分EVS圖像。選擇性地對障礙物的合成視景圖像進行覆蓋和視覺突顯允許機組人員在視覺上清楚地識別要避開的一個或多個障礙物，以及提供從交通工具計量障礙物的高度、距離、和位置的參考，從而提高障礙物檢測和避開的可能性。盡管本文中所描述的實施例特定于飛機顯示系統(tǒng)，但是應(yīng)該認識到發(fā)明主題事項的原理可以應(yīng)用于其他交通工具顯示系統(tǒng)。
[0014]圖1是根據(jù)示例性實施例的用于組合視景顯示中的障礙物的增強顯示的系統(tǒng)10的簡化功能框圖。系統(tǒng)10包括多個組件，其每個可以被配置用于安裝到飛機。在一些實施例中，系統(tǒng)10可以是自給式系統(tǒng)以使得以下所描述的每個組件被包含在單個外殼中并且排他地專用于提供系統(tǒng)10的功能。在其他實施例中，以下所描述的各種組件可以是獨立的組件，或者它們可以是用作其他系統(tǒng)的部分的組件，并且其被配置成用作此類其他系統(tǒng)與系統(tǒng)10之間的共享資源。
[0015]在圖1中所圖示的實施例中，系統(tǒng)10包括增強視景系統(tǒng)12(“EVS 12”)、位置確定單元(諸如全球定位系統(tǒng)(GPS)、慣性導(dǎo)航系統(tǒng)等)和航空電子傳感器14、合成視景系統(tǒng)16("SVS 16”)、顯示單元20、顯示屏22、以及處理器24。在其他實施例中，系統(tǒng)10可以包括附加的或更少的組件。
[0016]如在以上【背景技術(shù)】章節(jié)中所描述的，EVS 12包括適于安裝到飛機并配置成檢測發(fā)源于飛機外的光簽名(light signature)的一個或多個傳感器。所述傳感器可以包括可見低光電視攝像機、紅外攝像機、毫米波(MMW)攝像機、或者能夠檢測處于可見光譜內(nèi)或外的光的任何其他光感測設(shè)備。光簽名可以包括從飛機之外的任何地形或物體投射或反射離開的任何光。如本文中所使用的，物體可以是“障礙物”。如本文中所使用的，術(shù)語“障礙物”指代位于接近交通工具行進路徑(諸如飛機飛行路徑)的人造和自然發(fā)生的結(jié)構(gòu)，諸如塔、建筑物、天線、電力線、風(fēng)力渦輪機、林緣等。如本文中所使用的，術(shù)語“地形”指代陸塊。
[0017]EVS 12被配置成生成第一信號26并且將第一信號26提供給處理器24。第一信號26是電子信號，其包括與由EVS 12所檢測的光簽名對應(yīng)的信息，并且其使得處理器24能夠渲染光簽名的圖像(下文中稱為“EVS圖像”)。例如，如果所檢測的光簽名屬于障礙物，那么第一信號26將使得處理器24能夠渲染該障礙物的EVS圖像。在一些實施例中，EVS 12可以包括專用處理器、微處理器、電路、或者被配置成從一個或多個光檢測傳感器接收輸入并且使用此類輸入來生成第一信號26的一些其他處理組件。在其他實施例中，EVS 12可能不包括專用處理器、微處理器、電路或其他處理組件，在該情況下，第一信號26將包括來自EVS 12的光檢測傳感器的未處理的輸入以供由一個或多個處理器24處理。
[0018]第一信號26可以在以下意義上是弱信號:要識別的簽名關(guān)于背景圖像具有很低的對比度，原因在于可以使EVS 12獲取強光簽名的能力模糊的大小和/或天氣狀況，或者原因在于飛機離光簽名的距離，或由于各種其他因素。當(dāng)?shù)谝恍盘?6較弱時，與第一信號26對應(yīng)的圖像容易被壓倒或淘汰，從而難以察覺EVS圖像中所包含的弱簽名。作為結(jié)果，與第一信號對應(yīng)的障礙物在EVS圖像36中可能是不可辨別的，或者其可能很弱并會容易被漏掉。作為結(jié)果，飛行員可能不能夠及時看到該障礙物以避開該障礙物。
[0019]如在以上【背景技術(shù)】章節(jié)中所描述的，SVS 16被配置成生成飛機周圍的地勢環(huán)境的三維圖像(下文中稱為“SVS圖像”)，并且生成攜帶SVS圖像的第二信號并將該第二信號提供給處理器24。SVS 16可以訪問或包括包含具有與地勢相關(guān)的數(shù)據(jù)的數(shù)據(jù)庫的數(shù)據(jù)存儲設(shè)備25，所述數(shù)據(jù)可以包括與位于沿著或至少接近于飛機的飛行路徑的地形和障礙物相關(guān)的信息(數(shù)據(jù))。數(shù)據(jù)存儲設(shè)備可以包含用于諸如州、國家、或洲之類的整個地理區(qū)域的此類數(shù)據(jù)。SVS 16還可以訪問或包括位置確定單元，其被配置成確定飛機相對于地球表面的位置。SVS 16可以被配置成接收與飛機航向、海拔、和姿態(tài)相關(guān)的路線、速度、和其他航空電子輸入。在等價的實施例中，SVS 16可以從飛機GPS和航空電子傳感器14接收GPS和航空電子輸入。
[0020]在一些實施例中，SVS 16可以包括專用處理器、微處理器、或者被配置成取得與飛機的位置、姿態(tài)、海拔和航向有關(guān)的信息并且利用數(shù)據(jù)庫中可用的信息/數(shù)據(jù)來生成第二信號30的其他電路，所述第二信號30可以被處理器24用來渲染飛機正行進通過的地勢環(huán)境的三維圖像。由于飛行員可能想要具有相對于包圍一個或多個潛在障礙物的地形的該一個或多個障礙物的更清楚且較不雜亂的視圖，所以系統(tǒng)10可以被配置成允許飛行員使障礙物的合成視景圖像在視覺上突顯，以減少對地形的合成視景圖像的任何視覺干擾。可以通過改變在合成視景圖像中顯示的障礙物的色彩、不透明度、或形狀來使障礙物的合成視景圖像在視覺上突顯，以在視覺上將障礙物的合成視景圖像與地形的合成視景圖像或者與在SVS圖像或EVS圖像中已經(jīng)容易可見的障礙物相區(qū)分，即處理器被配置成改變地形和/或障礙物的合成視景圖像的至少一個視覺特性，以在視覺上將障礙物的合成視景圖像與其中的地形數(shù)據(jù)的合成視景圖像相區(qū)分。例如，可以在SVS圖像中相對于地形的合成視景圖像的不透明度來增大障礙物的合成視景圖像的不透明度。就這點而言，在SVS圖像中，已增強了對障礙物的顯示(更具體地，障礙物圖像)。對障礙物的增強顯示使對于飛行員而言更容易檢測和避開障礙物，所述障礙物的圖像被圖形地渲染為SVS圖像34的部分。
[0021]在其他實施例中，SVS 16可能不包括專用處理器、微處理器、電路、或其他處理組件。在此類實施例中，第二信號30將包含然后能夠被處理器24用來渲染地勢環(huán)境的三維圖像的未處理的傳感器信息和位置信息，包括障礙物的合成視景圖像和地形的合成視景圖像。在任一事件中，SVS 16被配置成將第二信號30提供給處理器24。
[0022]顯示單元被配置成將增強的圖像提供給操作者。根據(jù)一個示例性實施例，顯示器可以使用許多已知的顯示器中的任何一個來實現(xiàn)，所述顯示器適于采用由操作者可視的格式來渲染文本、圖形、和/或圖標(biāo)信息。此類顯示器的非限制性示例包括各種陰極射線管(CRT)顯示器、以及諸如各種類型的LCD (液晶顯示器)和TFT (薄膜晶體管)顯示器之類的各種平板顯示器。另外可以將顯示單元實現(xiàn)為面板安裝顯示器、HUD (平視顯示器)投影、或許多已知技術(shù)中的任何一個。另外要注意的是，顯示單元可以被配置為許多類型的飛機駕駛艙顯示器中的任何一個。例如，其可以被配置為多功能顯示器、水平位置指示器、或垂直位置指示器。然而在所描繪的實施例中，顯示單元被配置為用于飛機的主飛行顯示器(PFD)。
[0023]另外地,顯示單元20包括被操作地連接到顯示單元20的顯示屏22。顯示屏22被配置成由顯示單元20來控制，并且可以被用來顯示任何類型的圖像，包括但不限于，文本、圖形、和圖標(biāo)信息。在一些實施例中，顯示單元20可以包括多個顯示屏22，并且系統(tǒng)10可以包括多個顯示單元20。
[0024]處理器24可以是任何類型的計算機、計算機系統(tǒng)、微處理器、邏輯設(shè)備集合、或者被配置成計算、和/或執(zhí)行算法、和/或運行軟件應(yīng)用、和/或運行子程序、和/或加載并運行任何類型的計算機程序的任何其他模擬或數(shù)字電路。處理器24可以包括單個處理器或一致動作的多個處理器。在一些實施例中，處理器24可以排他地專供系統(tǒng)10使用，而在其他實施例中，可以將處理器24與飛機上的其他系統(tǒng)共享。在又其他實施例中，處理器24可以被集成到系統(tǒng)10的任何其他組件中。例如，在一些實施例中，處理器24可以是EVS 12、SVS 16、或這二者的組件。
[0025]處理器24被通信耦合到EVS 12,GPS/航空電子14、SVS 16，并且被操作地耦合到顯示單元20。此類通信和操作連接可以通過使用包括有線和無線連接這二者的任何合適的傳輸方式來實現(xiàn)。例如，每個組件可以經(jīng)由同軸電纜或經(jīng)由對于傳達電子信號而言有效的任何其他類型的有線連接而物理連接到處理器24。在其他實施例中，每個組件可以跨總線或其他類似的通信通道而通信連接到處理器24。合適的無線連接的示例包括但不限于藍牙連接、W1-Fi連接、紅外連接等。
[0026]與EVS 12、GPS/航空電子傳感器14、SVS 16、以及顯示單元20通信地和/或操作地耦合，這向處理器24提供用于從和向每個其他組件接收和傳輸信號、命令、指令、和詢問的通路。為了覆蓋與第一信號26、第二信號30、和第三信號28對應(yīng)的圖像的目的，處理器24被配置(即，加載并能夠運行合適的計算機代碼、軟件和/或應(yīng)用)成與系統(tǒng)10的每個其他組件進行交互并協(xié)調(diào)。例如，在所說明的實施例中，處理器24被配置成從SVS 16接收第二信號30并且向顯示單元20發(fā)送指令顯示單元20在顯示屏22上顯示對應(yīng)的SVS圖像的命令。處理器還可以被配置成從飛機的GPS/航空電子系統(tǒng)14接收第三信號以用于以圖標(biāo)格式來顯示數(shù)據(jù)。
[0027]處理器24還被配置成從EVS 12接收第一信號26并且向顯示單元20發(fā)送指令顯示單元20在顯示屏22上顯示EVS圖像的命令。處理器24被進一步配置成命令顯示單元20將EVS圖像覆蓋在部分SVS圖像的上面。此外，因為EVS圖像反映沿著飛機的飛行路徑實際存在什么，所以處理器24 (更具體地，其圖像決策器(decis1ne1lS)可以給予EVS圖像優(yōu)先考慮，并且可以命令顯示單元20使處于EVS圖像之下的SVS圖像的部分模糊。例如，可以通過對齊EVS圖像傳感器來在攝像機安置時對EVS和SVS圖像進行索引，以確保對傳感器和SVS視圖進行索引。在正常的維護過程期間可以周期性地重復(fù)此類索引過程以保證合適的對齊。當(dāng)具有驗證位置的已知障礙物存在時，可以在相對靜態(tài)的操作階段期間或在地面上對齊其SVS和EVS圖像。
[0028]如本領(lǐng)域中已知的，處理器還可以被配置成在視覺上劃分EVS圖像以使得在特定姿態(tài)基準(zhǔn)(例如，用于飛機的零俯仰姿態(tài))之下的EVS圖像的第一部分與在該姿態(tài)基準(zhǔn)之上的EVS圖像的第二部分在視覺上是可區(qū)分的。例如，可以采用提供向/從下面的合成地形的無縫銜接的方式來顯示EVS圖像的下部分。這可以通過采用與鄰近或以其他方式接近下部分的地形對應(yīng)的色彩并且利用相對較高的不透明度級別來顯示EVS圖像的下部分而完成。相反，利用相對較高的透明度級別或采用與EVS圖像的下部分不同的色彩來顯示上部分，從而允許感知下面的合成地形。
[0029]根據(jù)示例性實施例，處理器24還被配置成選擇性地將一個或多個障礙物的合成視景圖像覆蓋在EVS圖像之上。在一些實施例中，將覆蓋所有的障礙物，而在其他實施例中，只有覆蓋EVS圖像的所選的障礙物的合成視景圖像將被覆蓋。處理器被配置成選擇要覆蓋哪些障礙物。采用使飛行員辨別沿著飛行路徑的障礙物的能力增強的方式來將障礙物的合成視景圖像覆蓋在EVS圖像之上。如前所述，給定EVS成像系統(tǒng)在圖像質(zhì)量、分辨率、和天氣-誘發(fā)降級方面的典型限制，檢測前方障礙物可能是不可能的。例如，即使在良好的天氣狀況下，瘦無線電塔或高壓線也可能由于各種原因(諸如缺乏溫差或不足的EVS圖像分辨率)而不出現(xiàn)在EVS圖像中。對于低海拔飛行操作而言這些障礙物是極為關(guān)注的。因而，可以將此類障礙物的合成視景圖像有利地且選擇性地覆蓋在EVS圖像之上。另一方面，例如，諸如建筑物之類的大型障礙物由于其大小而在EVS圖像中十分明顯，并且因而不需要將建筑物的合成視景圖像覆蓋在EVS圖像上面。處理器24的圖像決策器18或交通工具操作者(諸如，例如飛機飛行員)可以選擇要覆蓋在EVS圖像前面的一個或多個障礙物的合成視景圖像。該選擇可以基于不同的障礙物的橫向尺寸(即，障礙物大小)、障礙物類型、或這二者。其他考慮可能與選擇性地將一個或多個障礙物的合成視景圖像覆蓋在EVS圖像之上的決策相關(guān)。此類決策或選擇還能夠通過典型的EVS檢測范圍考慮來完成,例如,如果天氣狀況是邊際的(marginal)并且正在影響EVS檢測范圍，那么交通工具操作者可以選擇覆蓋和顯示一個或多個障礙物的合成視景圖像，所述障礙物比標(biāo)準(zhǔn)EVS檢測范圍中的障礙物更遠。
[0030]處理器還被配置成在組合視景顯示中選擇性地使覆蓋EVS圖像的一個或多個障礙物的合成視景圖像在視覺上突顯。如本文所使用的，術(shù)語“在視覺上突顯”或“視覺突顯”意味著障礙物對照下面的EVS圖像而在視覺上突出。在一些實施例中，將使顯示屏22上的所有覆蓋的障礙物(更具體地，障礙物的合成視景圖像)在視覺上突顯，而在其他實施例中，將僅使覆蓋EVS圖像的所選的障礙物的合成視景圖像在視覺上突顯。處理器被配置成選擇要使哪些障礙物的合成視景圖像在視覺上突顯。一些障礙物的合成視景圖像可以是半透明的，而其他可以是不透明的。視覺突顯可以包括空出部分SVS圖像、將部分EVS圖像渲染為至少部分透明、減小EVS圖像的強度(intensity)、增加一個或多個障礙物的SVS圖像的強度、或使用將使飛行員辨別EVS圖像中的障礙物的能力增強的任何其他技術(shù)。應(yīng)該理解的是，以上所描述的增強是示例性的，并且不構(gòu)成可以由處理器24用來使飛機正飛過的地勢環(huán)境中的障礙物的辨別度或可見度增強的技術(shù)的窮舉列表。使障礙物的合成圖像在視覺上突顯有助于確保提高的障礙物感知。通過使用當(dāng)前的飛機位置、定向、姿態(tài)信息等能夠確定障礙物類型并且能夠估計障礙物高度、位置、和距離，以確定障礙物相對于飛機或其他交通工具的近似位置。
[0031]處理器24還被配置成向顯示單元20發(fā)送指令顯示單元20在顯示屏22上顯示經(jīng)視覺突顯的覆蓋EVS圖像的所選障礙物的合成視景圖像的命令。此外，由于障礙物數(shù)據(jù)反映沿著和至少接近飛機的飛行路徑實際上存在什么，所以處理器24(更具體地，其圖像決策器18 )可以給予經(jīng)視覺突顯的障礙物的合成視景圖像優(yōu)先考慮，并且可以命令顯示單元20使處于覆蓋EVS圖像的障礙物的合成視景圖像之下的SVS圖像的部分模糊。處理器與圖像決策器進行可操作通信。圖像決策器可以是被合適地配置并編程的計算設(shè)備，或在等價的實施例中，可以是在處理器上運行的軟件模塊。在其他實施例中，圖像決策器可以包括固件或可以表現(xiàn)為硬件、固件、和軟件的組合。在又其他實施例中，圖像決策器和處理器可以協(xié)力工作，以選擇要被覆蓋并在視覺上突顯的障礙物的合成視景圖像。
[0032]圖2是其中在所圖示的包括SVS圖像34和EVS圖像36的組合視景顯示中具有障礙物的增強顯示的顯示屏22的示例性圖。圖2圖示了由系統(tǒng)10呈現(xiàn)給飛行員的圖像。在顯示屏22上顯示的圖像包括覆蓋在EVS圖像36之上的障礙物38 (更具體地，電力線)的合成視景圖像、以及各種圖標(biāo)數(shù)據(jù)40，所述覆蓋在EVS圖像之上的障礙物的合成視景圖像自身覆蓋下面的合成視景圖像34的一部分。應(yīng)該理解的是，如圖2中所描繪的顯示屏表示了動態(tài)顯示器凝固在一個特定時間處的狀態(tài)，并且在飛機的操作期間可以持續(xù)刷新顯示屏，以反映飛機的海拔和/或位置方面的改變。
[0033]EVS圖像36使下面的SVS圖像34的一部分模糊，包括原本在SVS圖像中將顯示(即，可見)的障礙物的合成視景圖像。障礙物38的合成視景圖像在SVS圖像中被渲染并且延續(xù)到顯示器的EVS圖像36部分中。使被覆蓋的EVS圖像中的障礙物38 (本文，電力線)的合成視景圖像在視覺上突顯。所圖示的被覆蓋且視覺突顯的電力線對照EVS圖像36在組合視景顯示中清楚可見。雖然將電力線顯示為示例性障礙物，但是其他障礙物的合成視景圖像可以被類似地覆蓋并視覺突顯以在組合視景顯示中清楚可見。通過利用相對于EVS圖像增加的強度來渲染圖像而使電力線的合成視景圖像在視覺上突顯。例如，所圖示的電力線的合成視景圖像具有比EVS圖像36自身更大的不透明度，從而使障礙物更易于視覺化?？梢岳门cEVS圖像窗口之外的僅SVS顯示區(qū)域中的障礙物相比更明亮的色彩、強度、或不同的不透明度來顯示該窗口內(nèi)的障礙物。
[0034]如前所述，能夠在SVS圖像中使障礙物在視覺上突顯，原因在于能夠容易地生成SVS圖像以允許例如以最小的顯示雜亂來渲染更暗或更不透明的障礙物圖像。在圖2中，使覆蓋在EVS圖像之上并渲染為SVS圖像的部分的障礙物的合成視景圖像在視覺上突顯。例如，利用與EVS圖像的剩余部分不同的更明亮的強度來顯示EVS圖像窗口內(nèi)的并且渲染為SVS圖像的部分的障礙物38的合成視景圖像。由于選擇性地將障礙物的合成視景圖像覆蓋在EVS圖像之上并使其在視覺上突顯，所以圖2的組合視景圖像清楚地圖示了飛機正飛過的地勢環(huán)境中的電力線。
[0035]如所圖示的，在EVS圖像36之外顯示的并且在僅SVS圖像部分中的障礙物未受障礙物覆蓋圖像影響，即位于僅SVS圖像部分中的障礙物具有與它在障礙物的合成視景圖像覆蓋在EVS圖像上之前所具有的相同級別的清晰度和強度。如前所述，在僅SVS圖像部分中被圖形渲染的障礙物通常會比SVS圖像中的地形更暗或具有更大的不透明度，原因在于能夠容易地生成SVS圖像以允許利用最小的顯示雜亂來在SVS圖像中渲染經(jīng)視覺突顯的障礙物圖像，以便在地形和障礙物之間進行視覺上區(qū)分。雖然包括例如強度(亮度)的EVS圖像的格式是預(yù)先確定的，但是可以修改SVS特征的格式以改善圖像的清晰度及由飛行員的辨識。例如，可以依賴于EVS特征強度的增大來增加或減少SVS特征(例如，所選的障礙物)的強度。另外地，EVS圖像區(qū)域中SVS特征可以是第一色彩，其中SVS特征在僅SVS顯示區(qū)域中是第二色彩。透明度和形狀是SVS特征格式的進一步示例，其可以被修改以使障礙物在視覺上突顯，從而改善障礙物檢測和避開。應(yīng)該理解的是，以上所描述的增強是示例性的，并且不構(gòu)成可以被用來使飛機正飛過的地勢環(huán)境中的障礙物的辨別度或可見度增強的視覺突顯技術(shù)的窮舉列表。
[0036]圖5是根據(jù)示例性實施例的用于組合視景顯示中的障礙物的增強顯示的方法100的流程圖。在一個示例性實施例中，該方法開始于生成增強視景系統(tǒng)(EVS)圖像(步驟120)。EVS圖像的生成包括例如紅外圖像或毫米波圖像的生成。
[0037]用于組合視景顯示中的障礙物的增強顯示的方法100繼續(xù)以生成障礙物的合成視景系統(tǒng)(SVS)圖像(步驟140)。在相同的時間幀中執(zhí)行步驟120和140。包含數(shù)據(jù)庫的數(shù)據(jù)存儲設(shè)備25包含關(guān)于針對交通工具的行進路徑的地形和障礙物的信息(數(shù)據(jù))。訪問數(shù)據(jù)庫并且基于從數(shù)據(jù)庫中訪問的信息以及由GPS/航空電子14所提供的行進狀況來生成均包括多個合成特征的SVS圖像。由GPS/航空電子14所提供的行進狀況可以包括諸如飛機位置、航向、姿態(tài)之類的信息、交通工具的飛行計劃信息、以及諸如當(dāng)前海拔、速度、俯仰、滾動和位置之類的飛行信息?？梢赃x擇部分SVS特征。然后處理器將EVS特征與所選的部分SVS特征對齊以供顯示單元20在顯示屏22上顯示。
[0038]方法100繼續(xù)以將一個或多個所選障礙物的合成視景圖像覆蓋在EVS圖像之上(步驟150)。選擇SVS特征的過程(例如，要覆蓋、視覺突顯、和/或顯示哪些障礙物)可以由飛機的飛行員完成，通過考慮飛機的操作狀態(tài)來確定，或者由系統(tǒng)10/處理器來預(yù)定。
[0039]方法100繼續(xù)以選擇性地使覆蓋EVS圖像的一個或多個障礙物的合成視景圖像在視覺上突顯(步驟160)。如前所述，可以相對于其他障礙物、下面的一個或多個EVS圖像、地形圖像、或其組合來選擇性地使一個或多個障礙物的合成視景圖像在視覺上突顯。
[0040]方法100繼續(xù)以在顯示屏上顯示經(jīng)視覺突顯的覆蓋EVS圖像的障礙物的合成視景圖像(步驟170)。
[0041]方法100繼續(xù)以生成和顯示交通工具周圍的地勢環(huán)境的三維圖像(分別地，步驟180和190)。可以將經(jīng)視覺突顯的覆蓋EVS圖像的障礙物的合成視景圖像覆蓋在地勢環(huán)境的三維圖像的一部分之上(步驟200)。
[0042]要理解的是，已提供了用于組合視景顯示中的障礙物的增強顯示的系統(tǒng)和方法。交通工具操作者通過選擇性地將障礙物(更具體地，一個或多個障礙物的合成視景圖像)帶到組合視景顯示的前面(通過將一個或多個障礙物的合成視景圖像覆蓋在EVS圖像之上)并且選擇性地使一個或多個障礙物的合成視景圖像在視覺上突顯來獲得提高的障礙物感知，從而在不管障礙物大小和其他狀況如何的情況下，提高障礙物檢測和避開的可能性。
[0043]本領(lǐng)域技術(shù)人員將理解的是，結(jié)合本文中所公開的實施例而描述的各種說明性邏輯塊、模塊、電路、和算法步驟可以被實現(xiàn)為電子硬件、計算機軟件、或這二者的組合。以上根據(jù)功能和/或邏輯塊組件(或模塊)以及各種處理步驟來描述一些實施例和實現(xiàn)。然而，應(yīng)該理解的是，此類塊組件(或模塊)可以通過被配置成執(zhí)行所指定功能的任何數(shù)量的硬件、軟件、和/或固件組件來實現(xiàn)。為了清楚地說明該硬件和軟件的可互換性，以上已經(jīng)大體上根據(jù)其功能來描述了各種說明性組件、塊、模塊、電路、和步驟。此類功能被實現(xiàn)為硬件還是軟件依賴于在整體系統(tǒng)上所強加的特定應(yīng)用和設(shè)計約束。技術(shù)人員可以為每個特定應(yīng)用以變化的方式來實現(xiàn)所描述的功能，但此類實現(xiàn)決定不應(yīng)該解釋為引起背離本發(fā)明的范圍。例如，系統(tǒng)或組件的實施例可以采用各種集成電路組件，例如存儲器元件、數(shù)字信號處理元件、邏輯元件、查找表等，所述集成電路組件可以在一個或多個微處理器或其他控制設(shè)備的控制下執(zhí)行各種功能。另外，本領(lǐng)域技術(shù)人員將理解的是，本文中所描述的實施例僅是示例性實現(xiàn)。
[0044]結(jié)合本文中所公開的實施例而描述的各種說明性邏輯塊、模塊、和電路可以利用通用處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、或者被設(shè)計成執(zhí)行本文中所描述功能的其他可編程邏輯設(shè)備、離散門或晶體管邏輯、離散硬件組件、或其任何組合來實現(xiàn)或執(zhí)行。通用處理器可以是微處理器，但是作為替代，處理器可以是任何常規(guī)處理器、控制器、微控制器、或狀態(tài)機。處理器還可以被實現(xiàn)為計算設(shè)備的組合，例如DSP和微處理器的組合、多個微處理器、聯(lián)合DSP核心的一個或多個微處理器、或任何其他此類配置。本文中單詞“示例性”被排他地用來意味“充當(dāng)示例、實例、或舉例說明”。本文中被描述為“示例性”的任何實施例不必解釋為優(yōu)選或優(yōu)越于其他實施例。以上設(shè)備中的任何一個是計算機可讀存儲介質(zhì)的示例性且非限制性示例。
[0045]結(jié)合本文中所公開的實施例而描述的方法或算法的步驟可以被直接包含在硬件、由處理器所運行的軟件模塊、或這二者的組合中。軟件模塊可以存在于RAM存儲器、閃存、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移動磁盤、CD-ROM、或本領(lǐng)域已知的任何其他形式的存儲介質(zhì)中。示例性存儲介質(zhì)被耦合到處理器，以使得處理器能夠從存儲介質(zhì)中讀取信息并向其寫入信息。作為替代，存儲介質(zhì)是處理器的組成部分。處理器和存儲介質(zhì)可以存在于ASIC中。ASIC可以存在于用戶終端中。作為替代，處理器和存儲介質(zhì)可以作為用戶終端中的離散組件而存在。以上設(shè)備中的任何一個是計算機可讀存儲介質(zhì)的示例性且非限制性示例。
[0046]在本文檔中，諸如第一和第二等之類的關(guān)系項可以被單獨用來將一個實體或動作與另一個實體或動作相區(qū)分，而不必要求或暗示此類實體或動作之間的任何實際的此類關(guān)系或次序。除非由權(quán)利要求語言具體定義，否則諸如“第一”、“第二”、“第三”等之類的數(shù)字次序僅僅表示多個中的不同的單個，并且不暗示任何次序或順序。除非由權(quán)利要求語言具體定義，否則權(quán)利要求中的任何一個中的文本的順序并不暗示過程步驟必須采用根據(jù)此類順序的時間或邏輯次序來執(zhí)行?？梢圆捎萌魏未涡騺砘Q過程步驟而不背離本發(fā)明的范圍，只要此類互換不與權(quán)利要求語言相矛盾并且不是邏輯荒謬的話。
[0047]此外，依賴于上下文，諸如“連接”或“耦合到”之類的用于描述不同元件之間的關(guān)系的單詞并不暗示必須在這些元件之間做出直接物理連接。例如，兩個元件可以物理地、電子地、邏輯地、或者以任何其他方式、通過一個或多個附加元件而連接到彼此。
[0048]雖然在本發(fā)明的前述詳細描述中已呈現(xiàn)了至少一個示例性實施例，但是應(yīng)該理解的是存在大量的變形。還應(yīng)該理解的是該示例性實施例或示例性實施例僅是示例，并且不意在以任何方式來限制本發(fā)明的范圍、適用性、或配置。更確切地說，前述詳細描述將向本領(lǐng)域技術(shù)人員提供用于實現(xiàn)本發(fā)明的示例性實施例的方便路線圖。要理解的是，可以在示例性實施例中所描述的元件的功能和布置方面做出各種改變而不背離如所附權(quán)利要求中所闡述的本發(fā)明的范圍。
【權(quán)利要求】
1.一種用于組合視景顯示中的障礙物的增強顯示的系統(tǒng)，所述系統(tǒng)包括: 顯示單元； 增強視景系統(tǒng)，被配置成生成表示增強視景圖像的第一信號； 數(shù)據(jù)存儲設(shè)備，包含表示障礙物的障礙物數(shù)據(jù)； 合成視景系統(tǒng)，被配置成從所述數(shù)據(jù)存儲設(shè)備中選擇性地檢索障礙物數(shù)據(jù)，并且生成表示一個或多個障礙物的合成視景圖像的第二信號； 處理器，與所述顯示單元進行可操作通信并且被耦合以接收所述第一和第二信號，并且被配置成響應(yīng)于所述第一和第二信號而進行以下操作: 選擇性地將所述一個或多個障礙物的合成視景圖像覆蓋在所述增強視景圖像之上；以及 命令所述顯示單元顯示覆蓋在所述增強視景圖像之上的所述一個或多個障礙物的合成視景圖像。
2.如權(quán)利要求1所述的系統(tǒng)，其中基于障礙物大小和障礙物類型中的一個或兩個來選擇性地將所述一個或多個障礙物的合成視景圖像覆蓋在所述增強視景圖像之上。
3.如權(quán)利要求1所述的系統(tǒng)，其中基于所述增強視景系統(tǒng)的檢測范圍來選擇性地將所述一個或多個障礙物的合成視景圖像覆蓋在所述增強視景圖像之上。
4.如權(quán)利要求1所述的系統(tǒng)，其中所述顯示單元處于交通工具中，并且由所述交通工具的操作者、所述處理器、或這二者來選擇要覆蓋在所述增強視景圖像之上的所述一個或多個障礙物的合成視景圖像。
5.如權(quán)利要求1所述的系統(tǒng)，其中所述處理器被進一步配置成選擇性地使所述一個或多個障礙物的合成視景圖像在視覺上突顯，并且命令所述顯示單元顯示經(jīng)視覺突顯的覆蓋在所述增強視景圖像之上的所述一個或多個障礙物的合成視景圖像。
6.如權(quán)利要求1所述的系統(tǒng)，其中所述處理器被進一步配置成選擇要被視覺突顯的所述一個或多個障礙物的合成視景圖像。
7.如權(quán)利要求5 所述的系統(tǒng)，其中: 所述數(shù)據(jù)存儲設(shè)備進一步包含與接近所述交通工具的地形相關(guān)的地形數(shù)據(jù)； 所述合成視景系統(tǒng)被進一步配置成從所述數(shù)據(jù)存儲設(shè)備中選擇性地檢索所述地形數(shù)據(jù)并且生成地勢的合成透視圖像，所述地勢的合成透視圖像包括一個或多個障礙物的以及地形的合成視景圖像；以及 所述顯示單元被進一步配置成顯示經(jīng)視覺突顯的覆蓋在所述增強視景圖像之上的所述一個或多個障礙物的合成視景圖像，所述增強視景圖像覆蓋所述地形的合成透視圖像的一部分。
8.如權(quán)利要求7所述的系統(tǒng)，其中通過增加的強度、色彩、形狀或其組合來在視覺上增強覆蓋所述增強視景圖像的所述一個或多個障礙物的合成視景圖像。
9.如權(quán)利要求7所述的系統(tǒng)，其中所述處理器被進一步配置成改變所述地勢的合成透視圖像的至少一個視覺特性，以在視覺上將所述一個或多個障礙物的合成視景圖像與其中的所述地形數(shù)據(jù)的合成視景圖像相區(qū)分。
10.如權(quán)利要求9所述的系統(tǒng)，其中改變所述地形、所述一個或多個障礙物、或這二者的合成視景圖像的色彩、不透明度、形狀、或其組合，以在視覺上將所述一個或多個障礙物的合成視景 圖像與所述地形數(shù)據(jù)的合成視景圖像相區(qū)分。
【文檔編號】B64D43/00GK104044745SQ201410089173
【公開日】2014年9月17日 申請日期:2014年3月12日 優(yōu)先權(quán)日:2013年3月12日
【發(fā)明者】T.L.費耶雷森, 何剛, J.G.蘇雷思, P.M.韋爾韋 申請人:霍尼韋爾國際公司