專利名稱：消防炮水道和水道末端的識別方法
技術領域：
本發(fā)明的消防炮水道和水道末端的識別方法，屬于火災監(jiān)測及自動滅火技術 領域。
背景技術：
火災是人類社會中最常見的嚴重災害之一，根據(jù)最近幾年美國、日本和歐盟 的火災統(tǒng)計資料，發(fā)達國家的火災直接經濟損失占國民生產總值的0.2%~0.3%。 美國的火災死亡率為0.0016%，歐盟為0.0013%，日本為0.0012%，其中包括許 多起重大火災。例如1995年日本的阪神大地震引起的火災，死亡5200多人。1997 年齋月期間在沙特阿拉伯的麥加圣城發(fā)生的火災，死亡1000多人。2002年6月 美國Arizona州的森林大火失去控制，令航天飛機上的宇航員也觸目驚心。近年 來，隨著科技的進步和社會的發(fā)展，我國在對抗火災方面已取得了可喜的成績。 但同時伴隨著城市化進程的加快和人口的迅速增長，我國火災的發(fā)生次數(shù)，造成 的損失呈上升趨勢。據(jù)統(tǒng)計，1997年，全國共發(fā)生火災14余萬起，死亡2722 人，傷4930人，直接財產損失15.4億元。其中一次死亡10人以上或受災50戶 以上或直接財產損失100萬元以上的特大火災88起。無數(shù)的事例證明，火災是現(xiàn)代文明社會最具有破壞力的災害現(xiàn)象之一。因此， 要將火災造成的損失降到最低，其中最有效的方法之一就是實時監(jiān)測，并在蔓延 前將其撲滅。因此，國內外都紛紛開展了智能消防系統(tǒng)的研究。但是，目前這方 面的研究主要是火災的自動監(jiān)測而且主要是針對室內區(qū)域，見專利 200710044936。對于室外大區(qū)域火災發(fā)現(xiàn)后的自動撲滅的研究還不多。事實上， 許多室外大空間環(huán)境中，如化工單位，油罐和一些防火重點對火災的實時監(jiān)測和 自動撲滅具有相當大的需求。室外大空間自動消防系統(tǒng)的難度之一是消防炮噴 射的水柱軌跡(以下稱為水道)特別是水道末端(以下稱為落水點)的位置精確定 位的問題。目前許多處理方法是首先發(fā)現(xiàn)火點，然后采用公式計算的方法得出要求的水柱軌跡，據(jù)此控制消防炮進行滅火工作。在大空間環(huán)境下，起火點的位置 與消防炮的距離往往在幾十米甚至達到百米以上。在遠距離射程情況下，消防炮 落水點的空間位置難以確定，特別是它還容易受到風向等環(huán)境因素的影響，因此， 僅根據(jù)火點位置信息控制消防炮，難以保證消防炮水柱打在火點上。發(fā)明內容本發(fā)明的目的在于提供一種一種消防炮水道和水道末端的識別方法，為大 空間消防炮自動滅火所需要的消防炮的閉環(huán)控制提供了條件。一種基于計算機視覺技術的火災智能探測、撲滅方法，其特征在于包括以 下步驟-(1) 、利用子站控制模塊進行火災監(jiān)測控制云臺移動，帶動紅外攝像機移動，并對其可視區(qū)域進行掃描； 控制視頻采集芯片進行紅外圖像的實時采集和分析，通過閾值分割的方法快 速提取疑似火點；對疑似火點，通過火焰的顏色分布特性、火焰變化特性、火焰面積蔓延增長 特性、火焰的形體變化特性、火焰的邊緣變化特性進一步進行火焰的判定；(2) 、在確認有火焰存在的情況下，通過雙目視差技術，對火焰進行空間 位置的估計；(3) 、根據(jù)消防炮開啟規(guī)則，確定所開啟的消防水炮；(4) 、利用計算機視覺技術或圖像處理技術得到消防炮噴射水柱末端在CCD 圖像中的位置，即落水點位置；(5) 、根據(jù)CCD圖像上落水點和火焰相對位置，調整消防炮，實現(xiàn)對消防 炮的閉環(huán)控制進行滅火；(6) 、根據(jù)監(jiān)測圖像，判定滅火完畢，關閉消防炮。 一種基于計算機視覺技術的火災智能探測、撲滅系統(tǒng)，其特征在于包括:服務器、與服務器通過總線連接成網絡形式的若干子站，子站包括消防炮、能 夠根據(jù)消防炮水道落水點與火焰的相對位置偏差調整消防炮出水角度的嵌入式 控制模塊、可控制云臺、安裝于可控制云臺上的一對用于火焰及消防水道監(jiān)測與 定位的雙波段CCD攝像機。一種消防炮水道和水道末端的識別方法，其特征在于包括以下步驟(1) 、從水道起點即消防炮位置出發(fā)，沿消防炮出水方向，對水道圖像像素 列逐列掃描，尋找每像素列水道軌跡中心點，每像素列水道軌跡中心點的尋找采 用灰度值統(tǒng)計法和軌跡預測法相結合的方法，具體方法如下-由已確定段水道軌跡預測下一像素列水道軌道中心點位置范圍；同時通過灰度值統(tǒng)計方法找到該像素列水道軌跡中心點；當灰度值統(tǒng)計方法找到的中心點處于軌跡預測法得到的中心點誤差范圍內，則以該灰度值統(tǒng)計方法找到的中心點作為該像素列水道軌跡中心位置；當灰度值統(tǒng)計方法找到的中心點不在軌跡預測法得到的中心點誤差范圍內，則舍去該次搜索結果，繼續(xù)尋找下一像素列水道軌跡中心點；(2) 、將所有像素列水道軌跡中心點連接成水道曲線，當連續(xù)10列沒有找 到軌跡中心點，則判定最后一次找到的像素列水道軌跡中心點即為水道末端位 置。一種基于單目視覺技術的火點與落水點相對位置調整的消防炮控制方法，其特征在于包括以下步驟(1) 、當發(fā)現(xiàn)火點后，利用雙目視差原理對雙波段攝像機的圖像進行處理， 獲取火焰的深度距離信息，再結合消防炮安置位置信息，利用預設規(guī)則確定消防 炮出水初始水平角及俯仰角，并啟動消防炮噴水；(2) 、利用普通CCD相機實時獲取同時兼有火焰和水道的二維圖像；(3) 、在二維圖像上只能反映消防炮水道落水點與火焰的偏差位置關系，而 不能明確反映水道落實點與火焰左右關系的情況下，根據(jù)二維圖像反映的消防炮 出水位置距離水道落水點與火焰的遠近位置關系，首先通過控制消防炮俯仰角使 落水點接近火點，具體方式是調整消防炮俯仰角使水道起始點到落水點直線距 離與水道起始點到火點直線距離差值滿足預設誤差允許范圍；(4) 、當俯仰角調整完成后，水道落水點和火焰位置相對水道起始點可視為 等距離，同時也使得水道落水點與火焰的左右位置關系在二維圖像中明確反映出 來；則進一步利用二維圖像反映的水道落水點與火焰的左右位置關系，繼續(xù)通過 控制消防炮水平角使落水點進一步接近火點，具體方式是調整消防炮水平角使 水道起始點到落水點連線與水道起始點與火點連線的夾角滿足預設誤差允許范圍，則消防炮調整完成；(5)、隨火焰中心點位置的變動，重復調整消防炮的俯仰角和水平角，使落 水點能夠跟蹤落在火焰上，直至火焰撲滅。 本發(fā)明具有下列技術效果1、 通過服務器和多個子站形成網絡化火災監(jiān)測與滅火系統(tǒng)，大大增加了火 災監(jiān)測與滅火的區(qū)域，可以實現(xiàn)室外大區(qū)域的火災監(jiān)測與滅火；2、 通過雙波段CCD攝像機利用雙目視差實現(xiàn)對火焰的定位，提高了火焰空 間定位的準確性，為快速滅火提供條件；3、 火災的監(jiān)測與火焰的撲滅集成在一個系統(tǒng)當中，提高了滅火實時性，可 以有效地防止火焰的蔓延；4、 通過計算機視覺實時監(jiān)測消防炮水道(落水點)與火焰的相對位置，實現(xiàn)消 防炮的實時閉環(huán)控制，提高了水炮滅火的準確性；5、 利用灰度統(tǒng)計法與軌跡預測法相結合的方法，從消防炮出水口出發(fā)，通 過軌跡跟蹤的方法對圖像進行處理找到落水點，克服了通常模式識別方法只能識 別相對固定形狀物體的缺點。為大空間消防炮自動滅火所需要的消防炮的閉環(huán)控 制提供了條件。6、 基于單目視覺技術的火點與落水點相對位置調整的消防炮控制方法通過 對俯仰角和水平角按序分別多次控制的方法解決了利用二維圖像實現(xiàn)三維空間 中火點與落水點相對位置調整的問題，使得消防炮落水點能夠實時跟蹤火點位置 的變化，為大空間自動滅火提供條件。


圖1火災智能探測與撲滅系統(tǒng)總體流程圖。圖2雙目成像示意圖與x-z平面投影圖。圖2(a)是雙目成像示意圖，圖2 (b)是x-z平面投影圖。圖3水道、火點相對位置示意簡圖。圖4水炮俯仰角控制完成后水道、火點位置示意簡圖。圖中標號名稱l.模擬火點；2.模擬消防炮水道曲線；3.初始水道落水點；4. 水道直線距離；5.水道起始點到火點距離；6.消防炮俯仰角調整后水道曲線；7.消6防炮俯仰角調整后落水點；8.消防炮水平角調整方向；9.消防炮俯仰角調整后起 始點到火點距離。
具體實施方式
火災的監(jiān)測與消防滅火這兩部分均屬于消防的范疇，并且相互之間是相關聯(lián) 的。因此，本發(fā)明利用計算機視覺技術將兩者集成為一個系統(tǒng)，實現(xiàn)消防滅火的 閉環(huán)控制，實現(xiàn)智能化的火災監(jiān)測與滅火。系統(tǒng)由一臺計算機和若干子站組成，由計算機實現(xiàn)集中式管理與分布式控 制。計算機和子站之間通過總線(或網絡)連接，實現(xiàn)信息的共享。子站的數(shù)量和 位置根據(jù)火災監(jiān)測區(qū)域的面積和區(qū)域內物體(如設備等)本身的特點，以及易起 火點重點防火區(qū)域的位置。對于重點防火區(qū)域也可以根據(jù)需要增加子站。每個子 站以MPU嵌入式模塊為控制中心，具有自主控制能力。每個子站可由一對雙波 段CCD攝像機、 一個可控制消防炮、 一個可控制云臺和一個嵌入式控制模塊組 成。其中雙波段CCD攝像機對包括一個紅外攝像機(由普通CCD攝像機+紅外 濾光片)和一個普通CCD攝像機組成。雙波段攝像機安裝在可控制云臺上?；?于MPU的嵌入式子站控制模塊(以下簡稱子站控制模塊)主要負責控制兩個攝 像機、控制云臺、視頻采集、圖像分析、消防炮控制以及與服務器的通訊，執(zhí)行 上位機服務器的指令等工作?；馂牡谋O(jiān)測主要在子站控制模塊的自主控制下完成。子站控制模塊進行火災 監(jiān)測的步驟為1、控制云臺移動，紅外攝像機對其可視區(qū)域進行掃描；2、控制 視頻采集芯片進行紅外圖像的實時采集和分析，通過閾值分割的方法快速提取疑 似火點；3、 一旦發(fā)現(xiàn)疑似火點，通過火焰的顏色分布特性、火焰變化特性、火焰面積蔓延增長特性、火焰的形體變化特性、火焰的邊緣變化特性進一步進行火焰的判定；4、在確認有火焰存在的情況下，啟動另一臺CCD普通攝像機。雙波 段攝像機對通過雙目視差技術，對火焰進行空間位置的估計。控制模塊將發(fā)現(xiàn)火焰報警信息、火焰面積以及空間位置信息通過總線上傳給服務器，服務器經過分析，自動制定消防方案。并實現(xiàn)下列操作1、啟動聯(lián)動 電話報警；2、將起火信息以及起火點位置信息發(fā)送給所有子站，使各子站增加 火焰掃描密度與頻率；3、根據(jù)制定的消防方案，將發(fā)現(xiàn)火焰的子站以及火焰周圍消防炮所屬控制的子站形成滅火小組，實現(xiàn)集中式的管理與分布式的控制。滅火小組子站在服務器的集中管理模式下對消防炮出水角度進行閉環(huán)控制。 各子站根據(jù)火焰的空間位置信息預設消防炮出水角度，啟動消防炮噴水。子站分 析監(jiān)測圖像中各水道落水點與火焰的相對位置，利用單目視覺定位的消防水道跟 蹤火焰控制方法實時調整消防炮控制角度，實現(xiàn)消防炮對火焰的跟蹤撲滅。系統(tǒng)的總體流程圖如圖l所示。各個子站實現(xiàn)實時火災監(jiān)測。若發(fā)現(xiàn)火情， 由服務器制定滅火方案，指定滅火子站。滅火子站對消防炮進行閉環(huán)控制，實現(xiàn) 消防炮水道落水點對火焰的跟蹤，實現(xiàn)自動滅火。其中的關鍵技術有-一、火災監(jiān)測與定位火災的監(jiān)測主要通過子站控制模塊控制云臺帶動紅外攝像機移動，紅外攝像 機對其可視區(qū)域進行掃描。子站控制模塊再控制視頻采集芯片進行紅外圖像的實時采集和分析。通過閾值分割的方法快速提取疑似火點。 一旦發(fā)現(xiàn)疑似火點，進 一步確定是否為火焰，(見專利200810124425)，具體步驟為(1)對紅外圖像 根據(jù)火焰紅外圖像的紅色分量突出的原理，利用計算機系統(tǒng)對紅外圖像進行基于 紅色分量的灰度化處理，并取火焰參考灰度值作為閾值，對圖像進行二值化閾值 分割，提取疑似圖像并進行濾波處理；(2)利用計算機系統(tǒng)對疑似圖像進一步分 析，獲得火焰的顏色分布特征判據(jù)、火焰圖像變化特性判據(jù)、火焰面積蔓延增長 特性判據(jù)、火焰圖像圓形度判據(jù)、火焰的形體變化特征判據(jù)五個判據(jù)；(3)利用 神經網絡以判據(jù)1 判據(jù)5為輸入，綜合進行判斷，得到是否火災的最終判斷。 在確認有火焰存在的情況下，啟動另一臺普通CCD攝像機。由紅外攝像機和普 通CCD攝像機組成的一對雙波段攝像機通過雙目立體視覺測距技術，對火焰進 行空間位置的估計。雙目立體視覺測距技術是模擬生物用兩個眼睛同時觀察物體時，會有深度或 遠近的感覺來實現(xiàn)立體空間深度的測量。根據(jù)深度知覺計算假說，人的深度知覺 能力是由視差比較計算而生成的，而視差的計算是基于左、右兩個半腦所得到的 兩眼視網膜的二維投影圖像信息而實施的。立體視覺正是基于深度知覺計算假 說，從兩個或多個視點去觀察同一場景，獲得在不同視角下的一組圖像，然后通 過不同圖像中對應像素間的視差，推斷出場景中目標物體的位置。雙目成像示意圖如圖2所示，圖2(a)中空間點P(&,3v,、)在從不同位置所獲8取的兩幅圖像上的投影點分別為A和《，左右攝像機焦點中心線的連線是設為X軸，P,和A在x軸上的投影分別為;^和JV。兩攝像機的光軸平行，并位于K平面上。在這種條件下，攝像機被稱為平行對準狀態(tài)。z軸與兩架攝像機的光軸 平行，兩攝像機的焦距為/,它們之間的距離是"。圖2(b)是P點在平面上的投影圖，在圖中所示的坐標系中，空間點戶(^，^，^)在x-2平面上的投影坐標為(;^,、)，它在左右圖像上的圖像坐標為 (x一 )，(v,;v)，可見有如下關系(1)■V 一 則雙目立體視覺測得物體離攝像機的深度距離為zw - / 物體在x、 j;軸方向上的投影分別為Xw"^:_J__ (2) 2 V一 _^_ (3) 利用式(l) ~ (3)即可實現(xiàn)火災的空間定位。二、消防炮軌跡與落水點確認本發(fā)明的自動滅火系統(tǒng)是以消防炮落水點與火焰的相對位置為依據(jù)對消防 炮進行實時閉環(huán)控制的。因此，落水點的定位精度直接影響到滅火的準確性。但 是通過CCD攝像機獲得的消防炮的落水點圖像受到背景圖像的影響，并且濺起 水花受到多種不確定因素的影響。因此落水點圖像難以用通常的圖像模式識別的 方法進行識別判斷。由于消防炮的安裝位置是固定的，因此，消防炮在CCD攝像機獲得的圖像 中的位置是已知的。本發(fā)明提出從水道起點即消防炮位置出發(fā)，利用水道跟蹤的 方法進行落水點識別。那么消防炮軌跡的確定實質上是根據(jù)水道起點，尋找水道 軌跡以及軌跡終止點即落水點的問題。同樣，水道圖像受到風向、消防炮噴水角度、水炮壓力等因素的影響，其水道圖像形狀也具有很大的不確定性。同時，水道的灰度值會受到光照和拍攝角度 的影響，變化非常大。因此，單純利用閾值分割的方法也難以獲得水道。但是， 實際上從視覺上從獲得的CCD圖像中能夠看出水道部分和背景圖像具有明顯的 邊界。水道跟蹤法以消防炮位置出發(fā)，沿出水方向，對圖像像素列逐列掃描，尋找 每像素列水道軌跡中心點。再將所有列的水道中心點連接成水道曲線，以水道曲 線終止位置確定為水道落水點位置。因此，水道識別的關鍵在于圖像的每個像素 列對于水道圖像的尋找。本發(fā)明在水道搜尋中利用灰度值統(tǒng)計法和軌跡預測兩個 方法相結合進行判定。先利用已確定水道軌跡通過灰度值統(tǒng)計的方法找到下個列 中水道位置，再由己確定的水道軌跡預測該列水道的預測位置。若該列的水道預 測位置與搜尋位置在一定的誤差范圍內，則確定該列水道，否則放棄該列水道位置，以同樣的方法搜尋下一列水道軌跡位置。若連續(xù)10列不能確定水道則認為 水道軌跡終止。假設已確定/個水道軌跡點，軌跡中心點像素坐標分別是0cuyO 0c,j;,)，第/ 像素列的中心點灰度為G,，水道寬度為&。則灰度統(tǒng)計法尋找和軌跡預測法預測 下一個軌跡中心點的方法為1、灰度統(tǒng)計法根據(jù)第z'列軌跡中心點的信息對第f+l列進行掃描，讀取像素點坐標為 (乂,+1,乂-&/2)~ (:c,+l,;;,+^/2)的灰度值分別為G0c,+1幵A;,/2), 0(^+1,"-&/2+1)，… G(x,+lj;rM;i/2)。找到第&1列灰度的最大值為Mcc(G(x,. +1，乂-夂/2)雄+l,_y,.—夂/2+1),..-,G(x,. +1^,. +《./2—1)雄+1^,. +夂/2))，以及最大值點對應的坐標為(^+1,3;;+1)。為了確定水道在/+1列上的寬度，以為中心，向兩個方向，即Cw,+1-V2-10)以及(、1,;;,+1)[](、1,3^1+&/2 + 10)尋找灰度突變點，即水道的邊界。由于水道灰度是漸變的，因此在第f+l列上，從(;c,^;^)向;;的兩個方向上灰度是遞減的，當?shù)剿肋吔鐣r灰度值會出現(xiàn)突變，即為水道邊界。以 y 正方向為例，即3ml,mleO;,+1,3;,+1+A+10],mleZ ， 從(x,+i^+i+l) (Xw jw-D已逐一判斷非邊界點，當>w滿足GO,+!,:^) — G(x,+":^w) > 0,iG(x,w,少w) — G(x,+p;^w)1 〉iG(x,",:^w) —G(>c,+1,;;ml—2)|則確定(x汁u^)為f+1像素列的上邊界，同理確定下邊界為(;cwj^)。則第/+1列 上的寬度為m2-wl。 2、軌跡預測法已確定z'個水道軌跡點，軌跡中心點像素坐標分別是0cuyO (x,w)，利用這z' 個點通過最小二乘法進行水道的曲線擬合，將xw帶入擬合曲線，得到第/+1個 點的水道軌跡預測值力+1。三、基于單目圖像的消防炮控制當系統(tǒng)發(fā)現(xiàn)火災，啟動消防炮后，水炮噴射的水道軌跡是否能夠打到起火點 上對于滅火的效率至關重要。本發(fā)明根據(jù)圖像獲取的火焰與水道落水點的相對位 置來調節(jié)消防炮，直至兩者重合。當發(fā)現(xiàn)火點后，根據(jù)雙波段攝像機的圖像利用雙目視差原理獲取的火焰的深 度距離信息，設置消防炮初始參數(shù)進行噴射。普通CCD相機獲取的圖像同時兼 有火焰和水道的圖像。然而普通CCD攝像機獲得的圖像是二維圖像，而它反應 的卻是三維空間。由二維圖像無法明確判斷三維空間中水道落水點和火焰的明確 相對位置。從圖像上反映的水道落實點與火焰的位置來看，消防:泡俯仰角的控制 是明確的。但是，其水平角的控制是難以確定的，如圖3所示。因此，本發(fā)明提出將消防炮的控制分兩步完成，先完成俯仰角的控制，再完 成水平角的控制。如圖3所示，根據(jù)4.水道直線距離與5.水道起始點到火點距離 的大小來實現(xiàn)俯仰角的調節(jié)。設置誤差允許范圍&，當《-^>0且|4-《|>^,則俯仰角控制往上，當^-《<0且|《-《|>&，則俯仰角控制往下。當俯仰角調整完成后，落水點和火焰位置與水炮安裝點可視為等距離的情 況，即圖4中5.水道起始點到火點距離《與9.消防泡俯仰角調整后起始點到火點距離《'近似相等。則從二維圖片將兩者在水平方向上的相對位置明確化，如圖4所示。根據(jù)圖4中^角的大小控制消防炮水平方向。設置角度誤差允許范圍 &,當6>0,|叫>&，則水平角向逆時針方向控制；當0<0,|叫>&，則水平角向順時針方向控制。
權利要求
1、一種消防炮水道和水道末端的識別方法，其特征在于包括以下步驟(1)、從水道起點即消防炮位置出發(fā)，沿消防炮出水方向，對水道圖像像素列逐列掃描，尋找每像素列水道軌跡中心點，每像素列水道軌跡中心點的尋找采用灰度值統(tǒng)計法和軌跡預測法相結合的方法，具體方法如下由已確定段水道軌跡預測下一像素列水道軌道中心點位置范圍；同時通過灰度值統(tǒng)計方法找到該像素列水道軌跡中心點；當灰度值統(tǒng)計方法找到的中心點處于軌跡預測法得到的中心點誤差范圍內，則以該灰度值統(tǒng)計方法找到的中心點作為該像素列水道軌跡中心位置；當灰度值統(tǒng)計方法找到的中心點不在軌跡預測法得到的中心點誤差范圍內，則舍去該次搜索結果，繼續(xù)尋找下一像素列水道軌跡中心點；(2)、將所有像素列水道軌跡中心點連接成水道曲線，當連續(xù)10列沒有找到軌跡中心點，則判定最后一次找到的像素列水道軌跡中心點即為水道末端位置。
全文摘要
本發(fā)明涉及一種消防炮水道和水道末端的識別方法，屬于火災監(jiān)測及自動滅火技術領域。該方法利用灰度統(tǒng)計法與軌跡預測法相結合的方法，從消防炮出水口出發(fā)，通過軌跡跟蹤的方法對圖像進行處理找到落水點，克服了通常模式識別方法只能識別相對固定形狀物體的缺點。為大空間消防炮自動滅火所需要的消防炮的閉環(huán)控制提供了條件。
文檔編號G06T7/00GK101574568SQ20091003303
公開日2009年11月11日 申請日期2009年6月8日 優(yōu)先權日2009年6月8日
發(fā)明者敏 姚, 敏 趙 申請人:南京航空航天大學