專利名稱：訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)及其方法
技術(shù)領(lǐng)域：
本發(fā)明涉及遙感航空、航天影像數(shù)據(jù)下傳及預(yù)處理領(lǐng)域，特別的是指一種訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)及其方法。
背景技術(shù)：
目前，遙感航空、航天技術(shù)發(fā)展迅猛，各種航空、航天器上搭載的傳感器都能拍攝大量的遙感影像圖片，這些圖片可以廣泛應(yīng)用于城市規(guī)劃、地圖制作、地形測(cè)量和國(guó)防建設(shè)等很多領(lǐng)域。遙感數(shù)據(jù)的來(lái)源主要包括衛(wèi)星和飛機(jī)，而數(shù)據(jù)的處理則在地面。通過(guò)數(shù)傳通路每天將這些圖片傳送到地面系統(tǒng)，一個(gè)傳感器每天可以下傳多達(dá)幾百GB甚至上TB的數(shù)據(jù)。地面系統(tǒng)的任務(wù)是接收這些數(shù)據(jù)并對(duì)這些數(shù)據(jù)進(jìn)行處理，其中預(yù)處理是一個(gè)重要的環(huán)節(jié)。訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)的工作是進(jìn)行數(shù)據(jù)歸檔、歸檔數(shù)據(jù)的編目和產(chǎn)品生產(chǎn)。
遙感數(shù)據(jù)預(yù)處理的方法主要采用兩類方式一種是利用工作站上的影像處理軟件，由操作員手工對(duì)數(shù)據(jù)進(jìn)行生產(chǎn)，生產(chǎn)后進(jìn)行歸檔；另一種采用高性能的小型機(jī)服務(wù)器，在服務(wù)器上進(jìn)行自動(dòng)化的批量數(shù)據(jù)處理。利用工作站上進(jìn)行手工生產(chǎn)的缺陷是系統(tǒng)與操作員的交互非常頻繁，處理效率比較低，無(wú)法進(jìn)行大數(shù)據(jù)量的處理；而利用小型機(jī)進(jìn)行生產(chǎn)雖然處理能力較強(qiáng)，但是軟硬件采購(gòu)以及系統(tǒng)維護(hù)的費(fèi)用非常昂貴。
此外，遙感數(shù)據(jù)預(yù)處理還存在著如何解決大量數(shù)據(jù)存檔問(wèn)題。如果全部采用磁盤存儲(chǔ)，由于數(shù)據(jù)量巨大，而且數(shù)據(jù)每天都在增長(zhǎng)，實(shí)施起來(lái)成本太高。用磁帶保存數(shù)據(jù)可以降低成本，但是磁帶的訪問(wèn)速度比磁盤要慢很多，因而需要同時(shí)采用磁盤和磁帶來(lái)保存數(shù)據(jù)。
目前，市面上有很多商用的數(shù)據(jù)備份軟件可以管理數(shù)據(jù)將數(shù)據(jù)保存到磁盤陣列和磁帶庫(kù)中，數(shù)據(jù)的遷移可以自動(dòng)管理，用戶只需要少量的開(kāi)發(fā)就可以對(duì)數(shù)據(jù)進(jìn)行歸檔和提取。但是這種方式只能對(duì)整個(gè)數(shù)據(jù)進(jìn)行保存和提取，無(wú)法從磁帶中提取一個(gè)數(shù)據(jù)的某個(gè)部分，而這恰恰是遙感圖像產(chǎn)品生產(chǎn)時(shí)所發(fā)生的絕大部分情形，因此商用軟件在遙感數(shù)據(jù)預(yù)處理領(lǐng)域的效率不高。另外，目前的商用歸檔遷移軟件只是考慮了數(shù)據(jù)的歸檔，沒(méi)有考慮數(shù)據(jù)價(jià)值的問(wèn)題，而遙感數(shù)據(jù)包含了地域信息，不同的地域其價(jià)值也不一樣，高價(jià)值的數(shù)據(jù)會(huì)被經(jīng)常訪問(wèn)，這樣數(shù)據(jù)回遷和使用上就有很多局限。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)不足而提供一個(gè)支持海量遙感數(shù)據(jù)歸檔、編目和影像產(chǎn)品生產(chǎn)的訂單驅(qū)動(dòng)的集群化預(yù)處理系統(tǒng)。
本發(fā)明的另一目的在于提供一種支持海量遙感數(shù)據(jù)歸檔、編目和影像產(chǎn)品生產(chǎn)的訂單驅(qū)動(dòng)的集群化預(yù)處理系統(tǒng)的方法，它能夠高效率的解決訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)中的數(shù)據(jù)保存、遷移和使用問(wèn)題，在實(shí)現(xiàn)系統(tǒng)功能的同時(shí)降低系統(tǒng)的建設(shè)成本。
本發(fā)明的技術(shù)方案是一種訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括訂單驅(qū)動(dòng)的工作流引擎子系統(tǒng)、集群化并行編目和生產(chǎn)子系統(tǒng)、多級(jí)存儲(chǔ)歸檔子系統(tǒng)、帶庫(kù)管理子系統(tǒng)、自動(dòng)化監(jiān)控子系統(tǒng)和可插拔算法服務(wù)器，其特征在于所述的訂單驅(qū)動(dòng)的工作流引擎子系統(tǒng)，它負(fù)責(zé)根據(jù)預(yù)定義的工作流程，驅(qū)動(dòng)各子系統(tǒng)完成生產(chǎn)任務(wù)。在工作流引擎的控制支持下，整個(gè)預(yù)處理系統(tǒng)如自動(dòng)機(jī)一樣運(yùn)轉(zhuǎn)，高效地完成圖像處理任務(wù)。它包括針對(duì)遙感預(yù)處理業(yè)務(wù)的工作流技術(shù)，根據(jù)任務(wù)優(yōu)先級(jí)的調(diào)度，高度持久對(duì)象緩存和對(duì)并發(fā)流程的支持。其中A)針對(duì)遙感預(yù)處理業(yè)務(wù)的工作流技術(shù)1)通過(guò)計(jì)算機(jī)技術(shù)的支持去定義、執(zhí)行和管理一個(gè)系統(tǒng)的各種工作流程，協(xié)調(diào)工作流執(zhí)行過(guò)程中工作之間以及群體成員之間的信息交互。
2)工作流管理系統(tǒng)將業(yè)務(wù)流程中工作如何組織協(xié)調(diào)在一起的規(guī)則抽象出來(lái)，生成工作流程的定義文件。
3)工作流程的定義采用XML文件的形式，每個(gè)工作流程對(duì)應(yīng)一個(gè)XML文件。管理員根據(jù)預(yù)定的工作流程，編寫(xiě)成XML文件，提交給系統(tǒng)處理，相應(yīng)的工作流程就可以開(kāi)始工作。如果要修改某一個(gè)工作流程，則由管理員編輯相應(yīng)的XML文件，提交之后，對(duì)相應(yīng)工作流程的修改就可以生效。
4)工作流程的定義可以由用戶按需配置、修改，保障本系統(tǒng)在自動(dòng)運(yùn)轉(zhuǎn)的前提下，具有最大的靈活性和適應(yīng)性。
B)根據(jù)任務(wù)優(yōu)先級(jí)調(diào)度工作流中的每一個(gè)任務(wù)都對(duì)應(yīng)成一個(gè)訂單，訂單分配一個(gè)優(yōu)先級(jí)，由于系統(tǒng)的資源有效，當(dāng)很多訂單需要運(yùn)行時(shí)，優(yōu)先級(jí)高的訂單會(huì)比優(yōu)先級(jí)低的訂單更快地調(diào)度執(zhí)行。
C)高速持久對(duì)象緩存1)訂單信息的持久化保存。每個(gè)工作流中的所有訂單一經(jīng)創(chuàng)建，系統(tǒng)就將訂單信息保存到數(shù)據(jù)庫(kù)中。這樣做便于統(tǒng)計(jì)系統(tǒng)的工作情況和訂單的執(zhí)行情況。
2)訂單信息的裝載。對(duì)于未執(zhí)行完畢的訂單，系統(tǒng)在重新啟動(dòng)的時(shí)候可以從數(shù)據(jù)庫(kù)中讀取出來(lái)，根據(jù)優(yōu)先級(jí)繼續(xù)調(diào)度執(zhí)行，保證任務(wù)的完整性。
3)訂單信息的更新。每個(gè)訂單在執(zhí)行的時(shí)候狀態(tài)會(huì)發(fā)生變化，這些變化將被實(shí)時(shí)地記錄到數(shù)據(jù)庫(kù)中。
D)對(duì)并發(fā)流程的控制日常情況下，同一時(shí)間內(nèi)會(huì)有多個(gè)工作流需要同時(shí)執(zhí)行，每個(gè)工作流又拆分出多個(gè)訂單。由于受到服務(wù)器資源的限制，為了提高效率，這些訂單不能全部同時(shí)運(yùn)行，所有的訂單都需要先排隊(duì)，等到系統(tǒng)有足夠資源的時(shí)候才會(huì)被執(zhí)行?？梢圆l(fā)執(zhí)行的訂單的數(shù)量可以由操作員通過(guò)配置文件來(lái)設(shè)定。
所述的集群化并行編目和生產(chǎn)子系統(tǒng)，是指利用集群化并行技術(shù)對(duì)航空、航天飛行器拍攝的長(zhǎng)條帶影像進(jìn)行編目，生成降分辨率的瀏覽圖、拇指圖和編目元數(shù)據(jù)信息，根據(jù)訂單要求生產(chǎn)不同級(jí)別的影像產(chǎn)品。它包括集群并行編目，數(shù)據(jù)搜索定位和集群生產(chǎn)。其中A)集群并行編目1)由于一次拍攝形成的遙感數(shù)據(jù)文件非常大，可達(dá)十幾個(gè)GB甚至幾十個(gè)GB的數(shù)據(jù)量，而且影像是一個(gè)縱向的很長(zhǎng)的條帶狀，一般的計(jì)算機(jī)屏幕無(wú)法瀏覽整個(gè)的圖像，對(duì)這些影像進(jìn)行查詢檢索就非常不方便。因此需要對(duì)遙感數(shù)據(jù)文件(FRED格式)進(jìn)行編目，將長(zhǎng)條帶圖像分解成接近正方形的小圖像(稱為景)，按一定比例采樣形成瀏覽圖，并提取每個(gè)景的編目元數(shù)據(jù)信息。瀏覽圖還是很大，因此在這個(gè)圖像的基礎(chǔ)上再生成更小比例的拇指圖以便于WEB方式的批量瀏覽。
2)編目的時(shí)候JAVA程序通過(guò)RMI遠(yuǎn)程調(diào)用JNI，JNI再調(diào)用底層的C++組件實(shí)現(xiàn)對(duì)數(shù)據(jù)的編目運(yùn)算，并將生成的元數(shù)據(jù)保存到XML或者SELF文件中，瀏覽圖與拇指圖文件存放在指定的文件目錄下。
3)系統(tǒng)在編目的時(shí)候多個(gè)集群計(jì)算節(jié)點(diǎn)可以同時(shí)處理該任務(wù)，每個(gè)計(jì)算節(jié)點(diǎn)又使用多個(gè)線程來(lái)進(jìn)行并發(fā)編目，確保一個(gè)條帶可以以最快的速度編目完畢。
B)數(shù)據(jù)搜索定位1)在集群化并行編目的情況下，多臺(tái)機(jī)器同時(shí)訪問(wèn)同一個(gè)遙感數(shù)據(jù)文件，但是每個(gè)并行節(jié)點(diǎn)訪問(wèn)的數(shù)據(jù)位置不同，所需的數(shù)據(jù)片斷通過(guò)一種數(shù)據(jù)時(shí)間與文件中數(shù)據(jù)偏移量的換算，每個(gè)集群節(jié)點(diǎn)可以精確地找到所需的數(shù)據(jù)。
2)每個(gè)計(jì)算節(jié)點(diǎn)中的編目線程根據(jù)自己負(fù)責(zé)的景的序號(hào)(path/row)在影像條帶中搜索定位，找到相應(yīng)的起始位置然后讀取該景的數(shù)據(jù)。線程之間互不干擾，完全獨(dú)立。
C)集群生產(chǎn)1)采用多個(gè)集群計(jì)算節(jié)點(diǎn)進(jìn)行產(chǎn)品生產(chǎn)，每個(gè)節(jié)點(diǎn)又有多個(gè)工作線程。
2)生產(chǎn)過(guò)程是將原始的FRED格式的景轉(zhuǎn)變成通用格式的圖像文件的過(guò)程，包括輻射校正和幾何校正。生產(chǎn)的同時(shí)還對(duì)圖像產(chǎn)品進(jìn)行編目，提取出產(chǎn)品的元數(shù)據(jù)。
3)生產(chǎn)訂單的控制采用JAVA程序控制，生產(chǎn)的算法則用C++來(lái)實(shí)現(xiàn)，JAVA通過(guò)JNI的方式調(diào)用C++的程序，二者共同完成產(chǎn)品的生產(chǎn)。
4)系統(tǒng)可以通過(guò)配置增減產(chǎn)品生產(chǎn)集群服務(wù)器的數(shù)量，以適應(yīng)業(yè)務(wù)的需要。
所述的多級(jí)存儲(chǔ)歸檔子系統(tǒng)，是指在不同的共享存儲(chǔ)架構(gòu)的基礎(chǔ)上，根據(jù)數(shù)據(jù)的價(jià)值和使用要求在磁盤陣列和磁帶庫(kù)之間進(jìn)行數(shù)據(jù)的歸檔和遷移。它包括基于價(jià)值評(píng)估的遷移，數(shù)據(jù)歸檔管理，存儲(chǔ)設(shè)備管理。其中A)基于價(jià)值評(píng)估的遷移1)指根據(jù)數(shù)據(jù)的類型與屬性(大小、重要度、訪問(wèn)頻度等)、存儲(chǔ)設(shè)備的屬性(訪問(wèn)速度、容量等)，將相應(yīng)的數(shù)據(jù)保存在最合適的存儲(chǔ)設(shè)備上。
2)文件數(shù)據(jù)的重要度根據(jù)操作員設(shè)定的規(guī)則(如地域規(guī)則，產(chǎn)品級(jí)別等)系統(tǒng)自動(dòng)計(jì)算；訪問(wèn)頻度則根據(jù)系統(tǒng)對(duì)該數(shù)據(jù)的訪問(wèn)情況自動(dòng)記錄到數(shù)據(jù)庫(kù)中；設(shè)備的訪問(wèn)速度和容量則由操作員配置指定。
3)數(shù)據(jù)的大小、重要度、訪問(wèn)頻度等都對(duì)應(yīng)價(jià)值計(jì)算的權(quán)重，操作員可以通過(guò)配置文件設(shè)定權(quán)重。系統(tǒng)則根據(jù)配置文件自動(dòng)計(jì)算每個(gè)數(shù)據(jù)當(dāng)前的價(jià)值。在操作員沒(méi)有設(shè)定的情況下，系統(tǒng)自動(dòng)給出一個(gè)缺省的權(quán)重。
4)操作員可以通過(guò)配置文件定義不同價(jià)值數(shù)據(jù)的遷移規(guī)則，規(guī)定何時(shí)遷移，遷移到哪個(gè)存儲(chǔ)設(shè)備。
B)數(shù)據(jù)歸檔管理
1)對(duì)系統(tǒng)內(nèi)所有需要保存的數(shù)據(jù)進(jìn)行歸檔，根據(jù)需要進(jìn)行備份，并提供歸檔數(shù)據(jù)的查詢功能。
2)數(shù)據(jù)歸檔分為多個(gè)級(jí)別，比如在線、近線和離線。操作員可以通過(guò)配置文件設(shè)定任意多個(gè)歸檔級(jí)別以適應(yīng)不同的需要。
3)存儲(chǔ)系統(tǒng)支持SAN、NAS和NFS等多種共享存儲(chǔ)架構(gòu)。對(duì)于SAN架構(gòu)，每臺(tái)數(shù)據(jù)訪問(wèn)的服務(wù)器都需要安裝存儲(chǔ)共享軟件。
C)存儲(chǔ)設(shè)備管理1)存儲(chǔ)設(shè)備包括磁盤陣列和磁帶庫(kù)。
2)操作員可以增加和減少可用的磁盤陣列分區(qū)以及可用的磁帶庫(kù)和磁帶機(jī)，便于系統(tǒng)的存儲(chǔ)容量擴(kuò)展以及不停機(jī)進(jìn)行存儲(chǔ)設(shè)備維護(hù)。
3)系統(tǒng)提供方便的監(jiān)控界面，使操作員能對(duì)存儲(chǔ)設(shè)備的工作狀態(tài)一目了然。
所述的帶庫(kù)管理子系統(tǒng)，是一種支持多磁帶庫(kù)、多磁帶機(jī)、多介質(zhì)類型和多記錄格式的軟件。該子系統(tǒng)是專門針對(duì)磁帶庫(kù)數(shù)據(jù)存儲(chǔ)的管理平臺(tái)，為用戶提供獨(dú)立于業(yè)務(wù)的磁帶庫(kù)存儲(chǔ)服務(wù)。磁帶庫(kù)可以被看作一個(gè)容量巨大的存儲(chǔ)池，隨時(shí)可以向池中保存數(shù)據(jù)，當(dāng)需要的時(shí)候再?gòu)某刂邪褦?shù)據(jù)提取出來(lái)。帶庫(kù)管理子系統(tǒng)將記錄所有保存在磁帶中的數(shù)據(jù)信息，不管磁帶在自動(dòng)磁帶庫(kù)中還是在離線帶架上。帶庫(kù)管理子系統(tǒng)包括邏輯分區(qū)技術(shù)、優(yōu)化調(diào)度技術(shù)、分布式遷移器架構(gòu)、擴(kuò)展數(shù)據(jù)格式插件、基于元數(shù)據(jù)自動(dòng)磁帶檢查、自動(dòng)帶機(jī)維護(hù)、多種標(biāo)準(zhǔn)訪問(wèn)接口。其中A)邏輯分區(qū)技術(shù)
1)系統(tǒng)將各磁帶庫(kù)各類型的近線和離線磁帶的存儲(chǔ)空間視為一個(gè)完整的、容量近乎無(wú)限的磁帶庫(kù)存儲(chǔ)空間。按介質(zhì)類型、讀寫(xiě)格式等綜合因素，將存儲(chǔ)空間劃分為若干個(gè)邏輯分區(qū)。一個(gè)邏輯分區(qū)限定了它所允許使用的若干帶庫(kù)、若干介質(zhì)類型(比如LT02、DLT等)，限定了它必須使用的數(shù)據(jù)類型(比如FRED、tar等)，以及限定它所允許的最大并發(fā)讀寫(xiě)數(shù)量等。
2)每一盤新磁帶被使用前需要注冊(cè)，將其納入整個(gè)存儲(chǔ)空間。注冊(cè)磁帶時(shí)無(wú)需指定其所屬分區(qū)，當(dāng)一盤空白磁帶被某個(gè)分區(qū)使用后，該磁帶即被劃分到該分區(qū)中，此后就不能再被其它分區(qū)識(shí)別和使用了。
3)分區(qū)屬于系統(tǒng)內(nèi)部概念，對(duì)外界是透明的。當(dāng)歸檔數(shù)據(jù)時(shí)，系統(tǒng)按照用戶提供的數(shù)據(jù)類型、業(yè)務(wù)類型及是否已軟件壓縮等信息，從預(yù)先配置好的業(yè)務(wù)映射表中查詢出應(yīng)該使用的內(nèi)部分區(qū)，于是此次歸檔的數(shù)據(jù)將會(huì)被寫(xiě)入屬于該分區(qū)的磁帶中。
B)優(yōu)化調(diào)度技術(shù)，用于訂單管理、任務(wù)調(diào)度、資源調(diào)配、線程管理、遷移器管理等核心工作，通過(guò)內(nèi)置的優(yōu)化方案，提高任務(wù)調(diào)度的效率1)訂單被分為磁帶數(shù)據(jù)讀寫(xiě)訂單和磁帶遷移訂單兩大類。
2)任何一個(gè)訂單在某一時(shí)刻都處于某個(gè)狀態(tài)，在該狀態(tài)下可以進(jìn)行某些操作。
3)所有的訂單在執(zhí)行之前都需要排隊(duì)，驅(qū)動(dòng)器調(diào)度線程會(huì)彼此同步地從讀寫(xiě)訂單排隊(duì)隊(duì)列中取訂單來(lái)執(zhí)行。
4)每個(gè)磁帶庫(kù)實(shí)體內(nèi)都存在一個(gè)IO槽掃描線程，完成磁帶自動(dòng)遷入和遷出工作。
C)分布式遷移器架構(gòu)。數(shù)據(jù)遷移器專門負(fù)責(zé)磁帶讀寫(xiě)操作。磁帶庫(kù)內(nèi)的每個(gè)驅(qū)動(dòng)器設(shè)備將對(duì)應(yīng)若干個(gè)數(shù)據(jù)遷移器，這些數(shù)據(jù)遷移器都以獨(dú)立的進(jìn)程分別運(yùn)行在不同的Linux主機(jī)上，并通過(guò)RMI遠(yuǎn)程接口綁定到磁帶庫(kù)存儲(chǔ)系統(tǒng)的調(diào)度內(nèi)核上。在調(diào)度內(nèi)核中每個(gè)驅(qū)動(dòng)器都對(duì)應(yīng)一個(gè)調(diào)度線程，該線程通過(guò)調(diào)度策略獲取訂單，然后將具體的磁帶讀寫(xiě)操作交給一個(gè)最合適的數(shù)據(jù)遷移器來(lái)完成，原則上是找一個(gè)運(yùn)行在系統(tǒng)負(fù)載最小的Linux主機(jī)上的數(shù)據(jù)遷移器。
D)擴(kuò)展數(shù)據(jù)格式插件1)數(shù)據(jù)遷移器在進(jìn)行磁帶讀寫(xiě)時(shí)，是按照一定的數(shù)據(jù)格式來(lái)進(jìn)行的。具體采用哪種數(shù)據(jù)格式完全由用戶業(yè)務(wù)來(lái)決定，系統(tǒng)并未限定哪種數(shù)據(jù)格式，而是通過(guò)一個(gè)可配置的框架，由用戶將針對(duì)自己的數(shù)據(jù)格式的讀寫(xiě)方式嵌入到系統(tǒng)中。
2)每種具體的數(shù)據(jù)格式都對(duì)應(yīng)一個(gè)數(shù)據(jù)類型驅(qū)動(dòng)器(DataTypeDriver)，該驅(qū)動(dòng)器實(shí)現(xiàn)了一個(gè)寫(xiě)磁帶接口和一個(gè)讀磁帶接口，具體的實(shí)現(xiàn)方式由數(shù)據(jù)格式而定。比如tar格式，可以采用直接調(diào)用系統(tǒng)tar命令的實(shí)現(xiàn)方式；而FRED格式則可以通過(guò)jni調(diào)用c程序的方式，直接用二進(jìn)制流進(jìn)行讀寫(xiě)。
E)基于元數(shù)據(jù)自動(dòng)磁帶檢查1)磁帶數(shù)據(jù)檢測(cè)工具負(fù)責(zé)對(duì)已有磁帶中所歸檔的數(shù)據(jù)進(jìn)行驗(yàn)證，檢查這些數(shù)據(jù)在磁帶中的存儲(chǔ)結(jié)構(gòu)是否與在數(shù)據(jù)庫(kù)中存儲(chǔ)的元數(shù)據(jù)保持一致，以判斷數(shù)據(jù)是否損壞。
2)磁帶數(shù)據(jù)檢測(cè)工具獨(dú)立于帶庫(kù)系統(tǒng)之外單獨(dú)運(yùn)行，支持同時(shí)掛接多個(gè)不同類型的外置帶機(jī)(包括LT02、DLT等)，同時(shí)檢測(cè)多盤磁帶。整個(gè)檢測(cè)進(jìn)度可被監(jiān)控，也可被終止。
3)在每個(gè)帶機(jī)上的檢測(cè)工作都由一個(gè)獨(dú)立進(jìn)程來(lái)完成，而檢測(cè)工具的主進(jìn)程則負(fù)責(zé)監(jiān)控這些工作進(jìn)程，這樣當(dāng)某個(gè)檢測(cè)過(guò)程出現(xiàn)異常時(shí)，不會(huì)對(duì)其它檢測(cè)過(guò)程造成影響。
F)自動(dòng)帶機(jī)維護(hù)1)自動(dòng)帶機(jī)清洗磁帶機(jī)的清洗由系統(tǒng)自動(dòng)完成，各種介質(zhì)類型的清洗帶被注冊(cè)到系統(tǒng)后，由帶庫(kù)管理系統(tǒng)統(tǒng)一管理。當(dāng)系統(tǒng)判斷某個(gè)帶機(jī)需要清洗時(shí)，將自動(dòng)加載合適的清洗帶進(jìn)行清洗，完成后，自動(dòng)把清洗帶從帶機(jī)中取出。操作員可以配置帶機(jī)需要清洗的條件，設(shè)置清洗工作的最佳執(zhí)行時(shí)間，以保證不影響正常業(yè)務(wù)運(yùn)作。
2)自動(dòng)狀態(tài)監(jiān)控系統(tǒng)實(shí)時(shí)記錄每個(gè)帶機(jī)當(dāng)前的狀態(tài)，比如是否空閑、正在讀數(shù)據(jù)、正在裝載或卸載磁帶，磁帶機(jī)當(dāng)前是否可用等。這些狀態(tài)信息通過(guò)界面展示給操作員，操作員可以據(jù)此判斷系統(tǒng)是否工作正常。
3)自動(dòng)錯(cuò)誤報(bào)警磁帶保存一段時(shí)間之后，上面的數(shù)據(jù)就可能讀不出來(lái)，磁帶機(jī)就會(huì)發(fā)生讀錯(cuò)誤。在這種情況下，系統(tǒng)能夠通過(guò)界面向操作員報(bào)警，提示某個(gè)磁帶機(jī)在讀取某一盤磁帶時(shí)發(fā)生錯(cuò)誤，由操作員決定是重試還是失敗。
G)多種標(biāo)準(zhǔn)訪問(wèn)接口服務(wù)的對(duì)外發(fā)布采用多種通訊方式，比如WebService、RMI、JMS等，以適應(yīng)各種用戶業(yè)務(wù)和管理需求。
所述的自動(dòng)化監(jiān)控子系統(tǒng)，是指基于SNMP協(xié)議，對(duì)待監(jiān)控設(shè)備或者系統(tǒng)的MIB(管理信息庫(kù))文件進(jìn)行解析，自動(dòng)生成相應(yīng)的Java源文件，這些文件經(jīng)過(guò)編譯后可以集成到系統(tǒng)中，對(duì)設(shè)備的工作狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控。另外還監(jiān)控其他幾個(gè)子系統(tǒng)服務(wù)器端的運(yùn)行情況。當(dāng)設(shè)備或子系統(tǒng)發(fā)生故障的時(shí)候以多種方式通知系統(tǒng)管理員。該子系統(tǒng)包括客戶端配置模塊、服務(wù)端客戶端接口模塊、服務(wù)端配置模塊、子系統(tǒng)監(jiān)聽(tīng)模塊、數(shù)據(jù)訪問(wèn)模塊、任務(wù)調(diào)度模塊、SNMP通信模塊、服務(wù)端管理模塊。其中A)客戶端配置模塊，負(fù)責(zé)讀取客戶端的配置文件，將其轉(zhuǎn)化為Java內(nèi)部可以識(shí)別的、類型安全的類的實(shí)例，同時(shí)還需要驗(yàn)證客戶端配置文件的有效性。
B)服務(wù)端客戶端接口模塊，定義了監(jiān)控子系統(tǒng)客戶端與服務(wù)器端的通信接口。具體的接口形式為Java RMI。
C)服務(wù)端配置模塊，負(fù)責(zé)對(duì)服務(wù)器端的配置文件進(jìn)行讀取，將其轉(zhuǎn)化為Java內(nèi)部可以識(shí)別的、帶有類型信息的類的實(shí)例，并對(duì)配置信息進(jìn)行驗(yàn)證。
D)子系統(tǒng)監(jiān)聽(tīng)模塊，負(fù)責(zé)從各個(gè)子系統(tǒng)接收遠(yuǎn)程調(diào)用。監(jiān)控子系統(tǒng)使用JavaRMI作為被監(jiān)控子系統(tǒng)與監(jiān)控子系統(tǒng)之間的通訊方式。被監(jiān)控子系統(tǒng)向監(jiān)控子系統(tǒng)發(fā)送心跳信號(hào)、子系統(tǒng)退出信號(hào)與子系統(tǒng)出現(xiàn)故障的信號(hào)，由監(jiān)控子系統(tǒng)再通知系統(tǒng)操作員進(jìn)行處理。
E)數(shù)據(jù)訪問(wèn)模塊，負(fù)責(zé)服務(wù)器端對(duì)Oracle關(guān)系型數(shù)據(jù)庫(kù)的訪問(wèn)。
F)任務(wù)調(diào)度模塊，負(fù)責(zé)調(diào)度所有的SNMP輪詢?nèi)蝿?wù)。在配置文件更新的時(shí)候所有的后臺(tái)線程都會(huì)被取消掉，然后再重新啟動(dòng)。平時(shí)則按照對(duì)應(yīng)被監(jiān)控設(shè)備或者系統(tǒng)指定的延時(shí)定時(shí)啟動(dòng)SNMP輪詢?nèi)蝿?wù)。
G)SNMP通信模塊，負(fù)責(zé)根據(jù)每個(gè)設(shè)備或者系統(tǒng)的SNMP監(jiān)控配置信息對(duì)其進(jìn)行SNMP連接、通訊與查詢1)它需要的配置信息包括待監(jiān)控的設(shè)備或者系統(tǒng)的地址、端口號(hào)、底層傳輸協(xié)議、SNMP版本、認(rèn)證信息、輪詢延時(shí)與設(shè)備類型以及待監(jiān)控的設(shè)備或者系統(tǒng)的待監(jiān)控MIB。
2)它在運(yùn)行時(shí)根據(jù)配置信息動(dòng)態(tài)載入相應(yīng)的MIB解析類，并創(chuàng)建實(shí)例，調(diào)用其方法進(jìn)行MIB信息的解析直到其需要的所有的MIB信息都已獲得，然后再將這些信息通過(guò)數(shù)據(jù)庫(kù)訪問(wèn)模塊保存在數(shù)據(jù)庫(kù)中。
H)服務(wù)端管理模塊是整個(gè)監(jiān)控子系統(tǒng)服務(wù)器端的核心模塊1)它負(fù)責(zé)啟動(dòng)與關(guān)閉整個(gè)子系統(tǒng)。
2)通過(guò)服務(wù)端配置模塊讀取配置信息并分配到各個(gè)模塊。
3)對(duì)比MIB信息的差異。
4)檢查MIB信息的具體項(xiàng)值是否超過(guò)了配置文件中設(shè)置的閾值，并在發(fā)生這些情況的時(shí)候通知客戶端。
所述的可插拔算法服務(wù)器，是指一種圖像處理算法與調(diào)用軟件之間的架構(gòu)。圖像校正算法多種多樣，不同的研制單位有各自的特長(zhǎng)，其校正算法各有優(yōu)缺點(diǎn)。為了最大程度上利用各研制單位的優(yōu)勢(shì)，降低用戶風(fēng)險(xiǎn)，采用可插拔算法服務(wù)器架構(gòu)，明確定義業(yè)務(wù)流程管理模塊與算法服務(wù)模塊的接口，使得多家軟件開(kāi)發(fā)商可以遵照接口定義開(kāi)發(fā)出不同的算法，然后根據(jù)不同算法在效率、精度、易用性等方面的比較，選擇其中之一嵌入圖像處理體系架構(gòu)之中。包括業(yè)務(wù)流程管理模塊、算法服務(wù)模塊以及它們之間的接口。其中
A)業(yè)務(wù)流程管理模塊，負(fù)責(zé)處理業(yè)務(wù)邏輯，調(diào)用算法服務(wù)模塊中的算法完成產(chǎn)品生產(chǎn)任務(wù)。
B)算法服務(wù)模塊，負(fù)責(zé)實(shí)現(xiàn)輻射校正和幾何校正的功能1)它是一個(gè)動(dòng)態(tài)鏈接庫(kù)，其輸入的參數(shù)包括產(chǎn)品生產(chǎn)所需要的眾多參數(shù)，輸出的參數(shù)為訂單執(zhí)行結(jié)果，包括成功/失敗標(biāo)識(shí)，以及可能出現(xiàn)的錯(cuò)誤原因。
2)動(dòng)態(tài)鏈接庫(kù)必須提供自描述功能，即提供標(biāo)準(zhǔn)的函數(shù)，列舉其支持的各類算法。例如，一個(gè)函數(shù)列舉其支持的所有地球模型；另一個(gè)函數(shù)列舉其支持的各類輻射校正算法等。
3)動(dòng)態(tài)鏈接庫(kù)的作者應(yīng)保證算法的效率、精度、正確性、以及對(duì)系統(tǒng)資源的合理利用。
C)業(yè)務(wù)流程管理模塊與算法服務(wù)模塊的接口，是一種模塊間的調(diào)用約定，包括服務(wù)的名稱、參數(shù)和返回的結(jié)果等。
一種訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)方法，它包括A)登錄系統(tǒng)輸入操作員的帳號(hào)和密碼，進(jìn)入主界面。
B)打開(kāi)各子系統(tǒng)主窗口點(diǎn)擊主界面上的導(dǎo)航按鈕，系統(tǒng)會(huì)打開(kāi)子系統(tǒng)的主窗口，同時(shí)連接后臺(tái)服務(wù)程序。
C)進(jìn)入用戶管理子系統(tǒng)1)創(chuàng)建用戶在用戶信息對(duì)話框中填入用戶名稱、密碼、真實(shí)姓名、單位、郵箱等信息，提交后保存到數(shù)據(jù)庫(kù)中。
2)查詢用戶信息從用戶列表中選擇需要查看的用戶，系統(tǒng)彈出對(duì)話框顯示該用戶的注冊(cè)信息。另外可以查詢?cè)撚脩舢?dāng)前是否在線。
3)修改用戶信息從用戶列表中選擇需要查看的用戶，點(diǎn)擊″修改″按鈕，系統(tǒng)彈出對(duì)話框顯示該用戶的注冊(cè)信息。修改后點(diǎn)擊″確定″按鈕，新的用戶信息就被保存到數(shù)據(jù)庫(kù)中。
4)刪除用戶操作員可以從用戶列表中選擇用戶進(jìn)行刪除。
D)進(jìn)入工作流引擎子系統(tǒng)1)查看系統(tǒng)當(dāng)前的工作流和訂單用戶可以設(shè)置過(guò)濾條件，使窗口只顯示符合條件的工作流和訂單。
2)新建請(qǐng)求用戶可以從系統(tǒng)的菜單中創(chuàng)建各種請(qǐng)求，包括數(shù)據(jù)歸檔請(qǐng)求、數(shù)據(jù)編目請(qǐng)求、數(shù)據(jù)提取請(qǐng)求和產(chǎn)品生產(chǎn)請(qǐng)求。
3)查看工作流和訂單信息通過(guò)右鍵點(diǎn)擊某個(gè)工作流或訂單，操作員可以看到它的各個(gè)參數(shù)和當(dāng)前的運(yùn)行狀態(tài)。
4)刪除工作流操作員可以刪除已經(jīng)完成或失敗的工作流。
E)進(jìn)入產(chǎn)品生產(chǎn)子系統(tǒng)1)查看訂單列表所有的產(chǎn)品生產(chǎn)訂單分成排隊(duì)訂單、活動(dòng)訂單、非活動(dòng)訂單和結(jié)束訂單這幾類。
2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請(qǐng)求操作員干涉的消息、系統(tǒng)信息、警告和錯(cuò)誤信息。
3)控制運(yùn)行通過(guò)右鍵點(diǎn)擊某個(gè)訂單，從彈出菜單中選擇所需操作。
4)創(chuàng)建生產(chǎn)訂單從菜單中打開(kāi)產(chǎn)品生產(chǎn)訂單的對(duì)話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行。
F)進(jìn)入編目子系統(tǒng)1)查看訂單列表所有的數(shù)據(jù)編目訂單分成排隊(duì)訂單、活動(dòng)訂單、非活動(dòng)訂單和結(jié)束訂單這幾類。
2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請(qǐng)求操作員干涉的消息、系統(tǒng)信息、警告和錯(cuò)誤信息。
3)控制運(yùn)行通過(guò)右鍵點(diǎn)擊某個(gè)訂單，從彈出菜單中選擇所需操作。
4)創(chuàng)建數(shù)據(jù)編目訂單從菜單中打開(kāi)數(shù)據(jù)編目訂單的對(duì)話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行。
G)進(jìn)入歸檔子系統(tǒng)1)查看訂單列表所有的數(shù)據(jù)歸檔和提取訂單分成排隊(duì)訂單、活動(dòng)訂單、非活動(dòng)訂單和結(jié)束訂單這幾類。
2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請(qǐng)求操作員干涉的消息、系統(tǒng)信息、警告和錯(cuò)誤信息。
3)控制運(yùn)行通過(guò)右鍵點(diǎn)擊某個(gè)訂單，從彈出菜單中選擇所需操作。
4)創(chuàng)建數(shù)據(jù)歸檔或提取訂單從菜單中打開(kāi)數(shù)據(jù)編目訂單的對(duì)話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行。
5)查詢歸檔數(shù)據(jù)輸入查詢條件，系統(tǒng)查詢數(shù)據(jù)庫(kù)，將結(jié)果以列表方式顯示給用戶。
6)查看存儲(chǔ)空間信息系統(tǒng)通過(guò)一個(gè)對(duì)話框顯示每一類數(shù)據(jù)所占用的存儲(chǔ)空間的大小以及總?cè)萘?，并用不向的顏色顯示當(dāng)前空間占用的百分比，如果超過(guò)某個(gè)閾值，顯示紅色報(bào)警。
H)進(jìn)入帶庫(kù)管理子系統(tǒng)1)查看訂單列表和操作隊(duì)列所有的數(shù)據(jù)歸檔和提取訂單都進(jìn)行排隊(duì)，經(jīng)過(guò)優(yōu)化組合形成操作隊(duì)列。
2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請(qǐng)求操作員干涉的消息、系統(tǒng)信息、警告和錯(cuò)誤信息。當(dāng)操作員將磁帶遷入或遷出帶庫(kù)之后，需要在系統(tǒng)消息中進(jìn)行確認(rèn)。另外在發(fā)生磁帶讀寫(xiě)故障時(shí)也需要操作員對(duì)消息進(jìn)行響應(yīng)，通過(guò)右鍵菜單決定是重試還是忽略或者標(biāo)記為壞帶。
3)查看機(jī)械手的狀態(tài)顯示磁帶庫(kù)的機(jī)械手當(dāng)前是正在遷移磁帶、掃描帶庫(kù)、掃描I/O槽還是空閑。如果是遷移磁帶，系統(tǒng)給出磁帶源槽位和目標(biāo)槽位的槽位號(hào)。
4)查看磁帶機(jī)的狀態(tài)系統(tǒng)在列表中顯示帶庫(kù)中的每個(gè)帶機(jī)當(dāng)前的狀態(tài)，包括正在裝載、正在讀數(shù)據(jù)、正在卸載和空閑，另外還列出了每個(gè)帶機(jī)當(dāng)前所裝載的磁帶的條碼。
5)查看磁帶庫(kù)的信息系統(tǒng)以對(duì)話框顯示所管理的磁帶庫(kù)中所有槽位中的磁帶條碼以及空閑槽位的數(shù)量。
6)查詢磁帶數(shù)據(jù)信息輸入磁帶的條碼號(hào)，系統(tǒng)查詢數(shù)據(jù)庫(kù)，將查詢結(jié)果顯示給用戶。查詢結(jié)果包括磁帶的容量、剩余容量、保存的數(shù)據(jù)類型、歸檔級(jí)別、首次和末次使用時(shí)間以及保存的數(shù)據(jù)列表。
7)遷移磁帶用戶可以通過(guò)系統(tǒng)菜單下達(dá)磁帶遷移訂單，將磁帶從磁帶庫(kù)遷移到離線或從離線遷移到帶庫(kù)。一次可以對(duì)多盤磁帶進(jìn)行遷移。
I)進(jìn)入監(jiān)控子系統(tǒng)1)查看各子系統(tǒng)的運(yùn)行狀況系統(tǒng)通過(guò)類表方式顯示各子系統(tǒng)的啟動(dòng)時(shí)間、啟動(dòng)用戶帳號(hào)、服務(wù)器IP地址和當(dāng)前的狀態(tài)(運(yùn)行中、已關(guān)閉)。
2)查看設(shè)備的狀態(tài)操作員可以瀏覽被管理設(shè)備和系統(tǒng)的MIB信息。
3)添加監(jiān)控設(shè)備操作員可以指定想要監(jiān)控的設(shè)備，輸入其IP地址即可。
4)關(guān)閉子系統(tǒng)用戶可以選擇一個(gè)子系統(tǒng)，點(diǎn)擊″關(guān)閉子系統(tǒng)″按鈕向該子系統(tǒng)發(fā)送一個(gè)關(guān)閉命令。
本發(fā)明的優(yōu)點(diǎn)在于1、訂單驅(qū)動(dòng)的自動(dòng)化處理流程。系統(tǒng)將一個(gè)大的流程拆分成多個(gè)訂單，提交給相應(yīng)的子系統(tǒng)去執(zhí)行，由一個(gè)子系統(tǒng)來(lái)協(xié)調(diào)這些訂單的處理結(jié)果和任務(wù)分派，當(dāng)所有的訂單都處理完畢后，該子系統(tǒng)再向用戶或外部接口系統(tǒng)返回整個(gè)流程的處理結(jié)果。在數(shù)據(jù)處理過(guò)程中，所有的步驟都是自動(dòng)進(jìn)行，基本不須人工干預(yù)(包括對(duì)某些異常情況的自動(dòng)處理)，因此能極大提高整個(gè)系統(tǒng)的工作效率。
2、集群化的并行生產(chǎn)方式。數(shù)據(jù)的歸檔、編目、生產(chǎn)和提取都可以通過(guò)多臺(tái)服務(wù)器進(jìn)行，服務(wù)器節(jié)點(diǎn)的數(shù)量可以根據(jù)業(yè)務(wù)需要進(jìn)行擴(kuò)展和收縮，擴(kuò)展性非常好。由于某種類型的任務(wù)可以在多臺(tái)機(jī)器上運(yùn)行，當(dāng)某臺(tái)服務(wù)器失效時(shí)，整個(gè)系統(tǒng)還能保持這項(xiàng)功能，只是性能下降而已，整個(gè)集群的機(jī)構(gòu)可靠性非常高。多臺(tái)服務(wù)器可以同時(shí)處理多個(gè)任務(wù)，整體性能得以提高。集群化可以使用戶采用性價(jià)比更高的PC服務(wù)器來(lái)構(gòu)建系統(tǒng)，而不需要投入巨資購(gòu)買小型機(jī)這樣的設(shè)備來(lái)達(dá)到相同的性能。
3、可插拔的算法服務(wù)器。遙感數(shù)據(jù)處理的步驟主要包括輻射校正和幾何校正。即對(duì)原始數(shù)據(jù)應(yīng)用圖像處理算法，在其他輔助數(shù)據(jù)的參與下，最后生產(chǎn)出某種格式的圖像(比如GEOTIFF格式)。算法的種類很多，國(guó)內(nèi)外也有多個(gè)公司實(shí)現(xiàn)了某些算法，另外傳感器類型多樣，為了支持多傳感器和多個(gè)廠家的多種算法，本系統(tǒng)提供了一種可插拔的算法服務(wù)器架構(gòu)。系統(tǒng)定義了一個(gè)標(biāo)準(zhǔn)的接口，任何符合該接口的算法都可以被該系統(tǒng)所使用。這種巧妙結(jié)合即方便了用戶采購(gòu)最好的算法，又解決了算法的改進(jìn)優(yōu)化問(wèn)題，而且當(dāng)新的傳感器數(shù)據(jù)需要處理時(shí)，用戶可以用最小的代價(jià)來(lái)實(shí)現(xiàn)。
4、海量數(shù)據(jù)的高效管理。傳感器遙感數(shù)據(jù)的數(shù)據(jù)量非常巨大，每天可以達(dá)到幾百GB甚至更多。本系統(tǒng)能夠多如此海量的數(shù)據(jù)進(jìn)行高效的管理。常用的數(shù)據(jù)放在磁盤陣列上，不常用的數(shù)據(jù)放在磁帶庫(kù)中，基本不用的數(shù)據(jù)就保存在磁帶架上。系統(tǒng)可以根據(jù)需要設(shè)置多個(gè)存儲(chǔ)級(jí)別，按數(shù)據(jù)的類型或用途分區(qū)存放，可以配置設(shè)定每個(gè)類型的數(shù)據(jù)在各個(gè)存儲(chǔ)分區(qū)和存儲(chǔ)級(jí)別上的遷移規(guī)則，對(duì)數(shù)據(jù)進(jìn)行整個(gè)生命周期的管理。
5、智能化的帶庫(kù)管理。在一個(gè)大型的訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)中，由于數(shù)據(jù)量巨大或者由于歷史原因最后導(dǎo)致數(shù)據(jù)保存的不同類型的磁帶中。要讀寫(xiě)這些磁帶可能需要采用不同的磁帶機(jī)和磁帶庫(kù)。本系統(tǒng)成功地實(shí)現(xiàn)了異種帶庫(kù)的控制，能夠通過(guò)SCSI命令調(diào)度機(jī)械手抓取磁帶，對(duì)帶機(jī)進(jìn)行自動(dòng)清洗。另外，本系統(tǒng)的帶庫(kù)管理子系統(tǒng)實(shí)施一種高效策略，周期性地掃描磁帶庫(kù)的I/O槽，自動(dòng)實(shí)施磁帶的遷入和遷出。系統(tǒng)能夠自動(dòng)識(shí)別帶庫(kù)中最舊的磁帶，在系統(tǒng)空閑的時(shí)候自動(dòng)進(jìn)行倒帶操作，提高了磁帶的使用壽命。
6、磁帶數(shù)據(jù)的高效訪問(wèn)。本系統(tǒng)能夠在不同類型的磁帶機(jī)上讀寫(xiě)不同的磁帶數(shù)據(jù)，解決了歷史遺留數(shù)據(jù)磁帶和新數(shù)據(jù)磁帶的訪問(wèn)問(wèn)題。本系統(tǒng)根據(jù)遙感數(shù)據(jù)的特點(diǎn)和遙感產(chǎn)品生產(chǎn)的特點(diǎn)，實(shí)現(xiàn)了從磁帶中直接提取某個(gè)條帶數(shù)據(jù)中的部分?jǐn)?shù)據(jù)的功能，解決了商用存儲(chǔ)軟件由于以文件為單位管理數(shù)據(jù)而帶來(lái)的性能低下的問(wèn)題，此軟件在國(guó)內(nèi)遙感數(shù)據(jù)預(yù)處理領(lǐng)域處于技術(shù)領(lǐng)先的地位。另外本系統(tǒng)支持多種磁帶數(shù)據(jù)格式，包括FRED格式和TAR格式等。
7、可配置的工作流程。運(yùn)行過(guò)程中，會(huì)面臨種種復(fù)雜的情況，許多情況是在研發(fā)狀況下所不能預(yù)測(cè)的。本系統(tǒng)具有自調(diào)節(jié)功能，能夠在運(yùn)程過(guò)程中根據(jù)具體情況，調(diào)整處理流程。


圖1是本發(fā)明的系統(tǒng)方框圖。
圖2是本發(fā)明的系統(tǒng)處理流程圖。
圖3是本發(fā)明的工作流引擎架構(gòu)圖。
圖4是本發(fā)明的并行編目原理圖。
圖5是本發(fā)明的多級(jí)存儲(chǔ)系統(tǒng)遷移流程圖。
圖6是帶庫(kù)管理的原理圖。
圖7是自動(dòng)化的監(jiān)控系統(tǒng)原理圖。
圖8是可插拔算法服務(wù)器的原理圖。
具體實(shí)施例方式
下面將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明做進(jìn)一步說(shuō)明。
本發(fā)明系統(tǒng)組成方框圖，如圖1所示一種訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)1，它包括外部系統(tǒng)9通過(guò)交換機(jī)10與訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)相連接，其特征在于所述的訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括訂單驅(qū)動(dòng)的工作流引擎子系統(tǒng)2、集群化并行編目和生產(chǎn)子系統(tǒng)3、多級(jí)存儲(chǔ)歸檔子系統(tǒng)4、帶庫(kù)管理子系統(tǒng)5、自動(dòng)化監(jiān)控子系統(tǒng)6和可插拔算法服務(wù)器7。
本發(fā)明的系統(tǒng)處理流程圖，如圖2所示外部系統(tǒng)9向預(yù)處理系統(tǒng)1發(fā)送一個(gè)空間保留請(qǐng)求11，表示有新的遙感數(shù)據(jù)需要進(jìn)入到預(yù)處理系統(tǒng)1中工作流引擎子系統(tǒng)2收到該請(qǐng)求11后轉(zhuǎn)發(fā)給多級(jí)存儲(chǔ)歸檔子系統(tǒng)4，后者準(zhǔn)備數(shù)據(jù)歸檔空間12；空間準(zhǔn)備完畢后，外部系統(tǒng)9通過(guò)FTP方式將遙感數(shù)據(jù)上傳13到存儲(chǔ)空間；多級(jí)存儲(chǔ)歸檔子系統(tǒng)4對(duì)這些數(shù)據(jù)進(jìn)行歸檔14，將數(shù)據(jù)保存在正式的歸檔目錄下，然后再?gòu)?fù)制數(shù)據(jù)到磁帶中；數(shù)據(jù)歸檔完畢后，集群化并行編目和生產(chǎn)子系統(tǒng)3開(kāi)始對(duì)其進(jìn)行編目15，產(chǎn)生瀏覽圖和編目元數(shù)據(jù)，并將編目結(jié)果發(fā)送給編目瀏覽子系統(tǒng)；操作員通過(guò)百年馬瀏覽子系統(tǒng)瀏覽編目結(jié)果16，根據(jù)需要下達(dá)產(chǎn)品生產(chǎn)訂單；集群化并行編目和生產(chǎn)子系統(tǒng)3收到產(chǎn)品生產(chǎn)訂單后按要求生產(chǎn)出圖像產(chǎn)品17；生產(chǎn)出來(lái)的圖像產(chǎn)品最后通過(guò)多級(jí)存儲(chǔ)歸檔子系統(tǒng)4進(jìn)行歸檔18。
本發(fā)明的工作流引擎架構(gòu)圖，如圖3所示外部系統(tǒng)9向預(yù)處理系統(tǒng)提交生產(chǎn)任務(wù)，放到任務(wù)隊(duì)列19中；格式轉(zhuǎn)換器20根據(jù)工作流引擎21的要求將任務(wù)轉(zhuǎn)換成所需格式，并提交給工作流引擎21；工作流引擎21讀取工作流定義文件22，找到該任務(wù)所匹配的工作流配置；工作流引擎21根據(jù)配置產(chǎn)生驅(qū)動(dòng)其他子系統(tǒng)的訂單消息，發(fā)送到集群化并行編目和生產(chǎn)子系統(tǒng)的消息隊(duì)列23和多級(jí)存儲(chǔ)歸檔子系統(tǒng)的消息隊(duì)列24；集群化并行編目和生產(chǎn)子系統(tǒng)3和多級(jí)存儲(chǔ)歸檔子系統(tǒng)4收到消息之后轉(zhuǎn)化成訂單進(jìn)行處理，并將處理結(jié)果返回給工作流引擎21，并由后者控制下一步的流程。
本發(fā)明的并行編目原理圖，如圖4所示一個(gè)遙感數(shù)據(jù)28包括多個(gè)景27；兩臺(tái)編目服務(wù)器25分別啟動(dòng)了三個(gè)和四個(gè)編目線程26；每個(gè)線程分別處理一個(gè)景，這些線程同時(shí)工作。編目服務(wù)器25和編目線程26的數(shù)量可以根據(jù)配置文件和服務(wù)器的性能情況靈活配置，這樣每個(gè)遙感數(shù)據(jù)28可以在最短的時(shí)間內(nèi)編目完畢。
本發(fā)明的多級(jí)存儲(chǔ)系統(tǒng)遷移流程方框圖，如圖5所示原始遙感數(shù)據(jù)從數(shù)據(jù)源30(如地面站等)傳輸?shù)筋A(yù)處理系統(tǒng)的數(shù)據(jù)接收站點(diǎn)，保存到在線存儲(chǔ)35中的FC盤陣32中；等待一段設(shè)定的時(shí)間之后數(shù)據(jù)被復(fù)制到近線存儲(chǔ)38中的帶庫(kù)36；原始遙感數(shù)據(jù)以整條帶的形式存在。原始遙感數(shù)據(jù)在線保存一定時(shí)間以后，外部應(yīng)用系統(tǒng)31將部分高價(jià)值的數(shù)據(jù)以FRED單景的方式從整條帶中切割出來(lái)保存到SATA盤陣33上；產(chǎn)品數(shù)據(jù)生產(chǎn)出來(lái)之后保存在在線存儲(chǔ)35的SATA盤陣33上，之后立即復(fù)制一份保存在近線存儲(chǔ)38的帶庫(kù)36中；其中的3～4級(jí)產(chǎn)品被復(fù)制到在線存儲(chǔ)35的NAS盤陣34；在線保存一定時(shí)間之后，低價(jià)值的產(chǎn)品則被刪除。數(shù)據(jù)從SATA盤陣33遷出的時(shí)候，其中的高價(jià)值數(shù)據(jù)都會(huì)進(jìn)行異地備份，先傳輸?shù)疆惖氐谋P陣37上，再由異地備份系統(tǒng)拷貝到帶庫(kù)40。前面提到的數(shù)據(jù)的保存時(shí)間可配置。
本發(fā)明的帶庫(kù)管理的原理圖，如圖6所示整個(gè)帶庫(kù)管理系統(tǒng)分為四大部分系統(tǒng)調(diào)度55、數(shù)據(jù)遷移56、系統(tǒng)工具57以及系統(tǒng)監(jiān)控54。
所述的系統(tǒng)調(diào)度部分55是整個(gè)磁帶庫(kù)存儲(chǔ)系統(tǒng)的核心，它包括啟動(dòng)模塊41是服務(wù)端程序的入口；服務(wù)模塊43創(chuàng)建對(duì)外服務(wù)實(shí)例，并將服務(wù)實(shí)例以所配置的通訊方式發(fā)布出去，供管理員42和用戶44訪問(wèn)；安全模塊45用來(lái)驗(yàn)證用戶身份，管理用戶權(quán)限；分區(qū)模塊46負(fù)責(zé)存儲(chǔ)空間的邏輯分區(qū)和管理，維護(hù)存儲(chǔ)元數(shù)據(jù)；調(diào)度模塊47負(fù)責(zé)訂單管理、任務(wù)調(diào)度、資源調(diào)配、線程管理、遷移器管理等核心工作，通過(guò)內(nèi)置的優(yōu)化方案，提高了任務(wù)調(diào)度的效率；狀態(tài)信息模塊48負(fù)責(zé)搜集帶庫(kù)中需要監(jiān)控的信息，并主動(dòng)調(diào)用監(jiān)控端遠(yuǎn)程接口來(lái)更新監(jiān)控界面；數(shù)據(jù)庫(kù)模塊49負(fù)責(zé)訪問(wèn)數(shù)據(jù)庫(kù)；磁帶庫(kù)模塊50負(fù)責(zé)磁帶庫(kù)設(shè)備的管理和維護(hù)，包括磁帶遷移、磁帶裝載和卸載等機(jī)械手的具體操作；磁帶機(jī)的在線、離線操作；磁帶機(jī)的自動(dòng)清洗等。
所述的數(shù)據(jù)遷移部分56完成磁帶機(jī)設(shè)備訪問(wèn)，它包括數(shù)據(jù)遷移器模塊51專門負(fù)責(zé)磁帶讀寫(xiě)操作；數(shù)據(jù)類型驅(qū)動(dòng)器模塊52用來(lái)管理不同的磁帶數(shù)據(jù)記錄格式。
所述的系統(tǒng)工具部分57提供一些外部獨(dú)立的工具，它包括工具模塊53提供空白磁帶檢測(cè)工具和磁帶數(shù)據(jù)檢測(cè)工具。
系統(tǒng)監(jiān)控部分54提供客戶端界面42，用于實(shí)時(shí)監(jiān)控系統(tǒng)調(diào)度。
本發(fā)明的自動(dòng)化的監(jiān)控系統(tǒng)原理圖，如圖7所示包括監(jiān)控子系統(tǒng)客戶端60和監(jiān)控子系統(tǒng)服務(wù)器端61。監(jiān)控子系統(tǒng)服務(wù)器端61采用主動(dòng)監(jiān)控的輪詢方式，使用SNMP的GET/GETNEXT/GETBULK方式查詢?cè)O(shè)備信息62；獲得設(shè)備相應(yīng)的MIB信息之后與上一次查詢結(jié)果進(jìn)行比較63，看看是否有變化；如果監(jiān)控信息沒(méi)有變化則不作處理，如果發(fā)現(xiàn)有變化，就立即發(fā)送通知給監(jiān)控子系統(tǒng)客戶端60；監(jiān)控子系統(tǒng)客戶端60得到信息變化通知64之后在界面上顯示通知內(nèi)容65。
本發(fā)明的可插拔算法服務(wù)器的原理圖，如圖8所示系統(tǒng)中共有5個(gè)算法，包括算法A 72，算法B 73，算法C 74，算法D 75和算法E 76；業(yè)務(wù)流程管理模塊70正在調(diào)用算法C 74；業(yè)務(wù)流程管理模塊70和所有的算法都遵循調(diào)用接口71。
權(quán)利要求
1.一種訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括用戶通過(guò)服務(wù)器、控制網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)、磁盤陣列、磁帶庫(kù)、PC機(jī)以及訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括訂單驅(qū)動(dòng)的工作流引擎子系統(tǒng)、集群化并行編目和生產(chǎn)子系統(tǒng)、多級(jí)存儲(chǔ)歸檔子系統(tǒng)、帶庫(kù)管理子系統(tǒng)、自動(dòng)化監(jiān)控子系統(tǒng)和可插拔算法服務(wù)器。
2.根據(jù)權(quán)利要求1所述的訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的工作流引擎子系統(tǒng)，它根據(jù)預(yù)定義的工作流程，驅(qū)動(dòng)各子系統(tǒng)完成生產(chǎn)任務(wù)；在工作流引擎的控制支持下完成圖像處理任務(wù)；它包括A)遙感預(yù)處理工作流管理系統(tǒng)1)通過(guò)計(jì)算機(jī)定義、執(zhí)行和管理一個(gè)系統(tǒng)工作流程，協(xié)調(diào)工作流執(zhí)行過(guò)程中工作之間以及群體成員之間的信息交互；2)將流程中涉及組織協(xié)調(diào)的規(guī)則抽象出來(lái)，生成工作流程的定義文件；3)工作流程的定義采用XML文件的形式，每個(gè)工作流程對(duì)應(yīng)一個(gè)XML文件。管理員根據(jù)預(yù)定的工作流程，編寫(xiě)成XML文件，提交給系統(tǒng)處理，相應(yīng)的工作流程就可以開(kāi)始工作。如果要修改某一個(gè)工作流程，則由管理員編輯相應(yīng)的XML文件，提交之后，對(duì)相應(yīng)工作流程的修改就可以生效；4)工作流程的定義可以由用戶按需配置、修改，以保障本系統(tǒng)在自動(dòng)運(yùn)轉(zhuǎn)的前提下，具有最大的靈活性和適應(yīng)性。B)根據(jù)任務(wù)優(yōu)先級(jí)調(diào)度工作流中的每一個(gè)任務(wù)都對(duì)應(yīng)成一個(gè)訂單，訂單分配一個(gè)優(yōu)先級(jí)，由于系統(tǒng)的資源有效，當(dāng)很多訂單需要運(yùn)行時(shí)，優(yōu)先級(jí)高的訂單會(huì)比優(yōu)先級(jí)低的訂單更快地調(diào)度執(zhí)行；C)高速持久對(duì)象緩存1)訂單信息的持久化保存每個(gè)工作流中的所有訂單一經(jīng)創(chuàng)建，系統(tǒng)就將訂單信息保存到數(shù)據(jù)庫(kù)中，以便于統(tǒng)計(jì)系統(tǒng)的工作情況和訂單的執(zhí)行情況；2)訂單信息的裝載對(duì)于未執(zhí)行完畢的訂單，系統(tǒng)在重新啟動(dòng)的時(shí)候可以從數(shù)據(jù)庫(kù)中讀取出來(lái)，根據(jù)優(yōu)先級(jí)繼續(xù)調(diào)度執(zhí)行，保證任務(wù)的完整性；3)訂單信息的更新每個(gè)訂單在執(zhí)行的時(shí)候狀態(tài)會(huì)發(fā)生變化，這些變化將被實(shí)時(shí)地記錄到數(shù)據(jù)庫(kù)中；D)對(duì)并發(fā)流程的控制日常情況下，同一時(shí)間內(nèi)會(huì)有多個(gè)工作流需要同時(shí)執(zhí)行，每個(gè)工作流又拆分出多個(gè)訂單；由于受到服務(wù)器資源的限制，為了提高效率，這些訂單不能全部同時(shí)運(yùn)行，所有的訂單都需要先排隊(duì)，等到系統(tǒng)有足夠資源的時(shí)候才會(huì)被執(zhí)行；可以并發(fā)執(zhí)行的訂單的數(shù)量可以由操作員通過(guò)配置文件來(lái)設(shè)定。
3.根據(jù)權(quán)利要求1所述的訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的集群化并行編目和生產(chǎn)子系統(tǒng)，是指利用集群化并行技術(shù)對(duì)航空、航天飛行器拍攝的長(zhǎng)條帶影像進(jìn)行編目，生成降分辨率的瀏覽圖、拇指圖和編目元數(shù)據(jù)信息，根據(jù)訂單要求生產(chǎn)不同級(jí)別的影像產(chǎn)品；它包括A)集群并行編目1)遙感數(shù)據(jù)文件FRED格式進(jìn)行編目，將長(zhǎng)條帶圖像分解成接近正方形的小圖像或稱為景，按一定比例采樣形成瀏覽圖，并提取每個(gè)景的編目元數(shù)據(jù)信息；2)如果瀏覽圖很大，可在原圖像的基礎(chǔ)上再生成更小比例的拇指圖，以便于WEB方式的批量瀏覽；3)在編目時(shí)，JAVA程序通過(guò)RMI遠(yuǎn)程調(diào)用JNI；JNI再調(diào)用底層的C++組件實(shí)現(xiàn)對(duì)數(shù)據(jù)的編目運(yùn)算，并將生成的元數(shù)據(jù)保存到XML或者SELF文件中；瀏覽圖與拇指圖文件存放在指定的文件目錄下；4)系統(tǒng)在編目時(shí)，多個(gè)集群計(jì)算節(jié)點(diǎn)可以同時(shí)處理該任務(wù)，每個(gè)計(jì)算節(jié)點(diǎn)又使用多個(gè)線程來(lái)進(jìn)行并發(fā)編目，確保一個(gè)條帶可以以最快的速度編目完畢；B)數(shù)據(jù)搜索定位1)在集群化并行編目的情況下，多臺(tái)機(jī)器同時(shí)訪問(wèn)同一個(gè)遙感數(shù)據(jù)文件，但是每個(gè)并行節(jié)點(diǎn)訪問(wèn)的數(shù)據(jù)位置不同，所需的數(shù)據(jù)片斷通過(guò)一種數(shù)據(jù)時(shí)間與文件中數(shù)據(jù)偏移量的換算，每個(gè)集群節(jié)點(diǎn)可以精確地找到所需的數(shù)據(jù)；2)每個(gè)計(jì)算節(jié)點(diǎn)中的編目線程根據(jù)其負(fù)責(zé)的景的序號(hào)在影像條帶中搜索定位，找到相應(yīng)的起始位置然后讀取該景的數(shù)據(jù)；線程之間互不干擾，完全獨(dú)立；C)集群生產(chǎn)1)采用多個(gè)集群計(jì)算節(jié)點(diǎn)進(jìn)行產(chǎn)品生產(chǎn)，每個(gè)節(jié)點(diǎn)又有多個(gè)工作線程；2)生產(chǎn)過(guò)程是將原始的FRED格式的景轉(zhuǎn)變成通用格式的圖像文件的過(guò)程，包括輻射校正和幾何校正；生產(chǎn)的同時(shí)還對(duì)圖像產(chǎn)品進(jìn)行編目，提取出產(chǎn)品的元數(shù)據(jù)；3)生產(chǎn)訂單的控制采用JAVA程序控制，生產(chǎn)的算法則用C++來(lái)實(shí)現(xiàn)；JAVA通過(guò)JNI的方式調(diào)用C++的程序，二者共同完成產(chǎn)品的生產(chǎn)；4)系統(tǒng)可以通過(guò)配置增減產(chǎn)品生產(chǎn)集群服務(wù)器的數(shù)量，以滿足需求數(shù)量。
4.根據(jù)權(quán)利要求1所述的訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的多級(jí)存儲(chǔ)歸檔子系統(tǒng)，是指在不同的共享存儲(chǔ)架構(gòu)的基礎(chǔ)上，根據(jù)數(shù)據(jù)的價(jià)值和使用要求在磁盤陣列和磁帶庫(kù)之間進(jìn)行數(shù)據(jù)的歸檔和遷移；它包括A)基于價(jià)值評(píng)估的遷移1)指根據(jù)數(shù)據(jù)的類型與屬性，它包括大小、重要度、訪問(wèn)頻度；存儲(chǔ)設(shè)備的屬性，它包括訪問(wèn)速度、容量，將相應(yīng)的數(shù)據(jù)保存在最合適的存儲(chǔ)設(shè)備上；2)文件數(shù)據(jù)的重要度根據(jù)操作員設(shè)定的規(guī)則，它包括地域規(guī)則、產(chǎn)品級(jí)別，系統(tǒng)自動(dòng)計(jì)算；訪問(wèn)頻度則根據(jù)系統(tǒng)對(duì)該數(shù)據(jù)的訪問(wèn)情況自動(dòng)記錄到數(shù)據(jù)庫(kù)中；設(shè)備的訪問(wèn)速度和容量則由操作員配置指定；3)數(shù)據(jù)的大小、重要度、訪問(wèn)頻度等都對(duì)應(yīng)價(jià)值計(jì)算的權(quán)重，操作員可以通過(guò)配置文件設(shè)定權(quán)重；系統(tǒng)則根據(jù)配置文件自動(dòng)計(jì)算每個(gè)數(shù)據(jù)當(dāng)前的價(jià)值；在操作員沒(méi)有設(shè)定的情況下，系統(tǒng)自動(dòng)給出一個(gè)缺省的權(quán)重；4)操作員可以通過(guò)配置文件定義不同價(jià)值數(shù)據(jù)的遷移規(guī)則，規(guī)定何時(shí)遷移，遷移到那個(gè)存儲(chǔ)設(shè)備；B)數(shù)據(jù)歸檔管理1)對(duì)系統(tǒng)內(nèi)所有需要保存的數(shù)據(jù)進(jìn)行歸檔，根據(jù)需要進(jìn)行備份，并提供歸檔數(shù)據(jù)的查詢功能；2)數(shù)據(jù)歸檔分為多個(gè)級(jí)別，比如在線、近線和離線。操作員可以通過(guò)配置文件設(shè)定任意多個(gè)歸檔級(jí)別以適應(yīng)不同的需要；3)存儲(chǔ)系統(tǒng)支持SAN、NAS和NFS等多種共享存儲(chǔ)架構(gòu)；對(duì)于SAN架構(gòu)，每臺(tái)數(shù)據(jù)訪問(wèn)的服務(wù)器都需要安裝存儲(chǔ)共享軟件；C)存儲(chǔ)設(shè)備管理1)存儲(chǔ)設(shè)備包括磁盤陣列和磁帶庫(kù)；2)操作員可以增加和減少可用的磁盤陣列分區(qū)以及可用的磁帶庫(kù)和磁帶機(jī)，便于系統(tǒng)的存儲(chǔ)容量擴(kuò)展以及不停機(jī)進(jìn)行存儲(chǔ)設(shè)備維護(hù)；3)系統(tǒng)提供監(jiān)控界面，以方便操作員對(duì)存儲(chǔ)設(shè)備的工作狀態(tài)一目了然。
5.根據(jù)權(quán)利要求1所述的訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的帶庫(kù)管理子系統(tǒng)，是一種支持多磁帶庫(kù)、多磁帶機(jī)、多介質(zhì)類型和多記錄格式的軟件；該子系統(tǒng)是專門針對(duì)磁帶庫(kù)數(shù)據(jù)存儲(chǔ)的管理平臺(tái)，為用戶提供獨(dú)立于業(yè)務(wù)的磁帶庫(kù)存儲(chǔ)服務(wù)；磁帶庫(kù)可以被看作一個(gè)容量巨大的存儲(chǔ)池，隨時(shí)可以向池中保存數(shù)據(jù)，當(dāng)需要的時(shí)候再?gòu)某刂邪褦?shù)據(jù)提取出來(lái)；帶庫(kù)管理子系統(tǒng)將記錄所有保存在磁帶中的數(shù)據(jù)信息，不管磁帶在自動(dòng)磁帶庫(kù)中還是在離線帶架上；它包括A)邏輯分區(qū)1)系統(tǒng)將各磁帶庫(kù)各類型的近線和離線磁帶的存儲(chǔ)空間視為一個(gè)完整的、容量近乎無(wú)限的磁帶庫(kù)存儲(chǔ)空間；按介質(zhì)類型、讀寫(xiě)格式等綜合因素，將存儲(chǔ)空間劃分為若干個(gè)邏輯分區(qū)；一個(gè)邏輯分區(qū)限定了它所允許使用的若干帶庫(kù)、若干介質(zhì)類型，它包括LTO2、DLT；，限定了它必須使用的數(shù)據(jù)類型，它包括FRED、tar，以及限定它所允許的最大并發(fā)讀寫(xiě)數(shù)量；2)每一盤新磁帶被使用前需要注冊(cè)，將其納入整個(gè)存儲(chǔ)空間；注冊(cè)磁帶時(shí)無(wú)需指定其所屬分區(qū)，當(dāng)一盤空白磁帶被某個(gè)分區(qū)使用后，該磁帶即被劃分到該分區(qū)中，此后就不能再被其它分區(qū)識(shí)別和使用了；3)分區(qū)屬于系統(tǒng)內(nèi)部概念，對(duì)外界是透明的；當(dāng)歸檔數(shù)據(jù)時(shí)，系統(tǒng)按照用戶提供的數(shù)據(jù)類型、業(yè)務(wù)類型及是否已軟件壓縮等信息，從預(yù)先配置好的業(yè)務(wù)映射表中查詢出應(yīng)該使用的內(nèi)部分區(qū)，于是此次歸檔的數(shù)據(jù)將會(huì)被寫(xiě)入屬于該分區(qū)的磁帶中；B)優(yōu)化調(diào)度技術(shù)，用于訂單管理、任務(wù)調(diào)度、資源調(diào)配、線程管理、遷移器管理等核心工作，通過(guò)內(nèi)置的優(yōu)化方案，提高任務(wù)調(diào)度的效率；1)訂單包括磁帶數(shù)據(jù)讀寫(xiě)訂單和磁帶遷移訂單；2)任何一個(gè)訂單在某一時(shí)刻都處于某個(gè)狀態(tài)，在該狀態(tài)下可以進(jìn)行某些操作；3)所有的訂單在執(zhí)行之前都需要排隊(duì)，驅(qū)動(dòng)器調(diào)度線程會(huì)彼此同步地從讀寫(xiě)訂單排隊(duì)隊(duì)列中取訂單來(lái)執(zhí)行；4)每個(gè)磁帶庫(kù)實(shí)體內(nèi)都存在一個(gè)IO槽掃描線程，完成磁帶自動(dòng)遷入和遷出工作；C)分布式遷移器架構(gòu)數(shù)據(jù)遷移器專門負(fù)責(zé)磁帶讀寫(xiě)操作；磁帶庫(kù)內(nèi)的每個(gè)驅(qū)動(dòng)器設(shè)備將對(duì)應(yīng)若干個(gè)數(shù)據(jù)遷移器，這些數(shù)據(jù)遷移器都以獨(dú)立的進(jìn)程分別運(yùn)行在不同的Linux主機(jī)上，并通過(guò)RMI遠(yuǎn)程接口綁定到磁帶庫(kù)存儲(chǔ)系統(tǒng)的調(diào)度內(nèi)核上。在調(diào)度內(nèi)核中每個(gè)驅(qū)動(dòng)器都對(duì)應(yīng)一個(gè)調(diào)度線程，該線程通過(guò)調(diào)度策略獲取訂單，然后將具體的磁帶讀寫(xiě)操作交給一個(gè)最合適的數(shù)據(jù)遷移器來(lái)完成，原則上是找一個(gè)運(yùn)行在系統(tǒng)負(fù)載最小的Linux主機(jī)上的數(shù)據(jù)遷移器；D)擴(kuò)展數(shù)據(jù)格式插件1)數(shù)據(jù)遷移器在進(jìn)行磁帶讀寫(xiě)時(shí)，是按照一定的數(shù)據(jù)格式來(lái)進(jìn)行的；通過(guò)一個(gè)可配置的框架，由用戶將其需要的數(shù)據(jù)格式的讀寫(xiě)方式嵌入到系統(tǒng)中；2)每種具體的數(shù)據(jù)格式都對(duì)應(yīng)一個(gè)數(shù)據(jù)類型驅(qū)動(dòng)器，該驅(qū)動(dòng)器實(shí)現(xiàn)了一個(gè)寫(xiě)磁帶接口和一個(gè)讀磁帶接口，具體的實(shí)現(xiàn)方式由數(shù)據(jù)格式而定；它包括tar格式，可以采用直接調(diào)用系統(tǒng)tar命令的實(shí)現(xiàn)方式；FRED格式，可以通過(guò)jni調(diào)用c程序的方式，直接用二進(jìn)制流進(jìn)行讀寫(xiě)；E)基于元數(shù)據(jù)自動(dòng)磁帶檢查1)磁帶數(shù)據(jù)檢測(cè)工具負(fù)責(zé)對(duì)已有磁帶中所歸檔的數(shù)據(jù)進(jìn)行驗(yàn)證，檢查這些數(shù)據(jù)在磁帶中的存儲(chǔ)結(jié)構(gòu)是否與在數(shù)據(jù)庫(kù)中存儲(chǔ)的元數(shù)據(jù)保持一致，以判斷數(shù)據(jù)是否損壞；2)磁帶數(shù)據(jù)檢測(cè)工具獨(dú)立于帶庫(kù)系統(tǒng)之外單獨(dú)運(yùn)行，支持同時(shí)掛接多個(gè)不同類型的外置帶機(jī)，它包括LTO2、DLT；同時(shí)檢測(cè)多盤磁帶；整個(gè)檢測(cè)進(jìn)度可被監(jiān)控，也可被終止；3)在每個(gè)帶機(jī)上的檢測(cè)工作都由一個(gè)獨(dú)立進(jìn)程來(lái)完成，而檢測(cè)工具的主進(jìn)程則負(fù)責(zé)監(jiān)控這些工作進(jìn)程，這樣當(dāng)某個(gè)檢測(cè)過(guò)程出現(xiàn)異常時(shí)，不會(huì)對(duì)其它檢測(cè)過(guò)程造成影響；F)自動(dòng)帶機(jī)維護(hù)1)自動(dòng)帶機(jī)清洗磁帶機(jī)的清洗由系統(tǒng)自動(dòng)完成，各種介質(zhì)類型的清洗帶被注冊(cè)到系統(tǒng)后，由帶庫(kù)管理系統(tǒng)統(tǒng)一管理；當(dāng)系統(tǒng)判斷某個(gè)帶機(jī)需要清洗時(shí)，將自動(dòng)加載合適的清洗帶進(jìn)行清洗，完成后，自動(dòng)把清洗帶從帶機(jī)中取出；操作員可以配置帶機(jī)需要清洗的條件，設(shè)置清洗工作的最佳執(zhí)行時(shí)間，以保證不影響正常業(yè)務(wù)運(yùn)作；2)自動(dòng)狀態(tài)監(jiān)控系統(tǒng)實(shí)時(shí)記錄每個(gè)帶機(jī)當(dāng)前的狀態(tài)，它包括是否空閑、正在讀數(shù)據(jù)、正在裝載或卸載磁帶，磁帶機(jī)當(dāng)前是否可用；這些狀態(tài)信息通過(guò)界面展示給操作員，操作員可以據(jù)此判斷系統(tǒng)是否工作正常；3)自動(dòng)錯(cuò)誤報(bào)警磁帶保存一段時(shí)間之后，上面的數(shù)據(jù)就可能讀不出來(lái)，磁帶機(jī)就會(huì)發(fā)生讀錯(cuò)誤；在這種情況下，系統(tǒng)能夠通過(guò)界面向操作員報(bào)警，提示某個(gè)磁帶機(jī)在讀取某一盤磁帶時(shí)發(fā)生錯(cuò)誤，由操作員決定是重試還是失敗；G)多種標(biāo)準(zhǔn)訪問(wèn)接口服務(wù)的對(duì)外發(fā)布采用多種通訊方式，它包括WebService、RMI、JMS，以適應(yīng)各種用戶業(yè)務(wù)和管理需求。
6.根據(jù)權(quán)利要求1所述的訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的自動(dòng)化監(jiān)控子系統(tǒng)，是指基于SNMP協(xié)議，對(duì)待監(jiān)控設(shè)備或者系統(tǒng)的MIB管理信息庫(kù)文件進(jìn)行解析，自動(dòng)生成相應(yīng)的Java源文件，這些文件經(jīng)過(guò)編譯后可以集成到系統(tǒng)中，對(duì)設(shè)備的工作狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控；監(jiān)控其它幾個(gè)子系統(tǒng)服務(wù)器端的運(yùn)行情況；當(dāng)設(shè)備或子系統(tǒng)發(fā)生故障的時(shí)候以多種方式通知系統(tǒng)管理員；它包括A)客戶端配置模塊，負(fù)責(zé)讀取客戶端的配置文件，將其轉(zhuǎn)化為Java內(nèi)部可以識(shí)別的、類型安全的類的實(shí)例，同時(shí)還需要驗(yàn)證客戶端配置文件的有效性；B)服務(wù)端客戶端接口模塊，定義了監(jiān)控子系統(tǒng)客戶端與服務(wù)器端的通信接口；具體的接口形式為Java RMI；C)服務(wù)端配置模塊，負(fù)責(zé)對(duì)服務(wù)器端的配置文件進(jìn)行讀取，將其轉(zhuǎn)化為Java內(nèi)部可以識(shí)別的、帶有類型信息的類的實(shí)例，并對(duì)配置信息進(jìn)行驗(yàn)證；D)子系統(tǒng)監(jiān)聽(tīng)模塊，負(fù)責(zé)從各個(gè)子系統(tǒng)接收遠(yuǎn)程調(diào)用；監(jiān)控子系統(tǒng)使用JavaRMI作為被監(jiān)控子系統(tǒng)與監(jiān)控子系統(tǒng)之間的通訊方式；被監(jiān)控子系統(tǒng)向監(jiān)控子系統(tǒng)發(fā)送心跳信號(hào)、子系統(tǒng)退出信號(hào)與子系統(tǒng)出現(xiàn)故障的信號(hào)，由監(jiān)控子系統(tǒng)再通知系統(tǒng)操作員進(jìn)行處理；E)數(shù)據(jù)訪問(wèn)模塊，負(fù)責(zé)服務(wù)器端對(duì)Oracle關(guān)系型數(shù)據(jù)庫(kù)的訪問(wèn)；F)任務(wù)調(diào)度模塊，負(fù)責(zé)調(diào)度所有的SNMP輪詢?nèi)蝿?wù)；在配置文件更新的時(shí)候所有的后臺(tái)線程都會(huì)被取消掉，然后再重新啟動(dòng)；平時(shí)則按照對(duì)應(yīng)被監(jiān)控設(shè)備或者系統(tǒng)指定的延時(shí)定時(shí)啟動(dòng)SNMP輪詢?nèi)蝿?wù)；G)SNMP通信模塊，負(fù)責(zé)根據(jù)每個(gè)設(shè)備或者系統(tǒng)的SNMP監(jiān)控配置信息對(duì)其進(jìn)行SNMP連接、通訊與查詢1)它需要的配置信息包括待監(jiān)控的設(shè)備或者系統(tǒng)的地址、端口號(hào)、底層傳輸協(xié)議、SNMP版本、認(rèn)證信息、輪詢延時(shí)與設(shè)備類型以及待監(jiān)控的設(shè)備或者系統(tǒng)的待監(jiān)控MIB；2)它在運(yùn)行時(shí)根據(jù)配置信息動(dòng)態(tài)載入相應(yīng)的MIB解析類，并創(chuàng)建實(shí)例，調(diào)用其方法進(jìn)行MIB信息的解析直到其需要的所有的MIB信息都已獲得，然后再將這些信息通過(guò)數(shù)據(jù)庫(kù)訪問(wèn)模塊保存在數(shù)據(jù)庫(kù)中；H)服務(wù)端管理模塊是整個(gè)監(jiān)控子系統(tǒng)服務(wù)器端的核心模塊1)它負(fù)責(zé)啟動(dòng)與關(guān)閉整個(gè)子系統(tǒng)；2)通過(guò)服務(wù)端配置模塊讀取配置信息并分配到各個(gè)模塊；3)對(duì)比MIB信息的差異；4)檢查MIB信息的具體項(xiàng)值是否超過(guò)了配置文件中設(shè)置的閾值，并在發(fā)生這些情況的時(shí)候通知客戶端。
7.根據(jù)權(quán)利要求1所述的訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的可插拔算法服務(wù)器，是指一種圖像處理算法與調(diào)用軟件之間的架構(gòu)；明確定義業(yè)務(wù)流程管理模塊與算法服務(wù)模塊的接口，以遵照接口定義開(kāi)發(fā)出不同的算法，然后根據(jù)不同算法在效率、精度、易用性方面的比較，選擇其中之一嵌入圖像處理體系架構(gòu)之中；它包括A)業(yè)務(wù)流程管理模塊，負(fù)責(zé)處理業(yè)務(wù)邏輯，調(diào)用算法服務(wù)模塊中的算法完成產(chǎn)品生產(chǎn)任務(wù)；B)算法服務(wù)模塊，負(fù)責(zé)實(shí)現(xiàn)輻射校正和幾何校正的功能1)它是一個(gè)動(dòng)態(tài)鏈接庫(kù)，其輸入的參數(shù)包括產(chǎn)品生產(chǎn)所需要的眾多參數(shù)，輸出的參數(shù)為訂單執(zhí)行結(jié)果，包括成功/失敗標(biāo)識(shí)，以及可能出現(xiàn)的錯(cuò)誤原因；2)動(dòng)態(tài)鏈接庫(kù)必須提供自描述功能，即提供標(biāo)準(zhǔn)的函數(shù)，列舉其支持的各類算法；包括一個(gè)函數(shù)列舉其支持的所有地球模型；另一個(gè)函數(shù)列舉其支持的各類輻射校正算法；3)動(dòng)態(tài)鏈接庫(kù)的作者應(yīng)保證算法的效率、精度、正確性、以及對(duì)系統(tǒng)資源的合理利用；C)業(yè)務(wù)流程管理模塊與算法服務(wù)模塊的接口，是一種模塊間的調(diào)用約定，包括服務(wù)的名稱、參數(shù)和返回的結(jié)果。
8.一種訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)方法，其特征在于它包括A)登錄系統(tǒng)輸入操作員的帳號(hào)和密碼，進(jìn)入主界面；B)打開(kāi)各子系統(tǒng)主窗口點(diǎn)擊主界面上的導(dǎo)航按鈕，系統(tǒng)會(huì)打開(kāi)子系統(tǒng)的主窗口，同時(shí)連接后臺(tái)服務(wù)程序；C)進(jìn)入用戶管理子系統(tǒng)，它包括1)創(chuàng)建用戶在用戶信息對(duì)話框中填入用戶名稱、密碼、真實(shí)姓名、單位、郵箱等信息，提交后保存到數(shù)據(jù)庫(kù)中；2)查詢用戶信息從用戶列表中選擇需要查看的用戶，系統(tǒng)彈出對(duì)話框顯示該用戶的注冊(cè)信息；查詢?cè)撚脩舢?dāng)前是否在線；3)修改用戶信息從用戶列表中選擇需要查看的用戶，點(diǎn)擊“修改”按鈕，系統(tǒng)彈出對(duì)話框顯示該用戶的注冊(cè)信息；修改后點(diǎn)擊“確定”按鈕，新的用戶信息就被保存到數(shù)據(jù)庫(kù)中；4)刪除用戶操作員可以從用戶列表中選擇用戶進(jìn)行刪除；D)進(jìn)入工作流引擎子系統(tǒng)，它包括1)查看系統(tǒng)當(dāng)前的工作流和訂單用戶可以設(shè)置過(guò)濾條件，使窗口只顯示符合條件的工作流和訂單；2)新建請(qǐng)求用戶可以從系統(tǒng)的菜單中創(chuàng)建各種請(qǐng)求，包括數(shù)據(jù)歸檔請(qǐng)求、數(shù)據(jù)編目請(qǐng)求、數(shù)據(jù)提取請(qǐng)求和產(chǎn)品生產(chǎn)請(qǐng)求；3)查看工作流和訂單信息通過(guò)右鍵點(diǎn)擊某個(gè)工作流或訂單，操作員可以看到它的各個(gè)參數(shù)和當(dāng)前的運(yùn)行狀態(tài)；4)刪除工作流操作員可以刪除已經(jīng)完成或失敗的工作流；E)進(jìn)入產(chǎn)品生產(chǎn)子系統(tǒng)，它包括1)查看訂單列表所有的產(chǎn)品生產(chǎn)訂單分成排隊(duì)訂單、活動(dòng)訂單、非活動(dòng)訂單和結(jié)束訂單這幾類；2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請(qǐng)求操作員干涉的消息、系統(tǒng)信息、警告和錯(cuò)誤信息；3)控制運(yùn)行通過(guò)右鍵點(diǎn)擊某個(gè)訂單，從彈出菜單中選擇所需操作；4)創(chuàng)建生產(chǎn)訂單從菜單中打開(kāi)產(chǎn)品生產(chǎn)訂單的對(duì)話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行；F)進(jìn)入編目子系統(tǒng)，它包括1)查看訂單列表所有的數(shù)據(jù)編目訂單，它包括排隊(duì)訂單、活動(dòng)訂單、非活動(dòng)訂單以及結(jié)束訂單；2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請(qǐng)求操作員干涉的消息、系統(tǒng)信息、警告和錯(cuò)誤信息；3)控制運(yùn)行通過(guò)右鍵點(diǎn)擊某個(gè)訂單，從彈出菜單中選擇所需操作；4)創(chuàng)建數(shù)據(jù)編目訂單從菜單中打開(kāi)數(shù)據(jù)編目訂單的對(duì)話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行；G)進(jìn)入歸檔子系統(tǒng)，它包括1)查看訂單列表所有的數(shù)據(jù)歸檔和提取訂單，它包括排隊(duì)訂單、活動(dòng)訂單、非活動(dòng)訂單和結(jié)束訂單；2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請(qǐng)求操作員干涉的消息、系統(tǒng)信息、警告和錯(cuò)誤信息；3)控制運(yùn)行通過(guò)右鍵點(diǎn)擊某個(gè)訂單，從彈出菜單中選擇所需操作；4)創(chuàng)建數(shù)據(jù)歸檔或提取訂單從菜單中打開(kāi)數(shù)據(jù)編目訂單的對(duì)話框，輸入所需參數(shù)，然后提交給系統(tǒng)執(zhí)行；5)查詢歸檔數(shù)據(jù)輸入查詢條件，系統(tǒng)查詢數(shù)據(jù)庫(kù)，將結(jié)果以列表方式顯示給用戶；6)查看存儲(chǔ)空間信息系統(tǒng)通過(guò)一個(gè)對(duì)話框顯示每一類數(shù)據(jù)所占用的存儲(chǔ)空間的大小以及總?cè)萘?，并用不同的顏色顯示當(dāng)前空間占用的百分比，如果超過(guò)某個(gè)閾值，顯示紅色報(bào)警；H)進(jìn)入帶庫(kù)管理子系統(tǒng)，它包括1)查看訂單列表和操作隊(duì)列所有的數(shù)據(jù)歸檔和提取訂單都進(jìn)行排隊(duì)，經(jīng)過(guò)優(yōu)化組合形成操作隊(duì)列；2)查看系統(tǒng)消息系統(tǒng)消息包括系統(tǒng)請(qǐng)求操作員干涉的消息、系統(tǒng)信息、警告和錯(cuò)誤信息。當(dāng)操作員將磁帶遷入或遷出帶庫(kù)之后，需要在系統(tǒng)消息中進(jìn)行確認(rèn)；在發(fā)生磁帶讀寫(xiě)故障時(shí)也需要操作員對(duì)消息進(jìn)行響應(yīng)，通過(guò)右鍵菜單決定是重試還是忽略或者標(biāo)記為壞帶；3)查看機(jī)械手的狀態(tài)顯示磁帶庫(kù)的機(jī)械手當(dāng)前是正在遷移磁帶、掃描帶庫(kù)、掃描I/O槽還是空閑；如果是遷移磁帶，系統(tǒng)給出磁帶源槽位和目標(biāo)槽位的槽位號(hào)；4)查看磁帶機(jī)的狀態(tài)系統(tǒng)在列表中顯示帶庫(kù)中的每個(gè)帶機(jī)當(dāng)前的狀態(tài)，包括正在裝載、正在讀數(shù)據(jù)、正在卸載和空閑；另外還列出了每個(gè)帶機(jī)當(dāng)前所裝載的磁帶的條碼；5)查看磁帶庫(kù)的信息系統(tǒng)以對(duì)話框顯示所管理的磁帶庫(kù)中所有槽位中的磁帶條碼以及空閑槽位的數(shù)量；6)查詢磁帶數(shù)據(jù)信息輸入磁帶的條碼號(hào)，系統(tǒng)查詢數(shù)據(jù)庫(kù)，將查詢結(jié)果顯示給用戶。查詢結(jié)果包括磁帶的容量、剩余容量、保存的數(shù)據(jù)類型、歸檔級(jí)別、首次和末次使用時(shí)間以及保存的數(shù)據(jù)列表；7)遷移磁帶用戶可以通過(guò)系統(tǒng)菜單下達(dá)磁帶遷移訂單，將磁帶從磁帶庫(kù)遷移到離線或從離線遷移到帶庫(kù)。一次可以對(duì)多盤磁帶進(jìn)行遷移；I)進(jìn)入監(jiān)控子系統(tǒng)，它包括1)查看各子系統(tǒng)的運(yùn)行狀況系統(tǒng)通過(guò)類表方式顯示各子系統(tǒng)的啟動(dòng)時(shí)間、啟動(dòng)用戶帳號(hào)、服務(wù)器IP地址和當(dāng)前的狀態(tài)，包括運(yùn)行中、已關(guān)閉；2)查看設(shè)備的狀態(tài)操作員可以瀏覽被管理設(shè)備和系統(tǒng)的MIB信息；3)添加監(jiān)控設(shè)備操作員可以指定想要監(jiān)控的設(shè)備，輸入其IP地址即可；4)關(guān)閉子系統(tǒng)用戶可以選擇一個(gè)子系統(tǒng)，點(diǎn)擊“關(guān)閉子系統(tǒng)”按鈕向該子系統(tǒng)發(fā)送一個(gè)關(guān)閉命令。
全文摘要
本發(fā)明涉及遙感航空、航天影像數(shù)據(jù)下傳及預(yù)處理領(lǐng)域，特別的是指一種訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)及其方法。本發(fā)明訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括用戶通過(guò)服務(wù)器、控制網(wǎng)絡(luò)、存儲(chǔ)網(wǎng)絡(luò)、磁盤陣列、磁帶庫(kù)、PC機(jī)以及訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，其特征在于所述的訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)，它包括訂單驅(qū)動(dòng)的工作流引擎子系統(tǒng)、集群化并行編目和生產(chǎn)子系統(tǒng)、多級(jí)存儲(chǔ)歸檔子系統(tǒng)、帶庫(kù)管理子系統(tǒng)、自動(dòng)化監(jiān)控子系統(tǒng)和可插拔算法服務(wù)器。本發(fā)明能夠高效率的解決訂單驅(qū)動(dòng)的海量遙感數(shù)據(jù)集群化預(yù)處理系統(tǒng)中的數(shù)據(jù)保存、遷移和使用問(wèn)題，在實(shí)現(xiàn)系統(tǒng)功能的同時(shí)降低系統(tǒng)的建設(shè)成本。
文檔編號(hào)G11B5/00GK1959717SQ20061014045
公開(kāi)日2007年5月9日 申請(qǐng)日期2006年10月9日 優(yōu)先權(quán)日2006年10月9日
發(fā)明者劉曉欣, 張志鋼 申請(qǐng)人:北京道達(dá)天際軟件技術(shù)有限公司