一種基于Hadoop的分布式入侵檢測系統(tǒng)的制作方法
【技術(shù)領域】
[0001] 本發(fā)明設及計算機網(wǎng)絡安全領域，尤其設及一種基于化doop的分布式入侵檢測 系統(tǒng)。
【背景技術(shù)】
[0002] 傳統(tǒng)的入侵檢測系統(tǒng)因難W處理日益增長的海量網(wǎng)絡數(shù)據(jù)，系統(tǒng)性能下降，丟包 率增加，檢測率降低，已無法滿足人們的安全需求。分布式入侵檢測系統(tǒng)值istributed Instruction Detection System, DID巧采用分布式結(jié)構(gòu)進行數(shù)據(jù)采集和并行處理，有效提 高了在高速網(wǎng)絡環(huán)境下的入侵檢測效率，已成為目前入侵檢測技術(shù)研究的主流。然而，現(xiàn)有 DIDS存在系統(tǒng)架構(gòu)不合理、接口標準化低、關鍵算法不完善等問題，運降低了 DIDS的并行 處理能力和系統(tǒng)的互操作性，阻礙了其能力的發(fā)揮，不能有效提高系統(tǒng)的檢測率。
[0003] 化doop是Apache軟件基金會下的一個分布式計算框架，主要組件包括皿FS、 MapReduce、ZooKeeper、Pig、HIVE、皿ase 等。其中，皿FS(Hadoop Distributed File System)和MapRe化Ce是化doop的兩項關鍵技術(shù)。皿FS是一個分布式的文件系統(tǒng)，它為分 布式計算模型提供底層的存儲支持。MapRe化Ce是一個分布式的計算模型，可W方便地實現(xiàn) 任務的分解和并行化處理?；痙oop能夠處理TB或PB級別的海量數(shù)據(jù)。目前，越來越多企 業(yè)和研究機構(gòu)的項目圍繞著化doop核屯、框架展開。將化doop技術(shù)運用于入侵檢測，可W 利用其框架較好地實現(xiàn)分布式入侵檢測系統(tǒng)的部署，獲得強大的分布式數(shù)據(jù)處理和并行計 算能力支持，提高系統(tǒng)性能，降低丟包率，提高檢測率。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明的目的是針對現(xiàn)有DIDS存在的問題，提供一種基于化doop的分布式入侵 檢測系統(tǒng)，該系統(tǒng)主要包括兩個部分：一是提出一種高效的基于能力與負載的數(shù)據(jù)分割算 法，實現(xiàn)海量數(shù)據(jù)的有效分割和數(shù)據(jù)分配；二是提出一種基于化doop的分布式入侵檢測體 系結(jié)構(gòu)，實現(xiàn)入侵檢測系統(tǒng)各模塊的分布式部署和數(shù)據(jù)并行處理，并W提出的算法作為系 統(tǒng)的任務調(diào)度器進行數(shù)據(jù)分割，實現(xiàn)海量數(shù)據(jù)的分布式處理，提高入侵檢測效率，維持負載 均衡。 陽0化]算法方面，基于對數(shù)據(jù)分析子結(jié)點的狀態(tài)監(jiān)控信息，計算結(jié)點的數(shù)據(jù)處理能力和 負載；根據(jù)系統(tǒng)對不同應用層協(xié)議數(shù)據(jù)的分類檢測思想，將數(shù)據(jù)分析子結(jié)點進行分組，計算 各分組的平均負載；針對各分組的負載情況，建立過載隊列和輕載隊列，若檢測出現(xiàn)連續(xù)過 載則報警，并根據(jù)分組待處理數(shù)據(jù)量大小對過載隊列中的分組進行過濾；采用一種動態(tài)負 載均衡的策略，針對過載隊列中的分組，從輕載的分組中選擇合適的結(jié)點進行遷移，維持系 統(tǒng)負載均衡；若無輕載分組，則降低過載隊列中各分組待處理的數(shù)據(jù)集；針對動態(tài)負載均 衡調(diào)整后的結(jié)點分組，在組內(nèi)根據(jù)結(jié)點的數(shù)據(jù)處理能力和負載情況，從分組待處理的數(shù)據(jù) 集中分割相適應的數(shù)據(jù)子集，分配給各結(jié)點進行并行處理，有效發(fā)揮結(jié)點的能力，提高系統(tǒng) 效率，維持系統(tǒng)負載均衡。
[0006] 體系結(jié)構(gòu)方面，本發(fā)明利用化doop架構(gòu)帶來的高性能、接口標準規(guī)范、良好的互 操作性等特點，實現(xiàn)入侵檢測系統(tǒng)的分布式部署及系統(tǒng)各模塊的通信與數(shù)據(jù)傳輸。
[0007] 實現(xiàn)本發(fā)明目的的技術(shù)方案為：
[0008] 一種基于化doop的分布式入侵檢測系統(tǒng)包括：數(shù)據(jù)采集模塊、數(shù)據(jù)存儲模塊、控 制中屯、和數(shù)據(jù)分析模塊，其中控制中屯、包括系統(tǒng)管理模塊、系統(tǒng)監(jiān)控模塊、任務調(diào)度模塊和 報警響應模塊；
[0009] 數(shù)據(jù)采集模塊由分布在網(wǎng)絡上的多個相互獨立的傳感器組成，通過傳感器實現(xiàn)網(wǎng) 絡數(shù)據(jù)的捕獲和處理后，將采集的數(shù)據(jù)上傳至數(shù)據(jù)存儲模塊的皿FS數(shù)據(jù)子結(jié)點，即存儲至 皿FS數(shù)據(jù)集中；
[0010] 所述傳感器的工作步驟為：首先，通過網(wǎng)絡監(jiān)聽采集所在網(wǎng)絡的原始數(shù)據(jù)包；其 次，解析數(shù)據(jù)包，計算數(shù)據(jù)包的唯一連接標識；第=，識別數(shù)據(jù)包的傳輸協(xié)議標識并進行數(shù) 據(jù)處理，將數(shù)據(jù)包存儲在W唯一連接標識命名的數(shù)據(jù)文件中；第四，按照數(shù)據(jù)包的應用層協(xié) 議標識，將數(shù)據(jù)文件分類存儲到傳感器初始化時設置的目錄結(jié)構(gòu)中；最后，按照指定的周期 將采集的數(shù)據(jù)WFTP方式上傳至本系統(tǒng)的皿FS數(shù)據(jù)子結(jié)點，進行分類存儲；
[0011] 皿FS數(shù)據(jù)子結(jié)點通過MapRe化Ce機制，向任務調(diào)度模塊的結(jié)點Master提交數(shù)據(jù)檢 測分析的任務；
[0012] 系統(tǒng)監(jiān)控模塊對分布式化doop集群各結(jié)點的狀態(tài)監(jiān)控，記錄監(jiān)控結(jié)果，并將結(jié)果 存儲到數(shù)據(jù)存儲模塊的皿ase數(shù)據(jù)庫，為任務調(diào)度提供任務分配決策支持；同時，完成對報 警響應顯示，并實現(xiàn)對系統(tǒng)的管理配置；
[0013] 任務調(diào)度模塊根據(jù)系統(tǒng)監(jiān)控獲取的結(jié)點狀態(tài)和待處理數(shù)據(jù)的規(guī)模大小，根據(jù)設計 的基于能力與負載的數(shù)據(jù)分割算法將大數(shù)據(jù)分割成數(shù)據(jù)子集，合理地將數(shù)據(jù)子集分發(fā)給不 同數(shù)據(jù)分析子結(jié)點進行并行數(shù)據(jù)檢測分析，最后把各個數(shù)據(jù)分析子結(jié)點的處理結(jié)果進行匯 集；
[0014] 數(shù)據(jù)分析模塊中的數(shù)據(jù)分析由分布在化doop集群中的多個數(shù)據(jù)分析子結(jié)點并行 完成，數(shù)據(jù)分析子結(jié)點根據(jù)任務調(diào)度模塊中所分配的數(shù)據(jù)子集地址信息，從對應的皿FS數(shù) 據(jù)子結(jié)點上讀取由傳感器采集并上傳的數(shù)據(jù)子集，根據(jù)建立的特征檢測規(guī)則集進行數(shù)據(jù)檢 測分析；
[0015] 報警響應模塊中由報警響應結(jié)點并行接收數(shù)據(jù)分析子結(jié)點傳送的入侵檢測結(jié)果， 存儲到皿ase中；并對非法入侵行為進行報警響應，在系統(tǒng)監(jiān)控的界面中顯示報警信息；
[0016] 系統(tǒng)管理模塊采用Web方式完成化doop集群的配置、用戶管理、日志查詢功能。 陽017] 具體地，系統(tǒng)各模塊如下：
[0018] A)數(shù)據(jù)采集模塊由傳感器實現(xiàn)網(wǎng)絡數(shù)據(jù)的分布式并行采集，并將采集的數(shù)據(jù)按連 接進行分離，再分類提交到皿FS數(shù)據(jù)子結(jié)點，W便進行數(shù)據(jù)檢測分析處理。傳感器工作步 驟如下：
[0019] (1)配置與本傳感器最近的皿FS數(shù)據(jù)子結(jié)點的連接信息，由于傳感器采用FTP協(xié) 議進行數(shù)據(jù)傳輸，皿FS數(shù)據(jù)子結(jié)點也作為一個FTP服務器存在，連接信息包括結(jié)點名稱、IP 地址、用戶名和密碼、目錄；
[0020] (2)啟動傳感器進行監(jiān)聽，采集結(jié)點所在網(wǎng)絡的原始數(shù)據(jù)包；
[0021] (3)解析數(shù)據(jù)包，計算數(shù)據(jù)包的唯一連接標識。從數(shù)據(jù)包中提取四元組 < 源IP地 址，源端口，目的IP地址，目的端口〉，采用哈希函數(shù)計算該四元組的哈希值，并將其作為數(shù) 據(jù)包的唯一連接標識IDJlash ;
[0022] (4)識別數(shù)據(jù)包傳輸協(xié)議標識并進行數(shù)據(jù)處理，按IDJlash進行數(shù)據(jù)存儲。提取數(shù) 據(jù)包的傳輸協(xié)議標識，針對TCP協(xié)議標識的數(shù)據(jù)包，采用TCP流重組的方式進行數(shù)據(jù)重組， W IDJlash作為TCP連接的唯一標識，結(jié)合數(shù)據(jù)包中的連接序號，將捕獲的數(shù)據(jù)包還原成一 個個完整的數(shù)據(jù)鏈，實現(xiàn)正確的TCP流重組，并將具有同一 IDJlash的數(shù)據(jù)存儲在同一個W IDJlash命名的txt文件中；對于非TCP協(xié)議的數(shù)據(jù)，同樣存儲在同一個W IDJlash命名的 txt文件中。將所有具有相同IDJlash的數(shù)據(jù)存儲在同一個文件中，可將分解到多次的訪問 中的攻擊匯集在一起，而在后續(xù)的數(shù)據(jù)分割中W文件為單位進行數(shù)據(jù)分割，避免將包含同 一攻擊的數(shù)據(jù)分發(fā)到兩個或多個檢測結(jié)點分別處理而破壞數(shù)據(jù)的完整性，降低系統(tǒng)的漏報 率.
[0023] (5)數(shù)據(jù)分類存儲。根據(jù)數(shù)據(jù)包中的應用層協(xié)議標識，將WIDJlash命名的txt文 件按照應用層協(xié)議標識，存儲在傳感器初始化時根據(jù)不同應用層協(xié)議分別建立的W應用層 協(xié)議標識命名的目錄下，不能識別應用層協(xié)議類型的數(shù)據(jù)存儲在一個缺省目錄中；
[0024] (6)傳感器采用FTP協(xié)議，按照設置的周期將存儲的數(shù)據(jù)文件及其目錄結(jié)構(gòu)上傳 至配置好的皿FS數(shù)據(jù)子結(jié)點上，并清除已經(jīng)完成上傳的數(shù)據(jù)文件。
[0025] B)數(shù)據(jù)存儲模塊用于對系統(tǒng)所產(chǎn)生的各種數(shù)據(jù)進行存儲管理。本系統(tǒng)的數(shù)據(jù)存儲 方式有多種，包括在皿FS、皿ase和MyS化數(shù)據(jù)庫上的存儲。皿FS存儲由多個傳感器采集 并上傳的數(shù)據(jù)文件；皿ase存儲入侵特征規(guī)則庫、系統(tǒng)監(jiān)控對化doop集群監(jiān)測的結(jié)點狀態(tài) 信息、非法入侵數(shù)據(jù)檢測結(jié)果；MyS化存儲用戶信息和系統(tǒng)相關配置信息等；具體如下： [00%] (1)皿FS分布式文件存儲。采用分布式方式，在多個皿FS數(shù)據(jù)子結(jié)點上，采取就近 原則，存儲由多個分布的傳感器結(jié)點所采集、解析并分類存儲的數(shù)據(jù)。運些數(shù)據(jù)，將在系統(tǒng) 后續(xù)處