本發(fā)明涉及網(wǎng)絡(luò)通信技術(shù)領(lǐng)域，尤其涉及一種基于分布式集群的數(shù)據(jù)采集系統(tǒng)；本發(fā)明還涉及一種基于分布式集群的數(shù)據(jù)采集方法。

背景技術(shù)：

當(dāng)前，隨著網(wǎng)絡(luò)信息技術(shù)的不斷發(fā)展，大數(shù)據(jù)時代已經(jīng)到來。針對海量數(shù)據(jù)的挖掘與分析已經(jīng)成為當(dāng)今的研究熱點，而數(shù)據(jù)采集是數(shù)據(jù)挖掘與分析的基礎(chǔ)。

在數(shù)據(jù)采集的過程中，數(shù)據(jù)采集的實時性與采集數(shù)據(jù)時系統(tǒng)所消耗的資源是一對相互矛盾的量，當(dāng)需要提高數(shù)據(jù)的實時性時，需要加快對數(shù)據(jù)的掃描速率，但同時會產(chǎn)生更多的數(shù)據(jù)，從而增加系統(tǒng)消耗所需要的資源。

在當(dāng)今社會中，通常是通過分布式集群數(shù)據(jù)采集系統(tǒng)對大量數(shù)據(jù)進行采集。在現(xiàn)有技術(shù)中，通常是有一個主采集節(jié)點和若干個子采集節(jié)點，其中主采集節(jié)點用于控制各子采集節(jié)點進行數(shù)據(jù)的采集，以及對數(shù)據(jù)進行儲存等等，而子采集節(jié)點通常僅用于對數(shù)據(jù)進行采集。主采集節(jié)點通常是通過統(tǒng)一的頻率獲取各個子采集節(jié)點所采集的數(shù)據(jù)。

但是在現(xiàn)有技術(shù)中，通常會出現(xiàn)對于變化較快的數(shù)據(jù)進行采集時，其實時性較差；或者是對于變化較慢的數(shù)據(jù)進行采集時，其系統(tǒng)資源發(fā)生了浪費。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明的主要目的在于提供一種數(shù)據(jù)采集系統(tǒng)，可以針對不同變化速率的數(shù)據(jù)采用不同的采集頻率；本發(fā)明的另一目的在于提供一種數(shù)據(jù)采集方法，可以提高數(shù)據(jù)采集的實時性或者是減少系統(tǒng)資源的浪費。

為了解決上述問題，本發(fā)明提供了一種基于分布式集群的數(shù)據(jù)采集系統(tǒng)，所述系統(tǒng)包括主采集節(jié)點、數(shù)據(jù)解析模塊和多個子采集節(jié)點；

所述主采集節(jié)點連接多個所述子采集節(jié)點，所述子采集節(jié)點用于采集數(shù)據(jù)，所述主采集節(jié)點用于接收各個所述子采集節(jié)點采集的數(shù)據(jù)；

所述數(shù)據(jù)解析模塊用于分別計算各個所述子采集節(jié)點采集的數(shù)據(jù)的變化速率；

所述數(shù)據(jù)解析模塊根據(jù)所述變化速率調(diào)節(jié)各個所述子采集節(jié)點的數(shù)據(jù)采集頻率。

可選的，所述數(shù)據(jù)解析模塊為多個，所述數(shù)據(jù)解析模塊與所述子采集節(jié)點一一對應(yīng)的連接。

可選的，所述數(shù)據(jù)解析模塊為一個，所述數(shù)據(jù)解析模塊連接每個所述子采集節(jié)點。

可選的，所述子采集節(jié)點還用于存儲自身當(dāng)前采集數(shù)據(jù)的頻率。

可選的，所述系統(tǒng)進一步包括數(shù)據(jù)庫配置同步模塊；

所述數(shù)據(jù)庫配置同步模塊用于向各個所述子采集節(jié)點采集的數(shù)據(jù)添加統(tǒng)一的時間坐標(biāo)。

本發(fā)明還提供了一種基于分布式集群的數(shù)據(jù)采集方法，所述方法包括：

數(shù)據(jù)解析模塊獲取子采集節(jié)點采集的數(shù)據(jù)；

所述數(shù)據(jù)解析模塊計算各個所述子采集節(jié)點所采集的各組數(shù)據(jù)的變化速率；

所述數(shù)據(jù)解析模塊根據(jù)所述變化速率調(diào)節(jié)各個所述子采集節(jié)點的數(shù)據(jù)采集頻率，所述子采集節(jié)點將采集的數(shù)據(jù)發(fā)送至主采集節(jié)點。

可選的，所述數(shù)據(jù)解析模塊根據(jù)所述變化速率改變所述子采集節(jié)點的數(shù)據(jù)采集頻率包括：

所述數(shù)據(jù)解析模塊根據(jù)所述變化速率和預(yù)先設(shè)定的對應(yīng)關(guān)系得到所述子采集節(jié)點的理論數(shù)據(jù)采集頻率；

所述數(shù)據(jù)解析模塊將所述數(shù)據(jù)采集頻率調(diào)節(jié)至所述理論數(shù)據(jù)采集頻率。

可選的，所述數(shù)據(jù)解析模塊根據(jù)所述變化速率改變所述子采集節(jié)點的數(shù)據(jù)采集頻率包括：

所述數(shù)據(jù)解析模塊判斷所述變化速率是否大于預(yù)先設(shè)定的第一閾值，若是，則降低所述數(shù)據(jù)采集頻率；

所述數(shù)據(jù)解析模塊判斷所述變化速率是否小于預(yù)先設(shè)定的第二閾值，若是，則提高所述數(shù)據(jù)采集頻率。

可選的，所述方法進一步包括：

數(shù)據(jù)庫配置同步模塊向各個所述子采集節(jié)點采集的數(shù)據(jù)添加統(tǒng)一的時間坐標(biāo)。

本發(fā)明所提供的系統(tǒng)，包括了數(shù)據(jù)解析模塊，所述數(shù)據(jù)解析模塊會計算各個子采集節(jié)點所采集的各組數(shù)據(jù)的變化速率，并根據(jù)變化速率調(diào)節(jié)各個所述子采集節(jié)點的數(shù)據(jù)采集頻率，從而使得各個子采集節(jié)點的采集頻率與其所采集到的數(shù)據(jù)的變化速率相適應(yīng)，以此來增加對于變化速率較快的數(shù)據(jù)采集的實時性，或者是減少當(dāng)采集的數(shù)據(jù)的變化速率較慢時，所述采集到的數(shù)據(jù)對于系統(tǒng)資源的占用。本發(fā)明還提供了一種基于分布式集群的數(shù)據(jù)采集方法，具有上述有益效果，在此不再贅述。

附圖說明

為了更清楚地說明本申請實施例中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，還可以根據(jù)這些附圖獲得其它的附圖。

圖1為本發(fā)明實施例所提供的第一種數(shù)據(jù)采集系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為本發(fā)明實施例所提供的第二種數(shù)據(jù)采集系統(tǒng)的結(jié)構(gòu)示意圖；

圖3為本發(fā)明實施例所提供的第三種數(shù)據(jù)采集系統(tǒng)的結(jié)構(gòu)示意圖；

圖4為本發(fā)明實施例所提供的一種數(shù)據(jù)采集方法的流程圖；

圖5為步驟103中第一種具體是實現(xiàn)方法的流程圖；

圖6為步驟103中第二種具體是實現(xiàn)方法的流程圖。

具體實施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本申請中的技術(shù)方案，下面將結(jié)合本申請實施例中的附圖，對本申請實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├绢I(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當(dāng)屬于本發(fā)明保護的范圍。

本發(fā)明為一種基于分布式集群的數(shù)據(jù)采集系統(tǒng)，在現(xiàn)有技術(shù)中，通常是由一個主采集節(jié)點101控制若干的子采集節(jié)點103進行數(shù)據(jù)的采集，其中，主采集節(jié)點101通常是通過統(tǒng)一的頻率獲取各個子采集節(jié)點103所采集的數(shù)據(jù)。而各個子采集節(jié)點103所采集的數(shù)據(jù)通常是不同的，對于不同的數(shù)據(jù)所需要的采集頻率也是不一樣的，例如對于外界溫度的變化，其需要的采集頻率相對較慢，若采用較快的數(shù)據(jù)采集頻率會增加對系統(tǒng)資源的占用，但這是一種不必要的浪費；而對于cpu的負載，其需要的采集頻率相對較快，若采用較慢的數(shù)據(jù)采集頻率會影響其實時性，會影響用戶的使用。

而在本發(fā)明所提供的數(shù)據(jù)采集系統(tǒng)中，添加了數(shù)據(jù)解析模塊102，所述數(shù)據(jù)解析模塊102會計算各個子采集節(jié)點103所采集的各組數(shù)據(jù)的變化速率，并根據(jù)變化速率調(diào)節(jié)各個所述子采集節(jié)點103的數(shù)據(jù)采集頻率，從而使得各個子采集節(jié)點103的采集頻率與其所采集到的數(shù)據(jù)的變化速率相適應(yīng)，以此來增加對于變化速率較快的數(shù)據(jù)采集的實時性，或者是減少當(dāng)采集的數(shù)據(jù)的變化速率較慢時，所述采集到的數(shù)據(jù)對于系統(tǒng)資源的占用。

下面將結(jié)合附圖對本發(fā)明做詳細描述。

請參考圖1，圖1為本發(fā)明實施例所提供的第一種數(shù)據(jù)采集系統(tǒng)的結(jié)構(gòu)示意圖，該系統(tǒng)包括：

主采集節(jié)點101、數(shù)據(jù)解析模塊102和多個子采集節(jié)點103；所述主采集節(jié)點101連接多個所述子采集節(jié)點103，所述子采集節(jié)點103用于采集數(shù)據(jù)，所述主采集節(jié)點101用于接收各個所述子采集節(jié)點103采集的數(shù)據(jù)；

在本發(fā)明實施例中，子采集節(jié)點103用于采集數(shù)據(jù)，子采集節(jié)點103通過安裝在其內(nèi)部的傳感器，例如溫度傳感器，壓力傳感器等等一系列的傳感器來獲取被采集數(shù)據(jù)。各個子采集節(jié)點103中設(shè)置的傳感器通常各不相同，例如當(dāng)需要側(cè)溫度時，就安裝溫度傳感器等等，視具體情況而定。而被采集的數(shù)據(jù)可以是溫度，壓力，還可以是cpu(中央處理器)溫度，汽車行駛速度等等，在現(xiàn)實操作中視具體的需要而定，在此不做限定。

主采集節(jié)點101是整個系統(tǒng)的控制核心，其用于接收各個子采集節(jié)點103所采集的各組數(shù)據(jù)，并可以對各組數(shù)據(jù)進行存儲，分類等操作，主采集節(jié)點101還可以用于控制各個子采集節(jié)點103，例如控制子采集節(jié)點103的運行時間，開啟或關(guān)閉，數(shù)據(jù)采集頻率等。主采集節(jié)點101是整個系統(tǒng)的控制核心，其具有多種功能，除了上述功能之外還可以有其他功能，在此不再贅述。

在本發(fā)明實施例中，所述數(shù)據(jù)解析模塊102可以只有一個，也可以有多個，并且數(shù)據(jù)解析模塊102可以連在主采集節(jié)點101上，并通過主采集節(jié)點101向子采集節(jié)點103發(fā)送信號來控制各個子采集節(jié)點103；數(shù)據(jù)解析模塊102還可以是連在各個子采集節(jié)點103上，直接控制各個子采集節(jié)點103。上述兩種連接方式將在下述發(fā)明實施例中做詳細描述，在此不再贅述。

所述數(shù)據(jù)解析模塊102用于分別計算各個所述子采集節(jié)點103采集的數(shù)據(jù)的變化速率；

數(shù)據(jù)解析模塊102在收到各個子采集節(jié)點103所采集的數(shù)據(jù)之后，會先分別計算各組數(shù)據(jù)自己的變化速率，通常情況下，是用前一個數(shù)據(jù)減去相鄰的后一個數(shù)據(jù)，所得差值即變化速率；當(dāng)然還可以將上述差值除以前一個數(shù)據(jù)，所得的比例作為變化速率；還可以是直接用后一個數(shù)據(jù)除以相鄰的前一個數(shù)據(jù)，所得的比例也可以算作是變化速率。除了上述三個方法，還可以有其他計算變化速率的方法，無論使用哪種計算方法，只要能得到每組數(shù)據(jù)的變化速率均可。

根據(jù)所述變化速率調(diào)節(jié)各個所述子采集節(jié)點103的數(shù)據(jù)采集頻率。

在本發(fā)明實施例中，根據(jù)數(shù)據(jù)解析模塊102計算得到的各組數(shù)據(jù)的變化速率調(diào)節(jié)各個對應(yīng)的子采集節(jié)點103的數(shù)據(jù)采集頻率的方法，可以有下述幾種：

第一，預(yù)先在數(shù)據(jù)解析模塊102中寫入各個變化速率的對應(yīng)關(guān)系，例如，當(dāng)數(shù)據(jù)解析模塊102所計算的變化速率為1.1時，該變化速率所對應(yīng)的理論數(shù)據(jù)采集頻率為每30秒采集數(shù)據(jù)一次，當(dāng)計算的變化速率為10.0時，該變化速率所對應(yīng)的理論數(shù)據(jù)采集頻率為每1秒采集數(shù)據(jù)一次，之后在將子采集節(jié)點103當(dāng)前的數(shù)據(jù)采集頻率調(diào)整到理論數(shù)據(jù)采集頻率。

當(dāng)然上述出現(xiàn)在對應(yīng)關(guān)系中的具體數(shù)據(jù)僅為解釋本發(fā)明實施例中的具體思想，在現(xiàn)實操作過程中，視具體的情況而定，在此不做具體限定。

除了預(yù)先在數(shù)據(jù)解析模塊102中寫入各個變化速率的對應(yīng)關(guān)系，為了更加精確的控制各個子采集節(jié)點103的數(shù)據(jù)采集頻率，可以設(shè)置一個函數(shù)，其中自變量是各組數(shù)據(jù)的變化速率，因變量是對應(yīng)于各個子采集節(jié)點103的數(shù)據(jù)采集頻率，通過函數(shù)計算得到具體各個子采集節(jié)點103的理論數(shù)據(jù)采集頻率，之后在將子采集節(jié)點103當(dāng)前的數(shù)據(jù)采集頻率調(diào)整到理論數(shù)據(jù)采集頻率。

第二，可以設(shè)定一個區(qū)間，其中第一閾值是該區(qū)間的上限，第二閾值是該區(qū)間的下限。當(dāng)數(shù)據(jù)解析模塊102測得的某一組數(shù)據(jù)的變化速率不在上述區(qū)間時，即某一組數(shù)據(jù)的變化規(guī)律大于第一閾值時，數(shù)據(jù)解析模塊102就將采集該組數(shù)據(jù)的采集頻率調(diào)低；某一組數(shù)據(jù)的變化規(guī)律小于第二閾值時，數(shù)據(jù)解析模塊102就將采集該組數(shù)據(jù)的采集頻率調(diào)高；更具體的講，具體調(diào)節(jié)某一個子采集節(jié)點103的數(shù)據(jù)采集頻率的幅度可以是一個預(yù)先設(shè)定的固定的值，也可以是通過某一個函數(shù)計算出來的，其中在該函數(shù)中，數(shù)據(jù)的變化速率是自變量，數(shù)據(jù)采集頻率變化的大小是因變量；除了上述方法之外，還可以有其他的調(diào)節(jié)方法，在此不做具體限定。

當(dāng)然，對于不在預(yù)先設(shè)定的區(qū)間內(nèi)的變化速率，可以在每次改變之后，繼續(xù)測量該組數(shù)據(jù)的變化速率。若數(shù)據(jù)的變化速率依然不在預(yù)先設(shè)定的區(qū)間內(nèi)，可以重復(fù)上述步驟，直到所述變化速率處在預(yù)先設(shè)定的區(qū)間內(nèi)。當(dāng)然還可以僅僅設(shè)置一個預(yù)先設(shè)定的值，當(dāng)數(shù)據(jù)的變化速率大于預(yù)先設(shè)定的值時，減小其子采集節(jié)點103的數(shù)據(jù)采集頻率；當(dāng)數(shù)據(jù)的變化速率小于預(yù)先設(shè)定的值時，增加其子采集節(jié)點103的數(shù)據(jù)采集頻率。

除了上述兩種方法之外，還可以有其他的方法通過各組數(shù)據(jù)的變化速率調(diào)節(jié)各個子采集節(jié)點103的數(shù)據(jù)采集頻率，上述兩種方法僅僅是舉例說明本發(fā)明的思想，本發(fā)明實施例并不局限于僅通過上述兩種方法調(diào)整子采集節(jié)點103的數(shù)據(jù)采集頻率。

本發(fā)明實施例所提供的是一種基于分布式集群的數(shù)據(jù)采集系統(tǒng)，在本系統(tǒng)中包括了數(shù)據(jù)解析模塊102，所述數(shù)據(jù)解析模塊102會計算各個子采集節(jié)點103所采集的各組數(shù)據(jù)的變化速率，并根據(jù)變化速率調(diào)節(jié)各個所述子采集節(jié)點103的數(shù)據(jù)采集頻率，從而使得各個子采集節(jié)點103的采集頻率與其所采集到的數(shù)據(jù)的變化速率相適應(yīng)，以此來增加對于變化速率較快的數(shù)據(jù)采集的實時性，或者是減少當(dāng)采集的數(shù)據(jù)的變化速率較慢時，所述采集到的數(shù)據(jù)對于系統(tǒng)資源的占用。

在本發(fā)明中，數(shù)據(jù)解析模塊102可以只有一個，也可以有多個，并且數(shù)據(jù)解析模塊102可以連在主采集節(jié)點101上，并通過主采集節(jié)點101向子采集節(jié)點103發(fā)送信號來控制各個子采集節(jié)點103；數(shù)據(jù)解析模塊102還可以是連在各個子采集節(jié)點103上，直接控制各個子采集節(jié)點103。上述情況將在下述實施例中做詳細描述。

請參考圖2，圖2為本發(fā)明實施例所提供的第二種數(shù)據(jù)采集系統(tǒng)的結(jié)構(gòu)示意圖，在本發(fā)明實施例中，所述數(shù)據(jù)解析模塊102為多個，所述數(shù)據(jù)解析模塊102與所述子采集節(jié)點103一一對應(yīng)的連接。

在本發(fā)明實施例中，每個子采集節(jié)點103均有一個專用的數(shù)據(jù)解析模塊102，每個數(shù)據(jù)解析模塊102只用來計算自己連接的子采集節(jié)點103所采集的數(shù)據(jù)的變化速率，并根據(jù)計算得到變化速率調(diào)節(jié)所連接的子采集節(jié)點103的數(shù)據(jù)采集頻率。具體的關(guān)于變化速率的計算方式以及如何得出新的數(shù)據(jù)采集的方法已在上述實施例中做出詳細描述，在此不再進行展開敘述。

在本發(fā)明實施例中，存在多個數(shù)據(jù)解析模塊102，每個數(shù)據(jù)解析模塊102僅負責(zé)調(diào)節(jié)一個子采集節(jié)點103，這樣可以大大的減少單個數(shù)據(jù)解析模塊102的工作負擔(dān)，從而大大的延長單個數(shù)據(jù)解析模塊102的工作時間。

由于數(shù)據(jù)解析模塊102需要負責(zé)大量的數(shù)據(jù)計算以及調(diào)節(jié)子采集節(jié)點103的任務(wù)，其計算量較大。若由一個數(shù)據(jù)解析模塊102計算多個子采集節(jié)點103所采集的各組數(shù)據(jù)的變化速率，并根據(jù)計算得到的變化速率調(diào)節(jié)各個子采集節(jié)點103的數(shù)據(jù)采集頻率，對于數(shù)據(jù)解析模塊102來說，其工作量較大，容易發(fā)生故障；當(dāng)故障發(fā)生時，這會影響整個系統(tǒng)的運行。當(dāng)然，若每一個子采集節(jié)點103均連接有一個數(shù)據(jù)解析模塊102，其整個系統(tǒng)的成本偏高；當(dāng)只有一個數(shù)據(jù)采集模塊時，其用來計算全部子采集節(jié)點103所采集的各組數(shù)據(jù)的變化速率，并通過所述變化速率調(diào)節(jié)各個子采集節(jié)點103的數(shù)據(jù)采集頻率，上述只有一個數(shù)據(jù)采集模塊的系統(tǒng)的成本是最低的。具體在本發(fā)明實施例所提供的系統(tǒng)中，設(shè)置有幾個數(shù)據(jù)解析模塊102視實際情況而定，在此不做限定。

當(dāng)每一個子采集節(jié)點103均設(shè)置有數(shù)據(jù)解析模塊102時，數(shù)據(jù)解析模塊102通常是與各個子采集節(jié)點103直接相連接，直接從子采集節(jié)點103獲取數(shù)據(jù)，并直接調(diào)節(jié)各個子采集節(jié)點103的數(shù)據(jù)采集頻率；這樣連接數(shù)據(jù)解析模塊102可以直接調(diào)節(jié)各個子采集節(jié)點103而不用通過主采集節(jié)點101，從而節(jié)省了子采集節(jié)點103與主采集節(jié)點101之間的帶寬，節(jié)省了整個系統(tǒng)的資源。當(dāng)然，子采集節(jié)點103可以將采集到的數(shù)據(jù)同時發(fā)送給數(shù)據(jù)解析模塊102和主采集節(jié)點101，還可以先將采集到的數(shù)據(jù)發(fā)送給數(shù)據(jù)解析模塊102，再通過數(shù)據(jù)解析模塊102發(fā)送給主采集節(jié)點101，在此不做具體限定。

當(dāng)整個數(shù)據(jù)采集系統(tǒng)中只設(shè)置了一個數(shù)據(jù)解析模塊102時，為了簡化數(shù)據(jù)解析模塊102的工作量，可以將數(shù)據(jù)解析模塊102直接連接到主采集節(jié)點101，這樣數(shù)據(jù)解析模塊102可以通過主采集節(jié)點101獲取各個子采集節(jié)點103所采集的各組數(shù)據(jù)，而不用數(shù)據(jù)解析模塊102自己去收集各個子采集節(jié)點103所采集的數(shù)據(jù)；同時在得出各個子采集節(jié)點103的理論數(shù)據(jù)采集頻率時，可以通過主采集節(jié)點101去控制各個子采集節(jié)點103的數(shù)據(jù)采集頻率，其只需要將指令發(fā)送給主采集節(jié)點101即可。

除了上述兩種情況之外，還可以有其他的情況，例如一個數(shù)據(jù)解析模塊102連接兩個子采集節(jié)點103等等，無論出現(xiàn)那種情況，在系統(tǒng)中存在數(shù)據(jù)解析模塊102，并且該數(shù)據(jù)解析模塊102可以用來調(diào)節(jié)子采集節(jié)點103的數(shù)據(jù)采集頻率，均能實現(xiàn)本發(fā)明的目的，具體所搭建的系統(tǒng)視具體的情況而定。

在本發(fā)明實施例中，子采集節(jié)點103可以更進一步的存儲自身當(dāng)前采集數(shù)據(jù)的頻率。

在子采集節(jié)點103儲存了自身當(dāng)前采集數(shù)據(jù)的頻率之后，可以在下次啟動時直接按上次存儲的數(shù)據(jù)采集頻率進行數(shù)據(jù)的采集，由于子采集節(jié)點103在不同時刻所采集的數(shù)據(jù)在大部分情況下是由同一個物體產(chǎn)生的，在一次數(shù)據(jù)采集結(jié)束時存儲當(dāng)前采集數(shù)據(jù)的頻率，在下一次開始采集數(shù)據(jù)時，可以直接按照上次所調(diào)整的數(shù)據(jù)采集頻率進行數(shù)據(jù)的采集，這樣可以減少數(shù)據(jù)解析模塊102的工作量，減少子采集節(jié)點103的數(shù)據(jù)采集頻率的調(diào)整時間。當(dāng)然，儲存當(dāng)前子采集節(jié)點103的數(shù)據(jù)采集頻率可以是由子采集節(jié)點103自己進行存儲，也可以是由數(shù)據(jù)解析模塊102存儲，還可以是由主采集節(jié)點101進行存儲，還可以是由專門的存儲設(shè)備進行存儲，在此不做具體限定。

本發(fā)明實施例所提供的是一種基于分布式集群的數(shù)據(jù)采集系統(tǒng)，在本發(fā)明實施例中，每一個子采集節(jié)點103均連接由數(shù)據(jù)解析模塊102，通過上述連接方式，可以大大的減少單個數(shù)據(jù)解析模塊102的工作負擔(dān)，從而大大的延長單個數(shù)據(jù)解析模塊102的工作時間；同時這樣連接數(shù)據(jù)解析模塊102可以直接調(diào)節(jié)各個子采集節(jié)點103而不用通過主采集節(jié)點101，從而節(jié)省了子采集節(jié)點103與主采集節(jié)點101之間的帶寬，節(jié)省了整個系統(tǒng)的資源。在本發(fā)明實施例中，子采集節(jié)點103可以進一步的存儲自身當(dāng)前采集數(shù)據(jù)的頻率，以此來減少子采集節(jié)點103的數(shù)據(jù)采集頻率的調(diào)整時間，加快整個系統(tǒng)的數(shù)據(jù)采集效率。

由于主采集節(jié)點101所接收到的各組數(shù)據(jù)是通過不同的子采集節(jié)點103所采集的，采集到的各組數(shù)據(jù)之間可能會存在時間的不一致，這不利于數(shù)據(jù)的整理與儲存，這是可以增加數(shù)據(jù)庫配置同步模塊301以解決上述問題。

請參考圖3，圖3為本發(fā)明實施例所提供的第三種數(shù)據(jù)采集系統(tǒng)的結(jié)構(gòu)示意圖，本發(fā)明實施例所提供的系統(tǒng)與前兩個發(fā)明實施例所提供的系統(tǒng)的不同之處在于，在本發(fā)明實施例中添加了數(shù)據(jù)庫配置同步模塊301，所述數(shù)據(jù)庫配置同步模塊301用于向各個所述子采集節(jié)點103采集的數(shù)據(jù)添加統(tǒng)一的時間坐標(biāo)。

由于主采集節(jié)點101所接收到的各組數(shù)據(jù)是通過不同的子采集節(jié)點103所采集的，而各個子采集節(jié)點103會有自己的時間坐標(biāo)，各個子采集節(jié)點103之間所使用的時間可能是不一致的，例如有的子采集節(jié)點103中的時間相對于標(biāo)準(zhǔn)時間快一分鐘，而有的子采集節(jié)點103中的時間相對于標(biāo)準(zhǔn)時間慢30秒，這樣各個子采集節(jié)點103之間的時間坐標(biāo)是不一致的。在多組數(shù)據(jù)之間，可能會存在需要對不同組之間的數(shù)據(jù)進行數(shù)據(jù)的分析，整理等動作，此時僅靠各個子采集節(jié)點103所上傳數(shù)據(jù)時自帶的時間就可能會產(chǎn)生誤差，這樣會對數(shù)據(jù)的分析造成極大的影響。例如當(dāng)需要分析汽車車速與汽車剎車片溫度之間的關(guān)系，此時需要不同的子采集節(jié)點103采集兩組數(shù)據(jù)，一個是汽車當(dāng)前的時速，一個是汽車剎車時剎車片的溫度，此時若兩個子采集節(jié)點103的時間坐標(biāo)不一致，會對汽車性能造成極大的誤判，會威脅到駕駛?cè)藛T的人身安全。此時就需要在數(shù)據(jù)采集系統(tǒng)中添加數(shù)據(jù)庫配置同步模塊301，用于向各個所述子采集節(jié)點103采集的數(shù)據(jù)添加統(tǒng)一的時間坐標(biāo)，以此來保證各組數(shù)據(jù)之間的時間一致性，方便對不同組數(shù)據(jù)之間進行分析等。

本發(fā)明實施例所提供的是一種基于分布式集群的數(shù)據(jù)采集系統(tǒng)，在本發(fā)明實施例中，添加了數(shù)據(jù)庫配置同步模塊301，所述數(shù)據(jù)庫配置同步模塊301用于向各個所述子采集節(jié)點103采集的數(shù)據(jù)添加統(tǒng)一的時間坐標(biāo)。當(dāng)需要對不同組數(shù)據(jù)之間進行數(shù)據(jù)分析時，通過添加統(tǒng)一的時間坐標(biāo)可以減少由于不用子采集節(jié)點103之間的時間坐標(biāo)的不一致所給數(shù)據(jù)分析帶來的誤差。

請參考圖4、圖5以及圖6。圖4為本發(fā)明實施例所提供的一種數(shù)據(jù)采集方法的流程圖；圖5為步驟103中第一種具體是實現(xiàn)方法的流程圖；圖6為步驟103中第二種具體是實現(xiàn)方法的流程圖。

本發(fā)明實施例所提供的數(shù)據(jù)采集方法應(yīng)用于任一個上述實施例中所描述的一種基于分布式集群的數(shù)據(jù)采集系統(tǒng)，所述數(shù)據(jù)采集系統(tǒng)在上述實施例中以作詳細描述，在此不再贅述，具體情況參見上述實施例。

本發(fā)明實施例所提供的數(shù)據(jù)采集方法，具體包括：

步驟101：數(shù)據(jù)解析模塊獲取子采集節(jié)點采集的數(shù)據(jù)。

在本發(fā)明實施例中，數(shù)據(jù)解析模塊獲取子采集節(jié)點的方式通常有兩種，一種是數(shù)據(jù)解析模塊從各個子采集節(jié)點直接獲取各組數(shù)據(jù)，此時數(shù)據(jù)解析模塊通常是直接與子采集節(jié)點進行連接；另一種是數(shù)據(jù)解析模塊通過主采集節(jié)點來獲取各個子采集節(jié)點的各組數(shù)據(jù)，此時數(shù)據(jù)解析模塊通常是直接與主采集節(jié)點進行連接。

在本發(fā)明實施例中，數(shù)據(jù)解析模塊的個數(shù)可以是一個，還可以是多個，具體情況以及數(shù)據(jù)解析模塊與子采集節(jié)點和主采集節(jié)點的各種連接方式已在上述實施例中做詳細描述，在此不再贅述。

步驟102：所述數(shù)據(jù)解析模塊計算各個所述子采集節(jié)點所采集的各組數(shù)據(jù)的變化速率。

數(shù)據(jù)解析模塊在收到各個子采集節(jié)點所采集的各組數(shù)據(jù)之后，會先計算各組數(shù)據(jù)自己的變化速率，通常情況下，是用前一個數(shù)據(jù)減去相鄰的后一個數(shù)據(jù)，所得差值即變化速率；當(dāng)然還可以將上述差值除以前一個數(shù)據(jù)，所得的比例作為變化速率；還可以是直接用后一個數(shù)據(jù)除以相鄰的前一個數(shù)據(jù)，所得的比例也可以算作是變化速率。除了上述三個方法，還可以有其他計算變化速率的方法，無論使用哪種計算方法，只要能得到每組數(shù)據(jù)的變化速率均可。

步驟103：所述數(shù)據(jù)解析模塊根據(jù)所述變化速率調(diào)節(jié)各個所述子采集節(jié)點的數(shù)據(jù)采集頻率，所述子采集節(jié)點將采集的數(shù)據(jù)發(fā)送至主采集節(jié)點。

數(shù)據(jù)解析模塊會根據(jù)在步驟102中計算得到的各組數(shù)據(jù)的變化速率去調(diào)節(jié)各個子采集節(jié)點數(shù)據(jù)采集頻率，從而使得各個子采集節(jié)點的采集頻率與其所采集到的數(shù)據(jù)的變化速率相適應(yīng)，以此來增加對于變化速率較快的數(shù)據(jù)采集的實時性，或者是減少當(dāng)采集的數(shù)據(jù)的變化速率較慢時，所述采集到的數(shù)據(jù)對于系統(tǒng)資源的占用。

在本發(fā)明實施例中，根據(jù)數(shù)據(jù)解析模塊計算得到的各組數(shù)據(jù)的變化速率調(diào)節(jié)各個對應(yīng)的子采集節(jié)點的數(shù)據(jù)采集頻率的方法，可以有下述兩種：

第一種，請參考圖5：

步驟301：所述數(shù)據(jù)解析模塊根據(jù)所述變化速率和預(yù)先設(shè)定的對應(yīng)關(guān)系得到所述子采集節(jié)點的理論數(shù)據(jù)采集頻率。

在本步驟中，可以預(yù)先在數(shù)據(jù)解析模塊中寫入各個變化速率的對應(yīng)關(guān)系，例如，當(dāng)數(shù)據(jù)解析模塊所計算的變化速率為1.1時，該變化速率所對應(yīng)的理論數(shù)據(jù)采集頻率為每30秒采集數(shù)據(jù)一次，當(dāng)計算的變化速率為10.0時，該變化速率所對應(yīng)的理論數(shù)據(jù)采集頻率為每1秒采集數(shù)據(jù)一次。

當(dāng)然上述出現(xiàn)在對應(yīng)關(guān)系中的具體數(shù)據(jù)僅為解釋本發(fā)明實施例中的具體思想，在現(xiàn)實操作過程中，視具體的情況而定，在此不做具體限定。

除了預(yù)先在數(shù)據(jù)解析模塊中寫入各個變化速率的對應(yīng)關(guān)系，為了更加精確的控制各個子采集節(jié)點的數(shù)據(jù)采集頻率，可以設(shè)置一個函數(shù)，其中自變量是各組數(shù)據(jù)的變化速率，因變量是對應(yīng)于各個子采集節(jié)點的數(shù)據(jù)采集頻率，通過函數(shù)計算得到具體各個子采集節(jié)點的理論數(shù)據(jù)采集頻率。

步驟302：所述數(shù)據(jù)解析模塊將所述數(shù)據(jù)采集頻率調(diào)節(jié)至所述理論數(shù)據(jù)采集頻率。

上述第一種方法可以快速的將各個子采集節(jié)點的數(shù)據(jù)采集頻率調(diào)節(jié)至合適的數(shù)據(jù)采集頻率，但是需要在數(shù)據(jù)解析模塊中存入大量對應(yīng)關(guān)系，或者需要對理論數(shù)據(jù)解析模塊進行大量的計算。

第二種，請參考圖6：

步驟311：所述數(shù)據(jù)解析模塊判斷所述變化速率是否大于預(yù)先設(shè)定的第一閾值，若是，則降低所述數(shù)據(jù)采集頻率。

步驟312：所述數(shù)據(jù)解析模塊判斷所述變化速率是否小于預(yù)先設(shè)定的第二閾值，若是，則提高所述數(shù)據(jù)采集頻率。

上述步驟311與步驟312之間沒有固定的順序，步驟312可以在步驟311之前也可以在步驟311之后。

上述第二種方法是設(shè)定一個區(qū)間，其中第一閾值是該區(qū)間的上限，第二閾值是該區(qū)間的下限。當(dāng)數(shù)據(jù)解析模塊測得的某一組數(shù)據(jù)的變化速率不在上述區(qū)間時，即某一組數(shù)據(jù)的變化規(guī)律大于第一閾值時，數(shù)據(jù)解析模塊就將采集該組數(shù)據(jù)的采集頻率調(diào)低；某一組數(shù)據(jù)的變化規(guī)律小于第二閾值時，數(shù)據(jù)解析模塊就將采集該組數(shù)據(jù)的采集頻率調(diào)高；更具體的講，具體調(diào)節(jié)某一個子采集節(jié)點的數(shù)據(jù)采集頻率的幅度可以是一個預(yù)先設(shè)定的固定的值，也可以是通過某一個函數(shù)計算出來的，其中在該函數(shù)中，數(shù)據(jù)的變化速率是自變量，數(shù)據(jù)采集頻率變化的大小是因變量；除了上述方法之外，還可以有其他的調(diào)節(jié)方法，在此不做具體限定。

當(dāng)然，對于不在預(yù)先設(shè)定的區(qū)間內(nèi)的變化速率，可以在每次改變之后，繼續(xù)測量該組數(shù)據(jù)的變化速率。若數(shù)據(jù)的變化速率依然不在預(yù)先設(shè)定的區(qū)間內(nèi)，可以重復(fù)上述步驟，直到所述變化速率處在預(yù)先設(shè)定的區(qū)間內(nèi)。當(dāng)然還可以僅僅設(shè)置一個預(yù)先設(shè)定的值，當(dāng)數(shù)據(jù)的變化速率大于預(yù)先設(shè)定的值時，減小其子采集節(jié)點的數(shù)據(jù)采集頻率；當(dāng)數(shù)據(jù)的變化速率小于預(yù)先設(shè)定的值時，增加其子采集節(jié)點的數(shù)據(jù)采集頻率。

上述第二種方法不需要再數(shù)據(jù)解析模塊中存入大量的數(shù)據(jù)，僅需要存入第一閾值和第二閾值，但是需要多次對采集到的數(shù)據(jù)進行計算與分析之后才能交接完數(shù)據(jù)采集頻率，其調(diào)節(jié)所需要的時間相比于第一種方法來說較長。

由于主采集節(jié)點所接收到的各組數(shù)據(jù)是通過不同的子采集節(jié)點所采集的，而各個子采集節(jié)點會有自己的時間坐標(biāo)，各個子采集節(jié)點之間所使用的時間可能是不一致的，在多組數(shù)據(jù)之間，可能會存在需要對不同組之間的數(shù)據(jù)進行數(shù)據(jù)的分析，整理等，此時僅靠各個子采集節(jié)點所上傳數(shù)據(jù)時自帶的時間就可能會產(chǎn)生誤差，這樣會對數(shù)據(jù)的分析造成極大的影響。此時可以在本發(fā)明實施例中添加步驟104，用于保證各組數(shù)據(jù)之間的時間一致性。

步驟104：數(shù)據(jù)庫配置同步模塊向各個所述子采集節(jié)點采集的數(shù)據(jù)添加統(tǒng)一的時間坐標(biāo)。

在步驟中，所述數(shù)據(jù)庫配置同步模塊用于向各個所述子采集節(jié)點采集的數(shù)據(jù)添加統(tǒng)一的時間坐標(biāo)。當(dāng)需要對不同組數(shù)據(jù)之間進行數(shù)據(jù)分析時，通過添加統(tǒng)一的時間坐標(biāo)可以保證各組數(shù)據(jù)之間的時間一致性，減少由于不用子采集節(jié)點之間的時間坐標(biāo)的不一致所給數(shù)據(jù)分析帶來的誤差。

本發(fā)明實施例所提供的一種基于分布式集群的數(shù)據(jù)采集方法，數(shù)據(jù)解析模塊可以在接收到各個子采集節(jié)點所采集的各組數(shù)據(jù)之后，先計算出各組數(shù)據(jù)的變化速率，在根據(jù)所述變化速率調(diào)整各個子采集節(jié)點的數(shù)據(jù)采集頻率，以此來使得各個子采集節(jié)點的采集頻率與其所采集到的數(shù)據(jù)的變化速率相適應(yīng)，增加對于變化速率較快的數(shù)據(jù)采集的實時性，或者是減少當(dāng)采集的數(shù)據(jù)的變化速率較慢時，所述采集到的數(shù)據(jù)對于系統(tǒng)資源的占用。

以上所述，以上實施例僅用以說明本申請的技術(shù)方案，而非對其限制；盡管參照前述實施例對本申請進行了詳細的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進行修改，或者對其中部分技術(shù)特征進行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本申請各實施例技術(shù)方案的精神和范圍。