本發(fā)明涉及數(shù)據(jù)加密與存儲(chǔ)，具體為一種分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法及系統(tǒng)。

背景技術(shù)：

1、隨著進(jìn)入信息時(shí)代，由于數(shù)據(jù)量的急劇增加和分布式存儲(chǔ)需求的增長，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與管理方法面臨多方面的挑戰(zhàn)。

2、在云計(jì)算和大數(shù)據(jù)環(huán)境下，如何確保數(shù)據(jù)的安全性、完整性以及高效的數(shù)據(jù)檢索成為關(guān)鍵技術(shù)難題。傳統(tǒng)方法通常依賴于中心化的數(shù)據(jù)管理系統(tǒng)，這不僅增加了數(shù)據(jù)通信的負(fù)擔(dān)，也提高了數(shù)據(jù)泄露的風(fēng)險(xiǎn)。此外，這些系統(tǒng)往往缺乏靈活性，在處理高動(dòng)態(tài)變化的數(shù)據(jù)訪問模式和復(fù)雜的網(wǎng)絡(luò)環(huán)境時(shí)，難以保持高效的數(shù)據(jù)處理和檢索速度。

3、在分布式系統(tǒng)中，數(shù)據(jù)管理是核心問題之一，在云存儲(chǔ)和大數(shù)據(jù)環(huán)境下，如何有效地分割、加密和存儲(chǔ)數(shù)據(jù)片段，同時(shí)保證數(shù)據(jù)的安全性和快速訪問性，成為行業(yè)關(guān)注的焦點(diǎn)。傳統(tǒng)的數(shù)據(jù)處理方法通常依賴于簡單的加密和固定的存儲(chǔ)方案，這往往無法滿足日益增長的數(shù)據(jù)安全需求和處理效率。

4、因此需要一種分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法在面對(duì)大規(guī)模數(shù)據(jù)處理時(shí)，有效地平衡安全性、存儲(chǔ)成本和訪問效率。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明解決的技術(shù)問題是：現(xiàn)有的數(shù)據(jù)存儲(chǔ)方法存在安全性不足以及存儲(chǔ)和檢索效率低下的問題，特別是在處理大規(guī)模分布式數(shù)據(jù)時(shí)，如何優(yōu)化數(shù)據(jù)的加密、存儲(chǔ)與檢索過程，以提高安全性和效率。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法，包括：

4、將數(shù)據(jù)集分割為數(shù)據(jù)片段，生成數(shù)據(jù)片段集合；

5、所述生成數(shù)據(jù)片段集合包括識(shí)別數(shù)據(jù)集中的數(shù)據(jù)類型進(jìn)行特征提取；所述數(shù)據(jù)類型包括文本數(shù)據(jù)、數(shù)值數(shù)據(jù)、時(shí)間序列數(shù)據(jù)和圖像數(shù)據(jù)；

6、將從每種數(shù)據(jù)類型提取的特征整合為綜合特征向量；

7、使用主成分分析評(píng)估特征向量的主要組成，量化主成分分析結(jié)果，選擇聚類算法，根據(jù)選擇的聚類算法，執(zhí)行聚類操作，將數(shù)據(jù)分割成具有相似特征的簇，每個(gè)簇自動(dòng)構(gòu)建成數(shù)據(jù)片段；

8、為每個(gè)數(shù)據(jù)片段分配標(biāo)識(shí)符，生成標(biāo)識(shí)符集合；

9、使用哈希算法對(duì)每個(gè)數(shù)據(jù)片段生成校驗(yàn)值，形成校驗(yàn)值集合；

10、對(duì)每個(gè)數(shù)據(jù)片段進(jìn)行加密，生成加密后的數(shù)據(jù)片段集合和相應(yīng)的加密密鑰集合；

11、將加密后的數(shù)據(jù)片段分布式存儲(chǔ)；

12、當(dāng)接收數(shù)據(jù)片段的標(biāo)識(shí)符進(jìn)行數(shù)據(jù)檢索請(qǐng)求時(shí)，根據(jù)標(biāo)識(shí)符查找對(duì)應(yīng)的加密數(shù)據(jù)片段，獲取對(duì)應(yīng)的加密密鑰，解密數(shù)據(jù)片段，并對(duì)比解密后數(shù)據(jù)的哈希值與存儲(chǔ)前生成的校驗(yàn)值，返回原始數(shù)據(jù)。

13、作為本發(fā)明所述的分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法的一種優(yōu)選方案，其中：所述進(jìn)行特征提取包括識(shí)別文本數(shù)據(jù)的識(shí)別語言復(fù)雜度、文本長度、關(guān)鍵話題或情感傾向，使用nlp技術(shù)提取語義特征和情感分析結(jié)果；

14、識(shí)別數(shù)值數(shù)據(jù)的統(tǒng)計(jì)分布范圍、標(biāo)準(zhǔn)偏差、峰態(tài)和偏態(tài)，計(jì)算統(tǒng)計(jì)描述符，所述統(tǒng)計(jì)描述符包括均值、中位數(shù)、方差；

15、識(shí)別時(shí)間序列數(shù)據(jù)的周期性、趨勢(shì)性、季節(jié)性變化，提取傅里葉變換特征；

16、識(shí)別圖像數(shù)據(jù)的分辨率、顏色深度、內(nèi)容特征，使用卷積神經(jīng)網(wǎng)絡(luò)提取顏色直方圖；

17、所述選擇聚類算法包括對(duì)綜合特征向量進(jìn)行標(biāo)準(zhǔn)化處理，基于標(biāo)準(zhǔn)化后的特征，計(jì)算特征間的協(xié)方差矩陣，通過協(xié)方差矩陣，使用特征值分解識(shí)別最大化捕捉數(shù)據(jù)中變異的主成分。

18、作為本發(fā)明所述的分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法的一種優(yōu)選方案，其中：所述標(biāo)準(zhǔn)化處理表示為，

19、

20、其中，zi表示標(biāo)準(zhǔn)化后的第i個(gè)特征，xi表示原始數(shù)據(jù)中的第i個(gè)特征值，μi表示第i個(gè)特征的均值，σi表示第i個(gè)特征的標(biāo)準(zhǔn)差，βi表示基于特征i的變異系數(shù)動(dòng)態(tài)計(jì)算得到的調(diào)整系數(shù)；

21、所述協(xié)方差矩陣表示為，

22、

23、其中，c表示加權(quán)協(xié)方差矩陣，w表示對(duì)角權(quán)重矩陣，zk表示第k個(gè)樣本的標(biāo)準(zhǔn)化特征向量，n表示樣本數(shù)量，t表示轉(zhuǎn)置操作符；

24、所述特征值分解是在加權(quán)協(xié)方差矩陣c后，使用qr算法進(jìn)行特征值分解。

25、作為本發(fā)明所述的分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法的一種優(yōu)選方案，其中：所述最大化捕捉數(shù)據(jù)中變異的主成分包括若前三個(gè)主成分解釋了超過75％的總變異，且成分由數(shù)值特征主導(dǎo)，選擇k-means算法進(jìn)行聚類；

26、若數(shù)值特征不主導(dǎo)或前三個(gè)主成分未能解釋超過75％的數(shù)據(jù)變異，分析數(shù)據(jù)特征間的關(guān)系，利用散點(diǎn)圖矩陣和相關(guān)系數(shù)矩陣評(píng)估數(shù)據(jù)特征間的線性和非線性關(guān)系，以及特征的整體分布復(fù)雜度；

27、若數(shù)據(jù)特征之間存在的非線性關(guān)系的度量指標(biāo)超過了預(yù)設(shè)的閾值，且在特征空間中的均勻分布程度超過設(shè)定的一致性標(biāo)準(zhǔn)閾值，采用譜聚類算法；

28、若點(diǎn)密集程度高于整體數(shù)據(jù)點(diǎn)的平均密度的兩倍標(biāo)準(zhǔn)偏差，且數(shù)據(jù)中的噪聲點(diǎn)數(shù)量占總數(shù)據(jù)點(diǎn)數(shù)的比例超過5％，選擇dbscan算法；

29、若數(shù)據(jù)特征關(guān)系分析未顯示顯著的非線性關(guān)系或密度不均，且噪聲點(diǎn)數(shù)量未達(dá)到采用dbscan算法的標(biāo)準(zhǔn)，采用層次聚類算法。

30、作為本發(fā)明所述的分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法的一種優(yōu)選方案，其中：所述生成標(biāo)識(shí)符集合包括對(duì)每個(gè)數(shù)據(jù)片段進(jìn)行屬性分析，評(píng)估在網(wǎng)絡(luò)環(huán)境中的敏感性級(jí)別和數(shù)據(jù)通信的預(yù)期頻率；

31、根據(jù)分析結(jié)果，生成包含數(shù)據(jù)片段網(wǎng)絡(luò)位置和安全級(jí)別信息的標(biāo)識(shí)符；

32、將標(biāo)識(shí)符與對(duì)應(yīng)的數(shù)據(jù)片段綁定，以優(yōu)化數(shù)據(jù)在網(wǎng)絡(luò)中的路由、存儲(chǔ)和安全處理。

33、作為本發(fā)明所述的分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法的一種優(yōu)選方案，其中：所述對(duì)每個(gè)數(shù)據(jù)片段進(jìn)行加密包括分析每個(gè)數(shù)據(jù)片段的標(biāo)識(shí)符，根據(jù)標(biāo)識(shí)符提供的敏感性級(jí)別選擇加密算法；應(yīng)用所選的加密算法對(duì)數(shù)據(jù)片段進(jìn)行加密，每個(gè)數(shù)據(jù)片段獨(dú)立加密；

34、為每個(gè)加密的數(shù)據(jù)片段生成一個(gè)獨(dú)立的加密密鑰，將每個(gè)加密密鑰與對(duì)應(yīng)的加密數(shù)據(jù)片段綁定，將所有加密后的數(shù)據(jù)片段及其對(duì)應(yīng)的加密密鑰整合，形成加密后的數(shù)據(jù)片段集合。

35、作為本發(fā)明所述的分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法的一種優(yōu)選方案，其中：所述將加密后的數(shù)據(jù)片段分布式存儲(chǔ)包括對(duì)每個(gè)加密后的數(shù)據(jù)片段進(jìn)行屬性分析，通過分析數(shù)據(jù)片段中的數(shù)據(jù)點(diǎn)數(shù)量來確定數(shù)據(jù)體積，并根據(jù)與數(shù)據(jù)片段關(guān)聯(lián)的標(biāo)識(shí)符中所包含的敏感性級(jí)別來設(shè)定存儲(chǔ)策略；

36、對(duì)體積超過預(yù)定閾值的數(shù)據(jù)片段，進(jìn)行進(jìn)一步的分片處理以適應(yīng)分布式存儲(chǔ)的需求；

37、基于數(shù)據(jù)片段的位置信息和數(shù)據(jù)通信的預(yù)期頻率，為每個(gè)數(shù)據(jù)片段選擇存儲(chǔ)節(jié)點(diǎn)。

38、本發(fā)明的另外一個(gè)目的是提供一種分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)系統(tǒng)，其能通過構(gòu)建分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)系統(tǒng)，解決了傳統(tǒng)數(shù)據(jù)存儲(chǔ)方法中的安全性不足和效率低下問題。確保數(shù)據(jù)在傳輸和存儲(chǔ)過程中的安全，同時(shí)優(yōu)化數(shù)據(jù)的檢索速度和存儲(chǔ)效率。

39、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)系統(tǒng)，包括：數(shù)據(jù)分割模塊、數(shù)據(jù)標(biāo)識(shí)模塊、數(shù)據(jù)校驗(yàn)?zāi)K、數(shù)據(jù)加密模塊、數(shù)據(jù)存儲(chǔ)模塊以及數(shù)據(jù)解密模塊；所述數(shù)據(jù)分割模塊用于將數(shù)據(jù)集分割為數(shù)據(jù)片段，生成數(shù)據(jù)片段集合；所述數(shù)據(jù)標(biāo)識(shí)模塊用于為每個(gè)數(shù)據(jù)片段分配標(biāo)識(shí)符，生成標(biāo)識(shí)符集合；所述數(shù)據(jù)校驗(yàn)?zāi)K用于使用哈希算法對(duì)每個(gè)數(shù)據(jù)片段生成校驗(yàn)值，形成校驗(yàn)值集合；所述數(shù)據(jù)加密模塊用于對(duì)每個(gè)數(shù)據(jù)片段進(jìn)行加密，生成加密后的數(shù)據(jù)片段集合和相應(yīng)的加密密鑰集合；所述數(shù)據(jù)存儲(chǔ)模塊用于將加密后的數(shù)據(jù)片段分布式存儲(chǔ)；

40、所述數(shù)據(jù)解密模塊用于當(dāng)接收數(shù)據(jù)片段的標(biāo)識(shí)符進(jìn)行數(shù)據(jù)檢索請(qǐng)求時(shí)，根據(jù)標(biāo)識(shí)符查找對(duì)應(yīng)的加密數(shù)據(jù)片段，獲取對(duì)應(yīng)的加密密鑰，解密數(shù)據(jù)片段，并對(duì)比解密后數(shù)據(jù)的哈希值與存儲(chǔ)前生成的校驗(yàn)值，返回原始數(shù)據(jù)。

41、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上所述分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法的步驟。

42、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法的步驟。

43、本發(fā)明的有益效果：本發(fā)明提供的分布式數(shù)據(jù)要素集群的標(biāo)識(shí)加密存儲(chǔ)方法通過數(shù)據(jù)片段處理和加密策略，優(yōu)化了數(shù)據(jù)的存儲(chǔ)和檢索過程。通過分析數(shù)據(jù)片段的敏感性和通信頻率，為數(shù)據(jù)片段分配標(biāo)識(shí)符和加密策略，從而提高了數(shù)據(jù)在網(wǎng)絡(luò)中的路由、存儲(chǔ)和安全處理效率。