本發(fā)明涉及互聯(lián)網(wǎng)，具體說是一種基于深度強化學(xué)習(xí)的云際自適應(yīng)擁塞控制機制。

背景技術(shù)：

1、為了滿足用戶在云際計算場景下差異化的應(yīng)用需求，在高負載的真實網(wǎng)絡(luò)環(huán)境中更好地實現(xiàn)流量調(diào)度和資源分配，提高網(wǎng)絡(luò)性能，增強網(wǎng)絡(luò)的可靠性和穩(wěn)定性，需要采用新型技術(shù)手段對整體網(wǎng)絡(luò)架構(gòu)進行優(yōu)化部署。

2、srv6技術(shù)可以實現(xiàn)靈活的網(wǎng)絡(luò)編程和服務(wù)鏈路，而網(wǎng)絡(luò)切片技術(shù)則可以將物理網(wǎng)絡(luò)資源虛擬化成多個獨立的邏輯網(wǎng)絡(luò)切片，從而實現(xiàn)網(wǎng)絡(luò)資源的共享和快速部署。將srv6和網(wǎng)絡(luò)切片相結(jié)合，可以實現(xiàn)更加靈活、可擴展和安全的網(wǎng)絡(luò)服務(wù)。在云際計算場景下，基于srv6的網(wǎng)絡(luò)切片可以幫助網(wǎng)絡(luò)提供商和服務(wù)提供商實現(xiàn)更加靈活高效和差異化的網(wǎng)絡(luò)資源管理和服務(wù)部署。

3、切片的設(shè)計使得網(wǎng)絡(luò)資源分配更加靈活，同時提高了網(wǎng)絡(luò)的利用效率。然而，如何在網(wǎng)絡(luò)切片上實現(xiàn)路由算法是一個重要的問題。相較于傳統(tǒng)的深度學(xué)習(xí)方法，基于圖卷積神經(jīng)網(wǎng)絡(luò)(gcn)的差異化路由算法可以更好地處理網(wǎng)絡(luò)拓撲結(jié)構(gòu)，提高路由預(yù)測的精度和效率，同時可以更好地適應(yīng)云際計算網(wǎng)絡(luò)環(huán)境下的復(fù)雜網(wǎng)絡(luò)拓撲和快速變化的路由情況。

4、現(xiàn)有技術(shù)中的問題，由于云際計算場景下網(wǎng)絡(luò)的拓撲結(jié)構(gòu)較為復(fù)雜，網(wǎng)絡(luò)節(jié)點數(shù)量龐大等，傳統(tǒng)的路由算法難以滿足復(fù)雜網(wǎng)絡(luò)環(huán)境下的路由要求；且由于應(yīng)用的帶寬需求較大，網(wǎng)絡(luò)應(yīng)用對端到端質(zhì)量的要求也更高，需要更加高效、更為精細的路由方式，以實現(xiàn)差異化路由。此外，在云際計算場景下利用網(wǎng)絡(luò)切片技術(shù)進行網(wǎng)絡(luò)虛擬化后，由于切片網(wǎng)絡(luò)是獨立的邏輯網(wǎng)絡(luò)，其拓撲和鏈路狀態(tài)可能與底層物理網(wǎng)絡(luò)不同，因此，不同切片之間可能存在相互干擾和沖突的情況，這些都對路由算法提出了新的挑戰(zhàn)。

5、傳統(tǒng)的路由算法主要基于網(wǎng)絡(luò)拓撲和鏈路狀態(tài)，依靠靜態(tài)的路由表進行決策，無法根據(jù)網(wǎng)絡(luò)實時狀態(tài)進行路由，導(dǎo)致決策準(zhǔn)確性下降；且傳統(tǒng)路由算法通常需要設(shè)計多種算法來應(yīng)對不同的網(wǎng)絡(luò)場景，導(dǎo)致算法復(fù)雜度高，不易擴展。

6、隨著人工智能技術(shù)的不斷發(fā)展，當(dāng)前基于機器學(xué)習(xí)的路由算法已經(jīng)取得了一定的成果，如使用深度學(xué)習(xí)模型識別網(wǎng)絡(luò)異常和流量預(yù)測等應(yīng)用。未來，隨著大數(shù)據(jù)、計算能力和算法模型的不斷提升，基于機器學(xué)習(xí)的路由算法有望在網(wǎng)絡(luò)優(yōu)化、故障檢測等方面發(fā)揮更重要的作用。然而，當(dāng)將基于機器學(xué)習(xí)的路由算法應(yīng)用于網(wǎng)絡(luò)切片時，網(wǎng)絡(luò)拓撲結(jié)構(gòu)的變化和不確定性將導(dǎo)致訓(xùn)練模型難以收斂和泛化，從而影響路由算法的性能。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于srv6技術(shù)的云際場景差異化路由機制。包括云際計算場景下網(wǎng)絡(luò)的srv6網(wǎng)絡(luò)優(yōu)化部署機制、差異化網(wǎng)絡(luò)資源虛擬化機制和基于圖卷積神經(jīng)網(wǎng)絡(luò)的路由機制三部分。srv6網(wǎng)絡(luò)優(yōu)化部署機制獲取由基礎(chǔ)設(shè)施層上傳的基礎(chǔ)資源信息并進行srv6節(jié)點的升級，差異化網(wǎng)絡(luò)資源虛擬化機制收集srv6優(yōu)化部署信息后進行切片創(chuàng)建及切片資源分配，基于圖卷積神經(jīng)網(wǎng)絡(luò)的路由機制在不同的網(wǎng)絡(luò)切片上利用gcn算法生成路徑進行路由。

2、本發(fā)明采用的技術(shù)方案是：

3、一種基于srv6技術(shù)的云際場景差異化路由方法，該方法包括基礎(chǔ)設(shè)施層、srv6優(yōu)化部署層、網(wǎng)絡(luò)虛擬化層、控制層和應(yīng)用層共五層架構(gòu)；首先通過應(yīng)用層獲取云際計算場景下的業(yè)務(wù)流量，對此進行分析后下發(fā)至控制層，基礎(chǔ)設(shè)施網(wǎng)絡(luò)經(jīng)srv6技術(shù)進行優(yōu)化后采用網(wǎng)絡(luò)切片技術(shù)實現(xiàn)網(wǎng)絡(luò)虛擬化；控制層獲取切片資源信息和網(wǎng)絡(luò)拓撲信息通過向圖卷積神經(jīng)網(wǎng)絡(luò)模型注入網(wǎng)絡(luò)狀態(tài)，設(shè)計的面向云際計算場景的差異化路由方法；線下通過fcm聚類算法對鏈路狀況進行離散化處理后，有監(jiān)督地訓(xùn)練gcn模型；根據(jù)網(wǎng)絡(luò)實時狀態(tài)獲得差異化路由路徑。

4、進一步優(yōu)選技術(shù)方案是：該方法具體步驟如下：

5、步驟一、在應(yīng)用層接收云際計算網(wǎng)絡(luò)場景下用戶終端的業(yè)務(wù)流量，并對流量進行分析；

6、步驟二、在基礎(chǔ)設(shè)施層和srv6優(yōu)化部署層之間進行交互，以確定基礎(chǔ)設(shè)施層的資源信息；

7、步驟三、執(zhí)行srv6優(yōu)化部署層節(jié)點升級算法，確定升級后的網(wǎng)絡(luò)資源信息。對節(jié)點和鏈路信息進行分析和處理，設(shè)置節(jié)點可用性等級指標(biāo)；

8、步驟四、通過網(wǎng)絡(luò)虛擬化層的虛擬化中間件，根據(jù)物理資源和云際計算場景下不同網(wǎng)絡(luò)環(huán)境的特征，按照相關(guān)算法完成網(wǎng)絡(luò)切片的資源映射和切片部署；

9、步驟五、通過控制層形成網(wǎng)絡(luò)切片后，根據(jù)劃分好的切片類型和業(yè)務(wù)流量類型，為其分配網(wǎng)絡(luò)資源；

10、步驟六、采集網(wǎng)絡(luò)拓撲的鏈路帶寬、傳輸時延、流量、丟包率等網(wǎng)絡(luò)參數(shù)，通過fcm聚類算法對鏈路狀況進行離散化處理，得到聚類結(jié)果生成訓(xùn)練數(shù)據(jù)集的標(biāo)簽；以有監(jiān)督的方式訓(xùn)練gcn模型；

11、步驟七、在線上訓(xùn)練時，更新節(jié)點特征向量和網(wǎng)絡(luò)鄰接矩陣；將網(wǎng)絡(luò)狀態(tài)作為輸入傳遞給gcn模型，模型輸出單跳路由開銷，并更新路由路徑。

12、進一步優(yōu)選技術(shù)方案是：所述步驟一中應(yīng)用層接收云際計算場景下用戶終端設(shè)備輸入的業(yè)務(wù)流量信息，經(jīng)過流量分析后將不同業(yè)務(wù)類型的資源請求信息增加color標(biāo)簽以完成color著色，并將其匹配至事先分配好的color模板中；向控制層下發(fā)資源請求信息以及流量分析的決策邏輯；控制層完成路由決策后將網(wǎng)絡(luò)資源分配給應(yīng)用層用戶，各類終端請求的業(yè)務(wù)數(shù)據(jù)信息在應(yīng)用層被轉(zhuǎn)發(fā)給應(yīng)用實例，終端用戶獲得相應(yīng)的業(yè)務(wù)。

13、進一步優(yōu)選技術(shù)方案是：所述步驟二中基礎(chǔ)設(shè)施層包含云際計算場景中網(wǎng)絡(luò)環(huán)境下的基礎(chǔ)軟硬件設(shè)施資源信息，基礎(chǔ)設(shè)施資源構(gòu)成網(wǎng)絡(luò)的物理基礎(chǔ)，支撐網(wǎng)絡(luò)性能和服務(wù)質(zhì)量；將基礎(chǔ)設(shè)施資源網(wǎng)絡(luò)抽象為一個無向加權(quán)圖，表示為g＝(n,e)，n代表網(wǎng)絡(luò)節(jié)點，e代表物理鏈路集；節(jié)點ni∈n,ni＝(ri,ci),其中，ri表示底層物理網(wǎng)絡(luò)上節(jié)點的cpu資源值，ci表示底層物理網(wǎng)絡(luò)上的節(jié)點容量值；對于鏈路eij∈e，有eij＝(bandij,delij,costij)，其中，bandij表示底層物理網(wǎng)絡(luò)鏈路的可用帶寬大小，delij表示底層物理網(wǎng)絡(luò)鏈路的時延信息，costij表示底層物理網(wǎng)絡(luò)的鏈路開銷。

14、進一步優(yōu)選技術(shù)方案是：所述步驟三中srv6優(yōu)化部署層；基于基礎(chǔ)設(shè)施層上傳的物理網(wǎng)絡(luò)基礎(chǔ)資源信息，以最小化最大鏈路利用率為目標(biāo)，實現(xiàn)srv6網(wǎng)絡(luò)優(yōu)化部署機制；將網(wǎng)絡(luò)的ip網(wǎng)絡(luò)可以被升級為srv6網(wǎng)絡(luò)，實現(xiàn)更加靈活、可擴展和安全的網(wǎng)絡(luò)服務(wù)；srv6優(yōu)化部署層的有效實施可以幫助網(wǎng)絡(luò)提供商和服務(wù)提供商更好地管理和部署網(wǎng)絡(luò)資源，提高網(wǎng)絡(luò)的可靠性和穩(wěn)定性，滿足不同場景下的差異化需求。

15、進一步優(yōu)選技術(shù)方案是：所述步驟四種網(wǎng)絡(luò)虛擬化層，將物理網(wǎng)絡(luò)資源虛擬化成多個獨立的邏輯網(wǎng)絡(luò)切片，為不同的業(yè)務(wù)場景提供不同的網(wǎng)絡(luò)服務(wù)，實現(xiàn)網(wǎng)絡(luò)資源的虛擬化和網(wǎng)絡(luò)功能的隔離，從而使網(wǎng)絡(luò)能夠更加靈活和可擴展；在云際計算場景的網(wǎng)絡(luò)環(huán)境下，網(wǎng)絡(luò)虛擬化層可以創(chuàng)建多個網(wǎng)絡(luò)切片，每個切片都具有不同的網(wǎng)絡(luò)資源分配和部署方案，以滿足不同業(yè)務(wù)場景的需求。

16、進一步優(yōu)選技術(shù)方案是：所述步驟五中控制層收集來自網(wǎng)絡(luò)虛擬化層的切片資源信息和網(wǎng)絡(luò)拓撲信息，并對切片性能進行檢測和監(jiān)控；同時，利用先進的路由算法生成路由路徑，以滿足云際計算場景下網(wǎng)絡(luò)環(huán)境的流量需求；為了實現(xiàn)更高效的路由算法，控制層采用基于圖卷積神經(jīng)網(wǎng)絡(luò)的算法，可以更加準(zhǔn)確地推斷網(wǎng)絡(luò)拓撲信息和路由路徑，提高了網(wǎng)絡(luò)的性能和穩(wěn)定性。

17、本發(fā)明的優(yōu)點是：為了驗證本發(fā)明設(shè)計的基于srv6技術(shù)的云際場景差異化路由機制的性能，對該機制進行了相應(yīng)的仿真實驗和性能評價。

18、1、為了驗證云際計算場景下的srv6網(wǎng)絡(luò)優(yōu)化部署機制的性能，本發(fā)明選取最短路徑算法作為對比機制進行分析。在實際的網(wǎng)絡(luò)環(huán)境下，如果從源節(jié)點到目的節(jié)點的鏈路中存在一段鏈路利用率為100％，而其他鏈路則很少被利用或者沒有被利用，將導(dǎo)致服務(wù)提供商的設(shè)備浪費大量資源。因此，在本發(fā)明中，srv6網(wǎng)絡(luò)優(yōu)化部署機制的目標(biāo)應(yīng)該是最小化最大鏈路利用率，以實現(xiàn)更高效的網(wǎng)絡(luò)利用。實驗的評價指標(biāo)為最大鏈路利用率(maximallink?utilization)。如圖3所示。實驗結(jié)果表明，發(fā)明采用的gsi機制的最大鏈路利用率顯著小于最短路徑機制。

19、2、為了驗證以網(wǎng)絡(luò)切片為主要技術(shù)的差異化網(wǎng)絡(luò)資源虛擬化機制的性能，本發(fā)明以切片上帶寬的平均使用率為評價指標(biāo)進行實驗。實驗結(jié)果如圖4所示。切片上帶寬的平均使用率在0.15附近，說明切片上的資源得到充分分配，因為本實驗的用戶預(yù)設(shè)置的數(shù)量遠遠小于真實環(huán)境下的數(shù)量，所以這也是當(dāng)前實驗下帶寬使用率低的一個因素。同時本實驗設(shè)置了閾值，一旦資源負載到達閾值，切片就會第一時間做出切換策略，避免了資源負載過大，避免了網(wǎng)絡(luò)擁塞情況的發(fā)生。

20、3、為了驗證基于srv6技術(shù)的云際場景差異化路由機制的性能，本發(fā)明選取ecmp算法、drl-te算法、smartroute算法、gcn路由算法作為對比機制進行分析。實驗的評價指標(biāo)為從丟包率、請求平均時延、請求平均帶寬占用率。實驗結(jié)果如圖5、圖6、圖7所示。由實驗結(jié)果圖可以看出，所設(shè)計的面向云際計算網(wǎng)絡(luò)場景下的差異化路由機制丟包率、請求平均時延、平均帶寬占用率均最低。這是因為對比算法只針對網(wǎng)絡(luò)中單一的流量因素作為判斷依據(jù)，而本發(fā)明設(shè)計的差異化路由機制對鏈路多屬性參數(shù)的離散化分析，能夠?qū)崿F(xiàn)根據(jù)負載情況自適應(yīng)適配路徑，得到的全局路由開銷更為精確，能夠得到更優(yōu)的路徑。