本發(fā)明屬于網(wǎng)絡(luò)通信，具體涉及一種網(wǎng)絡(luò)切片承載資源調(diào)度方法、裝置及介質(zhì)。

背景技術(shù)：

1、網(wǎng)絡(luò)切片技術(shù)，作為5g服務(wù)的核心支撐，為各種差異化服務(wù)提供了強大的技術(shù)后盾。然而，在其實施過程中，承載網(wǎng)中網(wǎng)絡(luò)資源的統(tǒng)一、靈活、智能和高效調(diào)度成為了一個亟待解決的挑戰(zhàn)。

2、flexe技術(shù)，是一種基于ethernet技術(shù)的創(chuàng)新，旨在滿足高速傳送和靈活帶寬設(shè)置的需求。它利用時隙交叉技術(shù)和端口捆綁技術(shù)，實現(xiàn)了一種低成本、可動態(tài)配置的電信級接口技術(shù)。這種技術(shù)基于高速以太網(wǎng)接口，通過解耦以太網(wǎng)mac速率和phy速率，使得接口速率可以靈活控制，以適應(yīng)各種復(fù)雜的網(wǎng)絡(luò)傳輸結(jié)構(gòu)。flexe的隔離特性天然支持了網(wǎng)絡(luò)切片。

3、當(dāng)flexe?over?wdm承載網(wǎng)應(yīng)用于網(wǎng)絡(luò)切片后，為了應(yīng)對復(fù)雜多變的用戶業(yè)務(wù)流，如何動態(tài)、有效地進行flexe子通道、時隙分配是一個復(fù)雜的優(yōu)化問題。

技術(shù)實現(xiàn)思路

1、發(fā)明目的：針對現(xiàn)有技術(shù)的不足，本發(fā)明提出一種網(wǎng)絡(luò)切片承載資源調(diào)度方法、裝置及介質(zhì)，旨在提升承載網(wǎng)資源調(diào)度的智能化和有效性。

2、技術(shù)方案：本發(fā)明所述的一種網(wǎng)絡(luò)切片承載資源調(diào)度方法，包括以下步驟：

3、步驟1：周期性測量flexe承載網(wǎng)各個節(jié)點和路徑狀態(tài)獲得網(wǎng)絡(luò)狀態(tài)；

4、步驟2：在獲得網(wǎng)絡(luò)狀態(tài)后，抽象網(wǎng)絡(luò)模型，智能控制面利用dqn算法更新本地流量控制策略，并將調(diào)整的時隙表下發(fā)到數(shù)據(jù)平面；

5、步驟3：數(shù)據(jù)平面根據(jù)當(dāng)前時隙表執(zhí)行網(wǎng)絡(luò)資源的切分。

6、進一步地，步驟1所述網(wǎng)絡(luò)狀態(tài)為：

7、在端節(jié)點a、b之間切片s的數(shù)據(jù)流傳輸所需帶寬；切片s捆綁的flexe?group?g編號；切片s的數(shù)據(jù)流傳輸時使用的flexe?group?g綁定的以太網(wǎng)phy接口編號；切片s的數(shù)據(jù)流傳輸時在以太網(wǎng)phy接口中使用的時隙編號以及時隙的粒度；切片s的數(shù)據(jù)流傳輸時使用的flexe?client子接口編號及每個子接口的帶寬；flexe端節(jié)點設(shè)備的物理端口配置表。

8、進一步地，步驟2所述抽象網(wǎng)絡(luò)模型的實現(xiàn)過程為：

9、網(wǎng)絡(luò)切片承載資源調(diào)度的目標(biāo)是最大化切片業(yè)務(wù)承載獲得最大的流量；其優(yōu)化問題描述為公式(1)：

10、

11、其約束條件為：

12、

13、∑g∈gpg≤256(5)

14、

15、其中，公式(2)表示切片的總流量小于等于所有flexe?group的總帶寬；公式(3)表示同一切片的所有數(shù)據(jù)流對應(yīng)的flexe?client子接口總帶寬等于映射的flexe?group的總帶寬；公式(4)表示一個flexe?client配置的帶寬為δb的整數(shù)倍；公式(5)表示一個flexegroup?g下的phy接口數(shù)小于等于256；公式(6)表示一個flexe節(jié)點捆綁的flexe?group的總帶寬小于等于flexe節(jié)點設(shè)備所能提供的總帶寬；s為若干個切片構(gòu)成切片集合；n為flexe端節(jié)點集合；bn為flexe端節(jié)點n設(shè)備的物理端口的總帶寬；g為若干個flexe?group構(gòu)成的集合；為切片s的數(shù)據(jù)流在端節(jié)點a、b之間由flexe?groupg傳輸時的帶寬；為布爾變量，如果切片s的數(shù)據(jù)流在端節(jié)點a、b之間由flexe?group?g傳輸則為1，否則為0；pg為flexe?groupg下的以太網(wǎng)phy接口；為flexe端節(jié)點n上捆綁的flexe?group?g的以太網(wǎng)phy接口；為pg接口下的時隙數(shù)；為接口下的時隙數(shù)；δb為每個slot的傳輸粒度；c為所有flexe?client子接口集合；為布爾變量，如果切片s的數(shù)據(jù)流在端節(jié)點a、b之間被分配到flexe?client子接口c傳輸則為1，否則為0；為切片s的數(shù)據(jù)流在端節(jié)點a、b之間被分配到flexe?client子接口c時，子接口c的帶寬。

16、進一步地，步驟2所述利用dqn算法更新本地流量控制策略實現(xiàn)過程如下：

17、在每個時刻采樣t(t∈t＝[0,1,...,t]，t為網(wǎng)絡(luò)切片承載資源調(diào)度算法更新周期，t內(nèi)包含若干網(wǎng)絡(luò)狀態(tài)采樣時刻t，在t時間內(nèi)觀察網(wǎng)絡(luò)動態(tài)，生成新的資源分配策略；

18、將切片資源分配問題建模為馬爾可夫決策過程mdp，用四元組{s,a,p,r}表示，s為承載網(wǎng)的狀態(tài)空間，包括底層網(wǎng)絡(luò)狀態(tài)和切片業(yè)務(wù)請求；a為聯(lián)合控制器采取的動作，即切片資源分配比例；p為狀態(tài)轉(zhuǎn)移概率；r為執(zhí)行動作所得的獎勵；在智能控制面對切片業(yè)務(wù)請求進行資源調(diào)度時，對動作進行獎勵評估，在所有策略中選擇最優(yōu)策略進行調(diào)度；利用dqn求解mdp問題，實現(xiàn)網(wǎng)絡(luò)切片承載資源調(diào)度。

19、進一步地，所述利用dqn求解mdp問題包括：

20、在采樣時刻t，初始化經(jīng)驗池，隨機初始化當(dāng)前q網(wǎng)絡(luò)、目標(biāo)q網(wǎng)絡(luò)，目標(biāo)q網(wǎng)絡(luò)參數(shù)與當(dāng)前q網(wǎng)絡(luò)參數(shù)相同；

21、循環(huán)開始時隨機選擇一個網(wǎng)絡(luò)初始狀態(tài)st；

22、用ε-貪心策略生成一個動作at：其中有ε概率隨機選擇一個動作at，其它情況下at＝argmaxq(st,at)，即選擇在st狀態(tài)下使得q值最大的動作at；

23、在狀態(tài)st時執(zhí)行動作at以獲得：即時獎勵下一個狀態(tài)st+1、是否觸發(fā)終止條件done；

24、將st、at、rt、st+1、done存入經(jīng)驗池，直至存滿；

25、為經(jīng)驗回放池中的樣本賦予不同優(yōu)先級，用隨機優(yōu)先采樣方法從經(jīng)驗池中隨機采樣獲取n個數(shù)據(jù){(si、ai、ri、si+1)；i＝1,2…,n}；

26、將每個采樣數(shù)據(jù)送入目標(biāo)q網(wǎng)絡(luò)計算得到q值其中γ∈[0,1]為衰減因子；

27、最小化目標(biāo)損失以此梯度下降更新當(dāng)前q網(wǎng)絡(luò)；直到done＝true時終止循環(huán)；

28、每隔固定的循環(huán)數(shù)更新目標(biāo)q網(wǎng)絡(luò)，使其參數(shù)與當(dāng)前q網(wǎng)絡(luò)相同；直到q(st,at)收斂時得到網(wǎng)絡(luò)切片承載資源分配結(jié)果。

29、本發(fā)明所述的一種裝置設(shè)備，包括存儲器和處理器，其中：

30、存儲器，用于存儲能夠在處理器上運行的計算機程序；

31、處理器，用于在運行所述計算機程序時，執(zhí)行如上所述的一種網(wǎng)絡(luò)切片承載資源調(diào)度方法的步驟。

32、本發(fā)明所述的存儲介質(zhì)上存儲有計算機程序，所述計算機程序被至少一個處理器執(zhí)行時實現(xiàn)如上所述的一種網(wǎng)絡(luò)切片承載資源調(diào)度方法的步驟。

33、有益效果：與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：本發(fā)明利用dqn求解網(wǎng)絡(luò)模型的決策目標(biāo)，在各種業(yè)務(wù)負(fù)載強度下都能實現(xiàn)較高的網(wǎng)絡(luò)容量和很高的業(yè)務(wù)請求接受率；本發(fā)明的運算量較小，無需人為干預(yù)，適于網(wǎng)絡(luò)資源的實時調(diào)整需求，提升承載網(wǎng)資源調(diào)度的智能化和有效性。

技術(shù)特征：

1.一種網(wǎng)絡(luò)切片承載資源調(diào)度方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述一種網(wǎng)絡(luò)切片承載資源調(diào)度方法，其特征在于，步驟1所述網(wǎng)絡(luò)狀態(tài)為：

3.根據(jù)權(quán)利要求1所述一種網(wǎng)絡(luò)切片承載資源調(diào)度方法，其特征在于，步驟2所述抽象網(wǎng)絡(luò)模型的實現(xiàn)過程為：

4.根據(jù)權(quán)利要求1所述一種網(wǎng)絡(luò)切片承載資源調(diào)度方法，其特征在于，步驟2所述利用dqn算法更新本地流量控制策略實現(xiàn)過程如下：

5.根據(jù)權(quán)利要求4所述一種網(wǎng)絡(luò)切片承載資源調(diào)度方法，其特征在于，所述利用dqn求解mdp問題包括：

6.一種裝置設(shè)備，其特征在于，包括存儲器和處理器，其中：

7.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)上存儲有計算機程序，所述計算機程序被至少一個處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至5任一項所述的一種網(wǎng)絡(luò)切片承載資源調(diào)度方法的步驟。

技術(shù)總結(jié)
本發(fā)明公開了一種網(wǎng)絡(luò)切片承載資源調(diào)度方法、裝置及介質(zhì)，所述方法包括：首先，周期性測量FlexE承載網(wǎng)各個節(jié)點和路徑狀態(tài)獲得網(wǎng)絡(luò)狀態(tài)；其次，在獲得網(wǎng)絡(luò)狀態(tài)后，抽象網(wǎng)絡(luò)模型，智能控制面利用DQN算法更新本地流量控制策略，并將調(diào)整的時隙表下發(fā)到數(shù)據(jù)平面；最后，數(shù)據(jù)平面根據(jù)當(dāng)前時隙表執(zhí)行網(wǎng)絡(luò)資源的切分。本發(fā)明利用DQN求解網(wǎng)絡(luò)模型的決策目標(biāo)，在各種業(yè)務(wù)負(fù)載強度下都能實現(xiàn)較高的網(wǎng)絡(luò)容量和業(yè)務(wù)請求接受率；本發(fā)明的運算量較小，無需人為干預(yù)，適于網(wǎng)絡(luò)資源的實時調(diào)整需求，提升承載網(wǎng)資源調(diào)度的智能化和有效性。

技術(shù)研發(fā)人員：羅文茂,李潔,王北戎,魏亮,魏興龍
受保護的技術(shù)使用者：南京信息職業(yè)技術(shù)學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21