本發(fā)明涉及人工智能，尤其涉及一種卸載訓練優(yōu)化方法、裝置、電子設備及存儲介質。

背景技術：

1、在人工智能技術領域中，對于神經網絡模型的訓練過程，通常是在圖形處理器（graphics?processing?unit，gpu）等硬件設備上實現，但當訓練數據規(guī)模、模型參數規(guī)模越來越大時，有限的gpu硬件會隨之出現顯存不足的問題，為解決此問題，中央處理器（central?processing?unit，cpu）卸載技術應運而生，也即通過將gpu中的部分張量數據卸載到cpu上的方式達到節(jié)省gpu顯存的目的。因此，如何實現cpu卸載就顯得尤為重要，

2、相關技術中，神經網絡模型在進行cpu卸載訓練時，往往使用神經網絡模型的框架原生接口實現張量數據在cpu和gpu之間傳輸，并且該框架原生接口很多情況下需要對來自gpu的張量數據進行數據重排，再將數據重排后的張量數據傳輸至cpu。

3、然而，由于張量數據的數據重排過程往往耗時較大，并且隨著卸載數據量的增加，數據重排過程耗時也隨之不斷增加，導致cpu卸載訓練的效率很低，從而導致整個模型訓練效率很低，同時模型訓練時間也隨之延長。

技術實現思路

1、本發(fā)明提供一種卸載訓練優(yōu)化方法、裝置、電子設備及存儲介質，用以解決現有cpu卸載訓練方法需要對gpu張量數據做數據重排后才能傳輸cpu所導致的cpu卸載訓練的效率很低的缺陷，通過自定義api接口可以避免對模型訓練設備中張量數據的原始布局方式進行數據重排，即可拷貝至數據處理設備進行相應處理，以此使得在保證神經網絡模型訓練正確的前提下，消除了數據卸載過程中張量數據的布局轉換過程，從而大幅提升了神經網絡模型的模型訓練效率，同時也大幅縮短了模型訓練時間。

2、本發(fā)明提供一種卸載訓練優(yōu)化方法，包括如下步驟。

3、響應于數據卸載指令，獲取模型訓練設備在深度學習模型訓練過程中提供的目標待卸載張量數據；將所述目標待卸載張量數據拷貝至數據處理設備，所述數據處理設備用于對所述目標待卸載張量數據進行預設操作處理。

4、根據本發(fā)明提供的一種卸載訓練優(yōu)化方法，所述方法還包括：響應于數據回傳指令，獲取所述數據處理設備提供的第一張量數據，并基于所述第一張量數據執(zhí)行數據回傳操作；其中，所述第一張量數據是所述數據處理設備對所述目標待卸載張量數據進行所述預設操作處理后的張量數據。

5、根據本發(fā)明提供的一種卸載訓練優(yōu)化方法，所述基于所述第一張量數據執(zhí)行數據回傳操作，包括：對所述第一張量數據的布局進行恢復處理，并將恢復處理所得到的第二張量數據拷貝至所述模型訓練設備；其中，所述第二張量數據分別與所述目標待卸載張量數據的布局類型相同、與所述第一張量數據的數據內容相同。

6、根據本發(fā)明提供的一種卸載訓練優(yōu)化方法，所述對所述第一張量數據的布局進行恢復處理，包括：在預先記錄所述目標待卸載張量數據所攜帶的原始布局類別信息的情況下，將所述第一張量數據攜帶的布局類別信息替換為所述原始布局類別信息。

7、根據本發(fā)明提供的一種卸載訓練優(yōu)化方法，所述方法還包括：確定所述數據處理設備處理所述目標待卸載張量數據的目標數據處理策略；將所述目標待卸載張量數據拷貝至所述數據處理設備，以及將所述目標數據處理策略傳輸至所述數據處理設備；所述數據處理設備還用于基于所述目標數據處理策略對所述目標待卸載張量數據進行所述預設操作處理。

8、根據本發(fā)明提供的一種卸載訓練優(yōu)化方法，所述確定所述數據處理設備處理所述目標待卸載張量數據的目標數據處理策略，包括：基于所述深度學習模型訓練過程中的不同待卸載張量數據各自對應的用途類型，確定所述目標待卸載張量數據對應的目標用途類型；基于所述數據處理設備處理不同用途類型的待卸載張量數據所對應的數據處理策略，確定所述目標數據處理策略。

9、根據本發(fā)明提供的一種卸載訓練優(yōu)化方法，所述方法還包括：在所述目標用途類型為臨時存儲類型的情況下，確定所述目標處理策略為對所述待卸載張量數據進行緩存處理；在所述目標用途類型為模型參數更新類型的情況下，確定所述目標處理策略為對所述待卸載張量數據進行元素級運算。

10、本發(fā)明還提供一種卸載訓練優(yōu)化裝置，包括如下單元。

11、卸載數據獲取單元，用于響應于數據卸載指令，獲取模型訓練設備在深度學習模型訓練過程中提供的目標待卸載張量數據；

12、卸載訓練優(yōu)化單元，用于將所述目標待卸載張量數據拷貝至數據處理設備，所述數據處理設備用于對所述目標待卸載張量數據進行預設操作處理。

13、本發(fā)明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現如上述任一種所述卸載訓練優(yōu)化方法。

14、本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現如上述任一種所述卸載訓練優(yōu)化方法。

15、本發(fā)明提供的卸載訓練優(yōu)化方法、裝置、電子設備及存儲介質，其中卸載訓練優(yōu)化方法，自定義api接口在響應數據卸載指令時，將模型訓練設備在深度學習模型訓練過程中提供的目標待卸載張量數據拷貝至數據處理設備，以使得數據處理設備對目標待卸載張量數據進行預設操作處理。這樣，通過自定義api接口可以避免對模型訓練設備中張量數據的原始布局方式進行數據重排，即可拷貝至數據處理設備進行相應處理，以此使得在保證神經網絡模型訓練正確的前提下，消除了數據卸載過程中張量數據的布局轉換過程，從而大幅提升了神經網絡模型的模型訓練效率，同時也大幅縮短了模型訓練時間。

技術特征：

1.一種卸載訓練優(yōu)化方法，其特征在于，包括：

2.根據權利要求1所述的卸載訓練優(yōu)化方法，其特征在于，所述方法還包括：

3.根據權利要求2所述的卸載訓練優(yōu)化方法，其特征在于，所述基于所述第一張量數據執(zhí)行數據回傳操作，包括：

4.根據權利要求3所述的卸載訓練優(yōu)化方法，其特征在于，所述對所述第一張量數據的布局進行恢復處理，包括：

5.根據權利要求1至4任一項所述的卸載訓練優(yōu)化方法，其特征在于，所述方法還包括：

6.根據權利要求5所述的卸載訓練優(yōu)化方法，其特征在于，所述確定所述數據處理設備處理所述目標待卸載張量數據的目標數據處理策略，包括：

7.根據權利要求6所述的卸載訓練優(yōu)化方法，其特征在于，所述方法還包括：

8.一種卸載訓練優(yōu)化裝置，其特征在于，包括：

9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現如權利要求1至7任一項所述卸載訓練優(yōu)化方法。

10.一種非暫態(tài)計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現如權利要求1至7任一項所述卸載訓練優(yōu)化方法。

技術總結
本發(fā)明提供一種卸載訓練優(yōu)化方法、裝置、電子設備及存儲介質，涉及人工智能技術領域，其中卸載訓練優(yōu)化方法，包括：響應于數據卸載指令，獲取模型訓練設備在深度學習模型訓練過程中提供的目標待卸載張量數據；將目標待卸載張量數據拷貝至數據處理設備，數據處理設備用于對目標待卸載張量數據進行預設操作處理。本發(fā)明方法通過自定義API接口可以避免對模型訓練設備中張量數據的原始布局方式進行數據重排，即可拷貝至數據處理設備進行相應處理，以此使得在保證神經網絡模型訓練正確的前提下，消除了數據卸載過程中張量數據的布局轉換過程，從而大幅提升了神經網絡模型的模型訓練效率，同時也大幅縮短了模型訓練時間。

技術研發(fā)人員：請求不公布姓名,請求不公布姓名,請求不公布姓名,請求不公布姓名,請求不公布姓名,請求不公布姓名,請求不公布姓名
受保護的技術使用者：上海壁仞科技股份有限公司
技術研發(fā)日：
技術公布日：2024/10/21