本發(fā)明涉及人工智能，特別涉及一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、近年來，大量研究都在探索使用各種方法進行語音合成，實現(xiàn)人機語音交互?，F(xiàn)有的大語言模型和語音相結(jié)合的研究僅僅是在大語言模型的前后分別加上語音特征提取模塊以及語音生成模塊，而沒有考慮到語音的情感特征，不能根據(jù)當(dāng)下的對話內(nèi)容獲取到對話用戶的情緒，無法根據(jù)情境調(diào)整輸出語音的語調(diào)、語速和情緒特征，無法做到與聊天的人共情。

技術(shù)實現(xiàn)思路

1、為此，本發(fā)明提供了一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)，以力圖解決或者至少緩解上面存在的至少一個問題。

2、根據(jù)本發(fā)明的一個方面，提供一種數(shù)據(jù)處理方法，適于在計算設(shè)備中執(zhí)行，包括：

3、獲取輸入數(shù)據(jù)；

4、根據(jù)所述輸入數(shù)據(jù)獲取所述輸入數(shù)據(jù)對應(yīng)的第一形式應(yīng)答數(shù)據(jù)，以及相應(yīng)的情緒表達數(shù)據(jù)；

5、根據(jù)所述第一形式應(yīng)答數(shù)據(jù)和所述情緒表達數(shù)據(jù)生成所述輸入數(shù)據(jù)對應(yīng)的目標(biāo)應(yīng)答數(shù)據(jù)。

6、可選的，在根據(jù)本發(fā)明的數(shù)據(jù)處理方法中，所述根據(jù)所述第一形式應(yīng)答數(shù)據(jù)和所述情緒表達數(shù)據(jù)生成所述輸入數(shù)據(jù)對應(yīng)的目標(biāo)應(yīng)答數(shù)據(jù)，包括：

7、將所述第一形式應(yīng)答數(shù)據(jù)轉(zhuǎn)換成第二形式應(yīng)答數(shù)據(jù)；

8、獲取所述情緒表達數(shù)據(jù)對應(yīng)的情緒數(shù)據(jù)特征表示；

9、根據(jù)所述情緒數(shù)據(jù)特征表示和所述第二形式應(yīng)答數(shù)據(jù)生成所述目標(biāo)應(yīng)答數(shù)據(jù)。

10、可選地，所述根據(jù)所述情緒數(shù)據(jù)特征表示和所述第二形式應(yīng)答數(shù)據(jù)生成所述目標(biāo)應(yīng)答數(shù)據(jù)，包括：

11、對所述第二形式應(yīng)答數(shù)據(jù)進行編碼，獲得所述第二形式應(yīng)答數(shù)據(jù)對應(yīng)的應(yīng)答數(shù)據(jù)特征表示；

12、根據(jù)所述情緒數(shù)據(jù)特征表示和所述應(yīng)答數(shù)據(jù)特征表示生成所述目標(biāo)應(yīng)答數(shù)據(jù)。

13、可選地，所述情緒表達數(shù)據(jù)包括第一特征、第二特征和第三特征中的至少一種，其中，所述第一特征包括鼻音、煙嗓、尖銳、沙啞、正常中的至少一種，所述第二特征包括語速快速、語速慢速、聲音高頻、聲音低頻、聲音大聲、聲音小聲中的至少一種；第三特征包括開心、平靜、傷心、驚訝中的至少一種。

14、可選地，所述第一形式應(yīng)答數(shù)據(jù)為文本數(shù)據(jù)，第二形式應(yīng)答數(shù)據(jù)為語音數(shù)據(jù)。

15、可選地，所述根據(jù)所述輸入數(shù)據(jù)獲取所述輸入數(shù)據(jù)對應(yīng)的第一形式應(yīng)答數(shù)據(jù)，以及相應(yīng)的情緒表達數(shù)據(jù)，通過大語言模型實現(xiàn)，所述大語言模型的通過以下步驟獲得：

16、獲取預(yù)訓(xùn)練大語言模型；

17、獲取第一訓(xùn)練數(shù)據(jù)集，所述第一訓(xùn)練數(shù)據(jù)集包括文本數(shù)據(jù)樣本及對應(yīng)的第一標(biāo)簽數(shù)據(jù)，所述第一標(biāo)簽數(shù)據(jù)包括所述文本數(shù)據(jù)樣本對應(yīng)的應(yīng)答數(shù)據(jù)和情緒數(shù)據(jù)；

18、通過所述第一訓(xùn)練數(shù)據(jù)集對所述預(yù)訓(xùn)練大語言模型進行微調(diào)訓(xùn)練，直至所述預(yù)訓(xùn)練大語言模型收斂，獲得訓(xùn)練好的大語言模型。

19、可選地，所述通過所述第一訓(xùn)練數(shù)據(jù)集對所述預(yù)訓(xùn)練大語言模型進行微調(diào)訓(xùn)練，直至所述預(yù)訓(xùn)練大語言模型收斂，獲得訓(xùn)練好的大語言模型，包括：

20、根據(jù)所述預(yù)訓(xùn)練大語言模型構(gòu)造微調(diào)大模型；

21、通過所述第一訓(xùn)練數(shù)據(jù)集對所述微調(diào)大模型進行訓(xùn)練，根據(jù)所述微調(diào)大模型輸出的預(yù)測情緒特征和預(yù)測應(yīng)答文本與所述第一標(biāo)簽數(shù)據(jù)之間的損失對所述微調(diào)大模型相對于所述預(yù)訓(xùn)練大語言模型新增加的參數(shù)進行調(diào)整，直至所述微調(diào)大模型收斂，獲得訓(xùn)練好的大語言模型。

22、可選地，所述獲取所述情緒表達數(shù)據(jù)對應(yīng)的情緒數(shù)據(jù)特征表示通過數(shù)據(jù)特征提取單元實現(xiàn)，所述通過所述目標(biāo)數(shù)據(jù)生成單元根據(jù)所述情緒數(shù)據(jù)特征表示和所述第二形式應(yīng)答數(shù)據(jù)生成所述目標(biāo)應(yīng)答數(shù)據(jù)通過目標(biāo)數(shù)據(jù)生成單元實現(xiàn)，所述數(shù)據(jù)特征提取單元和所述目標(biāo)數(shù)據(jù)生成單元聯(lián)合訓(xùn)練，所述目標(biāo)數(shù)據(jù)生成單元包括編碼單元和解碼單元，所述數(shù)據(jù)特征提取單元和所述目標(biāo)數(shù)據(jù)生成單元的訓(xùn)練過程包括：

23、根據(jù)所述數(shù)據(jù)特征提取單元和所述目標(biāo)數(shù)據(jù)生成單元構(gòu)造聯(lián)合訓(xùn)練模型；

24、獲取第二訓(xùn)練數(shù)據(jù)集，所述第二訓(xùn)練數(shù)據(jù)集包括情緒樣本數(shù)據(jù)和語音樣本數(shù)據(jù)，以及所述情緒樣本數(shù)據(jù)和所述語音樣本數(shù)據(jù)對應(yīng)的第二標(biāo)簽數(shù)據(jù)，所述第二標(biāo)簽數(shù)據(jù)為包含所述情緒樣本數(shù)據(jù)所描述的情緒和所述語音樣本數(shù)據(jù)的內(nèi)容的語音數(shù)據(jù)；

25、將第二訓(xùn)練數(shù)據(jù)集中的情緒樣本數(shù)據(jù)輸入所述數(shù)據(jù)特征提取單元獲得相應(yīng)的情緒特征表示，將所述語音樣本數(shù)據(jù)輸入所述目標(biāo)數(shù)據(jù)生成單元的編碼單元，獲得語音數(shù)據(jù)特征表示，通過所述解碼單元根據(jù)所述情緒特征表示和語音數(shù)據(jù)特征表示獲得預(yù)測語音數(shù)據(jù)，根據(jù)所述預(yù)測語音數(shù)據(jù)與所述第二標(biāo)簽語音數(shù)據(jù)之間的損失對所述數(shù)據(jù)特征提取單元和所述目標(biāo)數(shù)據(jù)生成單元進行調(diào)整，直至所述數(shù)據(jù)特征提取單元和所述目標(biāo)數(shù)據(jù)生成單元進行調(diào)整收斂。

26、根據(jù)本發(fā)明的又一個方面，提供一種數(shù)據(jù)處理裝置，所述裝置包括：

27、數(shù)據(jù)獲取單元，用于獲取單元獲取輸入數(shù)據(jù)；

28、第一數(shù)據(jù)處理單元，用于根據(jù)所述輸入數(shù)據(jù)獲取所述輸入數(shù)據(jù)對應(yīng)的第一形式應(yīng)答數(shù)據(jù)，以及情緒表達數(shù)據(jù)；

29、第二數(shù)據(jù)處理單元，用于根據(jù)所述第一形式應(yīng)答數(shù)據(jù)和所述情緒表達數(shù)據(jù)生成所述輸入數(shù)據(jù)對應(yīng)的目標(biāo)應(yīng)答數(shù)據(jù)。

30、根據(jù)本發(fā)明的又一個方面，提供一種電子設(shè)備，包括：至少一個處理器；以及存儲器，存儲有程序指令，其中，程序指令被配置為適于由至少一個處理器執(zhí)行，程序指令包括用于執(zhí)行如上的任一項數(shù)據(jù)處理方法的指令。

31、根據(jù)本發(fā)明的又一方面，提供一種存儲有程序指令的可讀存儲介質(zhì)，當(dāng)程序指令被計算設(shè)備讀取并執(zhí)行時，使得計算設(shè)備執(zhí)行如上的任一項所述的方法。

32、根據(jù)本發(fā)明的數(shù)據(jù)處理方法，獲取用戶輸入數(shù)據(jù)的情緒表達數(shù)據(jù)，并將獲取到的情緒表達數(shù)據(jù)與輸入數(shù)據(jù)對應(yīng)的應(yīng)答數(shù)據(jù)進行融合，獲得目標(biāo)應(yīng)答數(shù)據(jù)，從而使目標(biāo)應(yīng)答數(shù)據(jù)中帶有當(dāng)下交互情境的情緒表達數(shù)據(jù)，使得用戶在交互過程中，能夠收到帶有共情的，符合當(dāng)下對話情境的應(yīng)答數(shù)據(jù)，使得人機交互更加順暢，提升用戶交互體驗。

技術(shù)特征：

1.一種數(shù)據(jù)處理方法，其特征在于：

2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一形式應(yīng)答數(shù)據(jù)和所述情緒表達數(shù)據(jù)生成所述輸入數(shù)據(jù)對應(yīng)的目標(biāo)應(yīng)答數(shù)據(jù)，包括：

3.如權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述情緒數(shù)據(jù)特征表示和所述第二形式應(yīng)答數(shù)據(jù)生成所述目標(biāo)應(yīng)答數(shù)據(jù)，包括：

4.如權(quán)利要求1所述的方法，其特征在于，所述情緒表達數(shù)據(jù)包括第一特征、第二特征和第三特征中的至少一種，其中，所述第一特征包括鼻音、煙嗓、尖銳、沙啞、正常中的至少一種，所述第二特征包括語速快速、語速慢速、聲音高頻、聲音低頻、聲音大聲、聲音小聲中的至少一種；第三特征包括開心、平靜、傷心、驚訝中的至少一種；

5.如權(quán)利要求1至4任一項所述的方法，其特征在于，所述根據(jù)所述輸入數(shù)據(jù)獲取所述輸入數(shù)據(jù)對應(yīng)的第一形式應(yīng)答數(shù)據(jù)，以及相應(yīng)的情緒表達數(shù)據(jù)，通過大語言模型實現(xiàn)，所述大語言模型的通過以下步驟獲得：

6.如權(quán)利要求5所述的方法，其特征在于，所述通過所述第一訓(xùn)練數(shù)據(jù)集對所述預(yù)訓(xùn)練大語言模型進行微調(diào)訓(xùn)練，直至所述預(yù)訓(xùn)練大語言模型收斂，獲得訓(xùn)練好的大語言模型，包括：

7.如權(quán)利要求1至4任一項所述的方法，其特征在于，所述獲取所述情緒表達數(shù)據(jù)對應(yīng)的情緒數(shù)據(jù)特征表示通過數(shù)據(jù)特征提取單元實現(xiàn)，所述通過所述目標(biāo)數(shù)據(jù)生成單元根據(jù)所述情緒數(shù)據(jù)特征表示和所述第二形式應(yīng)答數(shù)據(jù)生成所述目標(biāo)應(yīng)答數(shù)據(jù)通過目標(biāo)數(shù)據(jù)生成單元實現(xiàn)，所述數(shù)據(jù)特征提取單元和所述目標(biāo)數(shù)據(jù)生成單元聯(lián)合訓(xùn)練，所述目標(biāo)數(shù)據(jù)生成單元包括編碼單元和解碼單元，所述數(shù)據(jù)特征提取單元和所述目標(biāo)數(shù)據(jù)生成單元的訓(xùn)練過程包括：

8.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置包括：

9.一種電子設(shè)備，包括：

10.一種存儲有程序指令的可讀存儲介質(zhì)，當(dāng)所述程序指令被計算設(shè)備讀取并執(zhí)行時，使得所述計算設(shè)備執(zhí)行如權(quán)利要求1至7中任一項所述方法。

技術(shù)總結(jié)
本發(fā)明公開了一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)。該方法包括：獲取輸入數(shù)據(jù)；根據(jù)所述輸入數(shù)據(jù)獲取所述輸入數(shù)據(jù)對應(yīng)的第一形式應(yīng)答數(shù)據(jù)，以及相應(yīng)的情緒表達數(shù)據(jù)；根據(jù)所述第一形式應(yīng)答數(shù)據(jù)和所述情緒表達數(shù)據(jù)生成所述輸入數(shù)據(jù)對應(yīng)的目標(biāo)應(yīng)答數(shù)據(jù)。通過應(yīng)用本方案，獲取用戶輸入數(shù)據(jù)的情緒表達數(shù)據(jù)，并將獲取到的情緒表達數(shù)據(jù)與輸入數(shù)據(jù)對應(yīng)的應(yīng)答數(shù)據(jù)進行融合，獲得目標(biāo)應(yīng)答數(shù)據(jù)，從而使目標(biāo)應(yīng)答數(shù)據(jù)中帶有當(dāng)下交互情境的情緒表達數(shù)據(jù)，使得用戶在交互過程中，能夠收到帶有共情的，符合當(dāng)下對話情境的應(yīng)答數(shù)據(jù)，使得人機交互更加順暢，提升用戶交互體驗。

技術(shù)研發(fā)人員：范淼,胡晨
受保護的技術(shù)使用者：上海階躍星辰智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/29