本申請(qǐng)涉及語(yǔ)音交互，例如涉及一種用于語(yǔ)音情感交互模型的訓(xùn)練方法及裝置、電子設(shè)備。

背景技術(shù)：

1、目前，對(duì)于空調(diào)這類技術(shù)含量較高的現(xiàn)代家電產(chǎn)品，語(yǔ)音的情感交互是必然的發(fā)展趨勢(shì)。情感交互主要分為ser(speech?emotion?recognition，語(yǔ)音情感識(shí)別)和情感tts(text-to-speech，文本到語(yǔ)音)。ser是指通過識(shí)別用戶的語(yǔ)音、語(yǔ)調(diào)、語(yǔ)速等信息，來(lái)判斷用戶的情緒狀態(tài)，如高興、生氣、焦慮等。情感tts是指將帶有情感色彩的文字轉(zhuǎn)換為有情感的語(yǔ)音輸出。但是當(dāng)前語(yǔ)音助手在ser和情感tts領(lǐng)域存在數(shù)據(jù)稀疏的問題，開發(fā)者很難獲得大量的各類型的情感語(yǔ)音數(shù)據(jù)，傳統(tǒng)的公用式數(shù)據(jù)集大多數(shù)是通過表演收集的，這并不符合實(shí)際場(chǎng)景中的真實(shí)情況，導(dǎo)致ser和情感tts的性能應(yīng)用于現(xiàn)實(shí)中有偏差。

2、相關(guān)技術(shù)中，利用asr識(shí)別將用戶和智能設(shè)備的通話數(shù)據(jù)識(shí)別為對(duì)話文本，并對(duì)領(lǐng)域意圖進(jìn)行解析，生成回復(fù)。同時(shí)利用ser模型解析用戶對(duì)話數(shù)據(jù)的對(duì)應(yīng)情緒，并給出回復(fù)對(duì)應(yīng)的情緒的回復(fù)情緒，最后結(jié)合回復(fù)話術(shù)利用tts模型生成設(shè)備對(duì)話數(shù)據(jù)。

3、在實(shí)現(xiàn)本公開實(shí)施例的過程中，發(fā)現(xiàn)相關(guān)技術(shù)中至少存在如下問題：

4、在情感文本數(shù)據(jù)稀疏的情況下，會(huì)影響語(yǔ)音情感交互模型中ser模型和tts模型的數(shù)據(jù)處理能力。

5、需要說明的是，在上述背景技術(shù)部分公開的信息僅用于加強(qiáng)對(duì)本申請(qǐng)的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)思路

1、為了對(duì)披露的實(shí)施例的一些方面有基本的理解，下面給出了簡(jiǎn)單的概括。所述概括不是泛泛評(píng)述，也不是要確定關(guān)鍵/重要組成元素或描繪這些實(shí)施例的保護(hù)范圍，而是作為后面的詳細(xì)說明的序言。

2、本公開實(shí)施例提供了一種用于語(yǔ)音情感交互模型的訓(xùn)練方法及裝置、電子設(shè)備，以增強(qiáng)語(yǔ)音情感交互模型的數(shù)據(jù)處理能力。

3、在一些實(shí)施例中，用于語(yǔ)音情感交互模型的訓(xùn)練方法包括：獲取目標(biāo)領(lǐng)域意圖的目標(biāo)交互數(shù)據(jù)；在目標(biāo)交互數(shù)據(jù)滿足預(yù)設(shè)條件的情況下，根據(jù)目標(biāo)交互數(shù)據(jù)對(duì)第一預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行增強(qiáng)訓(xùn)練，獲得目標(biāo)第一預(yù)訓(xùn)練大語(yǔ)言模型；獲取目標(biāo)第一預(yù)訓(xùn)練大語(yǔ)言模型輸出的增強(qiáng)情感文本數(shù)據(jù)；根據(jù)增強(qiáng)情感文本數(shù)據(jù)對(duì)語(yǔ)音情感交互模型進(jìn)行增強(qiáng)訓(xùn)練。

4、可選地，滿足預(yù)設(shè)條件，包括：目標(biāo)交互數(shù)據(jù)的數(shù)據(jù)量小于預(yù)設(shè)值；和/或，語(yǔ)音情感交互模型對(duì)目標(biāo)交互數(shù)據(jù)的第一情感識(shí)別結(jié)果，與第二預(yù)訓(xùn)練大語(yǔ)言模型對(duì)目標(biāo)交互數(shù)據(jù)的第二情感識(shí)別結(jié)果不同。

5、可選地，根據(jù)目標(biāo)交互數(shù)據(jù)對(duì)第一預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行增強(qiáng)訓(xùn)練，包括：一次或多次迭代操作；迭代操作包括：基于第一預(yù)訓(xùn)練大語(yǔ)言模型，根據(jù)目標(biāo)交互數(shù)據(jù)，獲得訓(xùn)練情感文本數(shù)據(jù)；基于第三預(yù)訓(xùn)練大語(yǔ)言模型，根據(jù)訓(xùn)練情感文本數(shù)據(jù)對(duì)第一預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行微調(diào)訓(xùn)練；根據(jù)微調(diào)訓(xùn)練完成的第一預(yù)訓(xùn)練大語(yǔ)言模型，對(duì)第三預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行微調(diào)訓(xùn)練；其中，迭代操作的收斂條件為迭代次數(shù)達(dá)到預(yù)設(shè)次數(shù)，或?qū)⒔换?shù)據(jù)輸入第一預(yù)訓(xùn)練大語(yǔ)言模型后，輸出預(yù)設(shè)數(shù)量的同一領(lǐng)域意圖的情感文本數(shù)據(jù)。

6、可選地，基于第一預(yù)訓(xùn)練大語(yǔ)言模型，根據(jù)目標(biāo)交互數(shù)據(jù)，獲得訓(xùn)練情感文本數(shù)據(jù)，包括：對(duì)第一預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行復(fù)制，獲得第一訓(xùn)練模型和第二訓(xùn)練模型；根據(jù)目標(biāo)交互數(shù)據(jù)，結(jié)合提示詞模板生成提示詞；將提示詞分別輸入第一訓(xùn)練模型和第二訓(xùn)練模型，獲得第一訓(xùn)練情感文本數(shù)據(jù)和第二訓(xùn)練情感文本數(shù)據(jù)。

7、可選地，基于第三預(yù)訓(xùn)練大語(yǔ)言模型，根據(jù)訓(xùn)練情感文本數(shù)據(jù)對(duì)第一預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行微調(diào)訓(xùn)練，包括：將第一訓(xùn)練情感文本數(shù)據(jù)輸入第三預(yù)訓(xùn)練大語(yǔ)言模型，獲得第一分?jǐn)?shù)；計(jì)算第一訓(xùn)練情感文本數(shù)據(jù)和第二訓(xùn)練情感文本數(shù)據(jù)之間的kl散度(kullback-leibler?divergence)，并將kl散度與第一分?jǐn)?shù)相加，作為第一訓(xùn)練模型的第一損失函數(shù)；根據(jù)第一損失函數(shù)對(duì)第一訓(xùn)練模型進(jìn)行微調(diào)，并將微調(diào)訓(xùn)練完成的第一訓(xùn)練模型作為第一預(yù)訓(xùn)練大語(yǔ)言模型。

8、可選地，根據(jù)微調(diào)訓(xùn)練完成的第一預(yù)訓(xùn)練大語(yǔ)言模型，對(duì)第三預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行微調(diào)訓(xùn)練，包括：獲取第一預(yù)訓(xùn)練大語(yǔ)言模型輸出的增強(qiáng)情感文本和目標(biāo)交互數(shù)據(jù)中的目標(biāo)情感文本，作為訓(xùn)練文本，并將每個(gè)增強(qiáng)情感文本標(biāo)記為負(fù)樣本，每個(gè)目標(biāo)情感文本標(biāo)記為正樣本；將訓(xùn)練文本輸入第三預(yù)訓(xùn)練大語(yǔ)言模型，獲得訓(xùn)練分?jǐn)?shù)；根據(jù)每個(gè)訓(xùn)練文本對(duì)應(yīng)的標(biāo)記和訓(xùn)練分?jǐn)?shù)，確定第二損失函數(shù)；根據(jù)第二損失函數(shù)對(duì)第三預(yù)訓(xùn)練模型進(jìn)行微調(diào)，獲得微調(diào)訓(xùn)練完成的第三預(yù)訓(xùn)練大語(yǔ)言模型。

9、可選地，語(yǔ)音情感交互模型包括ser模型和tts模型；根據(jù)增強(qiáng)情感文本數(shù)據(jù)對(duì)語(yǔ)音情感交互模型進(jìn)行增強(qiáng)訓(xùn)練，包括：將增強(qiáng)情感文本作為第二預(yù)訓(xùn)練大語(yǔ)言模型的訓(xùn)練數(shù)據(jù)集，對(duì)第二預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行增強(qiáng)訓(xùn)練；根據(jù)增強(qiáng)情感文本和第二預(yù)訓(xùn)練大語(yǔ)言模型，對(duì)ser模型進(jìn)行增強(qiáng)訓(xùn)練；將增強(qiáng)情感文本作為tts模型的訓(xùn)練數(shù)據(jù)集，分析tts模型生成的聲學(xué)特征和目標(biāo)聲學(xué)特征之間的差異，對(duì)tts模型進(jìn)行增強(qiáng)訓(xùn)練。

10、可選地，根據(jù)增強(qiáng)情感文本和第二預(yù)訓(xùn)練大語(yǔ)言模型，對(duì)ser模型進(jìn)行增強(qiáng)訓(xùn)練，包括：將增強(qiáng)情感文本作為ser模型的訓(xùn)練數(shù)據(jù)集；基于知識(shí)蒸餾的方式，根據(jù)第二預(yù)訓(xùn)練大語(yǔ)言模型確定ser模型的損失函數(shù)；根據(jù)ser模型的訓(xùn)練數(shù)據(jù)集和損失函數(shù)，分析ser模型生成的情緒和真實(shí)情緒之間的差異，對(duì)ser模型進(jìn)行增強(qiáng)訓(xùn)練。

11、在一些實(shí)施例中，用于語(yǔ)音情感交互模型的訓(xùn)練裝置包括處理器和存儲(chǔ)有程序指令的存儲(chǔ)器，處理器被配置為在運(yùn)行所述程序指令時(shí)，執(zhí)行如上述的用于語(yǔ)音情感交互模型的訓(xùn)練方法。

12、在一些實(shí)施例中，電子設(shè)備包括：電子設(shè)備本體；如上述的用于語(yǔ)音情感交互模型的訓(xùn)練裝置，被安裝于所述電子設(shè)備本體。

13、本公開實(shí)施例提供的用于語(yǔ)音情感交互模型的訓(xùn)練方法及裝置、電子設(shè)備，可以實(shí)現(xiàn)以下技術(shù)效果：

14、本公開實(shí)施例中，在目標(biāo)交互數(shù)據(jù)滿足預(yù)設(shè)條件的情況下，說明需要對(duì)語(yǔ)音情感交互模型進(jìn)行增強(qiáng)訓(xùn)練。首先根據(jù)目標(biāo)交互數(shù)據(jù)對(duì)第一預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行增強(qiáng)訓(xùn)練，獲得目標(biāo)第一預(yù)訓(xùn)練大語(yǔ)言模型，從而獲得情感一致的文本和語(yǔ)音，作為增強(qiáng)情感文本數(shù)據(jù)。最后根據(jù)增強(qiáng)情感文本數(shù)據(jù)對(duì)語(yǔ)音情感交互模型進(jìn)行增強(qiáng)訓(xùn)練，可以對(duì)語(yǔ)音情感交互模型進(jìn)行優(yōu)化，從而提高語(yǔ)音情感交互模型的數(shù)據(jù)處理能力。

15、以上的總體描述和下文中的描述僅是示例性和解釋性的，不用于限制本申請(qǐng)。

技術(shù)特征：

1.一種用于語(yǔ)音情感交互模型的訓(xùn)練方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，滿足預(yù)設(shè)條件，包括：

3.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其特征在于，根據(jù)目標(biāo)交互數(shù)據(jù)對(duì)第一預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行增強(qiáng)訓(xùn)練，包括：一次或多次迭代操作；迭代操作包括：

4.根據(jù)權(quán)利要求3所述的訓(xùn)練方法，其特征在于，基于第一預(yù)訓(xùn)練大語(yǔ)言模型，根據(jù)目標(biāo)交互數(shù)據(jù)，獲得訓(xùn)練情感文本數(shù)據(jù)，包括：

5.根據(jù)權(quán)利要求4所述的訓(xùn)練方法，其特征在于，基于第三預(yù)訓(xùn)練大語(yǔ)言模型，根據(jù)訓(xùn)練情感文本數(shù)據(jù)對(duì)第一預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行微調(diào)訓(xùn)練，包括：

6.根據(jù)權(quán)利要求3所述的訓(xùn)練方法，其特征在于，根據(jù)微調(diào)訓(xùn)練完成的第一預(yù)訓(xùn)練大語(yǔ)言模型，對(duì)第三預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行微調(diào)訓(xùn)練，包括：

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的訓(xùn)練方法，其特征在于，語(yǔ)音情感交互模型包括語(yǔ)音情感識(shí)別ser模型和文本轉(zhuǎn)語(yǔ)音tts模型；根據(jù)增強(qiáng)情感文本數(shù)據(jù)對(duì)語(yǔ)音情感交互模型進(jìn)行增強(qiáng)訓(xùn)練，包括：

8.根據(jù)權(quán)利要求7所述的訓(xùn)練方法，其特征在于，根據(jù)增強(qiáng)情感文本和第二預(yù)訓(xùn)練大語(yǔ)言模型，對(duì)ser模型進(jìn)行增強(qiáng)訓(xùn)練，包括：

9.一種用于語(yǔ)音情感交互模型的訓(xùn)練裝置，包括處理器和存儲(chǔ)有程序指令的存儲(chǔ)器，其特征在于，所述處理器被配置為在運(yùn)行所述程序指令時(shí)，執(zhí)行如權(quán)利要求1至8任一項(xiàng)所述的用于語(yǔ)音情感交互模型的訓(xùn)練方法。

10.一種電子設(shè)備，其特征在于，包括：

技術(shù)總結(jié)
本申請(qǐng)涉及語(yǔ)音交互技術(shù)領(lǐng)域，公開一種用于語(yǔ)音情感交互模型的訓(xùn)練方法及裝置、電子設(shè)備，包括：獲取目標(biāo)領(lǐng)域意圖的目標(biāo)交互數(shù)據(jù)；在目標(biāo)交互數(shù)據(jù)滿足預(yù)設(shè)條件的情況下，根據(jù)目標(biāo)交互數(shù)據(jù)對(duì)第一預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行增強(qiáng)訓(xùn)練，獲得目標(biāo)第一預(yù)訓(xùn)練大語(yǔ)言模型；獲取目標(biāo)第一預(yù)訓(xùn)練大語(yǔ)言模型輸出的增強(qiáng)情感文本數(shù)據(jù)；根據(jù)增強(qiáng)情感文本數(shù)據(jù)對(duì)語(yǔ)音情感交互模型進(jìn)行增強(qiáng)訓(xùn)練。根據(jù)目標(biāo)交互數(shù)據(jù)對(duì)第一預(yù)訓(xùn)練大語(yǔ)言模型進(jìn)行增強(qiáng)訓(xùn)練，獲得目標(biāo)第一預(yù)訓(xùn)練大語(yǔ)言模型，從而獲得情感一致的文本和語(yǔ)音，作為增強(qiáng)情感文本數(shù)據(jù)。根據(jù)增強(qiáng)情感文本數(shù)據(jù)對(duì)語(yǔ)音情感交互模型進(jìn)行增強(qiáng)訓(xùn)練，對(duì)語(yǔ)音情感交互模型進(jìn)行優(yōu)化，從而提高語(yǔ)音情感交互模型的數(shù)據(jù)處理能力。

技術(shù)研發(fā)人員：李偉,勞春峰,宋玉軍,賈奇?zhèn)?br/>受保護(hù)的技術(shù)使用者：青島海爾空調(diào)器有限總公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/29