多音字模型訓(xùn)練方法、語(yǔ)音合成方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及語(yǔ)音技術(shù)領(lǐng)域，尤其涉及一種用于語(yǔ)音合成的多音字模型訓(xùn)練方法、語(yǔ)音合成方法及裝置。
【背景技術(shù)】
[0002]語(yǔ)音合成，又稱(chēng)文語(yǔ)轉(zhuǎn)換(Text to Speech)技術(shù)，是一種能夠?qū)⑽淖中畔⑥D(zhuǎn)化為語(yǔ)音并進(jìn)行朗讀的技術(shù)。其涉及聲學(xué)、語(yǔ)言學(xué)、數(shù)字信號(hào)處理、計(jì)算機(jī)科學(xué)等多個(gè)學(xué)科技術(shù)，是中文信息處理領(lǐng)域的一項(xiàng)前沿技術(shù)，解決的主要問(wèn)題是如何將文字信息轉(zhuǎn)化為可聽(tīng)的聲音信息。
[0003]在語(yǔ)音合成系統(tǒng)中，將文本信息轉(zhuǎn)換為聲音信息的過(guò)程為:首先需要對(duì)輸入的文本進(jìn)行處理，包括預(yù)處理、分詞、詞性標(biāo)注、多音字預(yù)測(cè)、韻律層級(jí)預(yù)測(cè)等，然后再通過(guò)聲學(xué)模型，預(yù)測(cè)各個(gè)單元對(duì)應(yīng)的聲學(xué)特征，最后利用聲學(xué)參數(shù)直接通過(guò)聲碼器合成聲音，或者從錄音語(yǔ)料庫(kù)中挑選單元進(jìn)行拼接，以生成與文本對(duì)應(yīng)的聲音信息。
[0004]其中，多音字預(yù)測(cè)是整個(gè)語(yǔ)音合成系統(tǒng)的基礎(chǔ)之一，多音字朗讀的正確與否，極大的影響了聽(tīng)者對(duì)合成聲音語(yǔ)義的理解情況(也即TTS系統(tǒng)的可懂度指標(biāo))。如果多音字預(yù)測(cè)準(zhǔn)確率高，可以大大改善用戶(hù)體驗(yàn)，使合成出來(lái)的語(yǔ)音易于理解，聽(tīng)起來(lái)也更加自然流暢。因此，如何提高多音字預(yù)測(cè)的準(zhǔn)確性對(duì)于語(yǔ)音合成系統(tǒng)是十分重要的。
[0005]相關(guān)技術(shù)中，多音字預(yù)測(cè)的方法主要有以下兩種方式:
[0006]第一種方式，基于人工總結(jié)的規(guī)則方法對(duì)多音字進(jìn)行預(yù)測(cè)。具體地，具有一定語(yǔ)言專(zhuān)業(yè)知識(shí)的人，針對(duì)每個(gè)不同的多音字所蘊(yùn)含的各類(lèi)語(yǔ)言現(xiàn)象進(jìn)行歸納總結(jié)，整理出一條條規(guī)則，再由程序開(kāi)發(fā)人員將這些規(guī)則轉(zhuǎn)寫(xiě)成計(jì)算機(jī)能夠理解的代碼，并應(yīng)用于多音字預(yù)測(cè)。
[0007]第二種方式，基于概率統(tǒng)計(jì)模型對(duì)多音字進(jìn)行預(yù)測(cè)。具體地，人工基于注音詞典對(duì)樣本數(shù)據(jù)進(jìn)行標(biāo)注，并提取樣本數(shù)據(jù)的文本特征，并基于文本特征和人工標(biāo)注的樣本數(shù)據(jù)對(duì)概率統(tǒng)計(jì)模型進(jìn)行訓(xùn)練，以生成全局最優(yōu)的統(tǒng)計(jì)模型，然后通過(guò)統(tǒng)計(jì)模型對(duì)輸入的文本進(jìn)行多音字預(yù)測(cè)。
[0008]然而，在實(shí)現(xiàn)本發(fā)明的過(guò)程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)存在至少以下問(wèn)題:
[0009]針對(duì)第一種方式來(lái)說(shuō)，⑴耗費(fèi)人力，且規(guī)則總結(jié)的周期較長(zhǎng)。由于規(guī)則之間可能會(huì)存在沖突，撰寫(xiě)一個(gè)規(guī)則后，需要花費(fèi)精力去驗(yàn)證效果，以防止規(guī)則之間產(chǎn)生沖突，進(jìn)而無(wú)法對(duì)多音字進(jìn)行預(yù)測(cè)。這個(gè)過(guò)程極其耗時(shí)，尤其是在規(guī)則繁多的情況下，人工總結(jié)出效果很好的一系列規(guī)則，可能需要花費(fèi)幾個(gè)月的時(shí)間。(2)規(guī)則存在片面性和局限性問(wèn)題。早期和后期總結(jié)的規(guī)則，由于考慮的側(cè)重點(diǎn)發(fā)生變化而存在一定的矛盾和不一致性并逐漸造成規(guī)則冗余，導(dǎo)致質(zhì)量逐漸低下，且人工很難發(fā)現(xiàn)問(wèn)題并修正。又或者規(guī)則只考慮到了某一類(lèi)特定條件下的效果，但在其他語(yǔ)境下就會(huì)產(chǎn)生不適用的情況。(3)規(guī)則存在低擴(kuò)展性和低健壯性問(wèn)題。多音字預(yù)測(cè)問(wèn)題依賴(lài)于分詞等前端自然語(yǔ)言處理模塊的結(jié)果，人工規(guī)則只能基于在當(dāng)前分詞結(jié)果下進(jìn)行總結(jié)和編寫(xiě)，一旦今后前端分詞結(jié)果發(fā)生了變化，已經(jīng)總結(jié)的規(guī)則可能就不適用了。
[0010]針對(duì)第二種方式來(lái)說(shuō)，在訓(xùn)練模型的過(guò)程中，往往需要大量人工標(biāo)注的樣本數(shù)據(jù)，人工標(biāo)注樣本數(shù)據(jù)耗時(shí)長(zhǎng)，效率低，而且也會(huì)有人為的錯(cuò)誤造成數(shù)據(jù)質(zhì)量的下降，從而影響所訓(xùn)練的模型的多音字預(yù)測(cè)的效果。

【發(fā)明內(nèi)容】

[0011]本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問(wèn)題之一。
[0012]為此，本發(fā)明的一個(gè)目的在于提出一種用于語(yǔ)音合成的多音字模型訓(xùn)練方法，該方法在訓(xùn)練多音字模型的過(guò)程中，無(wú)需人工對(duì)文本的拼音進(jìn)行標(biāo)注，大大減少了多音字模型的訓(xùn)練周期，同時(shí)，避免了由人工標(biāo)注錯(cuò)誤而造成訓(xùn)練的多音字模型不準(zhǔn)確情況的發(fā)生，提高了所訓(xùn)練的多音字模型的準(zhǔn)確性。
[0013]本發(fā)明的第二個(gè)目的在于提出一種語(yǔ)音合成方法。
[0014]本發(fā)明的第三個(gè)目的在于提出一種用于語(yǔ)音合成的多音字模型訓(xùn)練裝置。
[0015]本發(fā)明的第四個(gè)目的在于提出一種用于語(yǔ)音合成裝置。
[0016]為達(dá)上述目的，本發(fā)明第一方面實(shí)施例提出了一種用于語(yǔ)音合成的多音字模型訓(xùn)練方法，包括:對(duì)語(yǔ)音數(shù)據(jù)集合和文本集合進(jìn)行處理，以生成訓(xùn)練語(yǔ)料集合，其中，所述文本集合與所述語(yǔ)音數(shù)據(jù)集合對(duì)應(yīng)，所述訓(xùn)練語(yǔ)料集合包括文本和與所述文本對(duì)應(yīng)的拼音序列；提取所述文本的特征信息；以及根據(jù)所述特征信息和所述拼音序列對(duì)多音字模型進(jìn)行訓(xùn)練。
[0017]本發(fā)明實(shí)施例的用于語(yǔ)音合成的多音字模型訓(xùn)練方法，對(duì)語(yǔ)音數(shù)據(jù)集合和文本集合進(jìn)行處理，以生成訓(xùn)練語(yǔ)料集合，并提取訓(xùn)練語(yǔ)料集合文本的特征信息，以及根據(jù)特征信息和拼音序列對(duì)多音字模型進(jìn)行訓(xùn)練，由此，在訓(xùn)練多音字模型的過(guò)程中，無(wú)需人工對(duì)文本的拼音進(jìn)行標(biāo)注，大大減少了多音字模型的訓(xùn)練周期，同時(shí)，避免了由人工標(biāo)注錯(cuò)誤而造成訓(xùn)練的多音字模型不準(zhǔn)確情況的發(fā)生，提高了所訓(xùn)練的多音字模型的準(zhǔn)確性。
[0018]為達(dá)上述目的，本發(fā)明第二方面實(shí)施例提出了一種使用本發(fā)明第一方面實(shí)施例所述的多音字模型進(jìn)行語(yǔ)音合成的方法，包括:獲取待合成文本，對(duì)所述待合成文本進(jìn)行分詞；對(duì)分詞后的待合成文本進(jìn)行詞性標(biāo)注，并通過(guò)韻律預(yù)測(cè)模型對(duì)詞性標(biāo)注后的待合成文本進(jìn)行韻律預(yù)測(cè)，以生成所述待合成文本的韻律特征；提取所述待合成文本的特征信息；將所述特征信息輸入所述多音字模型，并根據(jù)所述多音字模型對(duì)所述待合成文本進(jìn)行多音字預(yù)測(cè)，以生成所述待合成文本的多音字預(yù)測(cè)結(jié)果；根據(jù)所述多音字預(yù)測(cè)結(jié)果和所述韻律特征對(duì)所述待合成文本進(jìn)行注音，以生成所述待合成文本的注音結(jié)果；根據(jù)所述注音結(jié)果、所述韻律特征及所述待測(cè)文本的上下文特征對(duì)所述待合成文本進(jìn)行聲學(xué)預(yù)測(cè)，以生成所述待合成文本的聲學(xué)參數(shù)序列；以及根據(jù)所述聲學(xué)參數(shù)序列生成所述待合成文本的語(yǔ)音合成結(jié)果。
[0019]本發(fā)明實(shí)施例的語(yǔ)音合成方法，獲取待合成文本，對(duì)待合成文本進(jìn)行分詞，并對(duì)分詞后的待合成文本進(jìn)行詞性標(biāo)注，并通過(guò)韻律預(yù)測(cè)模型對(duì)詞性標(biāo)注后的待合成文本進(jìn)行韻律預(yù)測(cè)，以生成待合成文本的韻律特征，以及提取待合成文本的特征信息，并將特征信息輸入多音字模型，并根據(jù)多音字模型對(duì)待合成文本進(jìn)行多音字預(yù)測(cè)，以生成待合成文本的多音字預(yù)測(cè)結(jié)果，以及根據(jù)多音字預(yù)測(cè)結(jié)果和韻律特征對(duì)待合成文本進(jìn)行注音，以生成待合成文本的注音結(jié)果，根據(jù)注音結(jié)果、韻律特征及待測(cè)文本的上下文特征對(duì)待合成文本進(jìn)行聲學(xué)預(yù)測(cè)，以及根據(jù)聲學(xué)參數(shù)序列生成待合成文本的語(yǔ)音合成結(jié)果，由此，對(duì)待合成文本的多音字進(jìn)行了準(zhǔn)確預(yù)測(cè)，進(jìn)而使得合成出的語(yǔ)音更加易于理解，且更加流暢自然，提升了用戶(hù)體驗(yàn)。
[0020]為達(dá)上述目的，本發(fā)明第三方面實(shí)施例提出了一種用于語(yǔ)音合成的多音字模型訓(xùn)練裝置，包括:處理模塊，用于對(duì)語(yǔ)音數(shù)據(jù)集合和文本集合進(jìn)行處理，以生成訓(xùn)練語(yǔ)料集合，其中，所述文本集合與所述語(yǔ)音數(shù)據(jù)集合對(duì)應(yīng)，所述訓(xùn)練語(yǔ)料集合包括文本和與所述文本對(duì)應(yīng)的拼音序列；提取模塊，用于提取所述文本的特征信息；以及訓(xùn)練模塊，用于根據(jù)所述特征信息和所述拼音序列對(duì)多音字模型進(jìn)行訓(xùn)練。
[0021]本發(fā)明實(shí)施例的用于語(yǔ)音合成的多音字模型訓(xùn)練裝置，通過(guò)處理模塊對(duì)語(yǔ)音數(shù)據(jù)集合和文本集合進(jìn)行處理，以生成訓(xùn)練語(yǔ)料集合，并提取模塊提取訓(xùn)練語(yǔ)料集合文本的特征信息，以及訓(xùn)練模塊根據(jù)特征信息和拼音序列對(duì)多音字模型進(jìn)行訓(xùn)練，由此，在訓(xùn)練多音字模型的過(guò)程中，無(wú)需人工對(duì)文本的拼音進(jìn)行標(biāo)注，大大減少了多音字模型的訓(xùn)練周期，同時(shí)，避免了由人工標(biāo)注錯(cuò)誤而造成訓(xùn)練的多音字模型不準(zhǔn)確情況的發(fā)生，提高了所訓(xùn)練的多音字模型的準(zhǔn)確性。
[0022]為達(dá)上述目的，本發(fā)明第四方面實(shí)施例提出了一種使用本發(fā)明第三方面實(shí)施例所述的多音字模型進(jìn)行語(yǔ)音合成的裝置，包括:分詞模塊，用于對(duì)所述待合成文本進(jìn)行分詞；詞性標(biāo)注模塊，用于對(duì)分詞后的待合成文本進(jìn)行詞性標(biāo)注；韻律預(yù)測(cè)模塊，用于通過(guò)韻律預(yù)測(cè)模型對(duì)詞性標(biāo)注后的待合成文本進(jìn)行韻律預(yù)測(cè)，以生成所述待合成文本的韻律特征；提取模塊，用于提取所述待合成文本的特征信息；多音字預(yù)測(cè)模塊，用于將所述特征信息輸入所述多音字模型，并根據(jù)所述多音字模型對(duì)所述待合成文本進(jìn)行多音字預(yù)測(cè)，以生成所述待合成文本的多音字預(yù)測(cè)結(jié)果；注音模塊，用于根據(jù)所述多音字預(yù)測(cè)結(jié)果和韻律特征對(duì)所述待合成文本進(jìn)行注音，以生成所述待合成文本的注音結(jié)果；聲學(xué)預(yù)測(cè)模塊，用于根據(jù)注音結(jié)果、韻律特征及待測(cè)文本的上下文特征對(duì)待合成文本進(jìn)行聲學(xué)預(yù)測(cè)；以及語(yǔ)音合成模塊，用于根據(jù)所述聲學(xué)參數(shù)序列生成所述待合成文本的語(yǔ)音合成結(jié)果。
[0023]本發(fā)明實(shí)施例的語(yǔ)音合成裝置，通過(guò)獲取模塊獲取待合成文本，分詞模塊對(duì)待合成文本進(jìn)行分詞，詞性標(biāo)注模塊對(duì)分詞后的待合成文本進(jìn)行詞性標(biāo)注，然后韻律預(yù)測(cè)模塊通過(guò)韻律預(yù)測(cè)模型對(duì)詞性標(biāo)注后的待合成文本進(jìn)行韻律預(yù)測(cè)，以生成待合成文本的韻律特征，以及提取模塊提取待合成文本的特征信息，并多音字預(yù)測(cè)模塊將特征信息輸入多音字模型，并根據(jù)多音字模型對(duì)待合成文本進(jìn)行多音字預(yù)測(cè)，以生成待合成文本的多音字預(yù)測(cè)結(jié)果，以及注音模塊根據(jù)多音字預(yù)測(cè)結(jié)果和韻律特征對(duì)待合成文本進(jìn)行注音，以生成待合成文本的注音結(jié)果，聲學(xué)預(yù)測(cè)模塊根據(jù)注音結(jié)果、韻律特征及待測(cè)文本的上下文特征對(duì)待合成文本進(jìn)行聲學(xué)預(yù)測(cè)，以及根語(yǔ)音合成模塊據(jù)聲學(xué)參數(shù)序列生成待合成文本的語(yǔ)音合成結(jié)果，由此，對(duì)待合成文本的多音字進(jìn)行了準(zhǔn)確預(yù)測(cè)，進(jìn)而使得合成出的語(yǔ)音更加易于理解，且更加流暢自然，提升了用戶(hù)體驗(yàn)。
[0024]本發(fā)明附加的方