本發(fā)明屬于新能源電網(wǎng)的無(wú)功化優(yōu)化領(lǐng)域，特別是一種基于強(qiáng)化學(xué)習(xí)的分布式光伏并網(wǎng)電壓二次控制方法。

背景技術(shù)：

1、當(dāng)前分布式光伏大規(guī)模集群并網(wǎng)，增加了無(wú)功優(yōu)化的難度?，F(xiàn)有研究沒有充分考慮分布式光伏并網(wǎng)后出現(xiàn)的較大無(wú)功缺額情況下的電壓越界問題。對(duì)具有無(wú)功支撐能力的逆變器，如果能加以利用其剩余無(wú)功容量使逆變器參與電壓調(diào)節(jié)，就可以解決配電網(wǎng)的電壓越限問題。電壓是衡量電力系統(tǒng)電能的一項(xiàng)重要指標(biāo)，電壓質(zhì)量直接決定了用戶的用電設(shè)備能否安全運(yùn)行，不合格的電壓質(zhì)量會(huì)導(dǎo)致電力設(shè)備喪失正常工作能力，嚴(yán)重時(shí)還會(huì)造成人身和設(shè)備的安全隱患，因此需要嚴(yán)格限制電壓在規(guī)定范圍內(nèi)波動(dòng)。

2、采用下垂控制的配電網(wǎng)一次電壓控制可以將電壓限制在規(guī)定的范圍內(nèi)波動(dòng)，但這種波動(dòng)幅度較大，一旦電網(wǎng)出現(xiàn)故障，前述波動(dòng)會(huì)進(jìn)一步變大而導(dǎo)致電壓失穩(wěn)，所以要對(duì)電壓進(jìn)行二次控制，當(dāng)前缺乏利用電壓補(bǔ)償逆變器電壓輸出的電壓調(diào)節(jié)方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為解決分布式光伏并網(wǎng)后出現(xiàn)的較大無(wú)功缺額時(shí)的電壓越界問題，提供了一種基于強(qiáng)化學(xué)習(xí)的分布式光伏并網(wǎng)電壓二次控制方法，該調(diào)節(jié)方法利用q學(xué)習(xí)算法計(jì)算無(wú)功缺額，對(duì)無(wú)功功率計(jì)劃值作修正，為各電源的一級(jí)電壓控制提供無(wú)功參考值，進(jìn)而穩(wěn)定電壓。本發(fā)明可以對(duì)不同的配電網(wǎng)結(jié)構(gòu)進(jìn)行調(diào)節(jié)，具有廣泛的適用性。

2、本發(fā)明解決技術(shù)問題采用的技術(shù)方案：一種基于強(qiáng)化學(xué)習(xí)的分布式光伏并網(wǎng)電壓二次控制方法，其特征是包括依序進(jìn)行的以下步驟：

3、s1.建立分布式光伏并網(wǎng)模型，所述模型包括采用下垂原則的一次電壓控制模型和二次電壓控制模型，所述一次電壓控制模型以調(diào)整分布式光伏系統(tǒng)的無(wú)功功率來(lái)實(shí)現(xiàn)電壓控制，所述二次電壓控制模型使用一次控制模型引起的電壓偏差作為輸入；

4、s2.在二次電壓控制模型中，使用q學(xué)習(xí)訓(xùn)練下垂控制以減小電壓偏差，通過設(shè)置狀態(tài)空間集、輸出參數(shù)動(dòng)作集和獎(jiǎng)勵(lì)參數(shù)來(lái)訓(xùn)練q表格，找到減小電壓偏差的優(yōu)化電壓調(diào)整策略；

5、s3.建立基于q學(xué)習(xí)的配電網(wǎng)電壓控制方式。

6、本發(fā)明通過建立一次和二次兩個(gè)電壓控制模型，結(jié)合q學(xué)習(xí)策略對(duì)無(wú)功功率計(jì)劃值做修正，為各個(gè)電源的一級(jí)電壓控制提供無(wú)功參考值，達(dá)到穩(wěn)定電壓的目的。

7、作為對(duì)上述技術(shù)方案的進(jìn)一步完善和補(bǔ)充，本發(fā)明采用如下技術(shù)措施：所述s1步驟中建立分布式光伏并網(wǎng)模型按以下步驟依序進(jìn)行：

8、s11.建立基于下垂控制的一次電壓控制模型，模型表達(dá)式如下

9、u＝u0-k(q-qref)

10、上式中，u為逆變器頻率電壓的實(shí)際值，u0為額定電壓，k為下垂控制無(wú)功調(diào)節(jié)的系數(shù)，q為逆變器實(shí)際輸出的無(wú)功功率，qref為額定無(wú)功功率；

11、s12.建立基于下垂控制的二次電壓控制模型，模型表達(dá)式如下

12、u＝u0+δu-k(q-qref)

13、上式中，δu為二次控制電壓參考控制指令，一次電壓控制模型表達(dá)式和二次電壓控制模型表達(dá)式的k相同；

14、s13.當(dāng)電力系統(tǒng)發(fā)生故障時(shí)，使用二次控制調(diào)整一次控制引起的電壓波動(dòng)，以使系統(tǒng)電壓趨于穩(wěn)定狀態(tài)。

15、在一次電壓控制模型，改變配電網(wǎng)(即逆變器)的實(shí)際無(wú)功功率，就能調(diào)節(jié)實(shí)際電壓值(逆變器頻率電壓的實(shí)際值)的大小，基于下垂控制的一次電壓控制則是利用調(diào)節(jié)電網(wǎng)的實(shí)際無(wú)功功率大小來(lái)實(shí)現(xiàn)?，F(xiàn)有單純依賴于一次控制極易導(dǎo)致系統(tǒng)電壓出現(xiàn)波動(dòng)，通過引入二次電壓控制模型來(lái)調(diào)整一次控制所引起的電壓波動(dòng)，進(jìn)而使系統(tǒng)電壓最終趨于穩(wěn)定狀態(tài)。下垂控制無(wú)功調(diào)節(jié)的系數(shù)k可以通過該計(jì)算式得到，k＝(e0-emin)/qmax,，其中e0為逆變電源輸出無(wú)功功率為零時(shí)的輸出電壓幅值，emin為逆變器電源無(wú)功功率最大時(shí)相應(yīng)的最小電壓幅值，qmax為逆變電源在電壓幅值下降時(shí)允許輸出的最大無(wú)功功率。

16、進(jìn)一步的，所述s2步驟中q學(xué)習(xí)訓(xùn)練通過以下步驟進(jìn)行：

17、s21.選取各個(gè)分布式光伏并網(wǎng)節(jié)點(diǎn)的電壓偏差量δu作為狀態(tài)空間s，并將δu分成m個(gè)區(qū)間，設(shè)置得到所述狀態(tài)空間集{δu1,δu2……δum}；

18、s22.根據(jù)s21的環(huán)境變量電壓偏差范圍的劃分，設(shè)置獎(jiǎng)勵(lì)函數(shù)并將其作為s2步驟中訓(xùn)練q表格用的獎(jiǎng)勵(lì)參數(shù)

19、

20、上式中，r1～r4為獎(jiǎng)勵(lì)系數(shù)，設(shè)置r1～r4的獎(jiǎng)勵(lì)系數(shù)值分別為5、10、25、40，δu為電壓偏差；

21、在獎(jiǎng)勵(lì)函數(shù)中，δu的絕對(duì)值在不同情況下，q學(xué)習(xí)agent會(huì)得到由獎(jiǎng)勵(lì)系數(shù)決定大小的獎(jiǎng)勵(lì)函數(shù)，這里的agent為q學(xué)習(xí)中的智能體，是強(qiáng)化學(xué)習(xí)中的通用名字，當(dāng)δu處于[-0.002,0.002]的范圍，定位為控制死區(qū)，此時(shí)q學(xué)習(xí)agent不會(huì)獲得獎(jiǎng)勵(lì)，相對(duì)應(yīng)的環(huán)境-狀態(tài)動(dòng)作對(duì)對(duì)應(yīng)的q值不會(huì)發(fā)生變化；當(dāng)δu的絕對(duì)值|δu|大于0.002時(shí)，q學(xué)習(xí)agent得到由獎(jiǎng)勵(lì)系數(shù)決定大小的獎(jiǎng)勵(lì)函數(shù)，δu處于不同區(qū)間時(shí)根據(jù)δu的絕對(duì)值，設(shè)置相對(duì)應(yīng)r1～r4的獎(jiǎng)勵(lì)系數(shù)值分別為5、10、25、40；

22、s23.設(shè)置輸入狀態(tài)集；

23、su＝{(-∞，-0.07)，(-0.07，-0.005)，(-0.005，-0.004)，(-0.004，-0.002)，(-0.002，0.002)，(0.002，0.004)，(0.004，0.005)，(0.005，0.07)，(0.07，∞)}

24、設(shè)置動(dòng)作集a為

25、{-1,-0.8,-0.6,-0.45,-0.35,-0.3,-0.25,-0.2,-0.15,-0.1,0,0.15,0.2,0.3,0.35,0.45,0.6,0.8,1}；

26、s24.通過q學(xué)習(xí)模型，得到二次電壓控制最優(yōu)動(dòng)作表達(dá)式：

27、并作為二次控制電壓參考控制指令δu

28、上式中，u為狀態(tài)s下的可行動(dòng)作集，可行動(dòng)作集為動(dòng)作集a；對(duì)q表格進(jìn)行反復(fù)實(shí)驗(yàn)，以尋求最佳策略，對(duì)q值函數(shù)式進(jìn)行如下更新：

29、

30、上式中q(st，u)為t時(shí)刻的q值，r(st，u)為t時(shí)刻獎(jiǎng)勵(lì)函數(shù)，α∈[0,1]是q學(xué)習(xí)的學(xué)習(xí)率；所述q表格為不同狀態(tài)集和動(dòng)作集下的q值函數(shù)。

31、當(dāng)電網(wǎng)中的負(fù)荷節(jié)點(diǎn)出現(xiàn)電壓異常時(shí)，通常需要計(jì)算出負(fù)荷所需的無(wú)功功率來(lái)解決這一問題。利用q學(xué)習(xí)算法，不需要依賴具體的系統(tǒng)模型，也不需要計(jì)算負(fù)荷所需的無(wú)功功率不足，而是根據(jù)每個(gè)電源的可調(diào)范圍直接補(bǔ)償電壓偏差δq，同時(shí)考慮控制的精度要求，合理確定適用于對(duì)應(yīng)電網(wǎng)的行動(dòng)集合a，進(jìn)而確保穩(wěn)定的負(fù)荷節(jié)點(diǎn)電壓。通過當(dāng)前狀態(tài)動(dòng)作的即時(shí)獎(jiǎng)勵(lì)加下一狀態(tài)與當(dāng)前狀態(tài)值函數(shù)的差值，依據(jù)時(shí)間差分的偏差不斷學(xué)習(xí)得到q值的更新。q學(xué)習(xí)訓(xùn)練中的輸入狀態(tài)集設(shè)計(jì)是以電力系統(tǒng)關(guān)于電壓偏移的國(guó)標(biāo)規(guī)定為基礎(chǔ)并考慮控制精度和死區(qū)，對(duì)應(yīng)了環(huán)境的輸入，根據(jù)不同的輸入范圍，設(shè)定不同的獎(jiǎng)勵(lì)函數(shù)；動(dòng)作集是參考相關(guān)文獻(xiàn)以及相關(guān)規(guī)定設(shè)定的，對(duì)應(yīng)二次電壓控制最優(yōu)動(dòng)作選擇。

32、進(jìn)一步的，所述s3步驟中根據(jù)電壓偏差，采用q學(xué)習(xí)算法，建立基于分布式光伏的并網(wǎng)模型，設(shè)計(jì)輸入狀態(tài)集、獎(jiǎng)勵(lì)函數(shù)、動(dòng)作集，并且利用所述q表格選取最佳動(dòng)作。

33、本發(fā)明具有良好的調(diào)壓效果，可以對(duì)不同的配電網(wǎng)結(jié)構(gòu)進(jìn)行調(diào)節(jié)，具有很好的適應(yīng)性，其中的二次電壓控制模型是在一次電壓控制模型的下垂特性上的改進(jìn)，先有一次電壓控制模型并以一次電壓控制模型的電壓偏差控制，后續(xù)不斷的用q學(xué)習(xí)來(lái)連續(xù)調(diào)整優(yōu)化得到二次控制電壓參考控制指令，并能通過對(duì)比一次和二次兩個(gè)電壓控制模型分析比較二次模型的優(yōu)越性。本發(fā)明所述控制方法在使用時(shí)通過強(qiáng)化學(xué)習(xí)中的q學(xué)習(xí)策略對(duì)輸出電壓作修正，具體是在區(qū)域電壓控制agent收集到負(fù)荷agent調(diào)壓請(qǐng)求時(shí)，產(chǎn)生一個(gè)電壓開補(bǔ)償逆變器輸出電壓的缺額，達(dá)到限制波動(dòng)穩(wěn)定電壓的目的。