福州大學(xué)電氣工程與自動化學(xué)院的研究人員汪波、鄭文迪，在2018年第2期《電氣技術(shù)》雜志上撰文指出，隨著分布式清潔能源在電網(wǎng)所占比重逐年增加，其功率預(yù)測誤差給電網(wǎng)的穩(wěn)定運行帶來巨大挑戰(zhàn)，如何使儲能系統(tǒng)在實時調(diào)度周期快速做出充放電決策達(dá)到最優(yōu)的削峰填谷效果需要一種控制方法。

考慮儲能系統(tǒng)充放電爬坡和存儲電量限值等約束條件，提出改進(jìn)的Q學(xué)習(xí)算法，用全局最優(yōu)懲罰項引導(dǎo)其利用離線數(shù)據(jù)分階段學(xué)習(xí)訓(xùn)練得出最優(yōu)決策，可以快速地收斂，且準(zhǔn)確性高；在實時調(diào)度周期負(fù)荷功率預(yù)測不準(zhǔn)確時，儲能系統(tǒng)只需要修正狀態(tài)量并判斷其所處狀態(tài)，基于訓(xùn)練好的Q值表，采用貪婪策略可以快速得出其最優(yōu)動作值，不需要再進(jìn)行全局尋優(yōu)迭代運算。

仿真算例結(jié)果表明，相比于傳統(tǒng)Q學(xué)習(xí)算法，本文所提方法收斂速度更快，且訓(xùn)練好的Q值表可以用于實時調(diào)度周期儲能系統(tǒng)做優(yōu)化決策。

儲能系統(tǒng)具有平衡功率波動，對負(fù)荷曲線削峰填谷的優(yōu)點，也可以提高分布式設(shè)備的利用率，節(jié)省分布式電源容量成本，還可以保持系統(tǒng)穩(wěn)定[1-5]。中關(guān)村儲能產(chǎn)業(yè)技術(shù)聯(lián)盟發(fā)布的《儲能產(chǎn)業(yè)研究白皮書2016》預(yù)測，到2020年，理想情景下，我國儲能市場總裝機(jī)規(guī)模將達(dá)24.2 GW；常規(guī)情景下，我國儲能市場總裝機(jī)規(guī)模也將達(dá)到14.5 GW。隨著分布式能源近年來大規(guī)模接入電網(wǎng)，其作用更加重要，而儲能投資成本近年來也不斷下降，儲能產(chǎn)業(yè)將快速發(fā)展并推動能源變革。

目前，儲能系統(tǒng)的運行主要面臨兩個問題，第一，絕大部分的儲能系統(tǒng)控制策略都是將其作為輔助元件，被動的接收調(diào)度命令，如文獻(xiàn)[6]提出一種消納高滲透分布式光伏發(fā)電有功功率波動的集中式儲能電站實時調(diào)度方法；文獻(xiàn)[7]在孤島運行微電網(wǎng)能量優(yōu)化管理中，不僅對分布式發(fā)電輸出功率進(jìn)行優(yōu)化分配，還根據(jù)模糊邏輯對蓄電池的充放電進(jìn)行能量的調(diào)度；文獻(xiàn)[8]將蓄電池虛擬放電和充電價格計入群體尋優(yōu)目標(biāo)函數(shù)，結(jié)合協(xié)同進(jìn)化遺傳算法，使用群體尋優(yōu)目標(biāo)函數(shù)和精英尋優(yōu)目標(biāo)函數(shù)尋求分階段經(jīng)濟(jì)調(diào)度最優(yōu)解。

在這種情況下，當(dāng)電力用戶和中間商都參與進(jìn)來的時候，調(diào)度需要考慮太多因素，不滿足實時調(diào)度的實時性需求。第二，目前的儲能系統(tǒng)充放電策略優(yōu)化算法有遺傳算法[9]、粒子群算法[10]、模擬退火算法[11]、動態(tài)規(guī)劃算法[12]等，這些方法都是針對負(fù)荷曲線為確定情況，而在實時調(diào)度期間，實時負(fù)荷功率與預(yù)測值有誤差，以上方法都需要重新計算策略，不滿足實時性需求。

文獻(xiàn)[13]研究了儲能系統(tǒng)能量調(diào)度及需求響應(yīng)聯(lián)合優(yōu)化問題，對儲能單元動作及可延時負(fù)荷動作進(jìn)行優(yōu)化控制，但是其并沒有量化儲能系統(tǒng)的充放電數(shù)值，而且其采用的傳統(tǒng)Q學(xué)習(xí)算法，收斂速度較慢，需要調(diào)整好參數(shù)才能收斂。

本文使儲能系統(tǒng)以凈負(fù)荷功率曲線方差最小為目標(biāo)，決策其每一實時調(diào)度周期的充放電功率值。提出了用全局最優(yōu)懲罰項的方法來引導(dǎo)Q學(xué)習(xí)算法獲得一天的最優(yōu)動作值，相比于傳統(tǒng)Q學(xué)習(xí)算法，收斂速度更快；用訓(xùn)練好的Q值表指導(dǎo)儲能系統(tǒng)在實時調(diào)度周期做出最優(yōu)充放電動作決策，在凈負(fù)荷功率預(yù)測不準(zhǔn)確的情況下不需要重新迭代運算獲得最優(yōu)動作值，從而滿足實時性要求。

圖1 凈負(fù)荷曲線

結(jié)論

本文基于Q值表的記憶功能，提出改進(jìn)的Q學(xué)習(xí)算法，去掉了遺忘因子，將不同狀態(tài)下即時報酬之間的關(guān)系解耦，用全局最優(yōu)懲罰項引導(dǎo)算法收斂，使儲能系統(tǒng)獲得一天的最優(yōu)充放電動作決策，這種方法是基于初始Q值表對各種狀態(tài)情況下采取不同動作的即時報酬有了認(rèn)識以后才進(jìn)行的。

相比于傳統(tǒng)Q學(xué)習(xí)算法，其收斂速度更快，準(zhǔn)確性更高，迭代完成后的結(jié)果具有唯一性。而且，因為Q值表具有記憶功能，在實時調(diào)度周期不需要因為負(fù)荷功率預(yù)測值不準(zhǔn)確而重新進(jìn)行迭代尋優(yōu)，只需修正并判斷其當(dāng)前所處狀態(tài)，基于訓(xùn)練好的Q值表使用貪婪策略可快速獲得當(dāng)前狀態(tài)最優(yōu)動作值。但是這種方法需要較大的內(nèi)存存儲Q值表中的數(shù)值，后續(xù)工作可以考慮如何減少狀態(tài)總數(shù)，從而減少Q(mào)值表中的值，避免維數(shù)過大。