大家晚上好，我今天介紹的是市場報(bào)價(jià)策略方面的學(xué)習(xí)算法的研究，具體圍繞基于學(xué)習(xí)算法的改進(jìn)RE學(xué)習(xí)算法和EWA算法，希望能給大家啟示。市場博弈研究有三大類算法，一種是強(qiáng)化學(xué)習(xí)算法，另外一種是訓(xùn)練學(xué)習(xí)，第三種就是EWA算法。下面我們來看仿真結(jié)果。

現(xiàn)實(shí)供大于求情況下，仿真可以看到價(jià)的收斂快慢，就是市場達(dá)到均衡，或決策達(dá)到成熟狀態(tài)所需要的時(shí)間。購電商的報(bào)價(jià)策略比較明確，能夠比較快的達(dá)到收斂;發(fā)電側(cè)因?yàn)楣┐笥谇?，競爭比較激烈，收斂速度較慢。

第二個(gè)點(diǎn)，關(guān)注發(fā)電商市場份額與利潤關(guān)系，有一些直觀的結(jié)論也是符合大家常識(shí)的：份額越大，利潤能夠維持較高水平，但小的發(fā)電商利潤水平較低，生存比較難。

我們看出兩種算法在同一環(huán)境下表現(xiàn)差異比較大，通過幾種指標(biāo)反映：發(fā)電商、購電商加權(quán)平均報(bào)價(jià)，市場出清價(jià)的變化。市場中市場主體采用的學(xué)習(xí)算法對市場整體表現(xiàn)有影響，都采用同一種策略或只有其中幾個(gè)是不一樣的。算法特性方面有區(qū)別，EWA算法更精細(xì)，決策更新多了訓(xùn)練學(xué)習(xí)的思想，可以增強(qiáng)市場代理的智能性。

出清價(jià)受供需比影響較大，隨著供需比增大，出清價(jià)格下降，但下降到什么程度，是不是合理的，有沒有達(dá)到市場均衡，這個(gè)是一個(gè)很重要的點(diǎn)。

也就是說策略算法能否達(dá)到市場最優(yōu)是關(guān)鍵。我們發(fā)現(xiàn)RE算法經(jīng)常達(dá)到局部最優(yōu)原因可能是其中的隨機(jī)因素，無先驗(yàn)信息時(shí)受隨機(jī)數(shù)影響較大;EWA學(xué)習(xí)算法會(huì)考慮過去市場報(bào)價(jià)與收益，更可能達(dá)到全局最優(yōu)。

現(xiàn)場討論

提問：發(fā)電廠獲益和發(fā)電商哪些因素有關(guān)?用競價(jià)算法的好處是什么?

發(fā)言人：我認(rèn)為與機(jī)組類型、成本有關(guān)。

專家J：這個(gè)問題看似研究學(xué)習(xí)算法，實(shí)際上對電力市場中的一些博弈、均衡問題有很多啟示。EWA和MRE兩種學(xué)習(xí)算法可以代表市場中的兩類發(fā)電集團(tuán)：由于EWA相對MRE是更先進(jìn)的學(xué)習(xí)算法，可以代表市場中對市場有更深刻認(rèn)識(shí)、有更強(qiáng)的技術(shù)實(shí)力的公司。EWA方法下收斂的更慢，但價(jià)格更低，更接近真正的市場均衡點(diǎn)。這說明，如果大家經(jīng)過學(xué)習(xí)都對市場和策略很了解了，采用了更先進(jìn)的報(bào)價(jià)策略，競爭更加激烈，收斂更慢，整體價(jià)格反而下降了。但是如果大家都不懂這個(gè)市場，可能很快就收斂了，但距離真正的均衡點(diǎn)還比較遠(yuǎn)，不是一個(gè)全局最優(yōu)解。這個(gè)給我們的另外一個(gè)啟示是，設(shè)計(jì)規(guī)則時(shí)要盡量簡單，讓大家都懂。如果都不懂，就像大家都用MRE算法，收斂不穩(wěn)定(市場受隨機(jī)因素影響大)，容易被少數(shù)市場主體控制，價(jià)格偏高。

提問：剛才提到優(yōu)化的問題，目的是什么?

專家J：這不是像線性規(guī)劃那樣的數(shù)學(xué)優(yōu)化，而是同學(xué)智能的強(qiáng)化學(xué)習(xí)算法，幫市場主體找到最優(yōu)策略。簡單的說，就是給很多策略，如果采用某個(gè)策略獲利較大，就給他的權(quán)重增加，反之減少。