requestId:688e61b2694828.70800381.
隨著中國新型電力系統建設和電力市場進程的不斷推進，火力發電商面臨的市場壓力與日俱增。在未來較長時期，火電作為電力系統壓艙石的位置不會改變。
《中國電力》2024年第11期刊發了張興同等撰寫的《基于多智能體深度確定戰略梯度算法的火力發電商競價戰略》一文。文章提出基于MADDPG的火力發電商競價戰略模子，在不完整信息環境下與發電商競價戰略相結合，優化發電商在多維連續動作以及狀態空間下的某一天，宋微終於記起，他是她高中時的學長場地佈置，當初報價報量戰略，研討市場效益最年夜化目標下各類型機組的最優決策，明確分歧火電機組的市場定位；比較分歧出清機制下的市場出清結果，剖模型析分歧出清機制的適用性，并探討新動力滲透率對各種分歧出清機制的影響。
（來源：《中國電力》作者：張興平互動裝置, 王騰, 張馨月,張浩楠）
摘要
火電是新型電力系統的主要支撐，研討火力發電商的競價戰略以及分歧出清機制的影響，對保證其低碳高效運營具有主要意義。構建基于多智能體深度確定戰略梯度算法的競價戰略模子，剖析分歧火力發電商組合的競價差異化戰略，優化多主體報價報量戰略，探討邊際統一出清、按報價付出出清和隨機婚配出清3種典範出清機制的市場影響。結果表白，該戰略模子可引導火力發電商采取公道的競價方法以進步市場效力；在新動力滲透率較低時，分歧出清機制對各類型機組的影響有所分歧；隨著新動力滲透率的進步，采用按報價付出出清機制可以兼顧經濟和環境效益；當新動力滲透率達到較高程度時，采用隨機婚配出清機制可有用應對市場波動風險。
01月度集中電力市場出清機制理論
1.1 包裝盒 集中撮合買賣基礎道理
中國月度集中沈浸式體驗電力市場采用集中撮合買賣的方法，買賣組織者將發電商申報電量按各申報價格從低到高排序構成供給曲線，將購電商按各申報價格從高到低排序構成需求曲線，并按照排序順次撮合購售雙方成交，如圖1所示。若婚配的需求方與供給方申報的電量雷同，則直接構成買賣對；若婚配的需求方與全息投影供給方申報成交的電量分歧，則進行買賣，未完成的買賣與下一個買賣對進行婚配，構成新的買賣，直至所有的申報購電量或售電量為零，或購售雙方申報價差為負為止。而基于集中撮合買賣方法下的出清機制各不雷同，分歧的出清機制會影響市場的出清結果。
圖1 月度集中市場撮合競價過程
Fig.1 Matching bidding process in the monthly centralized market
1.2 電力市場出清機制
1.2.1包裝盒 邊際統一出清機制
邊際統一出清機制是在集中撮合買賣道理下，以最后一筆買賣雙方申報電價的均勻值作為市場撮合買賣統一出清價格。邊際統一出清機制在中國電力現貨試點市場以及中長期市場應用范圍最廣，如廣東就采用邊際出清方法構成價格。
1.2.2 按報價付出出清機制
按報價付出出清機品牌活動制是在集中撮合買賣道理下，采用每個成交買賣對的申報價格均勻值作為雙方出清價格。有部門地區采用按比例對需求雙方的電價進行分派，好比山西和河南采用按報價付出出清機制構成價格廣告設計。湖南、江蘇和陜西既采用邊際出清方法，也采用買賣對均價出清方法。
發電商i與購電商j的單筆成交價格為
式中：pij為成交價格；
為發電商報價；
為購電商報價。
當發電商i與k個購電商成交時，買賣均價pi為
式中：
為發電商i和購電商j在月度集中市場成交的電量。
1.2.3 隨機婚配出清機制
隨機婚配出清是在按報價付出出清規則基礎上平面設計提出的，發電商依照申報價格由低到高進行排序，順次隨機選擇申報價格高于本身報價的肆意購電商進行買賣，若婚配完成后進行下一次競價婚配，直至所有的申報購電量或售電量為零，或購售雙方申報價差為負。隨機婚配出清機制下，形成發電商利潤低的緣由除了雙方成交價格低外，還能夠是隨機婚配時選取了一個出價較低的購電商，對發電商的競價行為有必定水平的影響。
本文考慮將隨機婚配出清機制結合多智能體深度確定FRP性戰略梯度算法，隨機婚配展場設計機制下發電商會隨機選擇高于本身報價的肆意購電商，在多智能體深度確定性戰略梯度算法下，每一輪迭代中各智能體會根據上一次迭代求得的利潤從頭調整戰略。隨機婚配出清機制不僅可以減少電力市場中主體串謀的概率，並且可以增添市場的買賣量，但增添買賣電量的同時能夠會導致碳排放量增添，且隨機婚配存在必定的不穩定性，是以對該機制的利害有需要進一個步驟探討。
02基于多智能體的火力發電商競價戰略模子
月度集中競價市場的參與主體重要包含發電商和購電商，在電力市場中的競價買賣屬于不完整信息動態博弈問題，市場參與者在分歧出清機制下尋求本身好處最年夜化的戰略VR虛擬實境，進而通過彼此感化構成市場整體的買賣結果。市場成員參與市場的目標和行為相對獨立，在基于多智能體的電力市場框架中，發電商被設計成獨立的且能夠實現交互感化的智能體，市場出清信息反饋至各個智能體，通過不斷迭代積累經驗，獲得平衡狀態下的各發電商競價行為。基于MADDPG的發電商競價框架模子如圖2所示。
圖2 基于多智能體深度確定性戰略梯度算法下的發電商競價模子框架
Fig.2 Bidding model framework for power generation companies based on MADDPG
2.1 火力發電商競價模子
2.1.1 目標函數
發電商以本身收益最年夜化為目標參與競價，重要通過出售電量的方法獲取支出，目標函數為
式中：Ri為發電商i在當月集中競價中的支出；pij為發電商i與購電商j的出清電價；
為發電商i在集中競價中申報平面設計的電量；Ci為發電商i的總燃煤本錢；C為碳排放本錢；
為發電商i和購電商j在月度集中市場成交的電量；
為購電商j在集中競價中申報的電量。
2.1.2 火力發電商運行本錢
燃煤機組的供電煤耗率u可表現為
式中：P為機組的出力；a、b、c分別為機組的特徵系數，與機組的類型、燃燒品質等原因有關。
發電商的機組報價依據以邊際本錢為主，燃煤機組的邊際本錢可表現為
式中：S為煤價；C為燃煤機組的總燃煤本錢；C為燃煤機組的邊際本錢，通過計算各發電商在本月的均勻負荷率來計算燃煤機組的邊際本錢。
2.1.3 碳市場買賣本錢
今朝中國碳排放額分派重要通過免費分派的方法進行，發電商根據碳排放實際情況考慮買進或是賣出碳排放權。初始碳排放權的分派為
式中：
為企業i獲取的初始碳排放額；B為單位產量的碳配額基準值；qi為發電商i在集中競價市場買賣的總電量，即實際發電量；
為發電商i負荷系數修改系數；
為發電商i的總碳排放量；
為發電商i的碳排放因子，通過各類型機組的典範發電碳排放因子和發電量預算獲得；w為碳價。C＞0表白發電商為賣方可出售配額；
2.2 馬爾可夫博弈模子設計
多智能體強化學習（multi-agent reinforcement learning，MARL）重要研討在復雜環境中訓練多智能體通過協作或競爭達到目標，每個智能體在選擇動作的同時會觀察其他智能體的信息，MADDPG可以有用模擬發電商在不完整信息市場下的競價戰略。發電商的競價戰略可以模擬為馬爾可夫博弈過程，設置對應的環境、狀態空間、動作空間以及獎勵。
1）環境：將分歧出清機制下的電力月度集中競價市場作為多智能體的內部環境，設置智能體發電商，在環境中各火力發FRP電商不清楚對方的申報價格以及申報電量，是一個不完整信息的環境，通過競價戰略來獲得更高的好處。而MADDPG中引進智能體協作的效能，各智能體發電商會根據其VR虛擬實境他智能體的行為來尋求獎勵最年夜化。
2）狀態空間：采用發電商上一次的申報電量、申報電價以及成交電量在月度市場總需求中的占比作為狀態空間s，如式（13）所示包裝盒，狀態變量能夠幫助發電商制訂更優的競價戰略。
式中：
為發電商i上一次的申報電價；
為發電商i申報電價的最年夜值；人形立牌
為發電商i上一次的申報電量；
為發電商i申報電量的最年夜值；為市場總需求量。
3）動作AR擴增實境空間：將動作值設定為一個二元組，根據月度集中競價市場中發電商報量報價的方法設計動作空間，在月度集中競價電力市場中發電商的申報電量以及申報電價都將影響發電商的收益。α為發電概要2：商的戰略攤位設計報價系數，β為發電商的戰略報量系數。智能體發電商采用αC的報價方法，以及
的報量方法，α和β的取值范圍可根據實際競價規則進行修正。
4）獎勵：發電商通過計算式（3）獲得各自的收益作為獎勵函數，通過多智能體之間的協作尋求市場整體效力最年夜化。
2.3 多智能體深度確定性戰略梯度算法
MADDPG在Actor-Cr參展itic框架下處理多智能體問題，每一個智能體都有分歧的學習才能、學習速率以及社交網絡。每一個智能體都有一個獨立的Act活動佈置or網絡用于學習戰略，有一個Critic網絡用于估計展覽策劃動作的值函數。Critic網絡的輸進包括智能體的狀態以及動作等信息，在搜尋關鍵字： 主角：葉秋鎖|配角：謝曦Critic網絡中每一個智能體在計算梯度的同時會考慮其他智能體的戰略，能夠更好地實現協同與競爭，適用于電力市場中復雜的市場環境。
MADDPG采用深度確定性戰略，戰略梯度可以表現為
式中：
表 TC:08designfollow
發佈留言