É y ] 4 ohduqlqj Á .+ z y ] 366 % z y| ËzaÊ uy ÄÀ Ì z» ®e c |« ºf...

1396پائیز -شماره سوم -سال چهاردهم -ق و الکترونیک ایرانبر مجله انجمن مهندسی

Journal of Iranian Association of E

lectrical and Electronics Engineers Vol14 N

o.3 Fall2017

يبرا Q-learningو KHتم یبر اساس الگور PSS3Bدارساز یپایطراح نهیماشستم قدرت تکین سییپانوسانات فرکانس يراسازیم

4یاشار هاشمی 3عادل اکبري مجد 2حسین شایقی 1عبداله یونسی

ایران -اردبیل -لیدانشگاه محقق اردبی-گروه مهندسی برق، دانشکده فنی و مهندسی -دانشجوي دکتري [email protected]

ایران -اردبیل -دانشگاه محقق اردبیلی -گروه مهندسی برق، دانشکده فنی و مهندسی -استاد [email protected]

ایران -اردبیل -دانشگاه محقق اردبیلی -گروه مهندسی برق، دانشکده فنی و مهندسی -دانشیار [email protected]

ایران -اردبیل -دانشگاه محقق اردبیلی -گروه مهندسی برق، دانشکده فنی و مهندسی -دانشجوي دکتري [email protected]

::

(MDP)(Q-learning Q (PSS3B)

KHKQ-learning l

KHK

Q-learning، یتیتقو يریادگیستم قدرت سه باند، یدار ساز سیپا: کلیدي کلمات

31/04/1393: مقاله ارسالخ یتار

17/05/1394 تاریخ پذیرش مشروط مقاله:23/10/1394: رش مقالهیخ پذیرتا

یقین شایدکتر حس :مسئول يسندهینام نو برق یگروه مهندس – یفن يدانشکده – یلیدانشگاه محقق اردب – ابان دانشگاهیخ يانتها – لیاردب –ران یا مسئول: يسندهینو ینشان

Dow

nloa

ded

from

jiae

ee.c

om a

t 13:

00 +

0430

on

Thu

rsda

y A

ugus

t 26t

h 20

21

http://jiaeee.com/article-1-450-en.html

Jour

nal o

f Ira

nian

Ass

ocia

tion

of E

lect

rica

l and

Ele

ctro

nics

Eng

inee

rs -

Vol

.14-

No.

3 Fa

ll 20

17

1396 پائیز -سومشماره -چهاردهمسال -برق و الکترونیک ایران مجله انجمن مهندسی

مقدمه-1

0.2 – 3.0 Hz0

-]][[PSSP

]][[PSSP]][]][

]][[

PSSPAVRA

]][[PSSP

]][[]][[]][[

]][

TCSC

]][

]][

CLFC]][

(CPSS)((PSS3B)(

(PSS3B+RL)(PSS3B

KHK

Q-learningQ

Q-learning

ITAEIISTSEIISE

انواع پایدار سازهاي سیستم قدرت-2

Dow

nloa

ded

from

jiae

ee.c

om a

t 13:

00 +

0430

on

Thu

rsda

y A

ugus

t 26t

h 20

21





o.3 Fall2017

1111111111111

IEEEIPSSPPSSPPSS3BP

(CPSS) یستم قدرت معمولیدار ساز سیپا-2-1))((IEEEPSSP

CPSSC

CPSSدار ساز یساختار پا :)1(شکلwashoutw

-PSSP

PSSP

PSSPωKK-

1T3T2T

4TT-]][[

ن مقالهیمورد استفاده در ا CPSSمربوط به يداده ها :)1جدول(ωK[s]ωT [s]1T [s]2T [pu]min,PSSU [pu],max نام

PSSU 0.15 0.15- 0.028 0.0738 5 12.5 مقدار

PSS3Bستم قدرت یدار ساز سیپا -2-2

IEEEPSS3BPPSS3BP(ΔP)(

)Δω((

1T3TT2T4T

1KK2KK3KK1nTT1dTT2nT2dTT

]][[

2TT4T0.0201nTT0.0101dTT0.0302nT

0.0102dTTPSS3B

1KK2KK3KK1T3TT

PSS3Bدار ساز یساختار پا: )2(شکل

KHK

Krill herdتم یبر الگور یاجمال يمرور-3KHKPSOP]][[

PSOP

KH

KHK

ii i i

dX N F Ddt

Δω K2

21sT

sT1

1

11

n

d

sTsT

2

2

11

n

d

sTsT

,minPSSU

,mPSSU

∑++

To AVR

PSSU

refU

tU

1K∑++1

11 sT

K4

41sT

sT3

11 sT

ΔP

SK 1

sTsT

1

2

11

sTsT

3

4

11

sTsT

,PSSU

,mPSSU

∑++

AVRTo

PSSU

refU

tU

Washout #1Lag-Lead #2Lag-Lead

Dow

nloa

ded

from

jiae

ee.c

om a

t 13:

00 +

0430

on

Thu

rsda

y A

ugus

t 26t

h 20

21


Jour

nal o

f Ira

nian

Ass

ocia

tion

of E

lect

rica

l and

Ele

ctro

nics

Eng

inee

rs -

Vol

.14-

No.

3 Fa

ll 20

17


iNNiFF

iDDii

maxnew oldi i n iN N N

arglocal t eti i i

maxNnωω[0,1][old

iNNlocaliα

targetiα

-

-

oldi f i f iF V F

food besti i i

fVVnωω[0,1][0food

iββbestiββ

ii

maxiD D

maxDδ[-1,1]ii

t+Δt

( ) ( ) ii i

dXX t t X t tdtΔtΔ

1( )

NV

t j jj

t C UB LB

NVNjUBjLBLj tC][0,2[

KH-KHK]][[

نهیتابع هز-4

tPPtQeXX

)tP(0.410.1)tQ(0.2-0.50.1

)eX(0.200.70.1

, 0

, 0

2

0 ,1

2

0 ,1

i j

i j

np

i jj

np

i jj

J

a

npnσσζζaaaaa0σσ

0ζζ]][[

تابع هدف يه مشخص شده برایناح: )3(شکل

PSS3B

0ζ jω

0σ

, 0

, 0

i j

i j

σ

Dow

nloa

ded

from

jiae

ee.c

om a

t 13:

00 +

0430

on

Thu

rsda

y A

ugus

t 26t

h 20

21





o.3 Fall2017

11111111111

min max min max1 1 1 2 2 2min max min max3 3 3 1 1 1

min max3 3 3

minimize subject to:

,

,

J

K K K K K K

K K K T T T

T T T

PSS3B ينه سازیج حاصل از بهینتا ):2(جدول

1K2K3K1T3T

2.030413.71930.50.10020.01

(Reinforcement Learning) یتیتقو يریادگی-5

Q-learning

Q-learningQ

-

-Q-learningQ

{S}ttt

tssa{A}

t+1ss

10

kt t k

kR r

γγ[0,1][

0011

Q-learningQ

10

( , ) | , kt k t t

kQ s a E r s s a a

ππssaar

*ππQQQ-learning

1 1 1 max ( , ) ( , )t t t t taQ r Q s a Q s a

αα[0,1][

Q-learningQ

-εεεQ-

ε-

ن مقالهیکاربرد در ا يبرا یتیتقو يریادگی يپارامترها

ΔPΔΔωΔ

ΔωΔ0.0100.010

-

Dow

nloa

ded

from

jiae

ee.c

om a

t 13:

00 +

0430

on

Thu

rsda

y A

ugus

t 26t

h 20

21


Jour

nal o

f Ira

nian

Ass

ocia

tion

of E

lect

rica

l and

Ele

ctro

nics

Eng

inee

rs -

Vol

.14-

No.

3 Fa

ll 20

17


{( , 0.01], ( 0.01, -0.0082], (-0.0082, -0.0064], (-0.0064, -0.0045], (-0.0045, -0.0027], (-0.0027,-0.0009], (-0.0009,0.0009], (0.0009,0.0027], (0.0027,0.0045], (0.0045,0.0064

S

], (0.0064,0.0082], (0.0082,0.01], (0.01, )}

(-0.0009,0.0009](

((

]][[]][

{ 0.2,0,0.2}A

ΔωΔ00ttt-1t505

1Re ( )

t

tk t

ward k

ααεεγγ0.0200.0500.980 ))((

سازينتایج شبیه

]][[

Q-learning تمیالگور گام به گام يسازادهیپ): 3جدول(

آ. پیدا کردن سیاست بهینه ها و پاداش.ها، کنش. تعریف مجموعه حالت1-آ

.εو γ ،α. تعیین مقدار 2-آ ها.ها و عملبراي تمامی حالت Q(s,a) 0 =. مقدار دهی اولیه3-آ

(Episode). براي هر بار اجرا 4-آ را محاسبه کن. (s). حالت فعلی سیستم 1-4-آ

. تا زمان رسیدن به هدف تکرار کن.2-4-آ انتخاب کن. sهاي موجود براي حالت را از بین کنش a، کنش (ε-greedy). با استفاده از الگوریتم شبه حریصانه 1-2-4-آ

و حالت بعدي را بگیر. rرا انجام بده و پاداش a. کنش 2-2-4-آ را طبق رابطه زیر به روز رسانی کن. Q. تابع 3-2-4-آ

( ,a) Q(s,a) QQ s

. حالت بعدي سیستم را در حالت فعلی قرار بده.4-2-4-آ )2-4-پایان تکرار. (برو به آ

)4-پایان یک اجرا. (برو به آ ب. اجرا کردن سیاست بهینه

براي آن بیشترین است، انتخاب کن. Q. براي حالت فعلی سیستم، کنشی را که مقدار تابع 1-ب بعدي سیستم را پیدا کرده و به جاي حالت فعلی قرار بده.. حالت 2-ب

رفته و همین روند را ادامه بده. 1-. به ب3-ب

Dow

nloa

ded

from

jiae

ee.c

om a

t 13:

00 +

0430

on

Thu

rsda

y A

ugus

t 26t

h 20

21





o.3 Fall2017

1111111111111

و Q-learningله یستم قدرت به وسیدار ساز سینه کردن عملکرد پایبه يبرا يشنهادیستم قدرت مورد مطالعه و روش پیمدل س :)4(شکلستم ینقطه بنفش: مدل س، خطQ-learningبر یدار ساز مبتنین قرمز: پایچ، نقطهKHتم ی: فلوچارت الگورین آبیچ. خط Krill heardتم یالگور

قدرت مورد مطالعه

PSS3BP-

ITAEIISTSEIISEIΔωΔجـه گرفـت یتوان نتیم 4جدول يهاتوجه به دادهبا

-تیمستقل از وضـع Q-learningبر یمکمل، مبتن یکه روش کنترلده اسـت. مقـدار یرا بهبود بخشـ PSS3Bمتفاوت عملکرد يکار يها

نسبت به 20با %یتقر یمورد بررس يت کاریفراجهش در هر چهار وضعاسـت. مقـدار دا کـردهیـبدون کنترل مکمـل، بهبـود پ PSS3Bحالت

يهـاتیو در وضـع %16بـا یتقر 2و 1 يکار يهاتیفروجهش در وضعدا کـرده اسـت. زمـان نشسـت در یـبهبـود پ %13بـا یتقر 4و 3 يکار

%7حـدود 2 يت کاری، در وضع 1/0حدود % 3و 1 يکار يهاتیوضع است. دا کردهیبهبود پ %33زان یبه م 4 يت کاریو در وضع

0 4

-0.01

0

0.01

Time [s]

S m [

pu]

الف

Dow

nloa

ded

from

jiae

ee.c

om a

t 13:

00 +

0430

on

Thu

rsda

y A

ugus

t 26t

h 20

21


Jour

nal o

f Ira

nian

Ass

ocia

tion

of E

lect

rica

l and

Ele

ctro

nics

Eng

inee

rs -

Vol

.14-

No.

3 Fa

ll 20

17


0 4

0

0.9

2

Time [s]

T m [

pu]

ت یوضع در هیثانیلیم 100 فاز سه يخطا از حاصل جینتا): 5شکل (.mT(ب) ،mSف)ال.( Tm = 0.9و Pt = 1.2،Qt = 0.2 ، Xe = 0.7يکارCPSSنقطه : ، خطPSS3Bن : یچ، خطPSS3B+RLکپارچه : ی

0 4

-0.01

0

0.01

Time [s]

Sm

[pu

]

الف

0 4

0

1.2

2.5

Time [s]

T m [

pu]

ت یوضع در هیثانیلیم 100 فاز سه يخطا از حاصل جینتا): 6شکل(.mT(ب) ،mSف)ال.( Tm = 1.2و Pt = 0.7،t = 0.5Q ، Xe = 0.3 يکارCPSSنقطه : ، خطPSS3Bن : یچ، خطPSS3B+RLکپارچه : ی

بـا یتقر 4و 3و %40با یتقر 2و 1 يکار يهاتیدر وضع ITAEار یمع يهـاتیز در همـه وضـعیـن ISTSEار یاست. معدا کردهیبهبود پ 60%اسـت. بـه دا کـردهیـبـود پدرصـد به 72و 70، 63، 58ب یبه ترت يکار، 95ب یـبـه ترت يت کاریچهار وضع يز براین ISEار یب معین ترتیهمو 6و 5 يهـان شکلیاست. بنابر ادا کردهیدرصد بهبود پ 71و 69، 56

یکننـد کـه روش کنترلـیثابـت مـ 4جدوليهال دادهین تحلیهمچن

گـر ید يهـاار کـاراتر از روشیبس یتیتقو يریادگیبر یمبتن يشنهادیپ است.

مختلف يکار يهاتیدر وضع PSSسه عملکرد انواع ی): مقا4جدول (CPSSPSS3BPSS3B+RL

=t0

= 0.9, Pm

T1.2,

e= 0.2 , X

t0Q

= 0.7

%OS1.21.090.88%US1.080.8420.7

[s]sT3.27841.01011.009ITAE0.12620.04010.0248ISTSE0.00820.00240.001

ISE7.08e-52.2e-51e-6

=t0

= 0.9, Pm

T1.2,

e0.2 , X

-=t0

Q= 0.7

%OS1.191.080.87%US1.060.83760.6956

[s]sT3.24831.45991.3556ITAE0.12240.03990.0247ISTSE0.00780.00220.0008

ISE6.77e-52.26e-59.97e-6

=t0

= 1.2, Pm

T0.7,

e= 0.5 , X

t0Q

= 0.3

%OS1.831.691.37%US1.731.391.22

[s]sT10.96211.50691.3502ITAE0.42270.10260.0410ISTSE0.05570.01060.003

ISE3.98e-49.72e-52.85e-5

=t0

= 1.2, Pm

T1,

=e= 0 , X

t0Q

0.5

%OS1.841.71.37%US1.761.421.23

[s]sT10.52231.78641.3388ITAE0.42140.10270.0405ISTSE0.005540.01070.0029

ISE9.96e-49.74e-52.81e-5

يریگجهینت-8PSS3BP

KHK

PSS3BPQ-learning Q

PSS3BPPSS3B+RLP-

Q-learningQ

ITAEIISTSEIISEI

Dow

nloa

ded

from

jiae

ee.c

om a

t 13:

00 +

0430

on

Thu

rsda

y A

ugus

t 26t

h 20

21





o.3 Fall2017

11111111111

)18(

0

0

1

121 ( )

1 ( )

1 ( )

00

00

B m

mm m e

dd q q q

q

qq d d d fd

d

fda ref s t fd

a

d d dq

q q qd

d de

q e

d SdtdS

DS T Tdt H

dEE x x i

dt T

dEE x x i E

dt TdE

K V V V Edt T

E ixE ix

i Xi X

sincosb

qE

نشان 19ن مقاله در رابطهیمورد استفاده در ا يارهایمعادلات مع اند.داده شده

)19( 0

2 2

0

2

0

sim

sim

sim

t

t

t

ITAE t dt

ISTSE t dt

ISE dt

[1] Anderson, M. and Fouad, A. A., Power system control and stability, Ames: IA: Iowa State Univ. Press, 1977.

[2] Dehghani M, Nikravesh S, Karrari M. “Decentralized Robust Power System Stabilizer Design”, Journal of Iranian Association of Electrical and Electronics Engineers, Vol. 4, No. 1, pp. 36-43, 2007.

[3] Khodabakhshian, A., Hemmati R. and Moazzami M.,"Multi-band power system stabilizer design by using CPCE algorithm for multi-machine power system," Electric Power Systems Research, Vol. 101, pp. 36-48, 2013.

[4] He, P., Wen, F., Ledwich, G., Xue, Y. and Wang, K., "Effects of various power system stabilizers on improving power system dynamic performance," Electrical Power and Energy Systems, Vol. 46, pp. 175-183, 2013.

[5] Farahani, M., "A multi-objective power system stabilizer," IEEE Transactions on Power Systems, Vol. 28, No. 3, pp.

2700-2707, 2013.

[6] Malik, O. P. and Hariri, A., "Power system stabilizer based on a self-learning adaptive network fuzzy inference system," Transactions of the Institute of Measurement and Control, vol. 24, no. 2, pp. 153-173, 2002.

[7] Taylor, C. W., "Response-based, feedforward wide-area control," in NSF/DOE/EPRI Sponsored Workshope on Future Research Directions for Complex Interactive Networks, Washington DC, USA, 2000.

[8] Liu, C. C., Jung, J., Heydt, G. T. and Vittal, V., "The strategic power infrastructure defense (SPID) system," IEEE Control System Magazine, pp. 40-52, 2000.

[9] Diu, A. and Wehenkel, L., "EXaMINE-Experimentat on of a monitoring and control system for managing vulnerabilitis of the european infrastructure for electrical power exchange," in IEEE PES Summer Meeting, Chicago, USA, 2002.

[10] Ernst, D., Glavic, M. and Wehenkel, L., "Power system stability control: Reinforcement learning framwork," IEEE Transaction on Power Systems, Vol. 19, No. 1, pp. 427-435, 2004.

[11] Yu, T. and Zhen, W. G., "A reinforcement learning approach to power system stabilizer," in IEEE Power & Energy Society General Meeting, Calgary, AB, 2009.

[12] Vlachogiannis, J. G. and Hatziargyriou, N. D., "Reinforcement learning for reactive power control," IEEE Transaction on Power Systems, Vol. 19, No. 3, pp. 1317-1325, 2004.

[13] Naduri, V. and Das, T. K., "A reinforcement learning model to assess market power under auction-based energy pricing," IEEE Transaction on Power Systems, Vol. 22, No. 1, pp. 85-95, 2007.

[14] Safari, A., Shayeghi, H., Jalilzadeh, S. , “Robust Coordinated Design of UPFC Damping Controller and PSS Using Chaotic Optimization Algorithm”, Journal of Iranian Association of Electrical and Electronics Engineers, Vol. 12, No. 3, pp. 55-62, 2015.

[15] Singh, R., "A novel approach for tuning of power system stabilizer using genetic algorithm," Master of Sience dissertaition, Department of Electrical Engineering, Indian Institute of Science, Bangalor, India, 2004.

[16] IEEE recommended practice for excitation system models for power system stability studies. [Performance]. IEEE Standard 421.5-2005, 2006.

[17] Gandomi, A. H. and Alavi, A. H., "Krill herd: A new bio-inspired optimization algorithm," Commun Nonlinear Sci Number Simulat, Vol. 17, pp. 4831-4845, 2012.

[18] Abdel-Magid, Y. L. and Abido, M. A., "Optimal multiobjective design of robust power system stabilizers ssing genetic algorithms," IEEE Transaction on Power Systems, Vol. 18, No. 3, pp. 1125-1132, 2003.

[19] Padiyar, K. R., Power System Dynamics, Giniraj Lane, Sultan Bazar, Hyderabad: BS Publications, 2008.

Dow

nloa

ded

from

jiae

ee.c

om a

t 13:

00 +

0430

on

Thu

rsda

y A

ugus

t 26t

h 20

21


É y ] 4 ohduqlqj Á .+ z y ] 366 % z y| ËzaÊ uy ÄÀ Ì z» ®e c |« ºf...

Documents