LabLynx Wiki

משוואת בלמן (באנגלית: Bellman Equation) הקרויה על שם מפתחה ריצ'רד בלמן היא תנאי הכרחי לאופטימליות בפתרון בעיית בקרה באמצעות תכנון דינמי. משוואות בלמן מתבססות על עקרון האופטימליות של בלמן הגורס באופן רקורסיבי כי מדיניות החלטה אופטימלית היא אופטימלית ביחס לכל מצב התחלתי והחלטה התחלתית וכמו כן מהווה מדיניות החלטה אופטימלית ביחס לכל מצב והחלטה שנקרים בדרכה.

ניסוח כללי

בצורתה הבסיסית, מנוסחת משוואת בלמן עבור תהליך החלטה בזמן בדיד $t=0,1,2,...$ כך שהמצב בזמן t נתון על ידי $x_{t}$ . פונקציית המעברים של המערכת נתונה כ $x_{t+1}=T(x_{t},a_{t})$ וקבוצת ההחלטות (הפעולות) שניתן לבצע במצב נתון $x_{t}$ נתונה כ $\Gamma (x_{t})$ . כמו כן נתונים לנו הערך המיידי $F(x_{t},a_{t})$ לביצוע החלטה אפשרית כלשהי במצב מסוים ופקטור היוון $0<\beta <1$ . משוואת בלמן עבור מדיניות ההחלטה האופטימלית דורשת שיתקיים לכל מצב $x_{t}$ :

$V(x_{t})=\max _{a_{t}\in \Gamma (x_{t})}\{F(x_{t},a_{t})+\beta V(T(x_{t},a_{t}))\}$

כאשר $V(x_{t})$ היא פונקציית הערך הכולל עבור ביצוע החלטות החל ממצב $x_{t}$ .

	ערך מחפש מקורות
	רובו של ערך זה אינו כולל מקורות או הערות שוליים, וככל הנראה, הקיימים אינם מספקים. אנא עזרו לשפר את אמינות הערך באמצעות הבאת מקורות לדברים ושילובם בגוף הערך בצורת קישורים חיצוניים והערות שוליים. אם אתם סבורים כי ניתן להסיר את התבנית, ניתן לציין זאת בדף השיחה.