점점 미쳐가는 개발 일기

벨만 기대 방정식(Bellman Expectation Equation) – 상태 가치 함수와 행동 가치 함수앞서 MDP의 구조와 가치 평가의 필요성을 살펴보았으니, 이번에는 벨만 기대 방정식이 실제로 어떻게 상태 가치 함수와 행동 가치 함수에 적용되는지, 그리고 이 식이 어떻게 계산 가능한 형태로 전개되는지 설명하겠습니다.벨만 기대 방정식의 기본 형태1. 상태 가치 함수(State Value Function)의 벨만 기대 방정식정책 $\pi$ 하에서의 상태 가치 함수 $V_\pi(s)$는 다음과 같이 정의됩니다.$$ V_π(s) = \mathbb{E}_π[G_t | S_t = s] $$이 식을 전개하면,$$ = \mathbb{E}_π[r_{t+1} + \gamma r_{t+2} + \gamma^2 r_{..