마코프 프로세스(Markov Process) 기본 개념

마코프 프로세스(Markov Process)

기본 개념

마코프 프로세스는 확률적 시스템을 모델링하는 수학적 도구입니다. 시간이 흐름에 따라 시스템의 상태가 변화하는데, 이때 다음 상태는 오직 현재 상태에만 의존한다는 특별한 성질을 가집니다.

핵심 특성

1. 확률 과정 (Stochastic Process)
   • 시간에 따라 상태가 확률적으로 변화
   • 미래 상태를 100% 확실히 예측할 수 없음
2. 이산 시간 (Discrete Time)
   • 연속적이 아닌 단계별로 시간이 변화
   • 예: 매일, 매시간, 매분 단위로 상태 변화
3. 마코프 특성 (Markov Property)
   • 미래는 오직 현재에만 의존
   • 과거 이력은 미래 예측에 영향을 주지 않음

상태 전이 확률과 상태변이확률의 수학적 이해

1. 상태 전이 확률의 정의와 해석

$$P[s_{t+1}|s_t] = P[s_{t+1}|s_1,\cdots,s_t]$$

• $s_{t+1}$: t+1 시점의 상태 (미래 상태)
• $s_t$: t 시점의 상태 (현재 상태)
• $s_1,\cdots,s_t$: 1부터 t까지의 모든 상태 (과거부터 현재까지의 상태)

수식의 의미 상태변이확률의 정의와 해석

$$P_{ss'} = P[s_{t+1}=s'|s_t=s]$$

• $s$: 시스템의 현재 상태
• $s'$: 시스템의 다음 상태
• $P_{ss'}$: s 상태에서 s' 상태로 전이될 확률

수식의 특성

1. 비음수성(Non-negativity):
   • 모든 상태변이확률은 0 이상입니다
   • $P_{ss'} \geq 0$ for all s, s'
2. 확률의 합:
   • 특정 상태에서 가능한 모든 다음 상태로의 전이 확률의 합은 1입니다
   • $\sum_{s'} P_{ss'} = 1$ for all s

참조

https://bskyvision.com/entry/%EB%A7%88%EC%BD%94%ED%94%84-%ED%94%84%EB%A1%9C%EC%84%B8%EC%8A%A4%EB%A7%88%EC%BD%94%ED%94%84-%EC%B2%B4%EC%9D%B8%EB%9E%80#google_vignette

[강화학습] 마코프 프로세스(=마코프 체인) 제대로 이해하기

 

1.