Markov Reward Process(MRP)Markov Reward Process(MRP)는 Markov Process의 개념을 확장하여 각 상태에 보상이라는 개념을 추가한 수학적 모델입니다. 기존의 Markov Process가 단순히 상태 간의 전이 확률만을 다뤘다면, MRP는 각 상태가 얼마나 가치있는지를 정량적으로 평가할 수 있게 해줍니다. 이는 다음의 Markov Property를 기본으로 합니다: $$P(S_{t+1} | S_t, S_{t-1}, ..., S_0) = P(S_{t+1} | S_t)$$ 이 식이 의미하는 바는 다음 상태로의 전이 확률이 오직 현재 상태에만 의존한다는 것입니다. 보상(Reward)MRP에서 가장 핵심적인 개념은 보상(Reward)입니다. 보상은 특정 상태에 도달했..

마코프 프로세스(Markov Process)기본 개념마코프 프로세스는 확률적 시스템을 모델링하는 수학적 도구입니다. 시간이 흐름에 따라 시스템의 상태가 변화하는데, 이때 다음 상태는 오직 현재 상태에만 의존한다는 특별한 성질을 가집니다.핵심 특성확률 과정 (Stochastic Process)시간에 따라 상태가 확률적으로 변화미래 상태를 100% 확실히 예측할 수 없음이산 시간 (Discrete Time)연속적이 아닌 단계별로 시간이 변화예: 매일, 매시간, 매분 단위로 상태 변화마코프 특성 (Markov Property)미래는 오직 현재에만 의존과거 이력은 미래 예측에 영향을 주지 않음상태 전이 확률과 상태변이확률의 수학적 이해1. 상태 전이 확률의 정의와 해석$$P[s_{t+1}|s_t] = P[s_{..

베이즈 정리 베이즈 정리는 새로운 데이터가 주어졌을 때, 우리의 기존 예측을 얼마나 수정해야 하는지 알려주는 수학적 공식입니다. 우리가 어떤 사건에 대해 처음에 가지고 있던 확률(사전확률)이 있고, 새로운 데이터가 들어왔을 때 이를 반영해서 확률을 업데이트(사후확률)하는 과정을 수식으로 표현한 것이죠. 베이즈 정리가 특별히 유용한 상황들을 살펴보면: 1. 데이터가 부족할 때: - 전문가의 경험이나 기존 지식을 사전확률로 활용할 수 있습니다 - 여기에 새로 수집된 적은 양의 데이터를 결합해서 더 나은 예측이 가능합니다 2. 실시간으로 데이터가 쌓일 때: - 매일 새로운 데이터가 들어오는 경우 - 전체 데이터를 다시 분석할 필요 없이 - 어제의 분석 결과(사전확률)에 오늘의 새 데이터만 반영해서 업데이트할 ..