马尔可夫决策过程

Markov decision process

定义：

• $\mathcal{S}$：状态
• $\mathcal{A}(s)$：Action，$s\in \mathcal{S}$
• $\mathcal{R}(s,a)$：Reward
• $p(s^{\prime }\mid s,a)$：State teansition probability，在状态 $s$，执行动作 $a$，到达状态 $s^{\prime }$ 的概率。
• $p(r\mid s,a)$：Reward probability，在状态 $s$，执行动作 $a$，得到奖励 $r$ 的概率。
• $\pi (a\mid s)$：Policy，在状态 $s$，执行动作 $a$，采取该策略的概率。

Markov property

$$p(s_{t+1}\mid s_t,a_t,\cdots ,s_0,a_0)=p(s_{t+1}\mid s_t,a_t)$$$$p(r_{t+1}\mid s_t,a_t\cdots ,s_0,a_0)=p(r_{t+1}\mid s_t,a_t)$$