TD-afterstate

afterstae: 当前执行一个动作后的状态，可以理解为中间态

是处理问题的一个改动,一种思想

以俄罗斯方块为例:

状态是由当前的局面和一个随机方块组成，执行一个下落动作之后会产生一个局面就称为afterstate，即动作结束后不能进行新的动作（没有新方块）的状态。

中间态和下一个随机方块构成了下一个状态

对于没有这种随机性的问题，afterstate就是next state

td做预测，afterstate做控制

afterstate

更多: