每日一问
正课之外
每天想清楚一个问题
强化学习问题合集
讲义按 Stage 一课一课往前走，但总有些问题不属于任何一课，又绕不过去——「这两个东西到底什么关系」「为什么这里敢这么写那里不敢」。这个板块专门收它们：一天一个，写法和正课完全一样——先给一个小到能手算的例子，再给定理和公式，每个变量当场标清楚，图和数字全部由脚本跑出来。不定期更新。
§ 1全部问题
目前 1 问。最新的排在最前面。
2026 年 8 月
§ 2板块规则
- 一问一个能手算的例子。例子小到能在纸上跑完，第一个数字不用跑代码就能自己验一遍。
- 先给数，再给公式。顺序永远是：一个具体的数 → 表格 → 图 → 才是定理和收敛性。
- 每个公式都拆开。关键式子像 这样把每一块标住，公式下面再挂一张符号表，逐条说清每个变量是什么、为什么在那个位置。
- 所有数字都是跑出来的。正文里出现的每一个数都来自一次真实运行，不确定的数不写。
- 写清楚边界。每一问都要回答「这套说法什么时候不成立」，而不只是「它是什么」。