正文
语言模型的失败方式很特别：它很少沉默，通常会给出一个语气笃定、结构完整、看上去完全合理的答案。成年人可能会顺手核对一下，正在学这个知识点的孩子不会——他手里没有可以用来对照的参照物。
工程上有个原则叫 fail-closed：系统出问题时，宁可明确停下并报错，也不要带着错误状态继续跑下去。翻译到教育产品里就是——AI 无法可靠完成某件事时，应该明说“这一步我不确定，需要人工确认”，而不是编一个答案把空填上。
这在产品上是个不讨好的选择。承认不确定会让演示不够流畅，也容易让人觉得这个 AI 好像没那么厉害。但另一种选择，是让一个孩子把错误答案当成知识记下来，而且没有人会发现。
所以我们把“不确定就明说”写进了设计原则，也把“AI 产出触达学生前需要教师确认”写进了教师工作流。AI 会出错是前提，不是意外——产品要按这个前提来设计。