点了停止,排队中的问题却在稍后开始生成;清空对话后,另一个标签页的旧回复又冒了出来。这类现象看起来像模型没有听懂指令,实际原因可能在聊天系统的并发状态管理。
Cloudflare 于 UTC 2026 年 11 月 20 日 15:56 发布 @cloudflare/ai-chat 0.12.3,北京时间为当天 23:56,处于本次写作的过去 48 小时内。发布说明收录了排队取消、跨标签聊天和恢复流的修复,涉及停止、清空、重新生成及恢复操作。
本文依据该软件包的发布记录、上游代码和回归测试分析。相关代码在发布前已经合并,本次新闻事件是软件包发布;本博客没有安装该版本、调用模型或执行这些聊天测试。
背景:用户操作面对的不止一个请求
单窗口演示中,一次发送对应一条流,停止按钮似乎只要中止当前请求就够了。但真实应用还可能同时存在排队请求、断线恢复、工具返回,以及打开同一会话的其他标签页。
这些任务的时间顺序并不总与页面上的操作顺序一致。用户清空界面时,旧任务可能已经进入服务端队列;客户端确认恢复一条流时,那条流可能已经结束,服务器正在发送下一条。
这次更新的价值,就在于把操作意图落实到这些交错路径中。它不是模型能力升级,也没有给出响应速度或成本降低的量化承诺。
排队取消:中止状态需要比执行更早存在
上游修复 #2818 描述了一个具体问题。默认排队模式下,请求 B 等待请求 A 完成时,B 的 abort controller 尚未创建。此时取消 B,服务端找不到对应控制器,取消便被丢掉;等 A 结束,B 仍然会运行。
修复将控制器登记提前到请求被接受时,并在真正开始聊天处理前检查取消状态。已经取消的请求不会再调用 onChatMessage,客户端会收到结果为 aborted 的结束帧,控制器则在最终清理阶段移除。
这里有一个容易漏掉的区别:请求尚未开始,不代表它不需要被取消。只把取消逻辑放在模型调用周围,会留下等待队列、合并或其他准备阶段的空白。
同时,取消不等于删除聊天历史。上游明确保留了相应上下文处理边界;由于被提前取消的请求没有生成助手消息,onChatResponse 不会为它触发。应用如果依靠这个回调更新界面或统计结果,应单独检查提前取消路径,不能只验证生成中的停止按钮。
清空与重新生成:旧任务不能越过新会话边界
修复 #2860 为执行中的轮次记录了进入队列时的会话代次。回复路径会比较轮次所属代次与当前代次,防止清空之前接受的旧轮次继续向已清空的对话输出或保存回复。
这种检查回答的是“这项任务还属于当前会话状态吗”,与“这条网络连接是否还活着”不同。仅停止一个标签页的显示,无法证明其他标签页发起的旧任务已经失效。
重新生成也有类似时机问题。原先只在请求到达时删除旧内容,如果另一个标签页仍在流式写入,旧回复可能在删除之后再次留下记录。修复把对应清理放到重新生成轮次开始时执行,让实际替换与轮次执行对齐。
同一修复还区分了工具结果是否真的改变调用状态。重复结果或已经不存在的调用,不再因为收到一次消息就重新触发模型续答。但这不能被推广成所有外部工具都获得了“恰好执行一次”保证;应用自身的工具副作用仍需按业务要求处理。
恢复确认:ACK 必须对应当前那条流
修复 #2861 处理了恢复过程中的另一类交错。假设标签页收到恢复流 A 的通知,随后 A 结束、B 开始,标签页又被要求恢复 B。此时,迟到的 A 的确认消息才到达服务器。
旧逻辑会直接将连接移出等待恢复的集合。结果是标签页可能从 B 的中间开始接收实时片段,却没有先获得开头的重放数据。
新逻辑检查确认中的请求 ID。若它对应的不是当前活跃流,就继续保留等待状态;只有确认匹配当前流,或当前已经没有活跃流时,才解除等待。这里的关键不是“收到了 ACK”,而是“收到的是哪条流的 ACK”。
同一修复还让停止操作能中止正在等待模型的恢复尝试,并让恢复逻辑在出现较新的用户问题时让出处理。恢复应延续仍然有效的工作,不能把用户后来的问题悄悄接到旧回复里面。
测试证据与尚未解决的路径
上游针对这些顺序添加了回归测试,包含两个标签页共享会话、排队后取消,以及延迟旧流确认等场景。其中,恢复确认测试会等待流 B 开始,再发送流 A 的 ACK,并检查标签页在确认 B 之前没有收到 B 的实时片段。
这比简单地连续点击几次按钮更能说明修复目标。测试需要控制关键事件的先后关系,才能稳定走到原本容易偶发的问题路径。
不过,上游 #2860 的测试还明确保留了一项 it.fails 场景:旧回复的工具结果在较新的问题已经回答后到达,仍可能续接到较新的回复。作者将其列为未在该修复中解决的问题。不能把修复重复工具结果,等同于已经解决所有迟到结果的归属问题。
发布说明称 @cloudflare/ai-chat 0.12.3 无需代码变更即可升级。这个结论应限定在该软件包的发布说明内,不能扩展到同一仓库同时发布的其他包,也不能替代应用自己的兼容性验收。
实践启示:按事件顺序验收聊天控制
准备验证相关应用时,可以将关键操作整理成下面的检查表。这是根据修复机制提出的验收建议,不是本博客已经执行的实验。
| 操作顺序 | 应核对的结果 |
|---|---|
| A 正在生成,B 排队,取消 B,再结束 A | B 不开始生成,客户端收到明确结束状态 |
| 标签页 A 正在生成,标签页 B 清空对话 | 旧回复不再进入清空后的会话 |
| 旧回复仍在生成时请求重新生成 | 持久化记录中没有旧回复与替代回复并存的残留 |
| 恢复 B 时收到迟到的 A 的 ACK | 客户端继续等待 B 的正确恢复流程 |
还应分别观察界面、服务端执行和保存后的消息。页面停止刷新,不足以证明后台工作已经停止;后台停止,也不等于存储中的旧数据已经正确处理。
对包含外部工具的应用,建议使用隔离的测试数据或模拟工具验证这些顺序,避免通过真实发信、付款或发布操作来试探重复执行。日志可记录请求 ID、流 ID 和会话代次,不必为了排查竞态而输出完整的敏感对话。
结语
聊天控制的可靠性取决于任务是否仍然有效,以及事件属于哪个请求、哪条流和哪个会话状态。取消、清空和恢复都需要在服务端拥有明确含义,不能只改变页面显示。
这次补丁给出了几处可核对的实现和测试,也保留了未解决路径。用这些事件顺序检查自己的应用,比仅凭一次流畅的聊天演示判断可靠性更有依据。
参考来源
- @cloudflare/ai-chat 0.12.3 发布说明,UTC 2026 年 11 月 20 日发布,是本文新闻来源。
- 上游修复 #2818:取消排队中的聊天请求,用于核对控制器登记时机和提前取消的结束行为。
- 上游修复 #2860:跨标签聊天轮次竞态,包含清空、重新生成、工具结果修复及未解决场景说明。
- 上游修复 #2861:恢复与流确认竞态,用于核对恢复停止、较新问题及迟到 ACK 的处理。
- 恢复确认回归测试与实现差异,用于核对延迟确认测试覆盖的具体顺序。