Hummingbird-S1 关注的不是让小模型生成更多内容,而是一个更基础的问题:在资源受限的条件下,智能体能否保留真正影响行动的状态,判断何时值得获取更多信息,并把已经学会的策略保存为可执行、可验证、可失效的程序记忆。
在当前阶段,系统最大参数规模为 361,823,523,其中语言模型主干为 SmolLM2-360M-Instruct。研究把因果绑定、在线状态写入、旧技能回放、主动查询和精确规划拆成独立接口,使每一项能力都能够被有限环境精确求解,并被真实执行或反例推翻。
结果先行
在有限诊断环境中,Hummingbird-S1 已形成一条相互衔接的证据链:
- 因果绑定任务在 held-out XML 协议和 cue 反事实上达到 100%;接入固定外部 P2 协议后,raw history 与 typed state 均达到 83.3%,而仅使用 current observation 时保持在 50%。
- Delay-64 任务中,typed state 准确率为 100%,raw history 为 50%;状态 bit 代理减少 96.08%。二元与四元在线状态分别只需 1 bit 和 2 bit,并在既定任务分布下达到零控制失真与零 excess bit。
- 在共享 checkpoint 出现参数干扰后,加入等预算旧技能 replay,使结构动作最差准确率从 writer-only 的 75% 恢复至 100%,同时只使用双 checkpoint 隔离方案一半的参数。
- 主动查询策略在四个闭环 split 上与精确 oracle 的平均差距仅为 4.17–6.25 milli;系统没有选择零信息查询。
这些结果属于 E3 diagnostic:至少三个独立 optimizer seed 在有限诊断环境中稳定复现。它们证明的是机制在明确任务族内成立,而不是自然语言理解、开放世界自主感知或通用智能。
在事件发生时写入最小状态
长程任务常见的做法,是在需要决策时重新扫描全部历史。Hummingbird-S1 采用相反路径:当行动相关的 cue 出现时,立即将最小充分状态写入持久记忆,后续读取不再依赖神经网络重扫上下文。
在 stationary binary mapping 中,在线 action codec 用 1 bit 保存动作索引;扩展到 K=4、episode 内重新映射的环境后,cue writer 用 2 bit 保存身份状态。两个设置在 Delay-64 上均达到 100%,并分别达到任务级率失真下界。相较 retrospective raw scan,二元任务估算推理 FLOPs 降低 90.82%。
这里的“信息论最优”只适用于报告定义的任务分布与 control distortion,不能扩展解释为整个模型接近信息论极限。
学习估计,精确规划,程序执行
直接让语言模型决定何时查询,容易出现过度查询或提前停止。Hummingbird-S1 将这项能力拆为三层:外部编译器生成 typed belief/query 特征;993 参数的微型 MLP 估计候选动作代价;精确动态规划负责合法动作、Bayes 总成本和闭环执行。
四个 split 的 learned cost 为 314.31–335.14 milli,而 stop-only 固定为 500 milli。查询策略随后被编译为有限策略树,并携带 schema、version、read/write set、行为摘要、失效原因和内容 hash。Exact compiler 生成的程序约为 593–595 bit,相对完整策略 prompt 减少 92.8%–95.9%;当 mapping 或 cost 过期时,系统在首次交互前的拒绝率为 100%。
这意味着记忆不再只是不可解释的上下文残留,而是能够执行、校验、回放和主动失效的程序对象。
从有限环境走向真实仓库
在内部真实执行阶段,系统覆盖 16 个源码文件、32 个 mutation、32 个诊断查询和 320 次 Python/unittest 子进程。干净基线通过率、mutation symptom failure 与 diagnostic replay agreement 均为 100%,证明执行协议、诊断成本和回放链路能够接受审计。
随后,研究冻结了一个总计 147 参数的 logistic ensemble,并在 Installer 与 Hyperframe 两个 untouched Python repositories 上进行盲测。两个仓库共覆盖 6 个 seeds、180 pairs 和 18 个 informative query-policy points,仓库宏平均 balanced accuracy 为 94.98%,FAIL recall 为 93.68%,pooled mean/worst normalized regret 分别为 2.20% 和 15.94%。
这部分证据等级仍为 E1 blind:它验证的是同一冻结小型 outcome model 与 exact VoI planner 能在两个独立仓库的窄接口上复现,并不意味着系统已经能够跨仓库自动修复代码。
失败同样决定系统边界
V5 跨仓诊断实验在开发集上表现良好,但冻结到四个新任务域后,12 个 seeds 中没有一个达到完全可识别,mean/worst error 为 45.8%/75%,因此 promotion 被明确否决。
V6 将“正确性 oracle”与“诊断观测”分层后,开发重放的 mean error 降至 14.6%,但 worst error 仍为 50%。下一阶段只有在四个新仓库同时达到至少 80% reachability、3/3 identifiability 和不高于 10% 的 worst error 后,才会启动 300M–1B 端到端训练。
Hummingbird-S1 不是“更大的小模型”。它是一套把因果状态、查询价值和程序记忆转化为可审计证据的研究框架:学习模块负责估计,精确组件守住决策语义,真实执行与失败案例共同定义能力边界。

