商汤开源9B级循环计算模型SenseNova Loop-9B-Preview

商汤正式开源日日新 SenseNova Loop-9B-Preview，这是其面向下一代模型架构的前沿探索成果。该模型采用 Looped Transformer 架构，通过引入循环计算扩展模型的有效计算深度，并探索更充分的信息交互机制，以提升复杂任务处理能力。在仅 9B 的参数规模下，其表现可媲美 27B 参数大小的模型。

提升模型能力已不再局限于扩大参数规模。如何在控制参数规模的同时，通过增加有效计算深度来释放模型潜力，正成为值得探索的方向。近期，循环计算成为大模型架构研究的重点，国内外研究社区围绕 Looped Transformer 展开攻关，但多数探索仍停留在学术研究层面，社区缺乏可直接面向日常使用的 Looped Transformer 模型。此次开源的 SenseNova Loop-9B-Preview 为社区提供了 9B 级 Looped Transformer 的开源实践，填补了这一空白，也体现了商汤对下一代大模型架构的持续探索与思考。

不过，如何让多轮计算真正转化为模型能力的提升，尤其在信息传递、特征交互和训练稳定性等方面，仍有进一步探索空间。现有相关工作仍以研究验证为主，如何在更大模型规模下兼顾计算深度、模型能力与实际应用需求，也有待持续推进。

SenseNova Loop-9B-Preview 以 9B 尺度模型为基座，保留首尾各 4 层原始解码器模块，将中间层改造为参数共享的循环计算模块，通过多轮迭代扩展有效计算深度。在此基础上，模型进一步探索循环计算中的信息传递机制，尝试引入 mHC（Manifold-Constrained Hyper-Connections），利用多路残差连接与受约束的信息混合，增强特征交互并维持信号传播的稳定性。整体设计旨在控制参数规模的同时，探索提升模型推理能力的新路径。

SenseNova Loop-9B-Preview 在保持 9B 级参数规模的同时，展现出较强的跨任务性能。在当前评测设置下，模型在代码生成、办公场景和智能体任务等多个方向上均优于其他模型，并在 WorkBuddy Bench、RaccoonPPT Bench 和 AutomationBench 等评测中进一步超过 Qwen3.5-27B。这些结果初步展现了通过扩展有效计算深度，提升小参数模型复杂任务处理能力的潜力。

商汤进一步通过消融实验评估了 mHC 的实际收益。采用该机制后，模型取得明显的性能提升，其中 GPQA Diamond 和 TeamBench 分别提高了 4.42 分和 13.34 分，展现出在复杂推理任务以及多步骤 Agent 任务中的应用潜力。后续还将继续探索 DSA、自适应迭代次数等机制，以提升模型的推理效率与任务表现。

SenseNova Loop-9B-Preview 只是起点。面向下一代 SenseNova，商汤将进一步探索 Looped Transformer 在更大模型规模下的 Scaling 潜力、自适应“快慢思考”机制，深度挖掘参数共享的更多潜能，以更灵活的计算方式、更高的参数效率，持续突破模型能力与推理效率的边界。

Github：https://github.com/OpenSenseNova/SenseNova-Loop

Hugging Face：https://huggingface.co/sensenova/SenseNova-Loop-9B-Preview