阶跃星辰开放 Step 5 Preview 权重：长程 Agent 的竞争，延伸到上下文管理与训练系统

10 月 15 日，阶跃星辰宣布正式开放 Step 5 Preview 权重，包括 BF16 与 FP8 两个版本，并同步发布技术博客、配套开源开发工具及部署指南。模型权重已上线 Hugging Face 和 ModelScope。

Hugging Face 地址：https://huggingface.co/stepfun-ai/Step-5-Preview

ModelScope 地址：https://www.modelscope.ai/models/stepfun-ai/Step-5-Preview

据介绍，Step 5 Preview 面向长程 Agent 任务设计，采用稀疏 MoE 架构，总参数量为 600B，每 token 激活参数为 27B，支持 100 万 token 上下文窗口，原生支持文本与视觉输入，面向软件工程、专业知识工作及金融等应用场景。其官方模型介绍将跨文件代码修改、运行与验证，以及反复调用工具、根据结果修正操作等列为主要能力方向。

这类任务对模型提出了与单轮问答不同的要求。以软件工程为例，Agent 需要先理解需求和代码，再修改文件、执行测试、检查报错，并在多次尝试后交付结果。随着任务推进，代码、工具返回信息和中间决策不断累积。模型既要处理越来越长的输入，也要保留早期约束，避免后续修改偏离最初目标。

因此，评价长程 Agent 的实际价值，需要同时考察任务完成率、执行时间、资源消耗及人工接管次数。

此次技术博客披露了 Step 5 Preview 的设计思路，包括 92 层窄深架构、Sparse GQA、训练稳定性优化、百万级可验证环境及长程任务强化学习。其中几个具体选择，体现出团队如何处理长任务中的计算和训练问题。

在架构上，模型采用 92 层 Transformer，以 3∶1 的比例交替配置门控滑动窗口注意力与稀疏全局注意力。Sparse GQA 将相邻 8 个 token 合并为索引块；据团队介绍，这使索引与 top-k 选择开销降至原来的八分之一。训练稳定性方面，团队对隐藏状态及相关梯度、归一化缩放参数使用 FP32，并采取细粒度梯度截断。

这里需要区分局部算子优化与整体性能收益。索引和选择开销下降，并不等于完整推理流程提速八倍，也不能直接推导服务成本按同样比例降低。实际部署还要承担权重读取、注意力计算、跨设备通信和工具执行等成本。对于开发者而言，更有参考意义的验证，是在相同硬件、上下文长度和并发条件下，观察一项完整任务的耗时与资源占用。

600B 总参数与 27B 激活参数也应分开理解：稀疏激活减少了每个 token 参与计算的参数量，但未被当前 token 激活的专家权重，仍属于部署系统需要管理的模型资源。因此，不能仅凭 27B 激活参数，就把它等同于一个同等规模稠密模型的部署门槛。

在训练数据方面，团队称构建了覆盖科学推理、软件工程、机器学习研发和专业工作的百万级可验证环境。博客同时指出，Agent 合成数据容易偏向简单、重复的任务，因此需要显式控制难度和多样性，并检查模型是否利用评测漏洞获得奖励。

这一问题关系到 Agent 训练结果能否迁移到真实工作。测试通过可能意味着代码正确，也可能意味着测试没有覆盖关键条件；任务得分提高，可能来自能力提升，也可能来自模型找到了评分规则中的捷径。对于长程任务，训练环境的价值不仅取决于数量，还取决于能否区分真正完成任务与表面满足指标。发布百万级环境的规模信息之后，其覆盖范围、验证质量以及与实际业务的差异，同样值得持续观察。

另一个值得关注的设计是上下文压缩。Step 5 Preview 将其纳入端到端策略训练，使用同一任务奖励进行优化，使 Agent 在上下文预算接近耗尽时，将工作整理为可恢复的状态，再继续执行。

从应用角度看，这意味着上下文管理本身成为模型需要学习的一部分。即便提供百万 token 窗口，持续运行的 Agent 仍需要决定哪些信息值得保留：最初的需求、已经确认的事实、失败过的方案，以及尚未解决的问题，都可能影响后续行动。压缩得过于激进，可能遗漏关键约束；保留过多冗余，又会增加后续计算负担。

因此，长上下文容量与长任务可靠性之间，仍有一段需要工程验证的距离。窗口大小描述模型一次能够接收多少信息，而任务是否能够持续推进，还取决于信息筛选、状态保存和出错后的恢复能力。将压缩纳入训练提供了一种解决思路，但其效果仍需通过跨多轮压缩后的任务完成情况来检验。

部署方面，Step 5 Preview 提供面向多种芯片平台和推理框架的适配支持。开发者可通过 vLLM 或 SGLang 部署兼容 OpenAI 接口的 API 服务，也可使用 Transformers 进行离线推理，接入自有数据、工具与系统。BF16 与 FP8 两个版本，则为不同精度和资源条件下的部署提供了选择。

开放权重使企业能够进一步验证模型与自身工作流的适配程度。例如，在内部代码仓库中测试跨文件修改，在业务文档中检查信息追溯能力，或评估工具调用失败后的恢复情况。对于这些场景，通用基准之外的业务测试，往往更能帮助团队判断部署是否值得。

在开发者使用方面，根据截至 2026 年 10 月 15 日可见的 OpenRouter 数据，Step 5 Preview 位列该平台 Token 用量周榜及日榜全球第二。下结果总结了 Step 5 Preview 在编码、代理任务、专业知识工作和财务方面的表现。

从此次披露的技术路线看，长程 Agent 的优化已经涉及模型架构、数据构造、训练稳定性和运行时状态管理等多个环节。权重开放之后，Step 5 Preview 将接受更多具体工作负载的检验。对使用者来说，最终需要回答的问题也很明确：在可接受的时间与成本内，它能否稳定完成任务，又需要多少人工检查和纠错。