【全网最全的的本地部署Code Agent攻略参考】跃阶星辰AI开源Step-3.5-Flash

1. 简介

Step 3.5 Flash（访问官网）是我们目前最强大的开源基础模型，专为提供前沿推理与智能体能力而设计，同时具备卓越的效率。基于稀疏混合专家（MoE）架构，它每处理一个token仅激活1960亿参数中的110亿。这种"智能密度"使其推理深度可比肩顶级闭源模型，同时保持实时交互所需的敏捷性。

2. 核心能力

• 高速深度推理：聊天机器人擅长阅读，而智能体必须快速推理。通过三路多token预测（MTP-3）技术，Step 3.5 Flash在典型使用场景中实现100-300 tok/s的生成吞吐量（单流编码任务峰值达350 tok/s），能即时响应复杂的多步推理链条。

• 编码与智能体的强力引擎：Step 3.5 Flash专为智能体任务打造，集成可扩展的强化学习框架驱动持续自我进化。其SWE-bench Verified通过率74.4%，Terminal-Bench 2.0通过率51.0%，证明其能以稳定性能处理复杂长周期任务。

• 高效长上下文：模型采用3:1滑动窗口注意力（SWA）比例，支持经济高效的256K上下文窗口——每层全注意力层搭配三层SWA层。这种混合方案确保海量数据或长代码库场景下的稳定表现，同时显著降低标准长上下文模型常见的计算开销。

• 便捷本地部署：Step 3.5 Flash针对易用性优化，将顶级智能带入本地环境。可在高端消费级硬件（如Mac Studio M4 Max、NVIDIA DGX Spark）上安全运行，在保障数据隐私的同时不牺牲性能。

3. 性能表现

Step 3.5 Flash在保持开放与高效的同时，实现了与领先闭源系统同等的性能。

Step 3.5 Flash在推理、编程和代理能力方面的性能表现。开源模型（左侧）按其总参数量排序，顶级专有模型展示在右侧。xbench-DeepSearch分数均引自官方出版物以确保一致性。阴影条代表Step 3.5 Flash采用并行思维技术后的增强性能。

详细基准测试

备注：

4. 架构细节

Step 3.5 Flash 基于 稀疏混合专家（MoE） Transformer 架构构建，专为推理时的高吞吐量和低显存占用优化。

4.1 技术规格

4.2 混合专家（MoE）路由

与传统密集模型不同，Step 3.5 Flash 采用细粒度路由策略以最大化效率：

• 细粒度专家：每层 288 个路由专家 + 1 个共享专家（始终激活）。
• 稀疏激活：每个 token 仅选择 Top-8 专家。
• 效果：模型保留 1960 亿参数规模的“记忆”，但以 110 亿参数模型的速度执行。

4.3 多 token 预测（MTP）

为提升推理速度，我们采用了专用的 MTP 头部模块，包含滑动窗口注意力机制和密集前馈网络（FFN）。该模块在单次前向传播中同时预测 4 个 token，显著加速推理且不降低质量。

5. 快速开始

您可以通过我们支持的提供商使用云API，在几分钟内开始使用Step 3.5 Flash。

5.1 获取API密钥

在OpenRouter或platform.stepfun.ai注册并获取您的API密钥。

OpenRouter目前为Step 3.5 Flash提供免费试用。

5.2 安装配置

安装标准的OpenAI SDK（兼容两个平台）。

pip install –upgrade "openai>=1.0"

注意：OpenRouter 支持多种 SDK。了解更多信息请点击此处。

5.3 实现示例

本示例展示了如何与 Step 3.5 Flash 开始聊天。

from openai import OpenAI

client = OpenAI(
api_key="YOUR_API_KEY",
base_url="https://api.stepfun.ai/v1", # or "https://openrouter.ai/api/v1"
# Optional: OpenRouter headers for app rankings
default_headers={
"HTTP-Referer": "<YOUR_SITE_URL>",
"X-Title": "<YOUR_SITE_NAME>",
}
)

completion = client.chat.completions.create(
model="step-3.5-flash", # Use "stepfun/step-3.5-flash" for OpenRouter
messages=[
{
"role": "system",
"content": "You are an AI chat assistant provided by StepFun. You are good at Chinese, English, and many other languages.",
},
{
"role": "user",
"content": "Introduce StepFun's artificial intelligence capabilities."
},
],
)

print(completion.choices[0].message.content)

6. 本地部署

步骤3.5 Flash针对本地推理进行了优化，支持包括vLLM、SGLang、Hugging Face Transformers和llama.cpp在内的行业标准后端。

6.1 vLLM

我们推荐使用vLLM的最新nightly版本。

# via Docker
docker pull vllm/vllm-openai:nightly

# or via pip (nightly wheels)
pip install -U vllm –pre \\
–index-url https://pypi.org/simple \\
–extra-index-url https://wheels.vllm.ai/nightly

注意：vLLM 目前尚不支持完整的 MTP3 功能。我们正在积极开发一个拉取请求以集成此功能，预计这将显著提升解码性能。

• 针对 fp8 模型

vllm serve <MODEL_PATH_OR_HF_ID> \\
–served-model-name step3p5-flash \\
–tensor-parallel-size 8 \\
–enable-expert-parallel \\
–disable-cascade-attn \\
–reasoning-parser step3p5 \\
–enable-auto-tool-choice \\
–tool-call-parser step3p5 \\
–hf-overrides '{"num_nextn_predict_layers": 1}' \\
–speculative_config '{"method": "step3p5_mtp", "num_speculative_tokens": 1}' \\
–trust-remote-code \\
–quantization fp8

• 针对bf16模型

vllm serve <MODEL_PATH_OR_HF_ID> \\
–served-model-name step3p5-flash \\
–tensor-parallel-size 8 \\
–enable-expert-parallel \\
–disable-cascade-attn \\
–reasoning-parser step3p5 \\
–enable-auto-tool-choice \\
–tool-call-parser step3p5 \\
–hf-overrides '{"num_nextn_predict_layers": 1}' \\
–speculative_config '{"method": "step3p5_mtp", "num_speculative_tokens": 1}' \\
–trust-remote-code

你也可以参考 Step-3.5-Flash 配方。

6.2 SGLang

# via Docker
docker pull lmsysorg/sglang:dev-pr-18084
# or from source (pip)
pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git"

• 针对bf16模型

sglang serve –model-path <MODEL_PATH_OR_HF_ID> \\
–served-model-name step3p5-flash \\
–tp-size 8 \\
–tool-call-parser step3p5 \\
–reasoning-parser step3p5 \\
–speculative-algorithm EAGLE \\
–speculative-num-steps 3 \\
–speculative-eagle-topk 1 \\
–speculative-num-draft-tokens 4 \\
–enable-multi-layer-eagle \\
–host 0.0.0.0 \\
–port 8000

• 对于fp8模型

sglang serve –model-path <MODEL_PATH_OR_HF_ID> \\
–served-model-name step3p5-flash \\
–tp-size 8 \\
–ep-size 8 \\
–tool-call-parser step3p5 \\
–reasoning-parser step3p5 \\
–speculative-algorithm EAGLE \\
–speculative-num-steps 3 \\
–speculative-eagle-topk 1 \\
–speculative-num-draft-tokens 4 \\
–enable-multi-layer-eagle \\
–host 0.0.0.0 \\
–port 8000

6.3 Transformers（调试/验证）

使用此代码片段进行快速功能验证。如需高吞吐量服务，请使用vLLM或SGLang。

from transformers import AutoModelForCausalLM, AutoTokenizer

MODEL_PATH = "<MODEL_PATH_OR_HF_ID>"

# 1. Setup
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
trust_remote_code=True,
torch_dtype="auto",
device_map="auto",
)

# 2. Prepare Input
messages = [{"role": "user", "content": "Explain the significance of the number 42."}]
inputs = tokenizer.apply_chat_template(
messages,
tokenize=True,
add_generation_prompt=True,
return_dict=True,
return_tensors="pt",
).to(model.device)

# 3. Generate
generated_ids = model.generate(**inputs, max_new_tokens=128, do_sample=False)
output_text = tokenizer.decode(generated_ids[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)

print(output_text)

6.4 llama.cpp

系统需求

• GGUF模型权重(int4量化版)：111.5GB
• 运行时开销：约7GB
• 最低显存要求：120GB（例如Mac Studio、DGX-Spark、AMD Ryzen AI Max+ 395等设备）
• 推荐配置：128GB统一内存

步骤

git clone git@github.com:stepfun-ai/Step-3.5-Flash.git
cd Step-3.5-Flash/llama.cpp

cmake -S . -B build-macos \\
-DCMAKE_BUILD_TYPE=Release \\
-DGGML_METAL=ON \\
-DGGML_ACCELERATE=ON \\
-DLLAMA_BUILD_EXAMPLES=ON \\
-DLLAMA_BUILD_COMMON=ON \\
-DGGML_LTO=ON
cmake –build build-macos -j8

cmake -S . -B build-cuda \\
-DCMAKE_BUILD_TYPE=Release \\
-DGGML_CUDA=ON \\
-DGGML_CUDA_GRAPHS=ON \\
-DLLAMA_CURL=OFF \\
-DLLAMA_BUILD_EXAMPLES=ON \\
-DLLAMA_BUILD_COMMON=ON
cmake –build build-cuda -j8

cmake -S . -B build-vulkan \\
-DCMAKE_BUILD_TYPE=Release \\
-DLLAMA_CURL=OFF \\
-DGGML_OPENMP=ON \\
-DGGML_VULKAN=ON
cmake –build build-vulkan -j8

./llama-cli -m step3.5_flash_Q4_K_S.gguf -c 16384 -b 2048 -ub 2048 -fa on –temp 1.0 -p "What's your name?"

./llama-batched-bench -m step3.5_flash_Q4_K_S.gguf -c 32768 -b 2048 -ub 2048 -npp 0,2048,8192,16384,32768 -ntg 128 -npl 1

7. 在代理平台使用Step 3.5 Flash

7.1 Claude Code与Codex平台

在大多数编程环境中，将Step 3.5 Flash添加到模型列表非常简单。以下是配置Claude Code和Codex使用Step 3.5 Flash的说明。

7.1.1 准备工作

如快速入门所述，请先在StepFun.ai或OpenRouter注册并获取API密钥。

7.1.2 环境配置

Claude Code和Codex依赖Node.js运行环境。建议安装Node.js版本>v20，可通过nvm工具进行安装。

Mac/Linux:

# Install nvm on Mac/Linux via curl：
# Step 1
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash

# Copy the full command
export NVM_DIR="$HOME/.nvm"
[ -s "$NVM_DIR/nvm.sh" ] && \\. "$NVM_DIR/nvm.sh" # This loads nvm
[ -s "$NVM_DIR/bash_completion" ] && \\. "$NVM_DIR/bash_completion"

# Users in China can set up npm mirror
config set registry https://registry.npmmirror.com

# Step 2
nvm install v22

# Make sure Node.js is installed
node –version

npm –version

Windows： 您可以从 https://github.com/coreybutler/nvm-windows/releases 下载安装文件（nvm-setup.exe）。按照说明安装nvm。运行nvm命令以确保安装成功。

7.1.3 使用步骤 3.5 在Claude Code上刷机

# install claude code via npm
npm install -g @anthropic-ai/claude-code

# test if the installation is successful
claude –version

为适应Claude Code中的多样化工作流程，我们同时支持Anthropic风格和OpenAI风格的API接口。

选项A：Anthropic API风格:

如需使用OpenRouter API，请参阅OpenRouter集成指南。

第一步：编辑Claude设置。更新~/.claude/settings.json.

您只需修改下方显示的字段。其余部分保持不变。

{
"env": {
"ANTHROPIC_API_KEY": "API_KEY_from_StepFun",
"ANTHROPIC_BASE_URL": "https://api.stepfun.ai/"
},
"model": "step-3.5-flash"
}

步骤2：启动Claude代码

保存文件后，启动Claude代码。运行/status命令确认模型和基础URL。

❯ /status
─────────────────────────────────────────────────────────────────────────────────
Settings: Status Config Usage (←/→ or tab to cycle)

Version: 2.1.1
Session name: /rename to add a name
Session ID: 676dae61-259d-4eef-8c2f-0f1641600553
cwd: /Users/step-test/
Auth token: none
API key: ANTHROPIC_API_KEY
Anthropic base URL: https://api.stepfun.ai/

Model: step-3.5-flash
Setting sources: User settings

选项B：OpenAI API风格

注：此处的OpenAI API风格指chat/completions/格式。

推荐使用claude-code-router。详情参见https://github.com/musistudio/claude-code-router。

安装Claude Code后，请安装claude-code-router：

# install ccr via npm
npm install -g @musistudio/claude-code-router

# validate it is installed
ccr -v

将以下配置添加到 ~/.claude-code-router/config.json 中。

{
"PORT": 3456,
"Providers": [
{
"name": "stepfun-api",
"api_base_url": "https://api.stepfun.com/v1/chat/completions",
"api_key": "StepFun_API_KEY",
"models": ["step-3.5-flash"],
"transformer":{
"step-3.5-flash": { "use": ["OpenAI"]}
}
}
],
"Router": {
"default": "stepfun-api,step-3.5-flash",
"background": "stepfun-api,step-3.5-flash",
"think": "stepfun-api,step-3.5-flash",
"longContext": "stepfun-api,step-3.5-flash",
"webSearch": "stepfun-api,step-3.5-flash"
}
}

您现在可以启动Claude代码：

# Start Claude
ccr code

# restart ccr if configs are changed
ccr restart

7.1.4 使用步骤3.5 在Codex上刷机

# Install codex via npm
npm install -g @openai/codex

# Test if it is installed
codex –version

model="step-3.5-flash"
model_provider = "stepfun-chat"
preferred_auth_method = "apikey"

# configure the provider
[model_providers.stepfun–chat]
name = "OpenAI using response"
base_url = "https://api.stepfun.com/v1"
env_key = "OPENAI_API_KEY"
wire_api = "chat"
query_params = {}

对于Codex，wire_api仅支持chat模式。如果使用responses模式，需要切换为chat模式。同时请将model_provider更改为新配置的stepfun-chat。

完成配置后，请在新终端窗口运行codex以启动Codex。执行/status命令可检查配置状态。

/status
📂 Workspace
• Path: /Users/step-test/
• Approval Mode: on-request
• Sandbox: workspace-write
• AGENTS files: (none)

🧠 Model
• Name: step-3.5-flash
• Provider: Stepfun-chat

💻 Client
• CLI Version: 0.40.0

7.1.5 使用步骤3.5 Flash版进行深度研究（Step-DeepResearch）

8. 已知问题与未来方向

9. 共同开发未来

我们将发展路线图视为一份动态文档，根据实际使用情况和开发者反馈持续演进。 在通过扩展通用模型能力塑造AGI未来的过程中，我们希望确保解决的是正确的问题。我们邀请您加入这一持续的反馈循环——您的见解将直接影响我们的优先级。

• 参与讨论：我们的Discord社区是构思未来架构、提议新功能并获取早期访问更新的主要平台 🚀
• 反馈问题：遇到限制？您可以在GitHub提交问题，或直接在Discord支持频道中标记。

许可证

本项目采用Apache 2.0许可证开源。