Jev 模型是什么？在 Vercel AI Gateway 免费额度内使用 Jev 做结构化决策

本文介绍 TypeSafe AI 的 Jev 模型：它为什么不是"又一个聊天模型"，能解决哪些工程问题，以及如何通过 Vercel AI Gateway 的每月免费额度，用 AI SDK 把 Jev 接进自己的项目。

一、从一个常见痛点说起

很多后端项目里都有这样的逻辑：

• 把用户反馈分成"咨询 / 投诉 / 退款"；
• 判断一段 Agent 输出是否安全、是否越狱；
• 给一篇文章、一个 PR 按评分标准打分；
• 决定某个请求该路由给便宜模型还是贵模型。

过去这类需求通常交给 LLM 做：写一段 Prompt，要求模型"只输出 JSON"，然后 JSON.parse，再用正则兜底。问题也很明显：

Jev 就是针对这一类"代码需要模型做判断"的场景设计的。

二、Jev 模型是什么

Jev 是 TypeSafe AI 于 2026 年 9 月 15 日发布的模型，也是其第一个 System One 模型。TypeSafe AI 由前 OpenAI 研究员 Diogo Almeida 创立，他此前的工作包括 RLHF（人类反馈强化学习）与 InstructGPT。

和 LLM 最大的区别是：Jev 不生成文本。它的输入输出模式是：

• 输入：一份 state（程序状态，可以是字符串、JSON 对象、数组）+ 一组带类型的 questions；
• 输出：每个问题对应一个结构化的答案——选项、分数或 0~1 之间的概率。

根据 TypeSafe 官方文档，Jev 提供三种问题原语，三种可以混在同一个请求里：

几个关键参数（来自 TypeSafe AI 文档与 Vercel AI Gateway 模型页）：

• 模型 ID：Vercel AI Gateway 上为 typesafe-ai/jev，TypeSafe 直连时可用别名 jev-latest，当前版本为 jev-1.13.0；
• 计费：输入 $0.042 / 1M tokens（即 $42 / 十亿 tokens），输出 token 免费；
• 延迟：官方标称 70~500ms；
• 上下文：单次请求 64k tokens（32k 用于 state + 最长的问题）；
• 训练方式：完全使用合成数据，方法为"校准决策强化学习"；
• 名字来源：19 世纪经济学家 William Stanley Jevons——杰文斯悖论描述的正是"成本下降带来用量增长"。

三、为什么要用 Jev

1. 结构化输出是"构造上"保证的，不靠 Prompt

因为输出空间被限定在你声明的 schema 里，Jev 不可能返回未定义的分类、跑偏的 JSON 或类型错误，"结构化输出错误率"从生成模型的 0.58% ~ 45.5%（不同来源的统计）直接降为 0。

需要注意：这不是说它不会判断错。它可能在两个合法选项里选错，但不会给出不合法的结构。所以正确用法是：把返回的概率当概率用，设置置信度阈值，低置信度走人工或兜底逻辑。

2. 便宜一个数量级

以一次分类调用为例：输入约几百 token，按 $0.042 / 1M 计算，成本是小数点后第五位美元级别；输出完全免费。TypeSafe 的 Cookbook 还给出了一组数据：把 13 个问题合并到一次请求，比逐个提问便宜 12.2 倍、快 10.0 倍，且答案一致。

3. 快，且"多问几个问题"几乎不增加延迟

所有问题针对同一份 state 并行评估，加问题只增加 token 成本，几乎不增加时间成本。这使得"一次请求里把分类、紧急度、是否需要人工审核全问掉"成为可行做法。

4. 有真正可用的置信度

Jev 返回的是校准后的概率。工程上可以直接这样写逻辑：

• 概率 > 0.95：自动处理；
• 0.6 ~ 0.95：交给更贵的 LLM 复核；
• < 0.6：转人工。

这套"用便宜模型筛掉大多数简单样本"的模式，对 Agent 监控、内容审核、工单分流都非常实用。

5. 有开发者实测数据

• Vercel 工程师 Pranit Sharma 在指令安全分类任务中，用 Jev 替换 OpenAI 的 ChatGPT Luna，处理速度快了 5~18 倍，准确率也更高；
• Bryo AI 的 CTO Nikhil Mudholkar 在商务邮件分类测试中发现：Gemini 准确率略高，但成本是 Jev 的 10~20 倍，而且 Jev 是少数能给出真实概率的模型，更适合自动化工作流。

6. 适合当 LLM 的"外挂裁判"

Jev 也可以不替代 LLM，而是配合使用：检查 Agent 轨迹是否跑偏、拦截越狱、给模型路由做预判。用一个廉价模型监管一个昂贵模型，整体成本反而会下降。

四、为什么在 Vercel 上可以"免费用"

Jev 目前是 early access，TypeSafe 官方 API 需要 waitlist。但 Vercel AI Gateway 已经上架了 typesafe-ai/jev，而 AI Gateway 的计费机制是：

简单算一笔账：按 $5 免费额度和 $0.042 / 1M input tokens 计算，每月大约可以处理 1 亿以上的输入 token，对于个人项目、Demo、小规模分类任务来说基本用不完。

五、实战：在 Vercel AI Gateway 上调用 Jev

5.1 准备工作

export AI_GATEWAY_API_KEY="你的 API Key"

要求 Node.js 22.18+，并安装最新版 AI SDK（需要 AI SDK 7+）：

npm install ai@latest
# 或 pnpm add ai@latest

注意：Evaluation（评估类模型）目前只能通过 AI SDK 的 experimental_evaluate 和 HTTP API 调用，不支持 OpenAI 兼容 / Anthropic 兼容端点。

5.2 第一个请求：boolean 判断

创建 index.mts：

import { experimental_evaluate as evaluate } from 'ai';

const result = await evaluate({
model: 'typesafe-ai/jev',
state: '客服已向客户发放全额退款。',
questions: {
refunded: {
type: 'boolean',
instructions: '是否已经退款？',
criteria: {
true: '已发放退款',
false: '没有退款记录',
},
},
},
});

console.log(JSON.stringify(result.answers, null, 2));

运行：

node index.mts

输出结构固定为：

{
"refunded": {
"type": "boolean",
"probability": 0.99
}
}

5.3 Choice：客服工单自动分流

const result = await evaluate({
model: 'typesafe-ai/jev',
state: '我的卡被重复扣款了两次，一单扣了两笔钱。',
questions: {
route: {
type: 'choice',
instructions: '把这张客服工单路由给对应团队。',
criteria: {
billing: '支付、扣款、退款问题',
shipping: '配送、物流问题',
technical: '应用缺陷或集成问题',
},
},
},
});

返回：

{
"route": {
"type": "choice",
"choice": "billing",
"probabilities": { "billing": 1, "shipping": 0, "technical": 0 }
}
}

拿到 choice 可以直接写进路由逻辑，probabilities 用来做二次兜底。

5.4 Score：按评分标准打分

criteria 是从低到高排列的档位数组，返回的 score 是插值后的连续值：

const result = await evaluate({
model: 'typesafe-ai/jev',
state: '这个 PR 补充了测试、更新了文档，并且描述清楚。',
questions: {
quality: {
type: 'score',
instructions: '给这个 PR 的质量打分。',
criteria: [
'poor：没有测试和文档',
'fair：只有部分覆盖',
'good：测试和文档齐全',
'excellent：测试、文档、理由都完整',
],
},
},
});

返回 score: 2.97 以及每一档的概率分布，适合做排序、筛选或触发复核。

5.5 一次问多个问题 + 结构化 state

state 支持对象和数组，多个问题在同一次往返里并行评估：

const result = await evaluate({
model: 'typesafe-ai/jev',
state: {
message: '我登录不上，另外上个月的费用我要退款。',
accountStatus: 'locked',
},
questions: {
authIssue: {
type: 'boolean',
instructions: '是否存在登录问题？',
},
wantsRefund: {
type: 'boolean',
instructions: '用户是否要求退款？',
},
urgency: {
type: 'score',
instructions: '这个工单有多紧急？',
criteria: ['低', '中', '高'],
},
},
});

console.log(result.answers);

5.6 不用 AI SDK：直接调 HTTP API

如果项目不是 TypeScript，可以直接 POST：

curl https://ai-gateway.vercel.sh/v1/evaluate \\
-H "Authorization: Bearer $AI_GATEWAY_API_KEY" \\
-H "Content-Type: application/json" \\
-d '{
"model": "typesafe-ai/jev",
"state": "我订阅被扣了两次钱。",
"questions": {
"refund": {
"type": "boolean",
"instructions": "用户是否在要求退款？"
}
}
}'

响应里除了 answers，还带有 usage（token 用量）和 providerMetadata.gateway（路由信息与本次调用的实际费用），方便做成本观测。

5.7 进阶：数据隐私选项

HTTP API 支持和其他 AI Gateway 端点相同的 providerOptions，可以要求零数据保留、限制路由目标：

{
"model": "typesafe-ai/jev",
"state": "……",
"questions": { "refund": { "type": "boolean", "instructions": "……" } },
"providerOptions": {
"gateway": { "zeroDataRetention": true, "only": ["typesafe-ai"] }
}
}

六、落地建议与注意事项

七、总结

Jev 代表的是一类新思路：不把 LLM 硬掰成分类器，而是训练一个专门输出概率和结构化决策的模型。它的价值可以概括为三点——结构不会错、成本极低、自带校准置信度。

而 Vercel AI Gateway 让这个过程几乎没有门槛：Hobby 账号 + 每月免费额度 + 一个 API Key，就能用 AI SDK 的 experimental_evaluate 跑通第一条调用。对于有大量分类、分流、审核逻辑的项目，这是一个值得加入工具箱的选项。

参考资料

• TypeSafe AI 官方文档：https://docs.typesafe.ai/
• Vercel AI Gateway 上的 Jev 模型页：https://vercel.com/ai-gateway/models/jev
• Vercel 文档 · Evaluation：https://vercel.com/docs/ai-gateway/modalities/evaluation
• Vercel 文档 · AI Gateway Pricing：https://vercel.com/docs/ai-gateway/pricing
• Vercel 更新日志 · TypeSafe AI’s Jev now available on AI Gateway：https://vercel.com/changelog/typesafe-ai-jev-now-available-on-ai-gateway