一个平台无关的大模型 API 验真 + 横评 CLI —— 专治"降智"。 你付高配模型的钱,平台偷偷给你便宜小模型?一条命令跑出来,数据说话。
中转 / 第三方接入这行最大的坑是降智:标着 Claude Opus / GPT 高配,实际路由到便宜小模型。口头承诺"保证不降智"没用,自己跑工具验才靠谱。
llmprobe 支持任何 OpenAI 兼容端点(官方 / 中转 / 自建都行),既能给单个平台做体检,也能一键横评多个平台、自动生成对比报告。
它解决的问题(一句话): 你花钱买 AI 接口,有的平台会"以次充好"——你付顶配的钱,它偷偷给你便宜变笨的模型。这个工具跑一下,就告诉你拿到的是不是真货、快不快、稳不稳。
✅ 适合你,如果:
- 你在用第三方 / 中转的 AI API,担心被"降智"或不稳定
- 你想在几家平台里挑一个,需要一份客观对比
- 你会复制粘贴、运行一行命令(不用懂代码)
🙅 可能不用,如果:
- 你只用官方直连、且从不怀疑 → 多半用不上
- 你完全不碰命令行、也不想找人帮忙 → 自己跑会有点门槛(可以让会的朋友花 5 分钟帮你跑一次)
🧰 用前提: 一台能跑 Python 的电脑 + 你要测的平台的 key。整个过程约 5 分钟。
- 🔬 六项体检:身份自报、延迟与稳定性、长上下文召回、能力难题、特性探测、综合评分
- ⚖️ 多平台一键横评:配置文件里列几个平台,自动跑完出对比表
- 🧑⚖️ 可选裁判打分:用一个你信任的强模型,给各家的能力题自动打分
- 📄 报告导出:一键生成 Markdown 横评表 + JSON 原始数据(可直接发帖/存档)
- 🎨 零配置:只依赖
openai,纯命令行,彩色输出
| # | 检查 | 测什么 |
|---|---|---|
| ① | 身份自报 | 模型自述版本 + 返回的 model 字段 |
| ② | 延迟与稳定性 | 流式 TTFT(首字延迟)、P95、成功率 |
| ③ | 长上下文召回 | 喂超长文本测"暗号召回",被砍配置的小模型会翻车 |
| ④ | 能力难题 | 跑有区分度的硬题,可选用强模型自动打分 |
| ⑤ | 特性探测 | 流式输出 / 用量上报 / 函数调用 是否支持 |
| ⑥ | 综合评分 | 0-100 启发式总分 + 一句话裁定(规则公开) |
git clone https://github.com/oncesylvia/llmprobe.git
cd llmprobe
pip install -r requirements.txt # 只需要 openaipython llmprobe.py probe \
--base-url https://你的平台/v1 \
--api-key 你的KEY \
--model 你的模型代号 \
--rounds 20 \
--judge-model 某个你信任的强模型 \ # 可选,自动打分
--md report.md --json out.json # 可选,导出报告- 复制配置模板并填上你要对比的平台:
cp platforms.example.json platforms.json
# 编辑 platforms.json,填入各平台 base_url / api_key / model- 跑横评,自动出对比表 + Markdown 报告:
python llmprobe.py compare --config platforms.json --md report.md输出示例:
▌ 横评汇总
平台 TTFT 成功率 长上下文 能力 综合分
cocodot 0.42s 20/20 ✔ 8.7 88.0
平台B 1.30s 19/20 ✔ 7.1 71.5
平台C 0.95s 16/20 ✗ 4.2 48.0
把你工作里真实会遇到的硬题放进一个文件(每题用一行 --- 分隔),参考 tasks.example.txt:
python llmprobe.py probe ... --tasks tasks.example.txt启发式,满分 100,仅供横向参考——不是绝对真理:
| 维度 | 分值 | 说明 |
|---|---|---|
| 成功率 | 40 | 直接 × 40 |
| 延迟 | 15 | TTFT ≤ 0.5s 满分,≥ 3s 0 分,线性 |
| 长上下文 | 20 | 召回暗号给满分,否则 0 |
| 能力 | 25 | 有裁判按均分折算;无裁判按完成率(封顶 15) |
裁定:≥80 优秀 / ≥60 及格 / <60 可疑。
- 别只看价格。 延迟 + 成功率 + 长上下文 + 能力一起看 —— 便宜但降智/不稳的,生产环境其实最贵。
- 能力题最能照妖。 同一道硬题和你信任的官方模型并排比,降智一眼可见。
- 成功率也是成本指标。 失败请求可能仍被计费(Token 空耗)。
- 多时段各跑一次。 有些平台高峰期才偷偷降级。
- 并发压测(QPS / 限流探测)
- 价格输入 → 自动算"有效成本/百万 token"
- HTML 可视化报告
- GitHub Action:定时跑、把横评结果发到你的仓库
欢迎提 Issue / PR 认领。
我自己在做大模型接入这块,做的平台是 cocodot。正因为天天在这行,才知道"可验证"有多重要 —— 所以写了这个工具开源出来。
但请注意:这工具是平台无关的,就是给你"谁都不信、自己验"用的,包括别信我。 拿它去测任何平台,也包括测 cocodot(它的验真方法也写在 cocodot.co/trust)。结论以你自己跑出的数据为准。
如果它帮你避过坑,点个 ⭐ 就是最好的支持。
- cocodot —— 我做的 AI API 中转(支付宝调 Claude / GPT / Gemini,可直连 Claude Code)。用本工具实测过,方法与结果公开在 cocodot.co/trust,欢迎复测。
- cocodot-api-examples —— 配套的 OpenAI SDK 极简接入示例(Python / Node)。
- fundraising-skills —— 我做的另一套开源工具:给创业者募资用的 Claude Code skills(找投资人 + cold/warm 触达,中英双语)。
MIT