模型
模型页:浏览所有可调用的模型,查看能力、上下文长度和免费标记,运行可用性探测,复制模型 id 或在 Playground 中试用。
模型 页列出网关此刻能回答的每一个模型 id,也就是客户端在请求的 model 字段中可以填写的值。模型来自所有已启用的渠道:各站点自己公布的模型列表,加上渠道和账号配置中声明的模型。想让某个模型出现在这里,先在渠道页给它的提供商登录或添加账号。
模型列表
标题下方显示模型总数;做过探测后,还显示其中 可用 的数量(N 个模型 · N 个可用)。
| 列 | 内容 |
|---|---|
| 模型 id | 请求中使用的 id。下面一行是站点给出的显示名称(与 id 不同时),站点明确说明免费时加上 免费。id 太长时截断,悬停可看完整 id |
| 提供商 | 模型来自哪个渠道 |
| 上下文 | 上下文窗口,以 K(1024 个 Token)为单位;不知道时显示 — |
| 能力 | 三个小图标:推理(悬停时显示可选的推理强度档位数,如 推理 · 3 档位)、视觉(能读取图片)、工具调用。站点明确说明不支持工具时显示 不支持工具调用 |
| 可用性 | 最近一次探测的结论,见下文;从未探测过的模型显示 未探测 |
点 模型 id、提供商、上下文、可用性 的列标题可以排序。窗口较窄时,上下文、提供商 等列会依次隐藏;在手机上,可用性标记移到模型 id 下方,每行的两个按钮收进 ⋮ 菜单。
关于这些标记:
- 免费 只在站点自己说明免费时出现。没有标记不代表收费,只是站点没有说;有标记也不保证额度无限。本地模型不会自动标为免费。
- 能力来自提供商的能力表和账号中的显式声明;站点自己公布的元数据作为补充,models.dev 只为没有声明的模型补充视觉和推理两项。推理强度档位因提供商而异,详见模型能力与推理强度。
搜索与筛选
- 搜索模型:按模型 id、提供商或显示名称搜索。
- 提供商:只看某一个提供商(全部提供商 恢复)。
- 可用性:做过探测后出现,只列出已经出现过的结论,以及 未探测;全部状态 恢复。
没有匹配的模型时显示 没有匹配的模型。
目录如何加载
模型目录和 Playground、设置中的模型选择器共用,以流的方式加载:
- 先显示缓存中的模型(成功的目录会保存在数据目录的
catalog-cache中,七天内有效),页面立刻可用。 - 各提供商再分别查询自己的模型列表,谁先返回先更新谁。加载过程中列表上方显示 正在加载供应商:已完成/总数。
- 20 秒后仍未返回的提供商标为超时。失败或超时的提供商会列在 目录加载失败或超时:……。已保留现有模型。 中,并附上原因(例如 连接超时、代理连接失败、凭据被拒绝、地区限制);连接中途断开时显示 目录连接中断,已保留收到的模型。
失败不会清空已有的模型:上一次成功的目录一直保留。失败后不会自动重试,点 重试(或工具栏右侧的刷新按钮)重新加载目录。某个站点的列表突然缩水到不足原来一半时,网关会先保留旧列表,等下一次查询确认后才接受。更多细节见模型能力与推理强度。
可用性探测
有些渠道的模型列表只是一串 id,看不出哪些模型在你的网络出口上真的能用。点工具栏的 探测,网关会在后台对这些模型逐个发一个最小的请求(一条 ping,最多 64 个输出 Token),根据回答给出结论。
- 默认探测的是模型列表无法说明可用性的渠道:OpenCode Zen、
agg聚合账号和 NVIDIA NIM(已启用的那些)。Kilo 的免费列表已经由上游筛选过,不在默认探测范围内。 - 每次最多同时探测 2 个模型,每个模型最多等 45 秒,以免触发站点的限流。
- 探测进行中按钮显示 探测中…,重复点击不会叠加新的一轮。结束时提示 本轮探测结束,列表随之更新。
- 结论保存在数据目录的
hoshimi.db中,重启后仍在。
| 结论 | 含义 |
|---|---|
| 可用 | 模型返回了内容或 Token |
| 地区受限 | 站点拒绝为这个网络出口服务 |
| 不可用 | 站点给出了针对这个模型的拒绝 |
| 限流 | 额度用完,没能问到模型 |
| 未知 | 凭据、网络或站点自身的错误,不能说明模型本身 |
只有 不可用 是针对模型本身的结论;地区受限、限流和未知都不表示模型已经没了。
只探测指定的模型时,可以直接调用管理接口(设置了工具访问密钥时带上它):
curl -X POST http://127.0.0.1:10600/api/v1/probe \
-H "Authorization: Bearer <工具访问密钥>" \
-H "Content-Type: application/json" \
-d '{"models": ["kilo/<模型 id>", "cline/<模型 id>"]}'GET /api/v1/probe 读取最近一轮的结果。
网关记住的故障
除了探测,网关在正常转发时也会记住模型故障:站点对某个模型回答 404/410(或 400/422 且明确说明模型已移除)记一次,10 分钟内记满三次就在本次运行中屏蔽它。被屏蔽的模型在列表中显示为 不可用(优先于探测结论),对它的请求直接返回 503 model_unavailable,不再打扰上游。重启服务器,或调用 POST /api/v1/models/unavailable/reset,即可解除所有屏蔽:
curl -X POST http://127.0.0.1:10600/api/v1/models/unavailable/reset \
-H "Authorization: Bearer <工具访问密钥>"复制 id 与试用
每行右侧有两个按钮:
- 复制模型 id:把 id 复制到剪贴板,粘贴到客户端的
model中。 - 在 Playground 中打开:用这个模型新开一个 Playground 对话,推理强度为 自动。当前对话已有内容时不会被覆盖,而是另开新对话。见 Playground。