Hoshimi

模型

模型页:浏览所有可调用的模型,查看能力、上下文长度和免费标记,运行可用性探测,复制模型 id 或在 Playground 中试用。

模型 页列出网关此刻能回答的每一个模型 id,也就是客户端在请求的 model 字段中可以填写的值。模型来自所有已启用的渠道:各站点自己公布的模型列表,加上渠道和账号配置中声明的模型。想让某个模型出现在这里,先在渠道页给它的提供商登录或添加账号。

模型列表

标题下方显示模型总数;做过探测后,还显示其中 可用 的数量(N 个模型 · N 个可用)。

列内容
模型 id请求中使用的 id。下面一行是站点给出的显示名称(与 id 不同时),站点明确说明免费时加上 免费。id 太长时截断,悬停可看完整 id
提供商模型来自哪个渠道
上下文上下文窗口,以 K(1024 个 Token)为单位;不知道时显示 —
能力三个小图标:推理(悬停时显示可选的推理强度档位数,如 推理 · 3 档位)、视觉(能读取图片)、工具调用。站点明确说明不支持工具时显示 不支持工具调用
可用性最近一次探测的结论,见下文;从未探测过的模型显示 未探测

点 模型 id、提供商、上下文、可用性 的列标题可以排序。窗口较窄时,上下文、提供商 等列会依次隐藏;在手机上,可用性标记移到模型 id 下方,每行的两个按钮收进 ⋮ 菜单。

关于这些标记:

  • 免费 只在站点自己说明免费时出现。没有标记不代表收费,只是站点没有说;有标记也不保证额度无限。本地模型不会自动标为免费。
  • 能力来自提供商的能力表和账号中的显式声明;站点自己公布的元数据作为补充,models.dev 只为没有声明的模型补充视觉和推理两项。推理强度档位因提供商而异,详见模型能力与推理强度。

搜索与筛选

  • 搜索模型:按模型 id、提供商或显示名称搜索。
  • 提供商:只看某一个提供商(全部提供商 恢复)。
  • 可用性:做过探测后出现,只列出已经出现过的结论,以及 未探测;全部状态 恢复。

没有匹配的模型时显示 没有匹配的模型。

目录如何加载

模型目录和 Playground、设置中的模型选择器共用,以流的方式加载:

  1. 先显示缓存中的模型(成功的目录会保存在数据目录的 catalog-cache 中,七天内有效),页面立刻可用。
  2. 各提供商再分别查询自己的模型列表,谁先返回先更新谁。加载过程中列表上方显示 正在加载供应商:已完成/总数。
  3. 20 秒后仍未返回的提供商标为超时。失败或超时的提供商会列在 目录加载失败或超时:……。已保留现有模型。 中,并附上原因(例如 连接超时、代理连接失败、凭据被拒绝、地区限制);连接中途断开时显示 目录连接中断,已保留收到的模型。

失败不会清空已有的模型:上一次成功的目录一直保留。失败后不会自动重试,点 重试(或工具栏右侧的刷新按钮)重新加载目录。某个站点的列表突然缩水到不足原来一半时,网关会先保留旧列表,等下一次查询确认后才接受。更多细节见模型能力与推理强度。

可用性探测

有些渠道的模型列表只是一串 id,看不出哪些模型在你的网络出口上真的能用。点工具栏的 探测,网关会在后台对这些模型逐个发一个最小的请求(一条 ping,最多 64 个输出 Token),根据回答给出结论。

  • 默认探测的是模型列表无法说明可用性的渠道:OpenCode Zen、agg 聚合账号和 NVIDIA NIM(已启用的那些)。Kilo 的免费列表已经由上游筛选过,不在默认探测范围内。
  • 每次最多同时探测 2 个模型,每个模型最多等 45 秒,以免触发站点的限流。
  • 探测进行中按钮显示 探测中…,重复点击不会叠加新的一轮。结束时提示 本轮探测结束,列表随之更新。
  • 结论保存在数据目录的 hoshimi.db 中,重启后仍在。
结论含义
可用模型返回了内容或 Token
地区受限站点拒绝为这个网络出口服务
不可用站点给出了针对这个模型的拒绝
限流额度用完,没能问到模型
未知凭据、网络或站点自身的错误,不能说明模型本身

只有 不可用 是针对模型本身的结论;地区受限、限流和未知都不表示模型已经没了。

只探测指定的模型时,可以直接调用管理接口(设置了工具访问密钥时带上它):

curl -X POST http://127.0.0.1:10600/api/v1/probe \
  -H "Authorization: Bearer <工具访问密钥>" \
  -H "Content-Type: application/json" \
  -d '{"models": ["kilo/<模型 id>", "cline/<模型 id>"]}'

GET /api/v1/probe 读取最近一轮的结果。

网关记住的故障

除了探测,网关在正常转发时也会记住模型故障:站点对某个模型回答 404/410(或 400/422 且明确说明模型已移除)记一次,10 分钟内记满三次就在本次运行中屏蔽它。被屏蔽的模型在列表中显示为 不可用(优先于探测结论),对它的请求直接返回 503 model_unavailable,不再打扰上游。重启服务器,或调用 POST /api/v1/models/unavailable/reset,即可解除所有屏蔽:

curl -X POST http://127.0.0.1:10600/api/v1/models/unavailable/reset \
  -H "Authorization: Bearer <工具访问密钥>"

复制 id 与试用

每行右侧有两个按钮:

  • 复制模型 id:把 id 复制到剪贴板,粘贴到客户端的 model 中。
  • 在 Playground 中打开:用这个模型新开一个 Playground 对话,推理强度为 自动。当前对话已有内容时不会被覆盖,而是另开新对话。见 Playground。

列表为空时

  • 暂无模型:还没有任何可用的渠道。到渠道页登录一个免费站点或添加 API 密钥,然后点刷新。全新安装时 OpenCode Zen 和 Kilo 无需账号即可使用,见匿名渠道。
  • 某个提供商的模型没有出现:看列表上方的失败原因,再到该渠道的详情页检查账号状态和 网络 部分的诊断信息。常见问题见故障排查。

本页目录