跳到主要内容

LLM Providers

LLM Providers 标签页位于 Settings 中,您可以在这里将 Rephlo 连接到为您的命令和对话提供支持的 AI 模型。您可以接入自己在各大 AI 厂商的账号、在本地运行模型以获得完全的隐私保护,或者完全不使用任何密钥,让 Rephlo 为您管理一切。

前往 Settings → LLM Providers 打开该页面。

Settings 中的 LLM Providers 标签页,显示 On-Device 和 BYOK Providers 两个子标签页

两种使用提供商的方式

模式工作原理适合人群
Login(Dedicated API)Rephlo 为您运行推理。无需管理任何 API 密钥——用量从您套餐的 credit 中扣除。任何希望零配置使用的人
BYOK(Bring Your Own Key,自带密钥)您添加来自某个提供商(OpenAI、Anthropic 等)的自己的 API 密钥。您直接向该厂商付费,并使用其最新模型。已拥有提供商账号的高级用户

您可以两者混用:日常使用保持登录状态,同时为特定模型添加一个 BYOK 提供商。有关计费和 credit 的运作方式,请参阅 Credit 与用量套餐与定价

支持的提供商

Rephlo 支持八种 BYOK 提供商类型——七家云厂商,加上运行在您自己机器上(localhost:11434)的本地 Ollama——此外还提供 On-Device 和托管选项:

提供商您需要提供的内容
OpenAIAPI 密钥(可选自定义端点)
AnthropicAPI 密钥(可选 base URL);支持 prompt caching
GoogleAPI 密钥(可选 base URL)
GroqAPI 密钥
xAI(Grok)API 密钥(可选 Live Search)
OpenRouterAPI 密钥(可选填写 OpenRouter 控制台使用的站点 URL/名称)
OpenAI-CompatibleBase URL + API 密钥 + 模型名称(Azure OpenAI、vLLM、LocalAI、LiteLLM 等类似服务)
OllamaBase URL(默认 http://localhost:11434);可选填密钥以支持网页搜索
On-Device无需任何配置——模型在本地运行。参阅 On-Device Models
Dedicated API无需任何配置——登录后由 Rephlo 托管管理。

Azure OpenAI 是通过 OpenAI-Compatible 类型接入的——将 Base URL 指向您的 Azure 部署终结点即可——它在"添加提供商"列表中并不是单独的一项。

有关提供商与模型如何关联的概念性说明,请参阅 ProvidersModels & Inference

添加提供商

  1. 点击 Add Provider
  2. 选择提供商类型。表单会自动调整,只显示该提供商所需的字段。
  3. 输入您的凭据(例如 API 密钥,或 Azure 终结点 + 部署名称)。
  4. (可选)设置一个自定义名称,方便在列表中识别该提供商。
  5. 点击 Test Connection,在保存前确认密钥可用。
  6. 点击 Save

您的密钥会被加密保存

API 密钥和令牌在存储到您的机器之前会先被加密。它们不会写入日志,也不会包含在数据导出中。请像对待密码一样对待您的密钥——Rephlo 会将其保存在本地并加以保护。

模型

每个提供商都会暴露一个或多个模型(例如,一个 OpenAI 提供商可以提供多个 GPT 模型)。您可以为单个提供商添加多个模型,并将其中一个标记为默认模型。运行命令或对话时,除非该命令或对话指定了其他模型,否则 Rephlo 会使用当前激活提供商的默认模型。

在模型选择器中,您的套餐未包含的、已锁定的 Dedicated(Gateway)模型会显示一个层级徽标(例如 PROENTERPRISE)和一个锁形图标,让您一眼就能看出套餐涵盖哪些模型。开始一个全新的对话,或在某个对话尚未设置模型的情况下打开 Chat,会恢复您全局上次使用的模型——这是一个独立于按对话记忆的模型选择的全局记忆。

要了解按命令和按对话的模型覆盖设置——以及这个全局"上次使用"记忆——是如何运作的,请参阅 Models & Inference

从 Rephlo Gateway 隐藏在线模型

On-DeviceBYOK Providers 两个子标签页都包含一个 Hide online models from Rephlo Gateway 开关(提示文字:"启用后会从 Rephlo Gateway 隐藏在线模型")。开启后,会在所有模型选择界面——状态栏、Chat 以及悬浮层——隐藏 Dedicated(Gateway)模型。

自 v1.4.1 起,如果您在启用该开关时当前激活的模型正是某个 Gateway 模型,Rephlo 会自动为您切换到一个可访问的 On-Device 或 BYOK 模型,而不会让您悄无声息地停留在这个已被隐藏的模型上——如果没有可用模型,则会停用该模型。

能力

每个提供商配置都携带一组能力标志(capability flags),用于告诉 Rephlo 该模型能做什么:

  • 文本生成(Text generation)——始终开启。
  • 视觉(Vision)——分析图像(仅适用于支持视觉的模型,如 GPT-4o、Claude、Gemini)。
  • 函数调用/工具(Function calling / tools)——结构化工具调用,MCP connectors 需要此能力。
  • 长上下文(Long context)——处理超大输入(>100K token)。
  • 流式传输(Streaming)——逐 token 显示响应内容(默认开启)。
  • 网页搜索(Web search)Thinking——在模型支持的情况下可用。

这些能力会在运行时根据模型的真实能力进行校验,因此启用一个模型不支持的标志不会导致任何问题——Rephlo 只是不会尝试执行该操作。

模型参数

您可以按模型调整生成行为:

  • Temperature——数值越低,输出越精确、可复现;数值越高,输出越有创意。
  • Max tokens——限制每次响应的长度上限。
  • Top-p / top-k——面向高级用户的额外采样控制项。

命令可以为自己的运行覆盖这些参数,因此您可以保留一个冷静、低 Temperature 的默认设置,同时让某个头脑风暴命令更具冒险性。

Anthropic prompt caching

Anthropic 提供商支持 prompt caching,可以大幅降低重复上下文的成本。它默认启用,使用 "ephemeral" 缓存(约 5 分钟)。此外也提供 "extended" 选项(约 1 小时)。仅当请求确实携带可缓存的上下文时,缓存才会生效——完整说明请参阅 Prompt Caching

Ollama 与本地模型

对于 Ollama,请设置 base URL(默认 http://localhost:11434)。在配置有限的机器上,请留意上下文窗口大小,以免耗尽内存。如果您更希望由 Rephlo 为您下载和管理本地模型,可以改用内置的 On-Device Models 目录。

编辑、测试与移除

  • Edit 任意提供商以更新其密钥、添加模型或更改参数。
  • Test Connection 会在密钥轮换后重新验证提供商。
  • Remove 一个不再使用的提供商。移除提供商不会删除您的命令——它们会回退到您当前激活的提供商。

通用设置

每个提供商还拥有一些共享选项:

  • 请求超时时间(Request timeout)(默认 60 秒)
  • 瞬时故障的最大重试次数(Max retries)(默认 3 次)
  • 流式传输(Streaming) 开/关

相关页面