跳转至

Electron LLM 提供商设置

Electron LLM 提供商设置

Windows 上的本地设置可以使用 Ollama,地址为 http://127.0.0.1:11434/v1,模型为 qwen3:4b-instruct-2507-q4_K_M(约 2.5 GB)。安装 Ollama,拉取模型,然后在此页面中选择 Ollama 并使用 连接并启用。无需密钥。此设置已通过真实翻译和听写清理验证。

提供商选项

相同的提供商和按技能选择器支持三种传输方式:

Option Configuration
OpenAI 兼容 SDK OpenAI、Gemini、Mistral、Cohere、DeepSeek、xAI、Together、Fireworks、Perplexity、Qwen、Kimi、MiniMax、Z.AI、OpenRouter 及其他列出的主机;密钥、模型、可选端点覆盖
原生 LiteLLM SDK 直接使用 Anthropic;Amazon Bedrock;Google Vertex AI;其他使用 provider/model 的 LiteLLM 提供商
已安装的 CLI 使用现有 CLI 登录的 Claude Code、Codex、Pi 和 OpenCode;模型可选

Azure OpenAI 使用资源的 /openai/v1 基础 URL,并将部署名称作为 Model。Bedrock 接受 Bedrock API 密钥或现有的 AWS_PROFILE / AWS 凭据,区域在 AWS 环境中设置。Vertex 使用 Account ID 作为 Google 项目,使用应用默认凭据,以及 VERTEXAI_LOCATION(默认 global)。提供商访问和计费仍与你的账户绑定。

API Route 使用 https://global.api-route.com/v1,默认模型为 deepseek-v4.1-flash。选择 API Route 并输入来自 api-route.com 的密钥;API_ROUTE_API_KEY、API_ROUTE_BASE_URL 和 API_ROUTE_MODEL 也可配置此条目。

模型 ID 因账户而异;原生 SDK 和 CLI 条目使用手动模型输入,而兼容端点提供模型发现。通用 LiteLLM 条目要求使用带提供商前缀的模型。凭据可以使用已保存的密钥、提供商环境变量或提供商的身份链;连接会验证访问权限。Google AI 默认模型为 gemini-3.8-flash;原先的 gemini-2.0-flash 默认值已停用(Google 的弃用时间表)。明确保存的模型选择保持不变。

CLI 补全复用 Electron 的 Ask VoiceStudio Agent 发现机制、进程运行器、输出解析器、超时和关闭清理。它们在临时目录中运行,使用受限工具,且不具备修复 API 能力。私有回环桥接器允许后端 LLM 技能调用该运行器;其凭据永远不会到达渲染器的 JavaScript 或 CLI 子进程。独立的 Web/后端部署不会将桌面 CLI 提供商显示为已配置。在应用外部安装或登录 CLI,然后重启 VoiceStudio 以刷新发现结果。CLI 启动可能超过听写的短延迟预算;实时清理更推荐使用 Ollama 或直接 API。现有的批量 agent 配音仍可在 Dubbing 选项卡中使用。

SDK 导入采用懒加载,并且 LiteLLM 遥测和远程价格映射下载已禁用。读取提供商目录不会启动 CLI,也不会执行云请求。付费提供商的传输测试使用回环测试夹具,而非付费账户。

翻译服务

Dubbing 引擎选择器还提供 Google Cloud Translation 和 Amazon Translate,以及 DeepL、Microsoft、Google 网页翻译、MyMemory 和离线引擎。在 设置 > 凭据 中配置 Google Cloud 的 API 密钥、Azure 区域、AWS profile 和 AWS 区域。Amazon 使用标准 AWS 凭据链。选择 Amazon 或开始/重试翻译时,会在开始工作前检查已解析的 AWS 凭据和区域;目录读取保持无网络请求。基于身份的 LLM 设置需要显式选择,绝不会仅凭模型名称自动激活。以 :fx 结尾的 DeepL Free 密钥会自动使用 Free API;付费密钥使用 Pro 端点。DeepL/Microsoft/Google Cloud 密钥已加密,包括迁移旧的明文翻译密钥偏好。旧版兼容端点密钥使用相同的加密存储。这些付费请求需要 HTTPS,具有有界连接/读取超时,并且不会跟随带有凭据的重定向。连接还会在验证期间检查项目/账户是否保持不变。需要凭据的 LLM 端点在回环之外要求 HTTPS;本地 HTTP 服务器仍然受支持。

提供商协议参考:LiteLLM、Codex、Claude Code、Pi、OpenCode、Google Cloud Translation、Amazon Translate、DeepL、Microsoft。

连接行为

设置 > 模型 > LLM 包含现有的提供商目录。翻译设置会链接到该页面。配置端点/模型,并在需要时配置 API 密钥或账户 ID。当密钥输入为空时,保存会保留已存储的密钥。密钥仅发送到现有的后端凭据存储,绝不发送到 localStorage。环境固定的字段保持只读。激活不能覆盖固定的提供商或 OMNIVOICE_LLM_BACKEND=off 设置;当前固定的提供商仍可保存其可编辑字段,并在允许时启用引擎。

LLM 设置使用一个提供商状态和设置表单。它不会显示带有误导性“Off: Available”行或不可用后端计数的通用硬件引擎清单。在没有活动 LLM 时,状态会说明如何连接服务器或配置提供商密钥。提供商选择器可搜索;本地 API 密钥为可选项,默认折叠。

连接并启用会保存表单,然后调用 /llm-providers/{id}/connect。后端在激活提供商和 LLM 引擎之前,会验证模型响应是否可用。连接失败时,引擎模式保持不变,并显示分类后的失败信息。关闭 LLM 会禁用引擎,但不会删除凭据。不完整的设置不能替换当前活动的选择。编辑器在普通保存和探测时传递 activate_if_unset=false;较旧的 API 客户端保留首次保存激活行为。编辑器的首次保存会保留先前的引擎模式,因此添加云密钥不能在连接验证之前自动启用功能。此编辑器之外已有的环境/密钥自动选择仍受支持。Test 和 Fetch models 会先保存当前表单,如果保存失败则停止,然后调用后端探测。它们绝不在页面加载时运行。提供商调用仅在明确请求时才可能使用网络;本地端点仍然受支持。失败的探测使用分类后的本地化消息。本地连接测试允许冷模型加载最多 120 秒,而连接建立仍限制为五秒(云端响应:20 秒)。

本地服务器可使用可选的 API 密钥,这些密钥像云密钥一样加密存储,或使用 OLLAMA_API_KEY / LMSTUDIO_API_KEY 环境变量覆盖。空白的密钥输入会保留已存储的密钥。在自定义模型被选中之前,“Fetch models”即可工作,并会报告空列表和截断列表。“Test”要求返回非空答案,而不仅仅是 HTTP 成功。配置就绪性会检查 HTTP(S) 端点、所需凭据、模型和账户 ID;已停止的服务器由显式的“Test”操作检测。

LM Studio 的空白模型字段会保留自动加载模型发现功能。打开设置或读取引擎清单时绝不会探测该服务器,保存表单也绝不会冻结已发现的模型。现有的 local-model 占位符设置可恢复自动发现;真实显式模型仍然优先。发现仅在进行显式探测或功能请求时运行。

遵循活动提供方的 LLM 技能会尊重所选的 Off 引擎。显式的按技能提供方覆盖仍可独立使用,但环境的全局 Off 开关会禁用所有技能。更改技能路由会刷新 UI 中的翻译和听写就绪状态。

浏览器冒烟测试 node electron/tests/llm-providers-smoke.mjs 会模拟凭据和提供方响应。它验证空白密钥保留、环境固定、先保存后测试、保存失败后不探测、模型选择和激活。一次实时目录读取返回了 17 个提供方描述符,且不含密钥材料。实际的外部凭据和远程提供方调用并不通过这些模拟进行验证。后端回归测试还会通过模型列表、激活、探测和技能完成,针对回环 HTTP 测试装置运行实际的 OpenAI SDK。这验证的是传输和路由,而非真实模型的翻译质量。在提供方之下,可以进行按技能路由。每个后端能力都可以被禁用,或分配给一个已配置的提供方,并可以选择跟随活动提供方。现有的不可用覆盖仍保持可见。就绪状态来自后端;它并不能证明网络探测成功。DeepL 和 Microsoft 的非 LLM 翻译提供方凭据可在 Settings > Credentials 下获取,并通过后端环境设置端点写入。技能浏览器冒烟测试会针对模拟的 API 响应验证路由和禁用行为。

LM Studio 发现功能在探测已加载模型之前会优先考虑选定的模型。其原生的已加载模型探测使用已配置的 API 密钥;仅 embedding 的列表永远不会被选中用于聊天。听写优化会在支持的情况下禁用可选推理,仅重试提到该参数的错误,并保留答案中的字面推理标签,而不是截断技术文本。

在受支持的 Web 开发客户端中,API 引用恢复只能针对其已知的本地后端使用同源代理;远程覆盖永远不会回退到其他服务器。已配置的身份验证会被保留。

LM Studio 自动发现仅接受其原生模型元数据中已加载的 llm/vlm 条目。如果该元数据不可用,请在 Settings 中显式设置模型;不会使用未指明类型的 OpenAI 兼容 ID 来猜测模型是否支持聊天。经过身份验证的原生探测会拒绝重定向,以便凭据保留在已配置的来源上。

SDK 传输会验证最终请求 URL,包括从环境派生的 OpenAI 端点,并为 OpenAI 兼容以及原生的 Anthropic、Bedrock 和 Vertex 请求禁用重定向。共享 HTTP 客户端会对回环请求绕过环境代理,从而使本地提示保持本地,同时保留远程 HTTPS 提供方的代理设置,并且绝不在提供方请求之间存储响应 cookie。更改代理设置会为后续请求刷新连接池,而现有流会保持其原始连接直到完成。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 om/VoiceStudio