装在你自己电脑上,把 26+ AI 厂商聚合到一个 OpenAI 兼容接口。密钥本地加密,厂商挂了自动切,智能路由选最优——客户端零改动。
LLMRouter 基于 MIT 协议开源,代码完全透明。所有数据存储在本地 SQLite,密钥 AES-256-GCM 加密——你的隐私,你做主。欢迎 Star、Fork、提 PR,一起把这个项目做得更好。
访问 GitHub 仓库每个厂商自己的 SDK、各自的限流规则、账单分散在不同平台。当一个挂了,你得手动切——或者更惨,根本不知道它挂了。
Google 的密钥在本地,Groq 的在环境变量,OpenRouter 的硬编码在脚本里。安全?不存在的。
免费额度用完了就是 429。模型突然降智,你不知道是限流了还是模型崩了。重试也没用,干等。
Groq 花了多少钱?智谱用了多少 Token?每个厂商独立计费,月底只能对着账单发懵。
OpenAI SDK、Anthropic SDK、Claude Code...每个工具都要配不同的 base_url 和密钥,烦不胜烦。
Groq 快但模型旧,智谱中文好但英文弱。每个请求手动挑模型?等你挑完,AI 早回答完了。
明文密钥放在 .env 或配置文件里,一不小心就提交到代码仓库。AES-256 加密才是正道。
LLMRouter 安装在你自己的电脑上,所有数据存在本地 SQLite 里。所有厂商的 API 密钥经 AES-256 加密后存储在本地,绝不离开你的机器——没有云端中转,没有第三方截获。代码经过严格测试,稳定可靠。
每个特性都经过实战打磨——从自动故障转移到多模型融合,这是一套完整的 LLM 调度系统。
传 model="auto",系统根据可靠性、速度、智力三维度 + Thompson 采样自动选最优模型。支持 priority / balanced / smartest / fastest / reliable / custom 六种策略。
厂商 429 / 5xx / 超时时自动切换下一个模型,最多 20 次尝试。冷却时间智能递增,不给已挂厂商反复请求。
AES-256-GCM 军用级加密,所有厂商的 API Key 加密后存储在你自己的电脑上,绝不离开你的机器。加密密钥你自己管,就算数据库泄露也解不开你的 API 密钥。
同时调动多个模型并行回答,由 Judge 模型综合各答案,输出一个最佳结果。不同模型的不同视角,融合成一份更完整、更准确的答案——不是简单的投票,是真正的语义综合。
完整支持 SSE 流式输出和 OpenAI function calling。tool_choice 透传,parallel_tool_calls 无压力。
空闲时仅 40MB 内存,SQLite 单文件,零外部依赖。适合任何机器,从树莓派到工作站都能跑。
OpenAI /v1/chat/completions 和 Anthropic /v1/messages 双协议支持。Claude Code 直接改 ANTHROPIC_BASE_URL 就能用,Python / cURL / 任何 OpenAI SDK 客户端零修改接入。
React + TailwindCSS Web UI:管密钥、调路由优先级、看分析数据、跑 Playground 实时测试。全中文界面,一目了然。
模型切换时自动注入对话历史摘要,确保 sticky session 不会因厂商切换导致模型「失忆」。
无论海外前沿模型还是国产大模型,全部无缝接入。还支持任何 OpenAI 兼容的自定义接口——Ollama / vLLM / LM Studio 都行。
从智能路由到自动故障转移,从密钥加密到模型 Fusion——LLMRouter 的每一个功能模块都经过严格设计,在你的电脑上安静运转,让 AI 调用这件事变得简单。
LLMRouter 的路由引擎会根据模型优先级、请求类型(文本/视觉/工具调用)和历史成功率,自动为每个请求选择最合适的厂商。你定义优先级,引擎负责执行——在错误时自动降级,在恢复时自动升级。
当一个厂商返回 5xx 错误或超时,LLMRouter 立刻将请求转发给 fallback 链中的下一个厂商。整个过程对客户端完全透明——你的用户不会看到任何中断,你的代码不需要 try-catch 切换逻辑。
LLMRouter 暴露完全兼容 OpenAI 的 /v1/chat/completions 接口。把你现有代码里的 base_url 改成 LLMRouter 地址就行——SDK、LangChain、AutoGen、Cursor,全都能用。
Fusion 模式让一个请求同时发给多个厂商,由 Judge 模型选出最佳回答。适合需要高准确率的场景——比如代码生成、复杂推理。你可以配置参与 Fusion 的模型列表和 Judge 策略。
所有厂商的 API Key 经 AES-256-GCM 加密后存储在你电脑上的本地 SQLite 数据库中。密钥不经过任何云端中转,不以明文落盘。加密密钥由你自己掌管,就算数据库文件被拷走也解不开。
LLMRouter 用 Node.js 写的,空闲时只占 40MB 内存。不需要 Docker,不需要数据库服务,一个进程跑起来就行。从 Mac mini 到树莓派,从云服务器到你手边的笔记本,到处都能跑。
LLMRouter 安装在你自己的电脑上运行,不存在云端中转。所有厂商的 API 密钥经过 AES-256 加密后存储在本地 SQLite 数据库中,绝不离开你的机器。代码经过严格测试,稳定可靠。
LLMRouter 安装在你自己的电脑上,不需要 Docker,不需要外部数据库。解压、启动、配置——三步搞定。
确保你的电脑已安装 Node.js 20+。解压下载的 LLMRouter.zip,然后运行一键启动脚本——脚本会自动安装依赖、生成配置、启动服务,整个过程不到两分钟。
.env 文件在首次运行 start.sh 时自动生成,包含随机加密密钥和默认端口。你也可以手动编辑——所有 API Key 加密存储在本地 SQLite,不会明文出现在 .env 里。
一条命令启动。start.sh 会同时启动后端 API 服务(端口 2210)和前端管理面板(端口 10130)。启动后在浏览器打开管理面板,使用终端显示的 Setup Code 完成初始化,添加你的厂商 API Key 即可开始使用。
/v1/chat/completions
如果你希望 LLMRouter 开机自启、后台常驻,可以配置为系统服务。先执行 npm run build 构建生产版本,然后用 systemd / launchd / PM2 管理进程。
npm run build && pm2 start "node server/dist/index.js" --name llmrouter
根据你的启动方式,选择对应的停止方法。所有数据已持久化在本地 SQLite,重启后不会丢失。