为了”白嫖” AI API, 为自己部署简单美观的LLM API聚合服务

免责声明：本文中信息来源于网络，作者不保证其绝对正确性。读者在依据本文内容做出任何决策或行动前，应自行进行充分的调查与核实。对于因使用本文内容而产生的任何直接或间接损失，作者不承担任何责任。

需求来源

小编想要基于市面上 “免费” 的大模型API服务商自己聚合一台可以负载均衡的 AI-API 服务。老话说的好”免费的是最贵的”，为了实现这个需求，我们需要一些工具

准备工具

• 机器：服务器/小主机/vps/可以跑容器的路由器都可以，一台就够了。
• 应用：一个可以聚合大模型 API 的应用，这里我们使用 octopus
• API服务商：免费的大模型API服务商，这里我们使用的是 nvidia
• 测试工具：平常的AI聊天工具都可以

部署这些工具跑通流程后，就离我们的目标”白嫖AI API” 更近一步了。我们可以添加更多的”免费”的大模型的服务商了。

实现需求

本文下来我们的基本操作步骤是

1. 注册 NVIDIA 免费服务
2. 本地小主机上部署 octopus
3. 配置 octopus
4. 测试

注册  NVIDIA 服务

注册并申请 key： https://build.nvidia.com/explore/discover

打开地址，按提示输入自己的邮箱地址，一步步填写信息完成后面的步骤。
 

完成后可以复制网站上提供的代码进行可用性测试。
 

完成后可以复制网站上提供的代码进行可用性测试。
NVIDIA 服务的 base-url 的信息，可以用OpenAI的兼容模式接入各种Agent

base-url：https://integrate.api.nvidia.com/v1

安装 OCTOPUS

小编这里基于 docker compose 在自己的小主机上一键部署。

services:
  octopus:
    image: bestrui/octopus
    ports:
      - '8080:8080'
    volumes:
      - 'aiapi_data:/app/data'
    container_name: octopus
    restart: unless-stopped
volumes:
  aiapi_data:

配置

启动服务后，重要的是配置请求的转发。

基本步骤是

1. 添加渠道（AI 服务商）
2. 添加分组（实现了负载均衡/故障转移）
3. 生成一个 API key，给我们的客户端使用

测试

小编这里使用一个 chatwise 聊天工具测试，你可以使用自己熟悉的工具测试。

在 octopus 里看到请求，说明我们的服务配置好了。

使用的工具地址

• NVIDIA https://build.nvidia.com/explore/discover
• octopus https://github.com/bestruirui/octopus
• chatwise https://chatwise.app/

总结

测试 NVIDIA 的服务是可以跑通的，模型支持众多，包括现在流行的 kimi2.5、minimax-2.1、智谱glm4.7等；就是有点慢。看到一些朋友说要加个代理可以加速。后面小编先自己试试。

部署这次服务主要是为了在自己的内网可以有一个代理多个AI服务商的服务，因为有些服务商因为算力的原因可能会断开服务（如之周六日的时候就不稳定。），小编试试基于这个系统，添加多个服务商能实现一个稳定使用。

希望小编文章能帮助到大家，欢迎关注本公众号；有问题留言交流。

其他

欢迎关注本公众号其他社媒平台

点击以下链接关注我的数字名片！

https://muselink.cc/hamisay

以上，既然看到这里了，如果觉得不错，欢迎随手点个赞、在看、转发三连吧；如果想第一时间收到推送，也可以给我个⭐星标

～谢谢你看我的文章，我们，下次再见。

>/ 作者：哈米

>/ 投稿或爆料，请联系邮箱：fz420@qq.com