惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

酷 壳 – CoolShell
酷 壳 – CoolShell
H
Hacker News: Front Page
P
Palo Alto Networks Blog
T
ThreatConnect
Apple Machine Learning Research
Apple Machine Learning Research
博客园_首页
T
True Tiger Recordings
P
Privacy & Cybersecurity Law Blog
B
Blog
IT之家
IT之家
Last Week in AI
Last Week in AI
F
Full Disclosure
Hacker News: Ask HN
Hacker News: Ask HN
C
Comments on: Blog
Microsoft Azure Blog
Microsoft Azure Blog
C
Cybersecurity and Infrastructure Security Agency CISA
Microsoft Security Blog
Microsoft Security Blog
博客园 - 【当耐特】
N
News and Events Feed by Topic
NISL@THU
NISL@THU
腾讯CDC
雷峰网
雷峰网
Security Latest
Security Latest
李成银的技术随笔
M
Microsoft Research Blog - Microsoft Research
L
LangChain Blog
L
Lohrmann on Cybersecurity
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
C
Check Point Blog
Y
Y Combinator Blog
Recent Announcements
Recent Announcements
博客园 - Franky
N
News | PayPal Newsroom
V
V2EX
A
About on SuperTechFans
The Register - Security
The Register - Security
月光博客
月光博客
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Google Online Security Blog
Google Online Security Blog
MyScale Blog
MyScale Blog
Cisco Talos Blog
Cisco Talos Blog
Vercel News
Vercel News
WordPress大学
WordPress大学
C
Cyber Attacks, Cyber Crime and Cyber Security
The Hacker News
The Hacker News
IntelliJ IDEA : IntelliJ IDEA – the Leading IDE for Professional Development in Java and Kotlin | The JetBrains Blog
IntelliJ IDEA : IntelliJ IDEA – the Leading IDE for Professional Development in Java and Kotlin | The JetBrains Blog
爱范儿
爱范儿
A
Arctic Wolf
L
LINUX DO - 最新话题
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More

好好学习的郝

ClawdBot(OpenClaw)试用记录 编程辅助工具 Codex 入门篇 Claude API 中转服务 Claude Relay Service 编程辅助工具 Claude Code 入门篇 好好学Git:Git Submodule详解 编程辅助工具Cursor入门篇 好好学Golang:Golang问题记录 One API配置自定义渠道 FastAPI入门篇 好好学Docker:使用Docker安装配置AList 好好学Docker:容器指标查看工具ctop 好好学Docker:自建RustDesk Server 好好学Linux:Ubuntu18 升级到 Ubuntu22 好好学Docker:使用Docker安装配置FileBrowser 邮箱配置中的SPF、DKIM、DMARC记录 One API 开发环境配置 LLM 接口管理和分发系统 One API 好好学K8S:K8S中的Leader Election机制 好好学Golang:Viper库
LLM 接口管理和分发系统 New API
2025-08-23 · via 好好学习的郝

New API是一个LLM代理系统,支持LLM接口管理和消息分发。使得用户可以通过标准的 OpenAI API 格式访问所有的大模型,开箱即用。

New API是在One API基础上二次开发的项目,因为 One API 已经不再维护,所以更推荐使用 New API。

相关文档:

2. New API核心功能

One API具备的功能,New API都有,并且比One API支持更多大模型、界面更友好。

New API核心功能如下:

  • 支持多种大模型:OpenAI、Claude、Gemini、Mistral、豆包、文心一言、通义千问、腾讯混元、SiliconCloud等等等等。
  • 支持 stream 模式,可以通过流式传输实现打字机效果
  • 支持绘图接口
  • 支持失败自动重试
  • 支持多机部署,提高并发
  • 支持渠道管理,批量创建渠道,支持渠道设置模型列表,支持通过负载均衡访问多个渠道
  • 支持多用户管理,支持用户额度配置,支持充值,支持用户分组以及渠道分组,支持为不同分组设置不同的倍率
  • 支持令牌管理,设置令牌的过期时间、额度、允许的 IP 范围以及允许的模型访问

3. 安装配置 New API

3.1. 安装配置 New API 概述

New API 提供了多种安装部署方式,推荐Docker部署或者Docker Compose部署。
本文中选择使用Docker部署,数据库选择MySQL,不使用Redis。

3.2. 安装MySQL(可选)

1、安装MySQL8,参考文档好好学MySQL:使用Docker安装配置MySQL

2、创建一个数据库,名称为 newapi

3.3. 安装 New API

1、下载 new-api 镜像

1
docker pull calciumion/new-api:v0.9.0-alpha.16

2、运行 new-api 容器
使用SQLite数据库:

1
2
3
4
5
6
docker run --name new-api -d \
--restart always \
-p 3000:3000 \
-e TZ=Asia/Shanghai \
-v /opt/data/new-api:/data \
calciumion/new-api:v0.9.0-alpha.16

使用MySQL数据库:

1
2
3
4
5
6
7
docker run --name new-api -d \
--restart always \
-p 3000:3000 \
-e SQL_DSN="root:123456@tcp(localhost:3306)/newapi" \
-e TZ=Asia/Shanghai \
-v /opt/data/new-api:/data \
calciumion/calciumion/new-api:v0.9.0-alpha.16

其中,SQL_DSN的值要改成自己的MySQL配置。

3、查看容器状态

1
2
docker ps | grep new-api
docker logs new-api

3.4. 配置Nginx

参考配置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
server{
server_name newapi.voidking.com; # 请根据实际情况修改你的域名

location / {
client_max_body_size 64m;
proxy_http_version 1.1;
proxy_pass http://localhost:3000; # 请根据实际情况修改你的端口
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
proxy_cache_bypass $http_upgrade;
proxy_set_header Accept-Encoding gzip;
proxy_read_timeout 300s; # GPT-4 需要较长的超时时间,请自行调整
}
}

4. 使用 New API

4.1. 登录 New API

使用 IP+端口 或者 域名 访问 New API 首页

首次访问时,会自动引导到初始化页面。按照页面指引手动设置管理员账号和密码(仅首次安装需要),完成后即可使用新设置的管理员账号登录系统。

4.2. 配置与使用

因为New API基于One API二次开发,核心功能基本相同,所以配置和使用方法可以参考《LLM 接口管理和分发系统 One API》