由于定价和限制会随时间变化，本文仅供撰写当前时间参考。
1. 术语
- RPM (requests per minute)
每分钟请求次数
- RPD (requests per day)
每天请求次数
- TPM (tokens per minute)
每分钟 Token 数
- TPD (tokens per day),
每天 Token 数
在 https://platform.openai.com/tokenizer 可以根据文本查询对应的 token 数。在 https://github.com/openai/tiktoken/blob/main/tiktoken/model.py 可以发现 text-embedding-ada-002 与 gpt-3.5、gpt-4 的词表都是 cl100k_base。如果只是做向量化，使用价格便宜的 text-embedding-ada-002 是个不错的选择。
2. OpenAI API
OpenAI 会根据使用情况，调整配额，超过 $5 paid 之后，配额会有明显增加:
< $5 paid
| Models | Input | Output | RPM | RPD | TPM |
|---|---|---|---|---|---|
| gpt-3.5-turbo-1106 | $0.0010 | $0.0020 | 3 | 200 | 40K |
| gpt-3.5-turbo-instruct | $0.0015 | $0.0020 | 3 | 200 | 40K |
> $5 paid, < $50 paid
| Models | Input | Output | RPM | RPD | TPM |
|---|---|---|---|---|---|
| gpt-3.5-turbo-1106 | $0.0010 | $0.0020 | 3500 | 10000 | 60K |
| gpt-3.5-turbo-instruct | $0.0015 | $0.0020 | 3500 | 10000 | 60K |
| gpt-4 | $0.03 | $0.06 | 500 | 10000 | 10K |
| gpt-4-32k | $0.06 | $0.12 | 500 | 10000 | 10K |
模型定价 https://openai.com/pricing
模型限流 https://platform.openai.com/docs/guides/rate-limits/usage-tiers
3. Azure OpenAI API
不同区域的价格和限制不一样，这里以 East US 2 为例:
| Models | Context | Prompt (Per 1k tokens) | Completion (Per 1k tokens) | TPM |
|---|---|---|---|---|
| GPT-3.5-Turbo | 4K | $0.0015 | $0.002 | 300K |
| GPT-3.5-Turbo | 16K | $0.003 | $0.004 | 300K |
| GPT-4 | 8K | $0.03 | $0.06 | 40K |
| GPT-4 | 32K | $0.06 | $0.12 | 80K |
模型定价 https://azure.microsoft.com/en-us/pricing/details/cognitive-services/openai-service/
模型限流 https://learn.microsoft.com/en-us/azure/ai-services/openai/quotas-limits
4. 调用 Azure OpenAI API 时可能遇到的问题
4.1 404 Resource Not Found
如果请求设置的 Api Version 不对，会返回 404 Resource Not Found。参考:
https://learn.microsoft.com/en-us/azure/ai-services/openai/reference
目前仅有以下几个版本可用:
- 2022-12-01
- 2023-03-15-preview
- 2023-05-15
- 2023-06-01-preview
- 2023-07-01-preview
- 2023-08-01-preview
- 2023-09-01-preview
4.2 Unsupported data type
Azure 的 OpenAI Api 接口应该是这样的格式:
https://{your-resource-name}.openai.azure.com/openai/deployments/{deployment-id}/completions?api-version={api-version}
如果使用的是:
https://{your-resource-name}.openai.azure.com/openai/deployments/{deployment-id}/chat/completions?api-version={api-version}
注意下面这种格式在 URL 里面多了一个 chat，这种格式是不支持的，会返回 Unsupported data type。
5. 被限制时，如何优化
5.1 应用侧
- 在应用程序中增加重试逻辑
- 避免太过集中的请求，将请求分散到多个时间段
5.2 部署侧
- Azure 多部署几个模型
- OpenAI 多注册几个账号
- 使用代理池，将请求分散到一批 API Key 上
6. 总结
从账号获取上，OpenAI 国内有很多卖账号、代注册的，有免费额度，超出部分需要国外信用卡消费；而 Azure OpenAI API 是按照消费使用国外信用卡后付费，开通 GPT-4 还需要单独申请。
从价格上看，OpenAI API 会比 Azure OpenAI API 便宜一点。批量购买的 OpenAI 账户只要 2 元以内，有 5 美元三个月内的使用额度，而 Azure 是按量计费的。这样计算就有数十倍的差距。
从请求限制上看，免费的 OpenAI API 会比 Azure OpenAI API 限制更多，必须构建 API 代理池，才能发挥出 OpenAI API 的优势。难点就在于，如何构建一个稳定的代理池，同时 OpenAI 会禁止单个 IP 使用太多的 SK。Azure OpenAI API 的配额限制比较松，还可以通过部署多个相同模型来提高配额。
从网络上看，OpenAI 需要国际网络出口，这就需要借助国外的代理，具有一定的法律风险。而 Azure OpenAI 在国内是可以直接访问的，不需要代理。
总体来说，生产建议使用 Azure OpenAI API，开发测试可以使用 OpenAI API。如果是对实时性要求不高、允许反复尝试，对成本极其敏感的场景，可以考虑使用 OpenAI API 构建代理池。