Amazon SageMaker Inference 现已支持兼容 OpenAI 的 API，因此您可以使用熟悉的工具和框架（如 OpenAI SDK、LangChain 和 Strands Agents）直接连接到 SageMaker 端点。只需更改端点 URL 即可进行切换，无需使用自定义集成代码和 SDK 包装器，也无需重写。

此次发布后，您不再需要使用不同的 API 格式或更改身份验证方法。只需更改端点 URL，现有的 SDK 调用、流式传输逻辑和框架集成即可继续按原样运行。您即刻能够选择自己的 GPU 实例、将数据保留在自己的 VPC 中、运行任何开源或经过微调的模型，以及使用针对工作负载调整的自动扩缩策略进行扩展。身份验证使用现有的 AWS 凭证并自动刷新令牌，因此在生产环境中无需额外管理任何内容。

此功能现已在以下区域推出：美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、美国东部（俄亥俄州）、亚太地区（孟买）、亚太地区（雅加达）、欧洲地区（爱尔兰）、欧洲地区（法兰克福）、南美洲（圣保罗）、亚太地区（东京）、亚太地区（首尔）、欧洲地区（伦敦）、亚太地区（新加坡）、亚太地区（悉尼）和加拿大（中部）。要了解更多信息并开始使用，请阅读发布博客或访问 SageMaker 推理文档。