Amazon SageMaker HyperPod が推論ワークロードのデータキャプチャをサポートするようになりました。これは、推論リクエストとレスポンスペイロードを本番エンドポイントから Amazon S3 に記録する新機能です。HyperPod に生成 AI モデルをデプロイするお客様は、ドリフトの検出、本番環境の問題のトラブルシューティング、評価データセットの構築、デプロイされたモデルの継続的な改善のために、モデルの入力と出力を可視化する必要がありますが、これまでは、この可視性を実現するためにサービスの外部にカスタムロギングパイプラインを構築する必要がありました。

データキャプチャを使用すると、お客様は実際の本番トラフィックでトレーニングを行って汎用的なドラフトモデルよりもパフォーマンスが優れた投機的デコーディングドラフトモデルを実現し、本番データから評価パイプラインを構築し、ファインチューニングジョブに実際のデータを入力し、コンプライアンスのための監査証跡を維持できるようになります。各エンドポイント、SageMaker エンドポイント、ロードバランサー、モデルポッドのどこで推論トラフィックをキャプチャするかはお客様が選択します。キャプチャされたデータは、推論を妨げることなく Amazon S3 バケットに非同期で配信され、設定可能なサンプリングと顧客管理の AWS KMS 暗号化をサポートします。HyperPod 推論演算子を使用してモデルをデプロイするときにデータキャプチャを有効にして、キャプチャしたデータを Amazon SageMaker Model Monitor および既存の評価、ファインチューニング、ドラフトモデルトレーニングワークフローで使用できます。

この機能は、EKS オーケストレーターを使用する SageMaker HyperPod クラスターに対して、Amazon SageMaker HyperPod がサポートされているすべての AWS リージョンでご利用いただけます。詳細については、「Data capture for inference on HyperPod」を参照してください。