AWS hat eine neue Metadaten-Funktion für seinen Objektspeicher S3 vorgestellt: S3 Annotations. Sie erlaubt es, umfangreiche, strukturierte Kontextinformationen direkt an einzelne Objekte zu heften, ohne diese dafür überschreiben zu müssen.
Amazon Simple Storage Service (S3) dient als zentraler Objektspeicher für Datenbestände in der AWS-Cloud. Bisher waren die Möglichkeiten, Objekte mit eigenen Informationen zu versehen, begrenzt. Nutzer konnten lediglich eine begrenzte Anzahl an Tags vergeben oder kleine Mengen benutzerdefinierter Metadaten in den Headern hinterlegen. Wer komplexere oder größere Datenmengen – etwa zu KI-Modellen oder Transkripten – verwalten wollte, musste diese in separaten Datenbanken oder Sidecar-Dateien speichern, was oft zu aufwendigen Synchronisations-Pipelines führte.
Mit den neuen Annotations entfällt dieser Umweg. Entwickler können bis zu 1.000 Annotations mit eindeutigem Bezeichner pro Objekt hinterlegen. Jede dieser Annotations darf bis zu 1 MByte groß sein, was eine Gesamtkapazität von 1 GByte an Metadaten pro Objekt ermöglicht. Das System unterstützt dabei gängige Formate wie JSON, XML, YAML oder schlichten Text.
Die Annotations sind zudem flexibel: Sie lassen sich jederzeit ändern oder löschen, ohne dass das zugrunde liegende S3-Objekt neu hochgeladen oder verändert werden muss. Ein weiterer Vorteil für den Betrieb ist die Persistenz: Wenn ein Objekt kopiert, repliziert oder in eine andere Region verschoben wird, wandern die angehängten Annotations automatisch mit.
Die eigentliche Stärke der neuen Funktion offenbart sich in Kombination mit den sogenannten S3 Metadata Annotation Tables. Aktivieren Nutzer diese Option für einen Bucket, indiziert S3 die Annotations automatisch in eine verwaltete Apache-Iceberg-Tabelle.
Dies ermöglicht es, den Datenbestand mit Analysetools wie Amazon Athena nach den Metadaten zu durchsuchen, ohne dass eine manuelle Schema-Migration erforderlich ist. Das System passt sich dabei dynamisch an die Struktur der hinterlegten Daten an. Auch Objekte, die in günstigen Archiv-Storage-Klassen wie S3 Glacier liegen, sind so durchsuchbar, ohne dass Nutzer die Objekte erst wiederherstellen müssen oder Retrieval-Gebühren anfallen.
AWS zielt mit der Neuerung vor allem auf datenintensive Workflows ab. In der Medienbranche lassen sich so etwa Transkripte, Untertitel oder technische Spezifikationen direkt am Videofile verwalten, statt sie in einem externen Media-Asset-Management-System (MAM) synchron zu halten.
Im Finanzsektor können KI-Agenten die Annotations nutzen, um etwa investmentbezogene Analysen direkt an Forschungsdokumenten zu finden, ohne dedizierte Metadaten-Datenbanken abfragen zu müssen. Auch für Compliance-Anforderungen in den Life Sciences ist das Feature interessant, da sich regulatorische Statusinformationen oder Audit-Trails direkt am Datensatz führen lassen. Über den S3 Tables MCP Server können KI-Modelle zudem per natürlicher Sprache auf diese Daten zugreifen.
Die Funktion ist ab sofort in allen AWS-Regionen verfügbar. Die Abrechnung der Annotations erfolgt zu den Standard-S3-Preisen, unabhängig davon, in welcher Storage-Klasse das zugehörige Objekt gespeichert ist. Eine Praxisanleitung findet sich im AWS-Blog.
(fo)
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。