Amazon S3 Metadata (Vorversion)

Bei CMT speichern und analysieren wir mehrere Petabyte an Daten von mobilen IoT-Geräten weltweit, um die Fahrer- und Verkehrssicherheit zu verbessern. Mit zunehmender Skalierung wird es immer schwieriger, spezifische Daten für die Entwicklung neuer Erkenntnisse und Modelle zu finden. S3 Metadata, insbesondere die Funktion für benutzerdefinierte Metadaten, ermöglicht es uns, all unsere Daten mit Anmerkungen zu versehen und die Metadaten in einer verwalteten, abfragbaren Tabelle zu verwalten. Jetzt ist für das Auffinden relevanter Daten nur noch eine effiziente und kostengünstige SQL-Abfrage erforderlich. Dadurch ist S3 Metadata bahnbrechend und ermöglicht es uns, unseren Kunden neue Funktionen zu bieten.

S3 Metadata bietet uns einen einfachen, unkomplizierten Mechanismus zur Analyse von Billionen von S3-Objekten mithilfe von Standardtools wie Amazon Athena und Amazon QuickSight. Mit dieser Funktion können wir unsere Zeit damit verbringen, Entscheidungen zu treffen, anstatt unsere komplexen Daten-Pipelines für den Zugriff auf und die Abfrage von S3-Objektmetadaten aufzubauen.

S3 Metadata beschleunigt unsere generativen KI-Initiativen. Während wir LLM-Anwendungen wie interne Chatbots für unsere Teams entwickeln, werden unstrukturierte Daten wie PDFs immer wertvoller. Wir müssen viele domainspezifische Dokumente in eine Anwendung von Retrieval Augmented Generation (RAG) aufnehmen, damit sich der Chatbot an die spezifischen Geschäftskontexte von Roche anpassen kann. Dies bedeutet jedoch auch, dass wir immer mehr unstrukturierte Daten haben, die wir verwalten müssen. Wir benötigen ein Metadatensystem, um unsere unstrukturierten Daten effizient zu beschreiben, sodass unsere Benutzer unseren großen Data Lake schnell durchsuchen können, um die relevanten Datensätze für die jeweilige generative KI-Anwendung zu identifizieren, die sie gerade erstellen. Mit S3 Metadata wurde die Entwicklung eines robusten Metadatensystems mit wenigen Klicks in der AWS-Managementkonsole vereinfacht. Da wir kontinuierlich mehr unstrukturierte Daten aufnehmen, zeigt S3 Metadata die Metadaten automatisch an und hält sie auf dem neuesten Stand. Wir verwenden auch unser eigenes Lambda, um geschäftsspezifische Metadaten zu extrahieren, z. B. um Dokumente auf der Grundlage einer für Roche relevanten Taxonomie zu klassifizieren, und speichern diese Metadaten im selben Glue-Katalog zusammen mit der S3-Metadata-Tabelle, sodass wir mit einem einfachen SQL-Join alle Metadaten haben, die wir benötigen. Mit S3 Metadata können wir generative KI-Anwendungen schneller erstellen, sodass wir uns auf die Entwicklung statt auf die Organisation unserer Daten konzentrieren können.

Stellen Sie sich vor, Sie reisen mit einer Zeitmaschine durch Ihre Amazon-S3-Daten. Bei SmugMug und Flickr haben wir über 22 Jahre lang die Fotos unserer Kunden, Hunderte von Milliarden von Objekten, in S3 gespeichert. Das neue S3-Metadata-Feature hilft uns, unsere S3-Objektmetadaten einfach und kostengünstig zu untersuchen und Metadaten wie die Objektgröße im Laufe der Zeit abzufragen, um zu verstehen, wie sich unsere Daten entwickelt haben. Bisher mussten teure Datenbankabfragen mit Objektinventaren verknüpft werden. Wenn wir verstehen, wie unsere Fotografen unseren Speicherplatz nutzen, können wir unser Engagement für eine bessere Welt durch die Kraft der Fotografie weiter vorantreiben.

Solink verarbeitet monatlich über 500 Millionen Stunden Video und integriert Sicherheitsmaterial mit wichtigen Geschäftsdaten aus über 350 Quellen. AWS unterstützt die Infrastruktur, auf die wir uns verlassen, und Amazon S3 Metadata wird noch einen Schritt weiter gehen und Einblicke in Echtzeit liefern, die unser Content Management verbessern – von der Überwachung der Speicherung und Nutzung bis hin zur Verfolgung der Echtzeitauswirkungen von Kundenkonfigurationsänderungen.

Amazon S3 hat sich zu einem führenden Cloud-Speicheranbieter für verschiedene Datentypen entwickelt. Amazon S3 Metadata wird es Anbietern wie Commvault ermöglichen, proaktiv bei der Identifizierung und dem Schutz vertraulicher Informationen zu helfen und gleichzeitig Elemente wie das Daten-Tiering zu automatisieren und die Ergebnisse für unsere gemeinsamen Kunden zu verbessern. S3 Metadata ermöglicht eine effiziente Datenorganisation und hilft bei der Optimierung der Datenermittlung. Es ermöglicht eine detaillierte Annotation von Objekten, was für die Cloud-First-Cyber-Resilienz entscheidend ist.

Als führendes Unternehmen im Bereich der Beobachtbarkeit verarbeitet die Daten-Engine von New Relic täglich etwa 1,3 Exabyte an Amazon-S3-Daten. S3 Metadata wird unsere Innovation durch die automatische Generierung umfangreicher Objektmetadaten beschleunigen. Dadurch wird die Datenuntersuchung vereinfacht, die unsere Teams benötigen, um Produktexperimente durchzuführen und Machbarkeitsnachweise zu erstellen, beispielsweise um neue Metriken zu entwickeln, die für unsere Kunden von Vorteil sind. S3 Metadata wird unseren Aufwand für den Aufbau und die Wartung eines robusten Metadatensystems von Hunderten von Stunden auf nur wenige Klicks in der S3-Managementkonsole reduzieren, sodass sich unsere Techniker auf die Datenanalyse statt auf die Datenorganisation konzentrieren können.