Métadonnées Amazon S3 (version préliminaire)

Chez CMT, nous stockons et analysons plusieurs pétaoctets de données provenant d’appareils IoT mobiles dans le monde entier afin d’améliorer la sécurité des conducteurs et des routes. À mesure que nous mettons à l’échelle, il devient de plus en plus difficile de localiser des données spécifiques pour développer de nouvelles connaissances et de nouveaux modèles. Les métadonnées S3, en particulier leur fonctionnalité de métadonnées personnalisées, nous permettent d’annoter toutes nos données et de conserver les métadonnées dans une table gérée et consultable. Désormais, la recherche de données pertinentes ne nécessite qu’une seule requête SQL efficace et rentable. Les métadonnées S3 changent ainsi la donne en nous permettant de proposer de nouvelles fonctionnalités à nos clients.

Les métadonnées S3 nous fournissent un mécanisme simple et direct pour analyser des milliards d’objets S3 à l’aide d’outils standard tels qu’Amazon Athena et Amazon QuickSight. Grâce à cette fonctionnalité, nous pouvons passer notre temps à prendre des décisions plutôt que de créer nos pipelines de données complexes pour accéder aux métadonnées des objets S3 et les interroger.

Les métadonnées S3 accélèrent nos initiatives d’IA générative. Alors que nous développons des applications LLM telles que des chatbots internes pour nos équipes, les données non structurées telles que les PDF prennent de plus en plus de valeur. Nous devons intégrer de nombreux documents spécifiques à un domaine dans une application de génération à enrichissement contextuel (RAG) afin que le chatbot puisse s’adapter aux contextes commerciaux spécifiques de Roche. Cependant, cela signifie également que nous avons de plus en plus de données non structurées à gérer. Nous avons besoin d’un système de métadonnées pour décrire efficacement nos données non structurées afin que nos utilisateurs puissent rapidement parcourir notre vaste lac de données afin d’identifier les jeux de données pertinentes pour l’application d’IA générative particulière qu’ils développent. Avec les métadonnées S3, la création d’un système de métadonnées robuste a été simplifiée en quelques clics dans la Console de gestion AWS. Au fur et à mesure que nous ingérons de plus en plus de données non structurées, les métadonnées S3 affichent automatiquement les métadonnées et les tiennent à jour. Nous employons également notre propre Lambda pour extraire des métadonnées spécifiques à l’entreprise, telles que la classification des documents sur la base d’une taxonomie pertinente pour Roche, et les stocker dans le même catalogue glue avec la table de métadonnées S3, de sorte qu’avec une simple jointure SQL, nous pouvons avoir toutes les métadonnées dont nous avons besoin. Les métadonnées S3 nous aident à créer des applications d’IA génératives plus rapidement, ce qui nous permet de nous concentrer sur la création plutôt que sur l’organisation de nos données.

Imaginez que vous fassiez voler une machine à remonter le temps à travers vos données Amazon S3. Chez SmugMug et Flickr, nous stockons depuis plus de 22 ans les photos de nos clients, ainsi que des centaines de milliards d’objets, dans S3. La nouvelle fonctionnalité de métadonnées S3 nous permet d’explorer facilement et à moindre coût les métadonnées de nos objets S3, en interrogeant des métadonnées telles que la taille des objets au fil du temps pour mieux comprendre l’évolution de nos données, ce qui impliquait auparavant d’associer des requêtes de base de données coûteuses à des inventaires d’objets. Comprendre comment nos photographes utilisent notre espace de stockage contribue à renforcer notre engagement à construire un monde meilleur grâce au pouvoir de la photographie.

Solink traite plus de 500 millions d’heures de vidéo par mois, intégrant des séquences de sécurité à des données commerciales critiques provenant de plus de 350 sources. AWS prend en charge l’infrastructure sur laquelle nous nous appuyons et les métadonnées Amazon S3 vont encore plus loin en fournissant des informations en temps réel qui améliorent notre gestion de contenu, qu’il s’agisse de surveiller le stockage et l’utilisation ou de suivre les effets en temps réel des modifications de configuration des clients.

Amazon S3 est devenu l’un des principaux fournisseurs de stockage dans le cloud pour différents types de données. Les métadonnées Amazon S3 permettront à des fournisseurs comme Commvault d’identifier et de protéger les informations sensibles de manière proactive, tout en aidant à automatiser des éléments tels que la hiérarchisation des données, et à améliorer les résultats pour nos clients communs. Les métadonnées S3 facilitent l’organisation efficace des données et aident à rationaliser la découverte des données, en permettant une annotation détaillée des objets, ce qui est crucial pour la cyber-résilience en cloud.

En tant que leader en matière d’observabilité, le moteur de données de New Relic traite environ 1,3 exaoctet de données Amazon S3 par jour. Les métadonnées S3 accéléreront notre innovation en générant automatiquement des métadonnées d’objets riches, simplifiant ainsi l’exploration des données dont nos équipes ont besoin pour mener des expériences de produits et élaborer des preuves de concept, telles que le développement de nouveaux indicateurs bénéfiques pour nos clients. Les métadonnées S3 réduiront nos efforts pour créer et maintenir un système de métadonnées robuste de plusieurs centaines d’heures à quelques clics sur la console de gestion S3, permettant à nos ingénieurs de se concentrer sur l’analyse des données plutôt que sur leur organisation.