Intégrations Amazon DynamoDB

Pourquoi choisir Amazon DynamoDB ?

Avec Amazon DynamoDB, vous pouvez facilement intégrer vos charges de travail dans Amazon DynamoDB Accelerator (DAX) pour une amélioration des performances pouvant aller jusqu’à 10 fois.Amazon OpenSearch Service permet des recherches en temps réel et des capacités d’analytique, ainsi qu’une variété d’autres services AWS. DynamoDB vous offre la flexibilité nécessaire pour intégrer une large gamme de services AWS qui répondent aux exigences de vos cas d'utilisation.

Intégration zéro ETL de DynamoDB

DynamoDB propose plusieurs intégrations zéro ETL avec d’autres services AWS. Ces intégrations entièrement gérées et sans code automatisent l’extraction, la transformation et le chargement des données de DynamoDB vers d’autres services AWS. Elles répliquent facilement vos données vers le service de destination et n’ont aucun impact sur votre charge de travail. Enfin, les intégrations vous permettent d’économiser des semaines d’efforts d’ingénierie nécessaires à la conception, à la création et à la gestion de pipelines de données et vous permettent de vous concentrer sur vos principaux problèmes d’ingénierie.
1

Intégration zéro ETL de DynamoDB à Amazon SageMaker Lakehouse

Cette intégration zéro ETL vous permet d’exécuter un large éventail d’analytiques et de machine learning (ML) tels que l’analytique SQL, l’analytique de recherche, la veille économique, l’IA générative, etc. La Console de gestions AWS vous permet de sélectionner les tables DynamoDB à répliquer sur SageMaker Lakehouse en quelques étapes rapides. 

2

Intégration zéro ETL de DynamoDB à Amazon Redshift

Cette intégration zéro ETL facilite les analytiques et le ML. Vous choisissez les tables DynamoDB à analyser et de répliquer les données DynamoDB sur Amazon Redshift quelques minutes après l’écriture des données dans DynamoDB. Vous pouvez ensuite tirer parti des fonctionnalités d’analytique et de ML d’Amazon Redshift avec une prise en charge complète du langage SQL, des vues matérialisées, le partage des données et des fonctionnalités de requête sans schéma pour transformer et enrichir davantage vos données.

3

Intégration zéro ETL de DynamoDB à Amazon OpenSearch Service

Cette intégration zéro ETL vous permet d’effectuer des analytiques de recherche en temps quasi réel. Créez des index pour effectuer des recherches en texte intégral, des recherches vectorielles, des recherches géospatiales et plus. Les recherches et les agrégations d'OpenSearch Service fonctionnent conjointement avec les requêtes DynamoDB pour permettre des applications interactives et performantes. Les clients de DynamoDB peuvent désormais utiliser les nombreuses fonctionnalités de recherche et de ML d’OpenSearch Service pour proposer de nouvelles expériences qui stimulent l’engagement des utilisateurs et améliorent la satisfaction à l’égard de leurs applications.

Vous pouvez créer rapidement votre premier pipeline depuis l'onglet Intégrations de la console DynamoDB. L’intégration utilise les pipelines d’ingestion OpenSearch pour définir et traiter les transformations, le routage et le mappage de vos données DynamoDB vers des index OpenSearch Service spécifiques.

Déclencheurs basés sur des événements avec AWS Lambda

Les déclencheurs AWS Lambda pour Amazon DynamoDB vous permettent de configurer facilement une logique personnalisée à exécuter en réponse à toute modification d’un élément dans DynamoDB. Vous pouvez créer rapidement votre premier déclencheur depuis l'onglet Exports and Streams de la console DynamoDB, après avoir activé DynamoDB Streams. Après avoir configuré votre déclencheur, votre code Lambda peut être déclenché quelques secondes après toute modification des données de votre table.

Avec les déclencheurs AWS Lambda pour DynamoDB, vous pouvez facilement créer des déclencheurs de base de données pour valider et enrichir les données, les intégrer à d'autres services en répliquant les données ou créer des architectures complètes pilotées par des événements, telles que l'exécution des commandes ou le traitement des médias, qui réagissent à la modification des données dans les tables DynamoDB. La fonction Lambda peut effectuer toute action que vous spécifiez, comme envoyer une notification ou initier un flux de travail.  

Amazon DynamoDB Accelerator

Amazon DynamoDB Accelerator (DAX) est un service de mise en cache entièrement géré et hautement disponible, conçu pour Amazon DynamoDB. Le DAX améliore les performances jusqu'à 10 fois, de la milliseconde à la microseconde, même à des millions de requêtes par seconde. DAX gère toutes les invalidations du cache et la population de données pour ajouter une accélération en mémoire à vos tables DynamoDB. DAX est un cache en ligne, donc si l'élément mis en cache n'existe pas ou est obsolète, DAX sera automatiquement transféré vers la table sous-jacente.

Vous pouvez désormais vous concentrer sur le développement d'applications de qualité pour vos clients, sans craindre de problèmes de performances à grande échelle. Le DAX étant compatible avec les appels d'API DynamoDB existants, aucune modification de l'application n'est requise, ce qui facilite le démarrage. 

Sujets de la page

Questions d’ordre général
8

Questions d’ordre général

L'intégration zéro ETL de DynamoDB à OpenSearch Service élimine la complexité opérationnelle liée à l'orchestration de la réplication des données d'un entrepôt de données transactionnelle vers un entrepôt de données de recherche. Les pipelines de données utilisés pour synchroniser les entrepôts de données transactionnelles et de recherche peuvent être difficiles et coûteux à créer et à gérer, et présenter des erreurs intermittentes difficiles à suivre. 

Cette intégration permet aux clients Amazon DynamoDB d'obtenir des résultats de recherche en temps quasi réel à partir de leurs données transactionnelles en proposant une solution entièrement gérée permettant de rendre les données transactionnelles de DynamoDB disponibles dans OpenSearch Service quelques secondes après leur rédaction. Les clients choisissent simplement les tables DynamoDB contenant les données qu'ils souhaitent analyser avec OpenSearch Service, et cette intégration zéro ETL reproduit de manière fluide le schéma et les données dans OpenSearch Service à l'aide des pipelines d'ingestion OpenSearch. Les clients peuvent répliquer les données de plusieurs tables DynamoDB dans un seul domaine géré par OpenSearch Service ou dans une collection sans serveur afin d'obtenir des informations holistiques sur plusieurs applications, tout en consolidant leurs principaux actifs analytiques, ce qui leur permet de réaliser d'importantes économies et de gagner en efficacité opérationnelle. 

Les clients peuvent commencer par utiliser la console de gestion AWS pour DynamoDB, OpenSearch Service, l'interface de ligne de commande AWS, le kit SDK AWS ou AWS CloudFormation. Pour permettre une intégration, les clients choisissent d'abord la table DynamoDB dont les données doivent être répliquées. Les clients choisissent ensuite DynamoDB Streams pour une réplication en temps quasi réel ou DynamoDB Incremental Exports pour une réplication différée comme mécanisme CDC permettant de synchroniser les données entre les deux systèmes. 

Cette intégration zéro ETL met en place un pipeline d'ingestion OpenSearch dans le compte du client qui se charge de répliquer les données vers un cluster géré par OpenSearch Service ou une collection sans serveur. L'ingestion OpenSearch comprend la structure des tables DynamoDB, puis crée un domaine géré par OpenSearch Service équivalent ou une collection sans serveur et amorce la destination avec les données existantes des tables DynamoDB. Les clients peuvent éventuellement spécifier un schéma pour les index qui seront créés dans OpenSearch Service. 

Cette intégration zéro ETL vous fournit un tableau de bord sur lequel vous pouvez surveiller l'état de votre intégration de bout en bout à l'aide de métriques et de journaux en temps réel Amazon CloudWatch. Vous pouvez configurer des alertes en cas de dépassement des seuils définis par l'utilisateur. Cette intégration surveille également en permanence l'état des tables DynamoDB et des indices du service OpenSearch et avertit immédiatement les utilisateurs en cas de régressions avec l'une de ces entités.

Afin de garantir que l'ingestion OpenSearch dispose des autorisations nécessaires pour répliquer les données sur ces deux systèmes, l'intégration zéro ETL de DynamoDB à OpenSearch Service crée un rôle IAM doté des autorisations nécessaires pour lire les données des tables DynamoDB et les écrire dans un domaine ou une collection OpenSearch. Ce rôle est ensuite assumé par les pipelines d'ingestion OpenSearch afin de garantir que la bonne posture de sécurité est toujours maintenue lors du déplacement des données de la source vers la destination.

Cette intégration zéro ETL utilise les capacités natives de transformation des données des pipelines d'ingestion OpenSearch pour agréger et filtrer les données lorsqu'elles sont en mouvement. Lorsqu'ils déplacent les données d'une table DynamoDB, les clients peuvent souhaiter supprimer quelques champs ou en créer de nouveaux en fonction des agrégations entre les champs existants. 

En option, les clients peuvent également écrire une logique personnalisée pour l'ingestion OpenSearch afin d'obtenir une capacité de transformation sur mesure. Pour les autres utilisateurs, qui souhaitent simplement déplacer l'intégralité de leurs données de la source vers le récepteur, cette intégration zéro ETL fournira des plans d'ingestion OpenSearch prêts à l'emploi afin qu'ils puissent effectuer les intégrations en quelques clics.

Cette intégration zéro ETL fournit aux clients des options leur permettant de spécifier leur schéma de données personnalisé ainsi que les mappages d'index utilisés par l'ingestion OpenSearch lors de l'écriture de données depuis DynamoDB vers OpenSearch Service. Cette expérience est ajoutée à la console d'interface utilisateur de DynamoDB afin que les clients aient un contrôle total sur le format des index créés sur OpenSearch Service.

L'utilisation de l'intégration zéro ETL de DynamoDB à OpenSearch Service n'entraîne aucun coût supplémentaire en dehors du coût des composants sous-jacents existants. Cette intégration zéro ETL utilise l'ingestion Amazon OpenSearch pour lire les données des tables DynamoDB et les répliquer vers OpenSearch Service. Le coût lié à l'utilisation de l'intégration zéro ETL de DynamoDB à OpenSearch Service correspond au coût des unités de calcul OpenSearch (OCU) nécessaires à l'ingestion OpenSearch pour répliquer les données sur les systèmes. En outre, les clients ont la possibilité de choisir entre des flux DynamoDB ou des exportations incrémentielles auprès de CDC. Pour les exportations incrémentielles, des coûts sont associés à l'écriture de données dans des compartiments S3. Pour les flux DynamoDB, les clients se verraient facturer les frais standard liés à l'utilisation des flux DynamoDB.

L'intégration zéro ETL de DynamoDB avec Amazon OpenSearch Service est disponible dans toutes les régions dans lesquelles l'ingestion OpenSearch est disponible aujourd'hui.