Amazon-DynamoDB-Integrationen

Warum Amazon DynamoDB?

Mit Amazon DynamoDB können Sie Ihre Workloads ganz einfach in Amazon DynamoDB Accelerator (DAX) integrieren, um eine bis zu 10-fache Leistungssteigerung zu erzielen, und in Amazon OpenSearch Service für Such- und Analytikfunktionen in Echtzeit sowie einer Vielzahl anderer AWS-Services. DynamoDB bietet Ihnen die Flexibilität, eine breite Palette von AWS-Services zu integrieren, die Ihren Anwendungsfallanforderungen entsprechen.

Null-ETL-Integrationen von DynamoDB

DynamoDB ermöglicht mehrere Null-ETL-Integrationen in andere AWS-Services. Diese vollständig verwalteten Integrationen ohne Code automatisieren das Extrahieren, Transformieren und Laden von Daten aus DynamoDB in andere AWS-Services. Sie replizieren Ihre Daten nahtlos auf den Ziel-Service und wirken sich nicht auf Ihren Produktions-Workload aus. Schließlich ersparen Ihnen die Integrationen wochenlangen Entwicklungsaufwand für das Entwerfen, Erstellen und Verwalten von Datenpipelines und ermöglichen es Ihnen, sich stattdessen auf Ihre wichtigsten technischen Probleme zu konzentrieren.
1

Null-ETL-Integration von DynamoDB in Amazon SageMaker Lakehouse

Diese Null-ETL-Integration ermöglicht es Ihnen, eine breite Palette von Analytik und Machine Learning (ML) wie SQL-Analytik, Suchanalytik, Business Intelligence, generative KI und mehr durchzuführen. In wenigen schnellen Schritten in der AWS-Managementkonsole haben Sie die Flexibilität, die DynamoDB-Tabellen auszuwählen, die auf SageMaker Lakehouse repliziert werden sollen. 

2

Null-ETL-Integration von DynamoDB in Amazon Redshift

Diese Null-ETL-Integration erleichtert die Durchführung von Analyse und ML. Sie wählen die DynamoDB-Tabellen aus, die Sie analysieren möchten, und lassen die DynamoDB-Daten innerhalb weniger Minuten nach dem Schreiben der Daten in DynamoDB auf Amazon Redshift replizieren. Anschließend können Sie die Analyse- und ML-Funktionen von Amazon Redshift mit umfassender SQL-Unterstützung, materialisierten Ansichten, Datenaustausch und schemalosen Abfragefunktionen nutzen, um Ihre Daten weiter zu transformieren und anzureichern.

3

Null-ETL-Integration von DynamoDB mit Amazon OpenSearch Service

Diese Null-ETL-Integration ermöglicht es Ihnen, Suchanalytik nahezu in Echtzeit durchzuführen. Erstellen Sie Indizes für Volltextsuche, Vektorsuche, Geodatensuche und mehr. OpenSearch-Service-Suchen und -Aggregationen arbeiten mit DynamoDB-Abfragen zusammen, um interaktive, performante Anwendungen zu ermöglichen. DynamoDB-Kunden können jetzt die umfangreichen Such- und ML-Funktionen des OpenSearch Service nutzen, um neue Erfahrungen anzubieten, die die Interaktion der Benutzer fördern und die Zufriedenheit mit ihren Anwendungen verbessern.

Sie können Ihre erste Pipeline schnell über die Registerkarte „Integrationen“ in der DynamoDB-Konsole erstellen. Die Integration nutzt Amazon-OpenSearch-Ingestion-Pipelines, um die Transformationen, das Routing und die Zuordnung Ihrer DynamoDB-Daten zu bestimmten OpenSearch-Service-Indizes zu definieren und zu verarbeiten.

Ereignisbasierte Auslöser mit AWS Lambda

Mit AWS-Lambda-Auslösern für Amazon DynamoDB können Sie auf einfache Weise benutzerdefinierte Logik einrichten, die als Reaktion auf Änderungen an einem Element in DynamoDB ausgeführt wird. Nach der Aktivierung von DynamoDB-Streams können Sie Ihren ersten Auslöser schnell auf der Registerkarte „Exporte und Streams“ in der DynamoDB-Konsole erstellen. Nachdem Sie Ihren Auslöser konfiguriert haben, kann Ihr Lambda-Code innerhalb von Sekunden nach Änderungen an den Daten in Ihrer Tabelle ausgelöst werden.

Mit AWS-Lambda-Auslösern für DynamoDB können Sie auf einfache Weise Datenbankauslöser erstellen, um Daten zu validieren und anzureichern, indem Sie die Daten replizieren, in andere Services integrieren oder ganze ereignisgesteuerte Architekturen wie Auftragserfüllung oder Medienverarbeitung erstellen, die auf Datenänderungen in DynamoDB-Tabellen reagieren. Die Lambda-Funktion kann jede von Ihnen festgelegte Aktion durchführen, z. B. Senden einer Benachrichtigung oder Initiieren eines Workflows.  

Amazon DynamoDB Accelerator

Amazon DynamoDB Accelerator (DAX) ist ein vollständig verwalteter, hochverfügbarer Caching-Service, der für Amazon DynamoDB entwickelt wurde. DAX bietet eine bis zu zehnfache Leistungssteigerung, von Millisekunden auf Mikrosekunden, selbst bei Millionen von Anforderungen pro Sekunde. DAX verwaltet die gesamte Cache-Invalidierung und Datenfüllung, um Ihren DynamoDB-Tabellen eine In-Memory-Beschleunigung hinzuzufügen. DAX ist ein Inline-Cache. Wenn das zwischengespeicherte Element also nicht vorhanden oder veraltet ist, reift DAX automatisch auf die zugrunde liegende Tabelle zu.

Damit können Sie sich jetzt auf die Entwicklung hervorragender Anwendungen für Ihre Kunden konzentrieren, ohne sich Gedanken über Leistung und Skalierbarkeit machen zu müssen. Da DAX mit vorhandenen DynamoDB-API-Aufrufen kompatibel ist, sind keine Anwendungsänderungen erforderlich, was den Einstieg erleichtert. 

Themen der Seite

Allgemeines
8

Allgemeines

Die DynamoDB-Null-ETL-Integration mit OpenSearch Service abstrahiert die operative Komplexität bei der Orchestrierung der Replikation von Daten von einem Transaktionsdatenspeicher in einen Suchdatenspeicher. Datenpipelines, die verwendet werden, um Transaktions- und Suchdatenspeicher synchron zu halten, können schwierig und kostspielig sein, und es treten gelegentlich Fehler auf, die schwer nachzuverfolgen sind. 

Diese Integration ermöglicht es Amazon-DynamoDB-Kunden, nahezu in Echtzeit Suchergebnisse aus ihren Transaktionsdaten zu erhalten, indem eine vollständig verwaltete Lösung angeboten wird, mit der Transaktionsdaten aus DynamoDB innerhalb von Sekunden nach dem Schreiben in OpenSearch Service verfügbar gemacht werden können. Kunden wählen einfach die DynamoDB-Tabellen aus, die die Daten enthalten, die sie mit OpenSearch Service analysieren möchten, und diese Null-ETL-Integration repliziert das Schema und die Daten mithilfe von OpenSearch-Ingestion-Pipelines nahtlos in OpenSearch Service. Kunden können Daten aus mehreren DynamoDB-Tabellen in eine einzige, von OpenSearch Service verwaltete Domain oder Serverless-Sammlung replizieren, um ganzheitliche Erkenntnisse über mehrere Anwendungen hinweg zu gewinnen und gleichzeitig ihre wichtigsten Analytics-Ressourcen zu konsolidieren, wodurch erhebliche Kosteneinsparungen und operative Effizienz erzielt werden. 

Kunden können mit der AWS-Managementkonsole für DynamoDB, OpenSearch Service, AWS CLI oder AWS SDK oder AWS CloudFormation beginnen. Um eine Integration zu ermöglichen, wählen Kunden zunächst die DynamoDB-Tabelle aus, deren Daten repliziert werden müssen. Kunden wählen dann entweder DynamoDB Streams für die Replikation nahezu in Echtzeit oder DynamoDB Incremental Exports für verzögerte Replikation als CDC-Mechanismus, um die Daten zwischen den beiden Systemen synchron zu halten. 

Diese Null-ETL-Integration richtet eine OpenSearch-Ingestion-Pipeline im Kundenkonto ein, die sich um die Replikation der Daten in einen von OpenSearch Service verwalteten Cluster oder eine Serverless-Sammlung kümmert. OpenSearch Ingestion versteht die Struktur der DynamoDB-Tabellen und erstellt dann eine entsprechende, vom OpenSearch Service verwaltete Domain oder Serverless-Sammlung und bootet das Ziel mit den vorhandenen Daten aus den DynamoDB-Tabellen. Optional können Kunden ein Schema für die Indizes angeben, die in OpenSearch Service erstellt werden. 

Diese Null-ETL-Integration bietet Ihnen ein Dashboard, in dem Sie den Status Ihrer End-to-End-Integration mit Echtzeitmetriken und Protokollen von Amazon CloudWatch überwachen können. Sie können Benachrichtigungen einrichten, falls benutzerdefinierte Schwellenwerte überschritten werden. Diese Integration überwacht auch kontinuierlich den Status der DynamoDB-Tabellen und OpenSearch-Service-Indizes und benachrichtigt Benutzer sofort, falls Regressionen mit einer dieser Entitäten auftreten.

Um sicherzustellen, dass OpenSearch Ingestion über die erforderlichen Berechtigungen verfügt, um Daten zwischen diesen beiden Systemen zu replizieren, erstellt die DynamoDB-Null-ETL-Integration in OpenSearch Service eine IAM-Rolle mit den erforderlichen Berechtigungen, um Daten aus DynamoDB-Tabellen zu lesen und in eine OpenSearch-Domain oder -Sammlung zu schreiben. Diese Rolle wird dann von den OpenSearch-Ingestion-Pipelines übernommen, um sicherzustellen, dass beim Verschieben der Daten von der Quelle zum Ziel immer die richtige Sicherheitslage eingehalten wird.

Diese Null-ETL-Integration nutzt die nativen Datentransformationsfunktionen der OpenSearch-Ingestion-Pipelines, um die Daten zu aggregieren und zu filtern, während sie verschoben werden. Beim Verschieben der Daten aus einer DynamoDB-Tabelle möchten Kunden möglicherweise einige Felder löschen oder neue Felder erstellen, die auf Aggregationen vorhandener Felder basieren. 

Optional können Kunden auch eine benutzerdefinierte Logik für OpenSearch Ingestion schreiben, um maßgeschneiderte Transformationsfunktionen zu erreichen. Für andere Benutzer, die nur ihre gesamten Daten von der Quelle zur Sink verschieben möchten, bietet diese Null-ETL-Integration sofort einsatzbereite OpenSearch-Ingestion-Vorlagen, sodass sie die Integrationen mit nur wenigen Tastenklicks durchführen können.

Diese Null-ETL-Integration bietet Kunden die Möglichkeit, ihr benutzerdefiniertes Datenschema zusammen mit Indexzuordnungen anzugeben, die von OpenSearch Ingestion beim Schreiben von Daten von DynamoDB in OpenSearch Service verwendet werden. Diese Möglichkeit wurde der Benutzeroberflächenkonsole in DynamoDB hinzugefügt, sodass Kunden die volle Kontrolle über das Format der Indizes haben, die im OpenSearch Service erstellt werden.

Für die Nutzung der DynamoDB-Null-ETL-Integration in OpenSearch Service fallen keine zusätzlichen Kosten an, abgesehen von den Kosten für die vorhandenen zugrunde liegenden Komponenten. Diese Null-ETL-Integration verwendet Amazon OpenSearch Ingestion, um Daten in DynamoDB-Tabellen zu lesen und in OpenSearch Service zu replizieren. Die Kosten für die Verwendung der DynamoDB-Null-ETL-Integration in OpenSearch Service entsprechen den Kosten für OpenSearch Compute Units (OCUs), die für OpenSearch Ingestion benötigt werden, um die Daten systemübergreifend zu replizieren. Darüber hinaus haben Kunden die Möglichkeit, entweder DynamoDB-Streams oder inkrementelle Exporte als CDC-Option zu wählen. Bei inkrementellen Exporten fallen Kosten für das Schreiben von Daten in S3-Buckets an. Für DynamoDB-Streams würden Kunden die Standardgebühren für die Nutzung von DynamoDB-Streams berechnet.

Die Null-ETL-Integration von DynamoDB in Amazon OpenSearch Service ist in allen Regionen verfügbar, in denen OpenSearch Ingestion heute verfügbar ist.