AWS Glue – Preise

Der AWS-Glue-Datenkatalog ist das zentrale technische Metadaten-Repository für all Ihre Datenbestände aus verschiedenen Datenquellen, einschließlich Amazon S3, Amazon Redshift und Datenquellen von Drittanbietern. Auf den Datenkatalog kann von Amazon SageMaker Lakehouse aus für Daten, Analysen und KI zugegriffen werden. Es bietet eine einheitliche Oberfläche, um Daten als Kataloge, Datenbanken und Tabellen zu organisieren und sie von Amazon Redshift, Amazon Athena und Amazon EMR abzufragen. Die Funktionen von AWS Lake Formation im Datenkatalog ermöglichen es Ihnen, die Daten-Governance in AWS zu zentralisieren. Steuern Sie Datenbestände mithilfe detaillierter Datenberechtigungen und vertrauter Features im Datenbankstil.

Wenn Sie den Datenkatalog verwenden, fallen Gebühren für das Speichern und Zugreifen auf Tabellenmetadaten sowie für die Ausführung von Datenverarbeitungsaufträgen zur Berechnung von Tabellenstatistiken und Tabellenoptimierungen an.

Preisgestaltung für Metadaten

Mit dem Datenkatalog können Sie bis zu einer Million Metadatenobjekte kostenlos speichern. Wenn Sie mehr als eine Million Metadatenobjekte speichern, wird Ihnen 1,00 USD pro 100 000 Objekte über einer Million pro Monat berechnet. Ein Metadatenobjekt im Datenkatalog ist eine Tabelle, eine Tabellenversion, eine Partition, Partitionsindizes, Statistiken, eine Datenbank oder ein Katalog.

Tabellenpflege und Statistik

Der Datenkatalog bietet verwaltete Komprimierung für Apache-Iceberg-Tabellen im Amazon-S3-Objektspeicher und komprimiert kleine Objekte zu größeren Objekten, um die Leseleistung von AWS-Analytik-Services wie Amazon Redshift, Athena, Amazon EMR und AWS-Glue-ETL-Aufträge zu verbessern. Sie zahlen einen Stundenpreis auf der Basis der Zahl von Datenverarbeitungseinheiten (oder DPUs), die für die Tabellenverdichtung genutzt werden. Eine einzelne Datenverarbeitungseinheit (DPU) enthält 4 vCPUs und 16 GB RAM. Sie bezahlen in Schritten von 1 Sekunde, aufgerundet auf die nächste Sekunde, mit einer Mindestdauer von 1 Minute pro Lauf.

Der Datenkatalog unterstützt auch Tabellenstatistiken auf Spaltenebene für AWS-Glue-Tabellen. Diese Statistiken sind in den kostenbasierten Optimizer (CBO) in Athena und Amazon-Redshift-Data-Lake-Abfragen integriert, was zu einer verbesserten Abfrageleistung und potenziellen Kosteneinsparungen führt.

Optimierung

• 0,44 USD pro DPU-Stunde für die Optimierung von Apache-Iceberg-Tabellen, abgerechnet pro Sekunde mit einem Minimum von 1 Minute.
  

Statistiken:

• 0,44 USD pro DPU-Stunde für die Erstellung von Statistiken, abgerechnet pro Sekunde mit einem Minimum von 1 Minute.

Zusätzliche Nutzung und Kosten

Speicher

Mithilfe des Datenkatalogs können Sie Tabellen in Amazon S3 und Amazon Redshift erstellen und verwalten. Für die Tabellenspeicherung werden Ihnen die Standardtarife von Amazon S3 bzw. Amazon Redshift berechnet. Im Datenkatalog fallen keine zusätzlichen Speichergebühren an.

    1. Beim Speichern von Daten in Amazon S3 werden Ihnen die Amazon-S3-Standardtarife für Speicher, Anfragen und Datenübertragung berechnet. Weitere Informationen finden Sie unter Preise für Amazon S3.

    2. Wenn Sie Daten in Amazon Redshift speichern, werden Ihnen die Amazon-Redshift-Standardtarife für den Speicher berechnet. Einzelheiten finden Sie unter Amazon-Redshift-Preise.

Datenverarbeitung

Wenn Sie von Amazon EMR, AWS Glue, Athena oder einer anderen Open-Source-Engine oder einer Apache-Iceberg-kompatiblen Engine eines Drittanbieters aus auf Amazon-Redshift-Tabellen zugreifen, wird eine serviceverwaltete Amazon-Redshift-Serverless-Arbeitsgruppe für Datenverarbeitungsressourcen verwendet. Die von Amazon Redshift Serverless verwaltete Arbeitsgruppe wird zum Filtern von Tabellenergebnissen verwendet. Die von Ihnen verwendeten Rechenressourcen werden Ihnen auf der Grundlage der Amazon-Redshift-Serverless-Standardtarife in Rechnung gestellt. Für die Abfrage von in Amazon Redshift gespeicherten Tabellen mit Amazon Redshift fallen keine gesonderten Gebühren an. Weitere Informationen finden Sie unter Amazon-Redshift-Preise.

Lake-Formation-Berechtigungen

Lake Formation ist in den Datenkatalog integriert und bietet Berechtigungen auf Datenbank-, Tabellen-, Spalten-, Zeilen- und Zellenebene mithilfe von tagbasierten oder namensbasierten Zugriffskontrollen und kontoübergreifender gemeinsamen Nutzung. Bei der Erstellung von Lake-Formation-Berechtigungen oder der Verwendung von Lake-Formation-Berechtigungen mit integrierten AWS-Services fallen keine separaten Gebühren an.

Preisbeispiele

Datenkatalog im kostenlosen AWS-Kontingent: Nehmen wir an, Sie speichern in einem bestimmten Monat eine Million Metadatenobjekte im Datenkatalog und stellen 1 Million Metadatenanfragen, um auf diese Tabellen zuzugreifen. Sie zahlen dafür 0 USD, weil Ihre Nutzung unter dem kostenlosen Kontingent des AWS-Glue-Datenkatalogs abgedeckt wird. Das Speichern der ersten Million Metadatenobjekte und das Stellen der ersten Million Metadatenanfragen pro Monat sind kostenlos.

Datenkatalog-Standardstufe: Gehen wir nun davon aus, dass Ihre Metadatenspeichernutzung mit 1 Million Metadatenobjekten pro Monat gleich bleibt, Ihre Anfragen jedoch auf 2 Millionen Metadatenanfragen pro Monat verdoppeln. Nehmen wir außerdem an, dass Sie zusätzlich Crawler einsetzen, um neue Tabellen zu finden, und dass diese 30 Minuten lang ausgeführt werden und dabei 2 DPUs verbrauchen.

Ihre Speicherkosten belaufen sich dann immer noch auf 0 USD, da Sie Ihre erste Million Metadatenobjekte kostenlos speichern können. Ihre erste Million Anfragen sind ebenfalls kostenlos. Sie erhalten nur eine Rechnung über die erste 1 Million Anfragen, die das kostenlose Kontingent für den Datenkatalog überschreiten, was 1 USD entspricht.

Verwenden des Datenkatalogs mit anderen Services:

Wenn Sie beispielsweise Tabellen in Amazon Redshift mit Athena SQL in SageMaker Lakehouse abfragen, wird Ihnen Folgendes in Rechnung gestellt: das Speichern von Tabellen in Amazon Redshift auf der Grundlage der Amazon-Redshift-Standardpreise; die Metadatenanfrage an den Datenkatalog auf der Grundlage der Standardpreise für Datenkataloganfragen; Metadatenspeicherung zum Speichern von Katalog-, Datenbank- und Tabellenmetadaten im Datenkatalog; Amazon-Redshift-Serverless-RPU-Stunden pro Sekunde (mit einer Mindestgebühr von 60 Sekunden) zum Filtern der Amazon-Redshift-Tabellenergebnisse; und Anzahl der von der Athena-Abfrage gescannten Byte, aufgerundet auf das nächste Megabyte, mit einem Minimum von 10 MB pro Abfragedaten bei Standardpreisen von Athena.

In einem anderen Szenario, in dem Sie Tabellen in Amazon Redshift mithilfe von Amazon EMR Serverless abfragen, werden Ihnen folgende Kosten in Rechnung gestellt: Speichern von Tabellen in Amazon Redshift auf Grundlage der Standardpreise von Amazon Redshift; die Metadatenanfrage an den Datenkatalog auf Grundlage der Standardpreise für Datenkataloganfragen; Metadatenspeicherung zum Speichern von Katalog-, Datenbank- und Tabellenmetadaten im Datenkatalog; Amazon-Redshift-Serverless-RPU-Stunden pro Sekunde (mit einer Mindestgebühr von 60 Sekunden) für das Filtern der Amazon-Redshift-Tabellenergebnisse und die Menge an vCPU-, Arbeitsspeicher- und Speicherressourcen, die von Ihren Workern in einer Amazon-EMR-Anwendung verbraucht werden.

In einem anderen Szenario, in dem Sie Apache-Iceberg-Tabellen im Amazon-S3-Objektspeicher mithilfe von Amazon Redshift Serverless abfragen, werden Ihnen folgende Kosten in Rechnung gestellt: Speichern von Apache-Iceberg-Tabellen in Amazon S3 auf Basis der Standardpreise von Amazon S3; die Metadatenanfrage an den Datenkatalog basiert auf Standardpreisen für Datenkataloganfragen; Metadatenspeicherung zum Speichern von Katalog-, Datenbank- und Tabellenmetadaten im Datenkatalog; und Datenverarbeitungsstunden (RPU-Stunden) auf der Grundlage der Amazon-Redshift-Standardpreise.

AWS-Glue-Crawler werden mit 0,44 USD pro DPU-Stunde berechnet. Sie zahlen also für 2 DPUs * 0,5 Stunden bei 0,44 USD pro DPU-Stunde, was 0,44 USD entspricht.

Wenn Sie Statistiken für eine AWS-Glue-Tabelle erstellen und der Statistiklauf 10 Minuten dauert und 1 DPU verbraucht, wird Ihnen 1 DPU * 0,1666 Stunde * 0,44 USD pro DPU-Stunde in Rechnung gestellt, was 0,07 USD entspricht.

Wenn Sie im Amazon-S3-Objektspeicher gespeicherte Apache-Iceberg-Tabellen komprimieren und die Komprimierung 30 Minuten lang läuft und 2 DPUs verbraucht, werden Ihnen 2 DPUs * 0,5 Stunden * 0,44 USD/DPU-Stunde in Rechnung gestellt, was 0,44 USD entspricht.

Preisbeispiele

AWS Glue DataBrew: Der Preis für jede 30-minütige interaktive Sitzung beträgt 1,00 USD. Wenn Sie eine Sitzung um 9:00 Uhr starten, dann sofort die Konsole verlassen und zwischen 9:20 Uhr-9:30 Uhr zurückkehren, wird dies 1 Sitzung zu insgesamt 1,00 USD verbrauchen.

Wenn Sie eine Sitzung um 09:00 Uhr starten und mit der DataBrew-Konsole bis um 09:50 Uhr interagieren, dann den DataBrew-Projektraum verlassen und um 10:15 für eine letzte Interaktion zurückkehren, wird dies 3 Sitzungen verbrauchen und es werden Ihnen 1,00 USD pro Sitzung verrechnet, also insgesamt 3,00 USD.

Preisbeispiele

AWS Glue DataBrew: Wenn ein DataBrew-Auftrag 10 Minuten läuft und 5 DataBrew-Knoten verbraucht, beträgt der Preis 0,40 USD. Da Ihr Auftrag für 1/6 Stunde lief und 5 Knoten verbraucht hat, werden Ihnen 5 Knoten * 1/6 Stunde zu 0,48 USD pro Knoten-Stunde in Rechnung gestellt, insgesamt 0,40 USD.

AWS Glue Data Quality stärkt das Vertrauen in Ihre Daten, indem es Ihnen hilft, eine hohe Datenqualität zu erreichen. Es misst, überwacht und verwaltet automatisch die Datenqualität in Ihren Data Lakes und Pipelines und macht es einfacher, fehlende, veraltete oder schlechte Daten zu identifizieren.

Sie können auf die Datenqualitätsfunktionen aus Datenkatalog und AWS Glue Studio und über AWS Glue APIs zugreifen.

Preise für die Verwaltung der Datenqualität von Datensätzen, die im Datenkatalog katalogisiert sind:

Sie können einen Datensatz aus dem Datenkatalog auswählen und Empfehlungen generieren. Mit dieser Aktion erstellen Sie eine Empfehlungsaufgabe, für die Sie Datenverarbeitungseinheiten (DPU) bereitstellen werden. Nachdem Sie die Empfehlungen erhalten haben, können Sie die Regeln ändern oder neue hinzufügen und diese planen. Diese Aufgaben werden als Datenqualitätsaufgaben bezeichnet, für die Sie DPU bereitstellen werden. Sie benötigen mindestens 2 DPU mit einer Mindestabrechnungsdauer von 1 Minute.

Preise für die Verwaltung der Datenqualität von Datensätzen, die auf AWS Glue ETL verarbeitet werden:

Sie können auch Datenqualitätsprüfungen zu Ihren ETL-Aufträgen hinzufügen, um zu verhindern, dass schlechte Daten in Data Lakes gelangen. Diese Datenqualitätsregeln befinden sich in Ihren ETL-Aufträgen, was zu einer längeren Laufzeit oder einem höheren DPU-Verbrauch führt. Alternativ können Sie die flexible Ausführung für nicht SLA-sensitive Workloads verwenden.

Preise für die Erkennung von Anomalien in AWS Glue ETL:

Anomalieerkennung:
Für die Zeit, die zur Erkennung von Anomalien benötigt wird, fällt zusätzlich zu Ihrem ETL-Auftrags-DPU 1 DPU pro Statistik an. Im Durchschnitt dauert es zwischen 10 und 20 Sekunden, um eine Anomalie für eine Statistik zu erkennen. Nehmen wir an, Sie haben zwei Regeln (Regel1: Datenvolumen muss größer als 1000 Datensätze sein, Regel2: Spaltenanzahl muss größer als 10 sein) und einen Analyzer (Analyzer 1: Vollständigkeit einer Spalte überwachen) konfiguriert. Diese Konfiguration generiert drei Statistiken: Zeilenzahl, Spaltenzahl und Vollständigkeitsprozentsatz einer Spalte. Für die Zeit, die zur Erkennung von Anomalien benötigt wird, werden Ihnen 3 zusätzliche DPU in Rechnung gestellt, mit einer Mindestdauer von 1 Sekunde. Weitere Informationen finden Sie in Beispiel 4.

Umschulung:
Möglicherweise möchten Sie anomale Auftragsausführungen oder Statistiken ausschließen, damit der Anomalieerkennungsalgorithmus nachfolgende Anomalien genau vorhersagen kann. Zu diesem Zweck können Sie mit AWS Glue Statistiken ausschließen oder einschließen. Für die Zeit, die für die Umschulung des Modells benötigt wird, fällt 1 DPU an. Im Durchschnitt dauert die Umschulung pro Statistik 10 Sekunden bis 20 Minuten. Weitere Informationen finden Sie in Beispiel 5.

Statistikspeicher:
Für die Speicherung der gesammelten Statistiken fallen keine Gebühren an. Es gibt ein Limit von 100 000 Statistiken pro Konto und sie werden 2 Jahre lang gespeichert.

Zusätzliche Gebühren:
AWS Glue verarbeitet Daten direkt aus Amazon Simple Storage Service (Amazon S3). Für das Lesen Ihrer Daten mit AWS Glue fallen keine zusätzlichen Speichergebühren an. Ihnen werden die Standardtarife von Amazon S3 für Speicher, Anfragen und Datentransfer berechnet. Je nach Ihrer Konfiguration werden temporäre Dateien, Datenqualitätsergebnisse und Shuffle-Dateien in einem S3-Bucket Ihrer Wahl gespeichert und ebenfalls zu den Standard-S3-Tarifen abgerechnet.

Wenn Sie den Datenkatalog verwenden, werden die Standardraten des Datenkatalogs berechnet. Details finden Sie auf der Registerkarte Datenkatalogspeicher und -anfragen.

Preisbeispiele

Beispiel 1 – Empfehlungen für eine Tabelle im Datenkatalog abrufen

Nehmen wir zum Beispiel eine Empfehlungsaufgabe mit 5 DPUs, die in 10 Minuten abgeschlossen ist. Sie zahlen 5 DPU * 1/6 Stunde * 0,44 USD, was 0,37 USD entspricht.

Beispiel 2 – Bewerten der Datenqualität einer Tabelle im Datenkatalog

Nachdem Sie die Empfehlungen geprüft haben, können Sie sie bei Bedarf bearbeiten und dann die Datenqualitätsaufgabe planen, indem Sie DPU bereitstellen. Nehmen wir zum Beispiel eine Aufgabe zur Bewertung der Datenqualität mit 5 DPU, die in 20 Minuten abgeschlossen ist.
Sie zahlen 5 DPU * 1/3 Stunde * 0,44 USD, was 0,73 USD entspricht.

Beispiel 3 – Bewerten der Datenqualität in einem AWS Glue ETL-Auftrag

Sie können diese Datenqualitätsprüfungen auch zu Ihren ETL-Aufträgen in AWS Glue hinzufügen, um zu verhindern, dass schlechte Daten in Ihre Data Lakes gelangen. Sie können dies tun, indem Sie Data Quality Transform in AWS Glue Studio hinzufügen oder AWS Glue-APIs innerhalb des Codes verwenden, den Sie in AWS Glue Studio-Notebooks verfassen. Nehmen wir einen AWS Glue-Auftrag, der dort ausgeführt wird, wo Datenqualitätsregeln innerhalb der Pipeline konfiguriert sind, und der 20 Minuten (1/3 Stunde) mit 6 DPU ausgeführt wird. Ihnen werden 6 DPU * 1/3 Stunde * 0,44 USD berechnet, was 0,88 USD entspricht. Alternativ können Sie auch Flex nutzen, wofür Ihnen 6 DPU * 1/3 Stunde * 0,29 USD, also 0,58 USD, berechnet werden.

Beispiel 4 – Bewerten der Datenqualität in einem AWS Glue ETL-Auftrag mit Anomalie-Erkennung

Stellen Sie sich einen AWS Glue-Auftrag vor, der Daten aus Amazon S3 liest, Daten transformiert und Datenqualitätsprüfungen durchführt, bevor er in Amazon Redshift geladen wird. Nehmen Sie an, dass diese Pipeline 10 Regeln und 10 Analysatoren enthält, was zu 20 gesammelten Statistiken führt. Nehmen Sie außerdem an, dass die Extraktion, der Transformationsprozess, das Laden, das Sammeln von Statistiken und die Bewertung der Datenqualität 20 Minuten dauern. Ohne aktivierte Anomalieerkennung werden dem Kunden 6 DPU * 1/3 Stunde (20 Minuten) * 0,44 USD berechnet, was 0,88 USD (A) entspricht. Wenn die Anomalieerkennung aktiviert ist, fügen wir für jede Statistik 1 DPU hinzu, und es dauert durchschnittlich 15 Sekunden, um Anomalien zu erkennen. In diesem Beispiel fallen für den Kunden 20 Statistiken * 1 DPU * 15/3600 (0,0041 Stunde/Statistik) * 0,44 USD (Kosten pro DPU/Stunde) = 0,037 USD (B) an. Ihre Gesamtkosten für den Auftrag betragen 0,88 USD (A) + 0,037 USD (B) = 0,917 USD.

Beispiel 5 – Umschulung

Stellen Sie sich vor, dass Ihr Glue-Auftrag eine Anomalie erkannt hat. Sie entscheiden sich, die Anomalie aus dem Modell auszuschließen, damit der Anomalieerkennungsalgorithmus zukünftige Anomalien genau vorhersagen kann. Zu diesem Zweck können Sie das Modell umschulen, indem Sie diese anomale Statistik ausschließen. Für die Zeit, die zum Umschulen des Modells benötigt wird, fällt 1 DPU pro Statistik an. Im Durchschnitt kann dies 15 Sekunden dauern. In diesem Beispiel fallen unter der Annahme, dass Sie 1 Datenpunkt ausschließen, 1 Statistik * 1 DPU * 15/3600 (0,0041 Stunden/Statistik) * 0,44 USD = 0,00185 USD an.

Null-ETL ist eine Reihe von vollständig verwalteten Integrationen von AWS, mit denen Sie die Notwendigkeit minimieren, Extract, Transform, Load (ETL)-Daten-Pipelines für gängige Anwendungsfälle bei Aufnahme und Replikation in Ihren Analytik- und KI-Initiativen zu erstellen. AWS erhebt keine zusätzliche Gebühr für die Null-ETL-Integration. Sie zahlen für Quell-und Zielressourcen, die zur Erstellung und Verarbeitung der im Rahmen einer Null-ETL-Integration erstellten Änderungsdaten verwendet werden.

Amazon SageMaker Lakehouse und Amazon Redshift unterstützen Null-ETL-Integrationen von Anwendungen

Amazon SageMaker Lakehouse und Amazon Redshift unterstützen Null-ETL-Integrationen von Anwendungen, wodurch das Extrahieren und Laden von Daten aus Anwendungen in Amazon SageMaker Lakehouse und Amazon Redshift automatisiert wird. Die vollständige Liste der unterstützten Null-ETL-Quellen finden Sie in der AWS-Glue-Null-ETL-Dokumentation.

AWS Glue erhebt eine Gebühr für die Erfassung von Anwendungsquelldaten, die von der Null-ETL-Integration unterstützt werden. Sie zahlen für AWS-Glue-Ressourcen, die zum Abrufen von Einfügungen, Aktualisierungen und Löschungen aus Ihrer Anwendung verwendet werden. Die Gebühren richten sich nach dem Datenvolumen, das Sie von der Anwendung erhalten haben, und es fallen keine Gebühren für die Initiierung der Anforderung zur Datenerfassung an. Jede von AWS Glue gestellte Erfassungsanfrage hat ein Mindestvolumen von 1 Megabyte (MB).

Wenn die erfassten Daten in Amazon Redshift geschrieben werden, zahlen Sie für die Ressourcen, die für die Verarbeitung der geänderten Daten verwendet werden, die im Rahmen der Null-ETL-Integration erstellt wurden, auf der Grundlage der Amazon-Redshift-Preissätze.

Wenn die erfassten Daten in SageMaker Lakehouse geschrieben werden, zahlen Sie für die Ressourcen, die für die Verarbeitung der geänderten Daten verwendet werden, die im Rahmen der Null-ETL-Integration erstellt wurden. Die verwendete Datenverarbeitungsressourcen basiert auf dem für SageMaker Lakehouse ausgewählten Speichertyp.

• Für von Amazon Redshift verwalteten Speicher werden Ihnen die Gebühren auf der Grundlage der Amazon Redshift Serverless Datenverarbeitung berechnet. Weitere Informationen dazu finden Sie unter Amazon-Redshift-Preise.
• Für Amazon Simple Storage Service (S3) erfolgt die Abrechnung auf der Grundlage von AWS-Glue-Datenverarbeitung pro Datenverarbeitungseinheitsstunde (DPU Hour), die pro Sekunde mit einem Mindestwert von 1 Minute abgerechnet wird.

 

Null-ETL-Integration von Amazon DynamoDB in Amazon SageMaker Lakehouse

Die Amazon-DynamoDB-Null-ETL-Integration in Amazon SageMaker Lakehouse automatisiert das Extrahieren und Laden von Daten und ermöglicht Analytik und KI für Daten aus DynamoDB-Tabellen im Data Lakehouse.

DynamoDB berechnet Ihnen eine Gebühr für den Export von Daten aus Ihren kontinuierlichen DynamoDB-Backups (zeitpunktbezogene Wiederherstellung). Weitere Informationen finden Sie unter Amazon-DynamoDB-Preise.

Wenn die erfassten Daten in Amazon SageMaker Lakehouse geschrieben werden, zahlen Sie für die Ressourcen, die für die Verarbeitung der geänderten Daten verwendet werden, die im Rahmen der Null-ETL-Integration erstellt wurden, basierend auf dem für Amazon SageMaker Lakehouse ausgewählten Speichertyp.

• Für von Amazon Redshift verwalteten Speicher werden Ihnen die Gebühren auf der Grundlage der Amazon Redshift Serverless Datenverarbeitung berechnet. Weitere Informationen dazu finden Sie unter Amazon-Redshift-Preise.
• Für Amazon Simple Storage Service (S3) erfolgt die Abrechnung auf der Grundlage von AWS-Glue-Datenverarbeitung pro Datenverarbeitungseinheitsstunde (DPU Hour), die pro Sekunde mit einem Mindestwert von 1 Minute abgerechnet wird.