SageMaker Data Processing は、Amazon Athena、Amazon EMR、AWS Glue、および Amazon Managed Workflows for Apache Airflow (Amazon MWAA) の処理機能を使用して、データの分析、準備、統合、オーケストレーションを行います。Apache Spark などのオープンソースのデータ処理フレームワークを利用して、Trino での大規模なデータ分析や、Apache Flink や Apache Spark でのリアルタイム分析のシームレスな構築を実行できます。
SageMaker Data Processing は、Amazon EMR、Athena、AWS Glue、および Amazon MWAA を 1 か所にまとめます。
SageMaker Data Processing は、大規模なデータ調査、データ変換ジョブの構築、オーケストレーション、データパイプラインのデプロイに役立ちます。Apache Spark、Apache Airflow、Apache Flink、Trino などのコスト効率性に優れたオープンソースの API 互換バージョンを使用して、パフォーマンスを向上させ、従来のオープンソースシステムよりも迅速にインサイトを提供します。SageMaker Data Processing では、ゼロ ETL 統合、フェデレーションクエリ機能、およびコネクタを通じて Amazon SageMaker Lakehouse 内のデータソースにアクセスできます。
いいえ。SageMaker に移行する必要はありません。Amazon EMR、Athena、AWS Glue、および Amazon MWAA は現在と同じように引き続き使用できますが、統合ツール、組み込みのデータガバナンス、簡素化された SageMaker Lakehouse アーキテクチャを利用するためにも、SageMaker の使用を開始することをお勧めします。
Amazon EMR、Athena、または AWS Glue で作成して使用している現行のコード、クエリ、ジョブ、およびその他リソースに影響はありません。希望する場合は、これらのサービスを引き続き新しいワークロードに活用できます。Amazon Elastic Compute Cloud (Amazon EC2) クラスター上の Amazon EMR など、これらのサービスで作成されたリソースは SageMaker に表示されるため、分析や AI アプリケーションの開発が簡単になります。SageMaker では、新しい開発エクスペリエンスに加えて、Amazon EMR、AWS Glue、および Athena に組み込まれている既存の開発エクスペリエンスも引き続き利用できます。
SageMaker では、AWS Glue の最新バージョンである AWS Glue 5.0 を利用できます。AWS Glue 5.0 はデータ処理ワークロードを高速にし、パフォーマンスが最適化された最新の Apache Spark 3.5.2 ランタイムを提供するので、より迅速なインサイトのために開発、実行、スケールすることができます。詳細については、AWS Glue をご覧ください。
SageMaker 経由で使用される各 AWS サービスには、それぞれ独自の料金が適用されます。詳細については、Athena、Amazon EMR、AWS Glue、および Amazon MWAA の AWS 料金ページを参照してください。