Capacidades do Amazon Redshift

Analise todos os seus dados unificados usando SQL com a integração do Amazon Redshift no SageMaker Lakehouse. Realize consultas em dados do Amazon Simple Storage Service (Amazon S3) em formatos abertos, sem a necessidade de mover dados entre data lakes e data warehouses. Acesse seus dados do Amazon Redshift no SageMaker Lakehouse para habilitar o acesso às ferramentas de analytics da AWS e do Apache Iceberg, possibilitando uma análise de dados e de machine learning (ML) abrangente.

O Amazon Redshift oferece suporte para consultas somente leitura usando o SQL padrão ANSI conhecido nos formatos de tabela do Apache Iceberg, do Apache Hudi e do Delta Lake, além de consultar formatos de arquivo abertos, incluindo Apache Parquet, ORC, Avro, JSON e CSV diretamente no Amazon S3. O Apache Iceberg é um exemplo de formato de tabela de código aberto que fornece consistência transacional e organização aprimorada de data lakes por meio de sua estrutura de tabela. O Amazon Redshift Spectrum permite que você realiza a leitura de tabelas e de dados em formatos de dados abertos, como Parquet, no data lake, mantendo até exabytes de dados estruturados, semiestruturados e não estruturados no Amazon S3. Além disso, é possível exportar dados para o data lake usando o comando UNLOAD do Amazon Redshift, incluindo a opção de exportar para Parquet. A exportação de dados do Amazon Redshift para o seu data lake possibilita uma análise mais aprofundada dos dados com os serviços da AWS, como o Amazon Athena, o Amazon EMR e o SageMaker.

Use SQL para tornar seus dados e data lake do Amazon Redshift mais acessíveis para analistas de dados, engenheiros de dados e outros usuários de SQL com um workbench de analista baseado na Web para exploração e análise de dados. O Editor de Consultas permite que você visualize os resultados da consulta em uma única etapa, crie esquemas e tabelas, carregue dados como elementos visuais e navegue pelos objetos do banco de dados. Essa solução também fornece um editor intuitivo para criar e compartilhar consultas SQL, análises, visualizações e anotações, além de compartilhá-las com segurança com sua equipe.

Use o editor SQL integrado, com tecnologia do Amazon Redshift, no SageMaker Unified Studio, um único ambiente de desenvolvimento de dados e de IA, para consultar dados armazenados em data lakes, data warehouses, bancos de dados e aplicações.

A integração sem código entre o Aurora, o Amazon Relational Database Service (Amazon RDS), o Amazon DynamoDB, as aplicações empresariais e o Amazon Redshift possibilita a realização de analytics imediatas e ML em petabytes de dados em bancos de dados e aplicações. Por exemplo, para dados gravados em fontes operacionais, transacionais ou de aplicações empresariais, as integrações ETL zero do Aurora com o Amazon Redshift tornam os dados disponíveis no Amazon Redshift sem complicações, minimizando a necessidade de criar e manter pipelines de ETL complexos.

Simplifique e automatize a ingestão de dados do Amazon S3, reduzindo o tempo e o esforço para o desenvolvimento de soluções personalizadas ou para o gerenciamento de serviços de entidades externas. Com esse recurso, o Amazon Redshift remove a necessidade de executar manualmente e de forma repetitiva os procedimentos de cópia, automatizando a ingestão de arquivos e gerenciando as etapas contínuas de carregamento de dados em segundo plano. O suporte à cópia automática facilita para usuários de áreas de negócios e analistas de dados, sem conhecimento em engenharia de dados, criarem regras de ingestão e configurarem a localização dos dados que desejam carregar do Amazon S3.

Use comandos SQL para estabelecer conexão e realizar a ingestão direta de dados do Amazon Kinesis Data Streams e do Amazon Managed Streaming for Apache Kafka (Amazon MSK). Além disso, a ingestão de transmissão do Amazon Redshift facilita a criação e o gerenciamento de pipelines downstream ao permitir que você crie visões materializadas diretamente sobre os fluxos. As visões materializadas também podem incluir transformações SQL como parte do seu pipeline de ELT. Você pode atualizar manualmente as visualizações materializadas definidas para consultar os dados de streaming mais recentes.

Consulte os dados ativos em uma ou mais instâncias do Amazon RDS, incluindo os bancos de dados com a edição compatível com PostgreSQL do Amazon Aurora, do Amazon Relational Database (Amazon RDS) para MySQL e com a edição compatível com MySQL do Amazon Aurora, para obter visibilidade instantânea de todas as operações de negócios sem a necessidade de movimentação de dados.

Execute análises em segundos e escale sem a necessidade de configurar e gerenciar a infraestrutura de data warehouse. A tecnologia de escalabilidade e de otimização orientada por IA (disponível em versão prévia) possibilita que o Amazon Redshift sem servidor provisione e escale a capacidade do data warehouse de forma automática e proativa, proporcionando uma performance mais rápida até mesmo para as workloads mais complexas. O sistema usa técnicas de IA para aprender os padrões de workload do cliente em todas as principais dimensões, como consultas simultâneas, complexidade das consultas, influxo de volume de dados e padrões de ETL. Em seguida, ajusta continuamente os recursos ao longo do dia e aplica otimizações de desempenho personalizadas. Você pode definir uma meta desejada de performance, e o data warehouse escala automaticamente para manter a performance consistente.

Os algoritmos sofisticados realizam a previsão e a classificação das consultas recebidas com base no tempo de execução e nas necessidades de recursos, gerenciando a performance e a concorrência de forma dinâmica, ao mesmo tempo em que ajudam a priorizar as workloads essenciais para o negócio. A aceleração de consultas breves (SQA) envia consultas breves de aplicações, como painéis, para uma fila expressa de processamento imediato, em vez de ficar aguardando a execução de consultas maiores. O gerenciamento automático de workloads (WLM) usa machine learning para gerenciar dinamicamente a memória e a concorrência, ajudando a maximizar o throughput das consultas. Além disso, é possível definir a prioridade das consultas mais importantes, mesmo quando centenas de consultas estão sendo enviadas. O Amazon Redshift Advisor faz recomendações quando uma ação explícita do usuário é necessária para potencializar ainda mais a performance do Amazon Redshift. Para as workloads dinâmicas, nas quais os padrões de consulta não são previsíveis, as visões materializadas automatizadas aprimoram o throughput das consultas, reduzem a latência das consultas e diminuem o tempo de execução por meio de atualização automática, reescrita automática de consultas, atualização incremental e monitoramento contínuo dos clusters do Amazon Redshift. A otimização automática de tabela seleciona as chaves de classificação e de distribuição para otimizar a performance da workload do cluster. Se o Amazon Redshift determinar que a aplicação de uma chave melhorará a performance do cluster, as tabelas serão alteradas automaticamente, sem a necessidade de intervenção do administrador. Os recursos adicionais de exclusão automática de vácuos, classificação automática de tabelas e análise automática removem a necessidade de manutenção manual e de ajustes nos clusters do Amazon Redshift, garantindo a melhor performance para novos clusters e workloads de produção.

Use uma API simples para interagir com o Amazon Redshift: o Amazon Redshift permite o acesso facilitado aos dados por meio de todos os tipos de aplicações, sejam elas tradicionais, nativas da nuvem, em contêineres, com tecnologia sem servidor, baseadas em serviços da Web e orientadas a eventos. A API de dados do Amazon Redshift simplifica o acesso, a ingestão e a saída de dados usando linguagens de programação e plataformas compatíveis com o AWS SDK, como Python, Go, Java, Node.js, PHP, Ruby e C++. A API de dados remove a necessidade de configurar drivers e gerenciar conexões de banco de dados. Em vez disso, é possível executar comandos SQL em um cluster do Amazon Redshift ao chamar um endpoint da API seguro fornecido pela API de dados. A Data API cuida do gerenciamento das conexões do banco de dados e do buffer dos dados. A Data API é assíncrona para que você possa recuperar seus resultados mais tarde. Os resultados da consulta são armazenados por 24 horas.

Execute consultas no console ou conecte ferramentas de cliente SQL, bibliotecas ou ferramentas de ciência de dados, incluindo QuickSight, Tableau, Microsoft Power BI, Alteryx, Querybook, caderno Jupyter, Informatica, dbt, MicroStrategy e Looker.

Use linguagem simples para realizar a gravação de consultas no Editor de Consultas do Amazon Redshift que geram recomendações de código SQL precisas e seguras dentro do escopo de suas permissões de acesso a dados.

O Amazon Redshift integra-se ao Amazon Bedrock sem complicações, habilitando funcionalidades de IA generativa diretamente por meio de comandos SQL padrão. Essa integração permite que equipes de dados usem modelos de base, como o Anthropic Claude e o Amazon Titan, para a execução de tarefas como a análise de texto,a tradução e a detecção de sentimento, sem adicionar complexidade à infraestrutura. Os usuários podem invocar modelos de IA com facilidade em seus fluxos de trabalho de data analytics existentes, transformando a maneira como os insights são extraídos dos dados empresariais.

O Amazon Redshift ML facilita para analistas de dados, cientistas de dados, profissionais de BI e desenvolvedores criar, treinar e implantar modelos do SageMaker usando SQL. Com o Amazon Redshift ML, é possível usar instruções SQL para criar e treinar modelos do SageMaker em seus dados no Amazon Redshift e, em seguida, usar esses modelos para realizar previsões como a detecção de rotatividade, a previsão financeira, a personalização e a pontuação de risco diretamente em suas consultas e relatórios. Integre a invocação de grandes modelos de linguagem no Amazon Redshift para tarefas avançadas de processamento de linguagem natural, como o resumo de textos, a extração de entidades e a análise de sentimentos, a fim de obter insights mais aprofundados dos seus dados usando SQL.