IA generativa com o Amazon Neptune

Análise de grafos com alta performance e banco de dados com tecnologia sem servidor para maior escalabilidade e disponibilidade

Visão geral

À medida que as organizações criam e implantam aplicações de inteligência artificial generativa, suas expectativas quanto à precisão, abrangência e explicabilidade aumentam. Fornecer contexto corporativo e específico de domínio por meio de técnicas como a Geração aumentada via recuperação (RAG) pode ajudar até certo ponto. A RAG é econômica para fornecer informações atuais e relevantes de IA generativa, mantendo o controle e a governança de dados.

A geração aumentada via recuperação gráfica (GraphRAG) leva a RAG ao próximo nível, aproveitando o poder do analytics gráfico e da pesquisa vetorial para aprimorar a precisão, a abrangência e a explicabilidade das respostas de IA. A GraphRAG consegue isso aproveitando as associações entre entidades ou elementos estruturais nos dados, como seções ou títulos com blocos de documentos, para fornecer os dados mais relevantes como entrada para aplicações de RAG. Por meio do uso de grafos de conhecimento, as aplicações RAG podem recuperar conexões multi-hop entre entidades ou tópicos relacionados e usar esses fatos para aumentar uma resposta generativa.

IA generativa com o Amazon Neptune

A Amazon fornece caminhos totalmente gerenciados e autogerenciados para criar e executar aplicações de GraphRAG.

  • Totalmente gerenciado: o Amazon Bedrock Knowledge Bases oferece o primeiro serviço de GraphRAG totalmente gerenciado do mundo com o Amazon Neptune. Ele gerencia automaticamente a criação e manutenção de grafos e incorporações, permitindo que os clientes forneçam respostas mais relevantes aos usuários finais. Como um serviço totalmente gerenciado, você evita os desafios de definir as configurações e integrar-se a outros LLMs ou bancos de dados de vetores. 
  • Autogerenciado: para usuários que buscam auto-hospedagem ou flexibilidade na conexão com fontes de dados personalizadas, integrações com produtos de terceiros (modelos de base, armazenamentos de vetores, armazenamentos de dados) e auto-hospedagem da pilha de aplicações de IA generativa, existem duas opções.
    • Kit de ferramentas da AWS para GraphRAG Python: a AWS lançou agora o kit de ferramentas de código aberto para GraphRAG, que é compatível com modelos de base e de grafos atualizados. Ele fornece um framework para automatizar a criação de um grafo de dados não estruturados e para consultá-lo ao responder às perguntas dos usuários.
    • Frameworks de código aberto: a AWS apoia e contribui com projetos populares de código aberto, incluindo o LangChain e LlamaIndex, para criar pipelines RAG de produção.

Usuários que não estão familiarizados com linguagens de consulta para bancos de dados de grafos podem aproveitar a integração do Neptune com o LangChain. Isso permite que você questione o banco de dados de grafos do Neptune usando linguagem natural. Por exemplo, você pode usar NeptuneOpenCypherQAChain para converter perguntas em inglês em consultas openCypher e retornar uma resposta legível por humanos. Essa cadeia pode ser usada para responder a perguntas como “Qual aeroporto dos EUA tem as rotas de saída mais longas e mais curtas?”.

O LangChain é uma estrutura Python de código aberto projetada para simplificar a criação de aplicações usando grandes modelos de linguagem (LLMs). A integração do Neptune com o LangChain permite que os desenvolvedores usem a estrutura de código aberto do LangChain para simplificar a criação de aplicações com reconhecimento de contexto.

Com o Neptune e o LangChain, você pode retornar uma resposta com base no contexto fornecido e consultar um banco de dados de grafos do Neptune usando a linguagem de consulta openCypher. Por exemplo, você pode usar a cadeia de controle de qualidade openCypher do Neptune para converter perguntas em inglês em consultas openCypher e retornar uma resposta legível por humanos. Essa cadeia pode ser usada para responder a perguntas como “Quantas rotas de saída o aeroporto de Austin tem?”

Para obter mais detalhes sobre a cadeia de controle de qualidade openCypher do Neptune, consulte a documentação do LangChain de código aberto.

O LlamaIndex é uma estrutura de dados de código aberto para conectar fontes de dados personalizadas a grandes modelos de linguagem (LLM) e aceita o uso de grafos de conhecimento com LLMs.

Com o LlamaIndex, é possível usar o Neptune como um armazenamento de grafos ou armazenamento vetorial para criar aplicações de IA generativa usando técnicas como o GraphRAG.

Casos de uso

A GraphRAG pode ser usada para melhorar a central de atendimento e serviços de TI. Por exemplo, a GraphRAG pode permitir que as equipes do Centro de operações de segurança (SOC) interpretem os alertas com mais precisão para ajudar a proteger sistemas críticos. Um chatbot de suporte para membros da área da saúde pode encontrar rapidamente informações relevantes em grandes volumes de literatura médica para responder a perguntas complexas sobre sintomas, tratamentos e desfechos do paciente.

As aplicações de GraphRAG podem fornecer insights profundos para equipes em funções corporativas, como contabilidade e planejamento financeiro, marketing, jurídico, RH etc. Por exemplo, as equipes corporativas do setor jurídico podem encontrar com mais eficiência informações sobre leis tributárias, regulamentações e precedentes de casos para elaborar estratégias de casos. As equipes de marketing podem criar visualizações 360 graus dos clientes com base nas conexões sociais e no histórico de compras de um cliente potencial.

Empresas de todos os setores se beneficiam da GraphRAG. Por exemplo, na indústria farmacêutica, as equipes de P&D podem usar a GraphRAG para acelerar pesquisas e testes de medicamentos. Na área de bancos de investimento, a capacidade da GraphRAG de mapear associações complexas e fornecer uma visão holística dos registros corporativos, o que ajuda as equipes de due diligence a obter insights, como direitos regulatórios e dinâmica competitiva, com a RAG que, de outra forma, não seriam facilmente perceptíveis.

As recomendações tradicionais usam serviços de analytics manualmente para fazer recomendações de produtos. O Neptune ML pode identificar novos relacionamentos diretamente nos dados de grafos e recomendar facilmente a lista de jogos que um jogador gostaria de comprar, outros jogadores que poderia seguir ou produtos para comprar.

Definição de preço

Não há necessidade de investimentos iniciais. Você paga apenas pelos recursos da AWS usados, como Amazon SageMaker, Neptune e Amazon Simple Storage Service (Amazon S3).

Conceitos básicos

Há muitas maneiras de começar, incluindo: