Amazon Neptune을 사용한 생성형 AI

월등한 확장성과 가용성을 위한 고성능 그래프 분석 및 서버리스 데이터베이스

개요

조직이 생성형 인공 지능(AI) 애플리케이션을 구축하고 배포함에 따라 정확성, 포괄성, 설명 가능성에 대한 기대치가 높아지고 있습니다. 검색 증강 생성(RAG)과 같은 기술을 통해 기업 및 도메인별 컨텍스트를 제공하면 어느 정도 도움이 될 수 있습니다. RAG는 데이터 거버넌스 및 제어를 유지하면서 생성형 AI에 최신 관련 정보를 제공하는 데 비용 효율적입니다.

그래프 검색 증강 생성(GraphRAG)은 그래프 분석과 벡터 검색의 성능을 모두 활용하여 AI 응답의 정확성, 포괄성, 설명 가능성을 향상시킴으로써 RAG의 수준을 한 단계 끌어올립니다. GraphRAG는 문서 청크가 포함된 섹션 또는 제목과 같은 데이터의 엔터티 또는 구조적 요소 간의 관계를 활용하여 가장 관련성이 높은 데이터를 RAG 애플리케이션에 입력으로 제공함으로써 이를 달성합니다. RAG 애플리케이션은 지식 그래프를 사용하여 관련 엔터티 또는 주제 간의 멀티홉 연결을 검색하고 이러한 사실을 사용하여 생성형 응답을 보강할 수 있습니다.

Amazon Neptune을 사용한 생성형 AI

Amazon은 GraphRAG 애플리케이션을 생성하고 실행할 수 있는 완전관리형 및 자체 관리형 경로를 제공합니다.

  • 완전관리형: Amazon Bedrock Knowledge Bases는 Amazon Neptune을 통해 세계 최초의 완전관리형 GraphRAG 서비스를 제공합니다. 그래프와 임베딩의 생성 및 유지 관리를 자동으로 관리하므로 고객이 최종 사용자에게 보다 관련성 높은 응답을 제공할 수 있습니다. 완전관리형 서비스를 사용하면 구성을 설정하고 다른 LLM 또는 벡터 데이터베이스와 통합해야 하는 어려운 문제를 피할 수 있습니다. 
  • 자체 관리형: 사용자 지정 데이터 소스 자체 호스팅 또는 연결 유연성, 서드 파티 제품(파운데이션 모델, 벡터 스토어, 데이터 스토어)과의 통합, 생성형 AI 애플리케이션 스택의 자체 호스팅을 원하는 사용자에게는 두 가지 옵션이 있습니다.
    • AWS GraphRAG Python 도구 키트: AWS는 최신 파운데이션 및 그래프 모델을 지원하는 오픈 소스 GraphRAG 도구 키트를 출시했습니다. 비정형 데이터로부터 그래프 생성을 자동화하고 사용자 질문에 답할 때 이 그래프를 쿼리하기 위한 프레임워크를 제공합니다.
    • 오픈 소스 프레임워크: AWS는 프로덕션 RAG 파이프라인을 구축하기 위한 LangChain, LlamaIndex를 비롯한 인기 있는 오픈 소스 프로젝트를 지원 및 기여합니다.

그래프 데이터베이스의 쿼리 언어에 익숙하지 않은 사용자는 Neptune과 LangChain의 통합을 활용할 수 있습니다. 이를 통해 자연어를 사용하여 Neptune 그래프 데이터베이스에 질문할 수 있습니다. 예를 들어, NeptuneOpenCypherQAChain을 사용하여 영어 질문을 openCypher 쿼리로 변환하고 사람이 읽을 수 있는 응답을 반환할 수 있습니다. 이 체인을 사용하여 “가장 긴 출발 노선과 가장 짧은 출발 노선이 있는 미국 공항은 어디입니까?”와 같은 질문에 답할 수 있습니다.

LangChain은 대규모 언어 모델(LLM)을 사용하여 애플리케이션 생성을 간소화하도록 설계된 오픈 소스 Python 프레임워크입니다. 개발자는 Neptune과 LangChain의 통합을 통해 LangChain의 오픈 소스 프레임워크를 사용하여 컨텍스트 인식 애플리케이션 생성을 간소화할 수 있습니다.

Neptune 및 LangChain을 사용하면 제공된 컨텍스트를 기반으로 응답을 반환하고 openCypher 쿼리 언어를 사용하여 Neptune 그래프 데이터베이스를 쿼리할 수 있습니다. 예를 들어, Neptune openCypher QA 체인을 사용하여 영어 질문을 openCypher 쿼리로 변환하고 사람이 읽을 수 있는 응답을 반환할 수 있습니다. 이 체인을 사용해 '오스틴 공항에는 몇 개의 출발 노선이 있나요?'와 같은 질문에 답할 수 있습니다.

Neptune openCypher QA 체인에 대한 자세한 내용은 오픈 소스 LangChain 설명서를 참조하세요.

LlamaIndex는 사용자 지정 데이터 소스를 대규모 언어 모델(LLM)에 연결하는 데 사용할 수 있는 오픈 소스 데이터 프레임워크이며 LLM에 지식 그래프를 사용하는 것을 지원합니다.

LlamaIndex를 사용하면 Neptune을 그래프 저장소 또는 벡터 저장소로 사용하여 GraphRAG와 같은 기술을 통해 생성형 AI 애플리케이션을 구축할 수 있습니다.

사용 사례

GraphRAG는 IT 서비스 데스크 및 콜센터를 개선하는 데 사용할 수 있습니다. 예를 들어, GraphRAG를 사용하면 보안 운영 센터(SOC) 팀이 경고를 더 정확하게 해석하여 중요한 시스템을 보호할 수 있습니다. 의료 서비스 가입자 지원 챗봇은 방대한 의학 문헌에서 관련 정보를 빠르게 검색하여 환자의 증상, 치료 및 결과에 대한 복잡한 질문에 답할 수 있습니다.

GraphRAG 애플리케이션은 재무 계획 및 회계(FP&A), 마케팅, 법률, HR 등과 같은 기업 기능에서 심층적인 인사이트를 팀에 제공할 수 있습니다. 예를 들어, 기업 법무 팀은 세법, 규정, 판례에 대한 정보를 보다 효과적으로 찾아 소송 전략을 구상할 수 있습니다. 마케팅 팀은 잠재 고객의 소셜 연결 및 구매 내역을 기반으로 Customer 360 뷰를 생성할 수 있습니다.

각 산업에서 기업들이 GraphRAG의 이점을 누리고 있습니다. 예를 들어 제약 산업에서 R&D 팀은 GraphRAG를 사용하여 약물 연구 및 임상 시험의 속도를 높일 수 있습니다. 투자 은행 분야에서 GraphRAG는 복잡한 관계를 매핑하고 기업 제출 서류를 전체적으로 파악할 수 있는 기능을 제공합니다. 그러므로 실사 팀은 RAG를 사용하여 쉽게 파악하기 어려운 규제권 및 경쟁 역학과 같은 인사이트를 발견할 수 있습니다.

기존에는 분석 서비스를 수동으로 사용하여 제품 추천이 이루어졌습니다. Neptune ML은 그래프 데이터에서 새로운 관계를 직접 식별할 수 있기 때문에 플레이어가 구매할 만한 게임, 팔로우할 만한 다른 플레이어 또는 구매할 만한 제품 목록을 쉽게 추천할 수 있습니다.

요금

선불 투자가 필요하지 않습니다. Amazon SageMaker, Neptune, Amazon Simple Storage Service(Amazon S3) 등 사용한 AWS 리소스에 대한 비용만 지불하면 됩니다.

시작하기

다음과 같은 다양한 방법으로 시작할 수 있습니다.