Amazon Bedrock Intelligent Prompt Routing

개발자는 어떤 쿼리에 고급 모델이 필요한지 또는 어떤 쿼리에 더 작고 빠르며 저렴한 모델이 효과적일 수 있는지 이해하는 것이 어려울 수 있습니다. Intelligent Prompt Routing은 고급 프롬프트 매칭 및 모델 이해 기술을 사용하여 각 요청에 대한 개별 모델의 성능을 예측합니다. 그런 다음 가장 저렴한 비용으로 원하는 응답을 제공할 가능성이 가장 높을 것으로 예측되는 모델에 각 요청을 동적으로 라우팅합니다. 평가판에서 Claude Sonnet 3.5과 Claude Haiku 또는 Llama 3.1 7B와 Llama 3.1 80B 간에 요청을 라우팅하는 프롬프트 라우터 2개 중 하나를 선택할 수 있습니다.

애플리케이션에서 원하는 성능과 비용을 달성하려면 대개 복잡한 오케스트레이션 워크플로를 개발하여 경험을 기반으로 각 요청을 해당 요청에 가장 적합한 모델로 라우팅함으로써 정확도 측면에서 원하는 성능을 구현해야 합니다. Intelligent Prompt Routing을 사용하면 다양한 모델을 테스트하고 복잡한 오케스트레이션 워크플로를 생성하는 데 드는 수개월의 작업 시간을 절약할 수 있습니다.

각 요청은 완전히 추적 가능하므로 각 요청을 처리하는 모델을 식별하고 문제를 쉽게 이해하고 디버그할 수 있습니다.

평가판 기간에는 요청이 라우팅되는 모델에 따라 고객에게 정규 온디맨드 요금이 부과됩니다. 다양한 모델 제공업체에 대한 자세한 요금은 요금 페이지를 참조하세요.