Perutean Prompt Cerdas Amazon Bedrock

Memahami kueri mana yang membutuhkan model yang lebih canggih atau dapat bekerja dengan model yang lebih kecil, lebih cepat, dan lebih murah merupakan tantangan bagi developer. Dengan menggunakan teknik pencocokan prompt dan pemahaman model tingkat lanjut, Perutean Prompt Cerdas memprediksi performa setiap model untuk setiap permintaan dan secara dinamis merutekan setiap permintaan ke model yang diprediksi akan memberikan respons yang diinginkan dengan biaya terendah. Anda dapat memilih dari dua router prompt dalam pratinjau yang merutekan permintaan antara Claude Sonnet 3.5 dan Claude Haiku, atau antara Llama 3.1 7B dan Llama 3.1 80B.

Untuk mencapai performa dan biaya yang diinginkan untuk aplikasi, Anda harus sering mengembangkan alur kerja orkestrasi yang kompleks, merutekan setiap permintaan ke model yang paling sesuai untuk permintaan tersebut berdasarkan pengalaman untuk mencapai performa yang diinginkan dalam hal akurasi. Dengan Perutean Prompt Cerdas, Anda dapat menghemat waktu berbulan-bulan untuk menguji beragam model dan membuat alur kerja orkestrasi yang kompleks.

Setiap permintaan dapat dilacak sepenuhnya, sehingga Anda dapat mengidentifikasi model mana yang menangani setiap permintaan dan Anda dapat dengan mudah memahami dan men-debug masalah apa pun.

Selama pratinjau, pelanggan dikenai harga sesuai permintaan reguler untuk model yang menjadi tujuan permintaan. Lihat halaman harga kami untuk mengetahui perincian harga untuk penyedia model yang berbeda.