Tổng quan Định giá Câu hỏi thường gặp Khách hàng

Thử nghiệm máy học bằng Amazon SageMaker với MLflow

Quản lý hiệu quả các mô hình máy học và các thử nghiệm ứng dụng AI tạo sinh trên quy mô lớn bằng MLflow

Tại sao nên sử dụng Amazon SageMaker với MLflow?

Amazon SageMaker cung cấp tính năng MLflow được quản lý cho thử nghiệm công nghệ máy học (ML) và AI tạo sinh. Tính năng này giúp các nhà khoa học dữ liệu dễ dàng sử dụng MLflow trên SageMaker để đào tạo, đăng ký và triển khai mô hình. Quản trị viên có thể nhanh chóng thiết lập môi trường MLflow an toàn và có quy mô linh hoạt trên AWS. Các nhà khoa học dữ liệu và nhà phát triển ML có thể theo dõi hiệu quả các thử nghiệm ML và tìm ra mô hình phù hợp cho một vấn đề kinh doanh.

Lợi ích của Amazon SageMaker với MLflow

Thử nghiệm hiệu quả với các mô hình nền tảng (FM)

Các nhà khoa học dữ liệu có thể sử dụng MLflow để theo dõi tất cả các số liệu được tạo trong quá trình tinh chỉnh mô hình nền tảng, đánh giá mô hình, kiểm thử mô hình với dữ liệu mẫu, so sánh đầu ra của từng mô hình cạnh nhau trên giao diện người dùng MLflow và đăng ký mô hình phù hợp cho trường hợp sử dụng của họ. Khi họ đăng ký mô hình, các kỹ sư ML có thể triển khai mô hình vào suy luận SageMaker.

Không cần bảo trì cơ sở hạ tầng

Bạn không cần quản lý bất kỳ cơ sở hạ tầng nào cần thiết để lưu trữ MLflow. Các nhà khoa học dữ liệu có thể sử dụng tất cả các khả năng nguồn mở của MLflow và quản trị viên không cần lo lắng về chi phí cơ sở hạ tầng. Điều này giúp tiết kiệm thời gian và chi phí khi thiết lập môi trường khoa học dữ liệu. MLflow được tích hợp với Quản lý danh tính và truy cập trong Amazon (IAM), cho phép bạn thiết lập Kiểm soát truy cập dựa trên vai trò (RBAC) cho Máy chủ theo dõi MLflow.

Chuyển đổi liền mạch từ thử nghiệm mô hình sang sản xuất

Các mô hình đã đăng ký trong MLflow sẽ tự động được đăng ký vào Sổ đăng ký mô hình của Amazon SageMaker với Thẻ mô hình Amazon SageMaker được liên kết. Điều này cho phép các nhà khoa học dữ liệu chuyển mô hình của họ sang các kỹ sư ML để triển khai sản xuất mà không cần chuyển đổi ngữ cảnh. Kỹ sư ML có thể triển khai các mô hình từ MLFlow đến các điểm cuối SageMaker mà không cần xây dựng các bộ chứa tùy chỉnh hoặc đóng gói lại các tạo tác mô hình MLflow.

Đổi mới với cộng đồng nguồn mở

Khi dự án MLflow phát triển, khách hàng của SageMaker AI sẽ được hưởng lợi từ quá trình đổi mới nguồn mở từ cộng đồng MLflow trong khi tận hưởng khả năng quản lý cơ sở hạ tầng mà AWS cung cấp.

Theo dõi thử nghiệm từ mọi nơi

Thử nghiệm ML được thực hiện trong các môi trường đa dạng, bao gồm sổ tay cục bộ, IDE, mã đào tạo dựa trên đám mây hoặc IDE được quản lý trong Studio Amazon SageMaker. Với SageMaker AI và MLflow, bạn có thể sử dụng môi trường ưa thích của mình để đào tạo các mô hình, theo dõi thử nghiệm trong MLflow và khởi chạy giao diện người dùng MLflow trực tiếp hoặc thông qua Studio SageMaker nhằm mục đích phân tích.

Cộng tác trong quá trình thử nghiệm mô hình

Hợp tác nhóm hiệu quả là điều cần thiết đối với các dự án khoa học dữ liệu thành công. SageMaker Studio cho phép bạn quản lý và truy cập Máy chủ theo dõi MLflow và thử nghiệm, cho phép các thành viên trong nhóm chia sẻ thông tin và đảm bảo kết quả thử nghiệm nhất quán, giúp quá trình cộng tác dễ dàng hơn.

Quản lý tập trung siêu dữ liệu thử nghiệm ML

Đánh giá thử nghiệm

Việc xác định mô hình tốt nhất từ nhiều lần lặp đòi hỏi phải phân tích và so sánh hiệu năng của mô hình. MLflow cung cấp các hình ảnh trực quan như biểu đồ phân tán, biểu đồ cột và biểu đồ để so sánh các lần lặp lại đào tạo. Ngoài ra, MLflow cho phép đánh giá các mô hình để tìm kiếm sự sai lệch và công bằng.

Quản lý tập trung các mô hình MLflow

Nhiều nhóm thường sử dụng MLflow để quản lý các thí nghiệm của họ, chỉ có một số mô hình trở thành ứng viên cho sản xuất. Các tổ chức cần một cách dễ dàng để theo dõi tất cả các mô hình ứng viên để đưa ra quyết định sáng suốt về mô hình nào sẽ chuyển sang bước sản xuất. MLflow tích hợp liền mạch với Sổ đăng ký mô hình của SageMaker, cho phép các tổ chức xem các mô hình của họ đã đăng ký trong MLflow tự động xuất hiện trong Sổ đăng ký mô hình của SageMaker, đi kèm với Thẻ mô hình SageMaker để quản trị. Sự tích hợp này cho phép các nhà khoa học dữ liệu và kỹ sư ML sử dụng các công cụ riêng biệt cho các tác vụ tương ứng của họ: MLflow cho thử nghiệm và Sổ đăng ký mô hình của SageMaker để quản lý vòng đời sản xuất với dòng mô hình toàn diện.

Triển khai Mô hình MLflow cho các điểm cuối SageMaker

Việc triển khai các mô hình từ MLflow đến Điểm cuối SageMaker diễn ra liền mạch, loại bỏ nhu cầu xây dựng các bộ chứa tùy chỉnh để lưu trữ mô hình. Sự tích hợp này cho phép khách hàng tận dụng các bộ chứa suy luận được tối ưu hóa của SageMaker, đồng thời vẫn giữ lại trải nghiệm thân thiện với người dùng của MLflow trong việc tạo bản ghi và đăng ký mô hình.