CHẤT LƯỢNG AI – CHÌA KHÓA THÚC ĐẨY GIÁ TRỊ DOANH NGHIỆP VỚI AI
Trong vài năm qua, lấy cảm hứng từ lời hứa của Trí tuệ nhân tạo (AI), chúng ta đã thấy các doanh nghiệp đón nhận thách thức lớn đầu tiên của AI: xây dựng nó ngay từ đầu. Công nghệ học máy (ML) và AI đã được áp dụng đáng kể trong các doanh nghiệp, được hỗ trợ bởi sự sẵn có rộng rãi của các giải pháp chuẩn bị dữ liệu, phát triển và đào tạo mô hình cũng như triển khai mô hình.
Tuy nhiên, hiện nay, chúng ta đang chứng kiến các doanh nghiệp chuyển trọng tâm từ việc chuẩn bị sẵn những khối xây dựng cơ bản này sang giải quyết thách thức lớn tiếp theo: làm cách nào để thúc đẩy giá trị kinh doanh thực sự, bền vững với AI? Trả lời câu hỏi này đòi hỏi phải giải quyết một loạt vấn đề mới. Nó đòi hỏi phải giải quyết thách thức về Chất lượng AI .
Việc giải quyết vấn đề về Chất lượng AI là chìa khóa để thúc đẩy và duy trì giá trị doanh nghiệp. Chúng tôi không đơn độc trong trọng tâm này. Các nhà khoa học dữ liệu và kỹ sư ML giàu kinh nghiệm từ lâu đã biết rằng các số liệu về độ chính xác toàn cầu là không đủ để đo lường thành công. Các nhà nghiên cứu, nhà lập pháp và cơ quan quản lý cũng ngày càng quan tâm đến Chất lượng AI. Ủy ban Châu Âu cũng đã đề xuất Đạo luật Trí tuệ nhân tạo, một bộ quy định chắc chắn về một số cách sử dụng AI nhất định.
Chất lượng AI là gì?
Để AI thúc đẩy giá trị doanh nghiệp, nó cần phải đáp ứng một loạt yêu cầu trong suốt vòng đời của nó. Chúng ta gọi những yêu cầu hoặc thuộc tính mong muốn này của sản phẩm AI là Chất lượng AI . Điều gì tạo nên Chất lượng AI? Hãy bắt đầu với một vài thuộc tính quan trọng mà không cần cố gắng nêu hết các thuộc tính.
Hiệu suất hoặc độ chính xác của mô hình là thuộc tính chính của Chất lượng AI. Mô hình quyết định tín dụng phải nhất quán tách biệt những cá nhân có rủi ro thấp với những người có rủi ro cao. Mô hình rời bỏ khách hàng sẽ có thể dự đoán chính xác khách hàng nào có nhiều khả năng rời bỏ nhất. Xây dựng các mô hình tối ưu hóa thuộc tính này là lĩnh vực trọng tâm truyền thống của các nền tảng Khoa học dữ liệu & Học máy.
Các số liệu truyền thống về độ chính xác của mô hình đối với dữ liệu huấn luyện và kiểm tra như AUC, GINI và RMSE rất hữu ích trong bối cảnh này. Chúng thường được sử dụng để chọn mô hình nào sẽ được triển khai. Nhưng những người thực hiện và các nhà nghiên cứu về máy học nhận ra rằng điều đó là chưa đủ. Chỉ vì một mô hình hoạt động tốt trên dữ liệu huấn luyện và kiểm tra không có nghĩa là nó sẽ khái quát tốt trong thế giới thực.
Để một mô hình có thể khái quát hóa tốt, nó cần phải tìm hiểu các mối quan hệ nhân quả hoặc dự đoán chắc chắn. Thuộc tính này của Chất lượng AI đôi khi được gọi là tính đúng đắn về mặt khái niệm . Ví dụ, một mô hình đánh giá rủi ro thế chấp đã biết rằng sự kết hợp giữa thời hạn của khoản vay và giá trị trọn đời tích lũy của nó là một yếu tố dự báo tốt về rủi ro vỡ nợ có thể sẽ hợp lý về mặt khái niệm khi nó được đưa ra thị trường thế chấp ở Anh. Ngược lại, một mô hình nhận dạng khuôn mặt sử dụng màu nền để xác định khuôn mặt của Tony Blair khó có thể khái quát hóa tốt. ( Nghe có vẻ kỳ quặc? Hãy xem Hình 3 ở cuối bài này để biết ý tôi là gì .)
Việc đánh giá tính hợp lý của khái niệm đòi hỏi phải làm nổi bật các tính năng, khái niệm và mối quan hệ quan trọng mà các mô hình AI đang thúc đẩy dự đoán của chúng học được. Thông tin này sau đó có thể được các chuyên gia con người xem xét để tạo niềm tin vào mô hình hoặc xác định điểm yếu của mô hình. Nói cách khác, nó được xây dựng dựa trên Khả năng giải thích — khoa học đọc trí tuệ nhân tạo của các mô hình AI phức tạp, chẳng hạn như mô hình tập hợp cây và mạng lưới thần kinh sâu — và thúc đẩy sự hợp tác giữa con người và máy móc để cải thiện chất lượng AI.
Tính đúng đắn và khả năng giải thích của khái niệm có liên quan đến tính chắc chắn , một thuộc tính khác của Chất lượng AI. Nó nắm bắt được ý tưởng rằng những thay đổi nhỏ ở đầu vào của một mô hình sẽ chỉ gây ra những thay đổi nhỏ ở đầu ra của nó. Ví dụ, một thay đổi nhỏ trong điểm FICO của người xin tín dụng chỉ làm thay đổi đánh giá rủi ro của mô hình một lượng nhỏ. Điều thú vị là, các mô hình mạnh mẽ trong một số lĩnh vực nhất định được cho là dễ hiểu hơn và khái quát hóa tốt hơn.
Nhận thức được bản chất năng động của thế giới chúng ta đang sống, Chất lượng AI cũng bao gồm các thuộc tính liên quan đến tính ổn định của mô hình AI và dữ liệu liên quan, đưa ra câu trả lời cho các câu hỏi như: Việc phân phối dữ liệu hiện tại từ dữ liệu đào tạo giống nhau đến mức nào? Dự đoán của mô hình ở thời điểm hiện tại so với thời điểm được huấn luyện khác nhau như thế nào? Mô hình có còn phù hợp với mục đích hay có những vùng đầu vào không đáng tin cậy lắm vì dữ liệu mới rất khác với dữ liệu huấn luyện hoặc do thế giới đã thay đổi? Việc định lượng độ tin cậy hoặc độ chắc chắn của một mô hình đối với các đầu vào mà nó xử lý rất có giá trị: nó có thể cung cấp thông tin cải tiến mô hình và cho phép sử dụng mô hình một cách hiệu quả trong một hệ thống quyết định lớn hơn có sự tham gia của con người trong các hệ thống dựa trên quy tắc đơn giản hơn theo vòng lặp hoặc dự phòng.
Các thuộc tính Chất lượng AI này phụ thuộc một cách cơ bản vào dữ liệu về mô hình nào được đào tạo và mô hình nào được áp dụng. Do đó, chất lượng dữ liệu là một thuộc tính quan trọng khác của Chất lượng AI. Một hệ thống AI tốt phải được đào tạo bằng cách sử dụng dữ liệu đại diện cho đối tượng mà nó sẽ được áp dụng và đáp ứng các tiêu chuẩn cần thiết về tính chính xác và đầy đủ của dữ liệu. Chất lượng dữ liệu cần được đánh giá và cải thiện liên tục.
Các yêu cầu về Chất lượng AI không chỉ giới hạn ở các câu hỏi về tính khái quát. Khi các mô hình được sử dụng để đưa ra dự đoán và quyết định có tác động đến cuộc sống của con người, điều vô cùng cần thiết là phải tôn trọng những kỳ vọng của xã hội và pháp lý về tính minh bạch , công bằng và quyền riêng tư. Thông thường, các thuộc tính như tính công bằng và quyền riêng tư xung đột với việc tối ưu hóa hiệu suất mô hình một cách đơn giản. Tuy nhiên, chúng rất quan trọng để tuân thủ để thúc đẩy giá trị kinh doanh một cách có trách nhiệm.
Họ cũng đưa ra một yêu cầu khác về Chất lượng AI – giao tiếp hiệu quả . Việc giao tiếp minh bạch với các cá nhân bị ảnh hưởng bởi các dự đoán hoặc đề xuất của mô hình theo cách có ý nghĩa và có thể hành động đối với họ là vô cùng quan trọng trong nhiều trường hợp sử dụng nhằm thúc đẩy giá trị doanh nghiệp một cách có trách nhiệm. Ví dụ, điều quan trọng là phải thông báo cho cá nhân đã bị từ chối khoản vay lý do đưa ra quyết định, đề xuất các hành động để đạt được kết quả thuận lợi và trả lời các câu hỏi liên quan đến khả năng bị phân biệt đối xử không công bằng.
Yêu cầu về giao tiếp hiệu quả này kéo dài trong suốt vòng đời. Nó bao gồm tài liệu và báo cáo cẩn thận về dữ liệu, mô hình, phương pháp liên quan và thuộc tính chất lượng của chúng để cho phép đánh giá và phản hồi từ các bên liên quan – nhà khoa học dữ liệu, người xác thực mô hình, kiểm toán viên, lãnh đạo doanh nghiệp và trong một số trường hợp là cơ quan quản lý. Cùng với giao tiếp là các yêu cầu về khả năng tái tạo và khả năng kiểm toán để đảm bảo rằng các kỳ vọng về chất lượng được đáp ứng một cách thích hợp.
Nói tóm lại, Chất lượng AI không chỉ bao gồm các số liệu hiệu suất của mô hình mà còn bao gồm một tập hợp các thuộc tính phong phú hơn nhiều giúp nắm bắt mức độ khái quát của mô hình, bao gồm tính hợp lý về mặt khái niệm, khả năng giải thích, tính ổn định, độ tin cậy và chất lượng dữ liệu. Nó cũng bao gồm các thuộc tính thể hiện các kỳ vọng của xã hội và pháp lý về tính minh bạch, công bằng và quyền riêng tư cũng như các thuộc tính ở cấp độ quy trình hỗ trợ giao tiếp, khả năng tái tạo và khả năng kiểm toán.
Giải quyết vấn đề chất lượng AI: Hệ thống chất lượng AI
Mặc dù các thuộc tính tạo nên Chất lượng AI nghe có vẻ đơn giản nhưng ngày nay rất khó giải thích không chỉ cách thức hoạt động của các mô hình (vấn đề về khả năng giải thích) mà còn cả việc các mô hình đạt được hiệu quả như thế nào so với các thuộc tính chất lượng quan trọng này. Chúng tôi đã chứng kiến nhiều công ty lớn vấp ngã trước những thách thức về Chất lượng AI – bao gồm những tên tuổi lớn như Amazon, Apple và Goldman Sachs. Việc đảm bảo rằng một sản phẩm AI đáp ứng các thuộc tính chất lượng này đòi hỏi phải làm việc nhiều hơn trong toàn bộ vòng đời của mô hình. Hệ thống Chất lượng AI phải cung cấp hỗ trợ công nghệ cần thiết để thực hiện công việc đó.
Các thuộc tính Chất lượng AI cần được đánh giá và cải thiện liên tục trong suốt vòng đời của hệ thống AI.
Ở mức tối thiểu, hệ thống Chất lượng AI phải cho phép nhà cung cấp hoặc người dùng sản phẩm AI đánh giá mức độ phù hợp của sản phẩm với các yêu cầu – vừa là chẩn đoán cần thiết trước khi sản xuất vừa là cơ chế giám sát liên tục. Trong trường hợp sản phẩm được phát hiện có lỗ hổng về Chất lượng AI, hệ thống cũng phải hỗ trợ gỡ lỗi để thực hiện các cải tiến cần thiết. Ví dụ: nếu một sản phẩm AI bị phát hiện có lỗi một cách có hệ thống, thì hệ thống đó sẽ giúp các nhà khoa học dữ liệu hiểu được nguyên nhân gốc rễ và thực hiện các hành động giảm thiểu hiệu quả.
Các thuộc tính Chất lượng AI cần được đánh giá và cải thiện liên tục trong suốt vòng đời của hệ thống AI. Điều này đòi hỏi các quy trình có hệ thống và các công cụ tích hợp hỗ trợ việc đánh giá và lặp lại mô hình và dữ liệu liên tục thông qua thử nghiệm, gỡ lỗi và giám sát.
Quan điểm của chúng tôi về Chất lượng AI nhất quán với nghiên cứu và thực tiễn mới nổi về AI đáng tin cậy nhưng có một điểm khác biệt đáng chú ý. Phạm vi của AI đáng tin cậy đôi khi bị giới hạn ở các lĩnh vực có rủi ro cao như dịch vụ tài chính, chăm sóc sức khỏe và vận tải. Chúng tôi tin rằng việc cân nhắc về Chất lượng AI là quan trọng đối với mọi nhóm khoa học dữ liệu và MLOps đang xây dựng và triển khai AI, cũng như các bên liên quan trong kinh doanh của họ.
HÌNH 2 – Quản lý chất lượng AI đòi hỏi phải quản lý trong suốt vòng đời
