Công thức của Đại học George Washington đạt độ chính xác 94% khi dự đoán chatbot AI chuyển sang phản hồi không an toàn trong thử nghiệm ban đầu.
Hai nhà vật lý Neil Johnson và Frank Yingjie Huo tại Đại học George Washington vừa công bố một công thức cho phép ước tính số lượng phản hồi phù hợp mà chatbot AI có thể tạo ra trước khi xuất hiện phản hồi không an toàn đầu tiên. Nghiên cứu được đăng trên tạp chí khoa học Patterns, phát triển từ bản thảo công khai lần đầu vào tháng 2 trước khi qua quy trình bình duyệt chính thức.
Chatbot có thể duy trì phản hồi hợp lý trong thời gian dài, rồi đột ngột chuyển sang tạo nội dung có hại như lời khuyên nguy hiểm liên quan đến tự gây thương tích hoặc nội dung cực đoan. Đến nay vẫn chưa có phương pháp đơn giản nào dự đoán được thời điểm này. Theo các tác giả, những công cụ bảo đảm an toàn hiện có thường phụ thuộc vào hạ tầng điện toán đám mây, khiến các mô hình chạy ngoại tuyến không thể tiếp cận.
Nhóm nghiên cứu xác định nguồn gốc vấn đề nằm ở đầu chú ý, thành phần giúp mô hình xác định những từ ngữ nào trước đó quan trọng nhất cho việc chọn từ tiếp theo. Khi hội thoại kéo dài, ngữ cảnh tích lũy khiến cơ chế chú ý dần nghiêng về một nhóm phản hồi nhất định, cho đến khi đạt điểm chuyển trạng thái. Đặc điểm này thường bị khai thác trong các nỗ lực vượt rào cơ chế bảo vệ, và cũng là lý do nhiều công ty đặc biệt chú trọng lời nhắc hệ thống.
Công thức ước tính điểm chuyển trạng thái, ký hiệu n*, dựa trên số token phù hợp được tạo ra trước token không phù hợp đầu tiên. Nếu ngữ cảnh đã nghiêng về hướng không an toàn, mô hình chuyển trạng thái ngay lập tức với n* bằng 0; ngược lại, mô hình sẽ tạo một chuỗi phản hồi phù hợp trước khi chuyển hướng.
Trong bản thảo, công thức xác định đúng trường hợp chuyển ngay lập tức hay có độ trễ ở 15 trên 16 thử nghiệm có kết quả phân loại rõ ràng, tương đương 94%. Thử nghiệm được tiến hành trên sáu mô hình công khai trọng số của OpenAI, EleutherAI và Meta, quy mô từ 124 triệu đến 410 triệu tham số. Bài báo chính thức mở rộng lên bảy mô hình, lớn nhất đạt 12 tỷ tham số, vẫn được xem là nhỏ theo chuẩn hiện nay.
Lớp bảo vệ cho AI chạy trên thiết bị
Đối tượng nghiên cứu hướng tới là AI chạy trực tiếp trên thiết bị, hoạt động hoàn toàn trên điện thoại hoặc máy tính xách tay mà không cần Internet, bao gồm cả chatbot đồng hành. Ứng dụng thử nghiệm AI Edge Gallery của Google đã cho phép điện thoại Android vận hành mô hình ngoại tuyến mà không gửi dữ liệu người dùng lên máy chủ. Xu hướng này được dự báo tiếp tục mở rộng khi phần cứng mạnh hơn và mô hình nhỏ ngày càng cải thiện.
Do mô hình ngoại tuyến không có dịch vụ đám mây giám sát đầu ra, nhóm tác giả đề xuất cơ chế giám sát chi phí tính toán thấp, chạy song song với mô hình và phát cảnh báo khi n* giảm dưới ngưỡng an toàn, tương tự đèn báo trên bảng điều khiển ô tô. Họ cũng mô tả cách đẩy điểm chuyển trạng thái ra ngoài phạm vi phản hồi, chẳng hạn bổ sung nội dung vào hội thoại để n* vượt quá độ dài đầu ra. Theo các tác giả, huấn luyện căn chỉnh có thể dịch chuyển hoặc ngăn điểm chuyển trạng thái với từng lời nhắc cụ thể, nhưng không loại bỏ được cơ chế nền tảng.
Dù vậy, nghiên cứu vẫn còn giới hạn. Các thử nghiệm trong bản thảo dùng mô hình nhỏ với cửa sổ ngữ cảnh chỉ 300 token, và kết quả dự đoán có thể sai lệch một đơn vị đầu ra. Khả năng áp dụng công thức cho các mô hình thương mại quy mô lớn vẫn cần được kiểm chứng thêm.
