Bài báo khoa học do AI của Sakana tạo ra đã được chấp nhận tại hội thảo ICLR, nhưng các chuyên gia chỉ ra những hạn chế và sự can thiệp của con người trong quá trình này.
Startup AI Nhật Bản Sakana vừa gây chú ý khi công bố rằng hệ thống AI Scientist-v2 của họ đã tạo ra một bài báo khoa học vượt qua quy trình đánh giá ngang hàng tại hội thảo của ICLR – một hội nghị AI uy tín. Tuy nhiên, thành tựu này cần được xem xét với nhiều khía cạnh quan trọng.
Theo Sakana, AI của họ đã tạo ra bài báo “từ đầu đến cuối”, bao gồm giả thuyết khoa học, thực hiện thí nghiệm, phân tích dữ liệu và viết nội dung. Bài báo được chấp nhận đề xuất một phương pháp mới trong huấn luyện mạng nơ-ron, nhưng công ty đã chủ động rút bài trước khi công bố để đảm bảo tính minh bạch.
Robert Lange, nhà khoa học nghiên cứu kiêm đồng sáng lập Sakana, cho biết họ đã cung cấp tóm tắt và mô tả hội thảo cho AI để đảm bảo chủ đề phù hợp. Đây là một điểm đáng lưu ý, vì nó cho thấy vẫn có sự can thiệp của con người trong quá trình này.
Giới hạn đáng kể của thành tựu
Mặc dù thành tựu của Sakana có thể gây ấn tượng ban đầu, nhưng có nhiều điểm quan trọng cần cân nhắc. Trước hết, chính công ty đã thừa nhận AI của họ còn mắc lỗi trích dẫn “khó chịu”, như việc trích dẫn sai một phương pháp từ bài báo năm 2016 thay vì công trình gốc từ năm 1997.
Hơn nữa, bài báo chỉ vượt qua một vòng đánh giá ngang hàng ban đầu tại hội thảo, không phải là “trục hội nghị chính” của ICLR. Tỷ lệ chấp nhận tại các hội thảo thường cao hơn so với hội nghị chính, điều mà Sakana cũng đã công khai thừa nhận.
TÍN DỤNG HÌNH ẢNH: SAKANA
Matthew Guzdial, nhà nghiên cứu AI tại Đại học Alberta, nhận định kết quả này “hơi gây hiểu lầm” vì đội ngũ Sakana đã sử dụng đánh giá của con người để chọn lọc bài báo từ nhiều bài được AI tạo ra. “Điều này chỉ ra rằng con người kết hợp với AI có thể hiệu quả, chứ không phải AI đơn độc có thể tạo ra tiến bộ khoa học,” ông nói.
Mike Cook, nghiên cứu sinh tại King’s College London, cũng đặt câu hỏi về độ nghiêm ngặt của quy trình đánh giá. Ông lưu ý rằng các hội thảo mới thường được đánh giá bởi các nhà nghiên cứu trẻ, và hội thảo này tập trung vào kết quả tiêu cực, có thể dễ dàng hơn cho AI viết về thất bại một cách thuyết phục.
Điều quan trọng là Sakana không tuyên bố AI của họ có thể tạo ra những công trình khoa học đột phá. Thay vào đó, mục tiêu của thí nghiệm là “nghiên cứu chất lượng của nghiên cứu do AI tạo ra” và thúc đẩy thảo luận về chuẩn mực liên quan đến khoa học do AI tạo ra.
