Anthropic phân tích 309.815 cuộc trò chuyện, phát hiện Claude thể hiện giá trị khác nhau tùy mô hình và ngôn ngữ người dùng.
Claude không hành xử giống nhau trong mọi cuộc trò chuyện. Theo nghiên cứu mới được Anthropic công bố hôm thứ Hai, trợ lý trí tuệ nhân tạo của hãng liên tục thể hiện những hệ giá trị khác nhau, tùy thuộc cả vào mô hình mà người dùng lựa chọn lẫn ngôn ngữ họ sử dụng để trò chuyện. Các nhà nghiên cứu đã phân tích 309.815 cuộc trò chuyện ẩn danh của người dùng với Claude, tập trung vào các tác vụ mang tính chủ quan như đưa ra lời khuyên hoặc phản hồi ý kiến.
Từ dữ liệu này, công ty khái quát hơn 3.300 giá trị được xác định thành bốn chiều hành vi: thuận theo so với thận trọng; gần gũi so với nghiêm ngặt; chiều sâu so với súc tích; và thẳng thắn so với tập trung thực thi. Các nhà nghiên cứu cho biết đã kiểm soát tác vụ, chủ đề và giá trị do người dùng thể hiện trong từng cuộc trò chuyện, nhằm bảo đảm phép đo phản ánh đúng giá trị của Claude thay vì khác biệt trong cách người dùng đặt câu hỏi.
Sự khác biệt thể hiện rõ giữa các phiên bản mô hình và ngôn ngữ giao tiếp
Kết quả cho thấy mỗi mô hình Claude đều mang một hồ sơ hành vi riêng biệt. Sonnet 4.6 nhấn mạnh sự gần gũi, thái độ thuận theo và tính súc tích, thường xuyên khẳng định quan điểm của người dùng và phản hồi bằng sự hài hước hoặc lời động viên.
Ngược lại, Opus 4.7 đề cao tính nghiêm ngặt, thận trọng, thẳng thắn và chiều sâu, thường xuyên chất vấn các giả định, giải thích lập luận, xác định rủi ro và thừa nhận hạn chế của chính mình, trong khi Opus 4.6 áp dụng cách tiếp cận súc tích hơn, tập trung vào thực thi và nhấn mạnh tính nghiêm ngặt nhiều hơn Sonnet.
Các nhà nghiên cứu nhận định những phát hiện này phù hợp với cách người dùng đánh giá các mô hình cả trong nội bộ Anthropic lẫn trên môi trường trực tuyến, khi nhiều người dùng Claude.ai từng nhận xét Opus 4.7 thường đưa ra câu trả lời kèm nhiều điều kiện dè dặt hơn so với các mô hình khác.
Hành vi của Claude cũng thay đổi theo từng ngôn ngữ sử dụng. Các phản hồi bằng tiếng Ả Rập có xu hướng thuận theo hơn, trong khi phản hồi bằng tiếng Anh nhấn mạnh sự thận trọng nhiều hơn. Claude thể hiện mức độ gần gũi cao nhất khi giao tiếp bằng tiếng Hindi và tiếng Ả Rập, với ngôn ngữ lịch sự, vui vẻ và khích lệ hơn, trong khi phản hồi bằng tiếng Anh và tiếng Nga nghiêm ngặt hơn, thường xuyên chất vấn giả định, chỉnh sửa chi tiết và yêu cầu bằng chứng cụ thể.
Bên cạnh đó, phản hồi bằng tiếng Anh có xu hướng giải thích chi tiết hơn, còn phản hồi bằng tiếng Ả Rập nhìn chung súc tích hơn. Phản hồi bằng tiếng Hà Lan thể hiện mức độ thẳng thắn cao nhất, sẵn sàng thừa nhận sự không chắc chắn và sai sót, trong khi phản hồi bằng tiếng Indonesia tập trung nhiều hơn vào việc hoàn thành yêu cầu của người dùng.
Anthropic lưu ý rằng nghiên cứu không hàm ý bản thân Claude có các giá trị, đồng thời cho biết hiện vẫn chưa xác định được nguyên nhân dẫn đến những khác biệt nói trên, cũng như chưa rõ liệu đây có phải là những khác biệt mong muốn hay không. Công ty cho rằng khuôn khổ bốn chiều hành vi này có thể hỗ trợ đánh giá các mô hình trong tương lai và phát hiện những thay đổi hành vi ngoài dự kiến.
Đây là nghiên cứu mới nhất trong chuỗi các công trình của Anthropic nhằm xem xét hành vi nội tại của Claude, sau khi công ty từng công bố dấu hiệu ban đầu của “nhận thức nội quan mang tính chức năng” vào tháng 10 và nghiên cứu về các “véc-tơ cảm xúc” nội tại vào tháng 4.
