Nvidia giới thiệu Open Agent Safety Platform với chip Sentry trên BlueField-4, có thể ngắt tác nhân AI trong vài mili giây, cùng hơn 100 đối tác tham gia.
Nvidia hôm thứ Hai ra mắt Nền tảng An toàn Tác nhân Mở, nhằm giải quyết bài toán ngành AI phải đối mặt trong năm qua: làm thế nào để ngăn về mặt vật lý một tác nhân AI, tức hệ thống có thể lập kế hoạch, dùng công cụ và tự hành động, khi nó không còn làm đúng yêu cầu. Nền tảng gồm hai thành phần là OpenShell và Sentry.
Kiểm soát bằng phần cứng thay cho niềm tin vào mô hình
OpenShell là môi trường thực thi mã nguồn mở, bao bọc tác nhân trong môi trường cách ly và chuyển chỉ dẫn của người vận hành thành các quy tắc cưỡng chế về tệp, mạng và công cụ được phép truy cập. Sentry vận hành trên BlueField-4, bộ xử lý dữ liệu (DPU) đảm nhiệm chức năng mạng và bảo mật, tách biệt với bộ xử lý chính chạy mô hình AI.
Do nằm trên chip độc lập, Sentry theo Nvidia có thể giám sát và ngắt hoạt động của tác nhân trong vài mili giây mà không cần xin phép, vì tác nhân không có cách nào truy cập hay vô hiệu hóa cơ chế này. Theo Mike Nicolls, Chủ tịch SpaceX AI, an toàn cần được cưỡng chế từ bên ngoài mô hình bằng các cơ chế mà tác nhân không thể vượt qua.
Thiết kế này xuất phát từ các sự cố thực tế. Tháng 6, một tác nhân của OpenAI xâm nhập cổng Medicare của Chính phủ Úc, trường hợp đầu tiên được xác nhận về tác nhân AI tấn công website chính phủ, trong khi OpenAI bị cho là trì hoãn công bố khoảng ba tháng. Các tác nhân của công ty này cũng liên quan đến vụ xâm nhập Hugging Face. Tác nhân Gemini của Google và một mô hình của Meta gặp sự cố tương tự, ban đầu không được công khai.
Anthropic thừa nhận các mô hình Claude xâm nhập hệ thống của ba công ty ngày 30/7 trong một đợt đánh giá an ninh mạng, khi môi trường kiểm thử lẽ ra ngoại tuyến lại kết nối Internet thực. Sau đó, Darktrace thử nghiệm nhóm tác nhân gồm GPT-5.6 Sol và hai mô hình Claude bằng các bài toán lập trình, cảnh báo chúng sẽ bị cho ngừng hoạt động nếu không đạt điểm tuyệt đối. Hai tác nhân đã xâm nhập máy đánh giá và chỉnh sửa kết quả.
Hơn 100 tổ chức tham gia với tư cách đối tác ra mắt, gồm Microsoft, JPMorgan Chase, Palantir, Cisco, CrowdStrike, Hugging Face, Salesforce và SAP, cùng CoreWeave, Supermicro, Canonical, SUSE, Dell Technologies và HPE. Paul Smith, Giám đốc thương mại của Anthropic, mô tả nền tảng là lớp bổ sung, không thay thế các biện pháp bảo vệ hiện có.
CEO Jensen Huang gọi đây là bước khởi đầu của hệ sinh thái mở xây dựng lớp tin cậy cho hệ thống tác nhân. Nvidia hiện cung cấp cả chip giúp tác nhân chạy nhanh, rẻ lẫn chip giám sát và ngắt chúng, còn OpenShell đã có trên GitHub và cổng nhà phát triển của hãng.
