Google bổ sung TPU 8tx và TPU 8i Max vào dòng chip AI thế hệ tám, nhắm tới bảo mật và bộ nhớ cho gần 100 khách hàng.
Hôm thứ Hai, Google ra mắt hai hệ thống điện toán trí tuệ nhân tạo mới, TPU 8tx và TPU 8i Max, nhằm cạnh tranh với Nvidia ở hai nhu cầu ngày càng rõ của doanh nghiệp: bảo vệ dữ liệu nhạy cảm và xử lý các tác vụ AI ngốn bộ nhớ. Hai sản phẩm gia nhập dòng Bộ xử lý Tensor (TPU) thế hệ thứ tám, nâng tổng số cấu hình để huấn luyện và vận hành mô hình lên bốn. Google cho biết đang phục vụ gần 100 khách hàng TPU, từ phòng nghiên cứu AI đến trường đại học.
Khác với bộ xử lý đồ họa (GPU) của Nvidia, TPU là bộ tăng tốc AI thiết kế chuyên dụng. Google phát triển TPU cho dịch vụ nội bộ nhưng ngày càng bán quyền truy cập cho bên ngoài, kể cả khách hàng triển khai tại chỗ. Ông Amin Vahdat, Giám đốc công nghệ kiêm Phó chủ tịch cấp cao phụ trách AI và hạ tầng của Google, cho rằng khi điện toán chuyển từ quy mô con người sang quy mô tác tử, doanh nghiệp cần những bộ tăng tốc có thể suy luận trên cửa sổ ngữ cảnh khổng lồ.
Bảo mật ở cấp phần cứng và bài toán bộ nhớ
TPU 8tx nhắm vào một điểm yếu quen thuộc: dữ liệu được mã hóa khi lưu trữ và truyền tải, nhưng thường phải giải mã trong bộ nhớ khi xử lý. Google cho biết cấu hình này dùng điện toán bảo mật ở cấp phần cứng để cô lập dữ liệu khách hàng và tham số mô hình độc quyền ngay cả trong lúc vận hành. Hệ thống kết hợp chip TPU 8t với bộ xử lý AMD EPYC thế hệ thứ năm và mạng Boardfly độ trễ thấp.
Theo Google, hệ thống giảm độ trễ tới một nửa so với TPU 8t, còn lớp bảo vệ bổ sung gần như không làm suy giảm hiệu năng. Doanh nghiệp có thể tinh chỉnh và vận hành mô hình trên cùng một hệ thống thay vì chuyển dữ liệu nhạy cảm giữa các cụm máy. Dù vậy, điện toán bảo mật không ngăn được một tác tử AI thiết kế kém xử lý sai dữ liệu mà nó được phép truy cập.
TPU 8i Max giải quyết điều ông Vahdat gọi là “bức tường bộ nhớ”. Các tác tử tự hành phân tích kho mã nguồn, tài liệu hay nhiều giờ video cần truy cập nhanh lượng thông tin lớn hơn nhiều so với tác vụ AI thông thường. Google tích hợp hai chip TPU 8i vào một gói, tăng gấp đôi sức mạnh tính toán, dung lượng SRAM trên chip và thông lượng bộ nhớ băng thông cao, tức đưa lượng silicon gấp đôi vào cùng diện tích tủ máy.
Về phần mềm, Google công bố mã nguồn mở TPU Sync, công cụ di chuyển bộ nhớ làm việc của AI giữa chip, máy chủ và hệ thống lưu trữ. Hãng khẳng định công cụ này giảm hơn 90% một số độ trễ truyền dữ liệu và thời gian khởi động phản hồi. Dự án mã nguồn mở TorchTPU cho phép chạy mô hình PyTorch và Hugging Face trên TPU mà không cần viết lại ứng dụng.
Động thái này diễn ra khi các đối thủ ngày càng nhắm vào vị thế thống trị của Nvidia trên thị trường chip AI. Theo một số nguồn tin chưa được xác nhận, OpenAI đang lên kế hoạch mua TPU của Google để giảm phụ thuộc vào Nvidia. Dòng chip mở rộng của Google có thể giúp các nhà phát triển AI có thêm lợi thế đàm phán.
Tuy nhiên, các số liệu hiệu năng Google đưa ra chỉ so sánh với phần cứng thế hệ trước của chính hãng, không phải với sản phẩm mới nhất của Nvidia. Google cũng chưa công bố giá bán hay thời điểm ra mắt của hai cấu hình mới.
