Mô hình BitNet b1.58 2B4T mới của Microsoft với 2 tỷ tham số đạt hiệu suất tốt hơn nhiều đối thủ cùng kích thước, đồng thời sử dụng ít bộ nhớ hơn đáng kể.
Các nhà nghiên cứu của Microsoft vừa công bố phát triển thành công mô hình AI 1-bit (còn gọi là “bitnet”) lớn nhất từ trước đến nay.
Mô hình có tên BitNet b1.58 2B4T được phát hành theo giấy phép MIT và có khả năng chạy trên CPU thông thường, bao gồm cả chip Apple M2.
Cuộc cách mạng hiệu quả cho AI nhẹ
Bitnets là các mô hình AI được nén để có thể chạy trên phần cứng nhẹ. Trong khi các mô hình tiêu chuẩn hiện nay thường cần lượng bit lớn để biểu diễn các trọng số (weights), bitnets lượng tử hóa các trọng số xuống chỉ còn ba giá trị: -1, 0 và 1. Điều này giúp bitnets tiết kiệm bộ nhớ và tài nguyên tính toán hơn đáng kể so với hầu hết các mô hình hiện nay.
BitNet b1.58 2B4T là mô hình bitnet đầu tiên của Microsoft đạt 2 tỷ tham số (parameters). Mô hình được huấn luyện trên tập dữ liệu khổng lồ với 4 nghìn tỷ token – tương đương khoảng 33 triệu cuốn sách. Theo công bố của Microsoft, mô hình này vượt trội hơn các mô hình truyền thống có kích thước tương tự.
Trong các bài kiểm tra hiệu suất, BitNet b1.58 2B4T đã vượt qua Llama 3.2 1B của Meta, Gemma 3 1B của Google và Qwen 2.5 1.5B của Alibaba trên nhiều bộ benchmark quan trọng như GSM8K (bộ bài toán cấp tiểu học) và PIQA (kiểm tra khả năng suy luận về thế giới vật lý).
Đặc biệt ấn tượng là tốc độ của BitNet b1.58 2B4T, trong một số trường hợp nhanh gấp đôi các mô hình cùng kích thước, đồng thời sử dụng chỉ một phần nhỏ bộ nhớ so với đối thủ.
Tuy nhiên, để đạt được hiệu suất tối ưu, BitNet b1.58 2B4T yêu cầu sử dụng framework bitnet.cpp của Microsoft, hiện chỉ tương thích với một số phần cứng nhất định. Đáng chú ý, danh sách này không bao gồm GPU – loại chip đang thống trị cơ sở hạ tầng AI hiện nay.
Bitnets dường như rất hứa hẹn cho các thiết bị có tài nguyên hạn chế, nhưng vấn đề tương thích vẫn là rào cản lớn và có thể sẽ tiếp tục tồn tại trong tương lai gần.
