Các nhà nghiên cứu trên toàn cầu đã tìm cách cải thiện hiệu suất bằng phương pháp gộp chung sức mạnh GPU.

Theo công bố, Aegaeon đã được thử nghiệm nội bộ trên chợ mô hình của Alibaba Cloud trong hơn ba tháng. Kết quả cho thấy hệ thống có thể giảm số lượng GPU Nvidia H20 phục vụ hàng chục mô hình AI khổng lồ, lên đến 72 tỷ tham số, từ 1.192 chip xuống chỉ còn 213 chip.

Công trình nghiên cứu này được nhóm khoa học của Đại học Bắc Kinh và Alibaba Cloud trình bày tại Hội nghị chuyên đề quốc tế lần thứ 31 về Nguyên tắc Hệ điều hành (SOSP) tổ chức tại Hàn Quốc. Báo cáo chỉ ra chi phí khổng lồ phát sinh khi vận hành đồng thời nhiều mô hình ngôn ngữ lớn (LLM), trong đó 17,7% GPU chỉ được sử dụng để đáp ứng 1,35% tổng số yêu cầu trên chợ mô hình của Alibaba Cloud.

Trên thế giới, các nhà nghiên cứu đang tìm cách tăng hiệu suất xử lý bằng chiến lược “gộp GPU” - cho phép một GPU phục vụ nhiều mô hình AI cùng lúc. Tuy nhiên, giải pháp Aegaeon của Alibaba vượt xa các phương pháp trước đó khi triển khai cơ chế “tự động mở rộng và thu hẹp” (auto-scaling) ở cấp độ token - đơn vị dữ liệu cơ bản trong quá trình huấn luyện và suy luận của AI.

Nhờ đó, một GPU duy nhất có thể phục vụ tối đa bảy mô hình khác nhau, thay vì chỉ hai hoặc ba mô hình như trong các hệ thống cạnh tranh khác, đồng thời giảm tới 97% độ trễ (latency) khi chuyển đổi giữa các mô hình AI.

Trong bối cảnh tập đoàn chip Mỹ Nvidia đang chịu ảnh hưởng nặng nề từ chính sách kiểm soát xuất khẩu công nghệ của chính quyền Tổng thống Biden, dòng chip H20 - được thiết kế riêng cho thị trường Trung Quốc - đã trở thành giải pháp thay thế chủ lực cho các mô hình AI tại quốc gia này. Tuy nhiên, con chip này gần đây bị các cơ quan quản lý Trung Quốc điều tra do nghi ngờ tồn tại rủi ro bảo mật “cửa hậu” (backdoor).

Song song đó, các doanh nghiệp công nghệ Trung Quốc như Huawei Technologies và Cambricon Technologies đang đẩy mạnh nghiên cứu, phát triển GPU nội địa nhằm củng cố chiến lược tự chủ công nghệ quốc gia.

Đầu tháng này, Giám đốc điều hành Nvidia Jensen Huang cũng thừa nhận thị phần chip cao cấp của hãng tại Trung Quốc đã giảm xuống mức “0”, đánh dấu bước chuyển mạnh trong bức tranh cạnh tranh công nghệ bán dẫn toàn cầu.