Card GPU dễ lắp nhất
L4 giải quyết một bài toán rất cụ thể: bạn có máy chủ 1U trong tủ rack, không có chỗ cho card double-width, không có dây nguồn phụ, và ngân sách điện của tủ đã gần kín. L4 chỉ 72W, lấy điện trực tiếp từ khe PCIe, dạng low-profile single-width.
Nói cách khác: lắp được vào gần như mọi máy chủ có một khe PCIe trống, kể cả máy đã chạy sản xuất.
72W làm được gì
Đừng đánh giá thấp con số này. Với 24 GB bộ nhớ, L4 chạy được mô hình ngôn ngữ tới 13 tỷ tham số ở dạng lượng tử hoá, xử lý hàng chục luồng video 1080p nhờ bộ giải mã phần cứng, và chạy các mô hình thị giác máy tính ở thời gian thực.
Với các bài toán đó, L4 cho hiệu năng trên mỗi watt rất tốt — cao hơn nhiều so với dùng card mạnh hơn nhưng chạy dưới tải.
Thế mạnh riêng: xử lý video
L4 có bộ mã hoá và giải mã video chuyên dụng tách rời khỏi phần tính toán. Điều này khiến nó đặc biệt hiệu quả cho phân tích video giám sát: một card giải mã hàng chục luồng camera đồng thời mà vẫn còn nguyên phần tính toán để chạy mô hình nhận diện.
Đây là lý do L4 xuất hiện nhiều trong các dự án camera thông minh hơn là trong các dự án mô hình ngôn ngữ.
Giới hạn cần biết
L4 không dùng để huấn luyện. Nó cũng không chạy được mô hình lớn hơn 24 GB. Nếu nhu cầu của bạn vượt hai ranh giới đó, hãy nhìn sang L40S hoặc các dòng cao hơn.
