GPU dễ triển khai nhất trong danh mục
L40S là card chúng tôi giới thiệu nhiều nhất cho doanh nghiệp bắt đầu với AI. Lý do đơn giản: nó là card PCIe tiêu chuẩn ở mức 350W, lắp vừa máy chủ 2U mà bạn có thể đã có sẵn, không cần bo HGX, không cần làm mát chất lỏng, không cần cải tạo phòng máy.
48 GB đủ cho phần lớn nhu cầu thực tế
Bốn mươi tám gigabyte GDDR6 có ECC cho phép chạy mô hình tới khoảng 70 tỷ tham số ở dạng lượng tử hoá 4-bit, hoặc mô hình 13 tỷ tham số ở độ chính xác đầy đủ. Với đại đa số ứng dụng doanh nghiệp — trợ lý nội bộ, tìm kiếm ngữ nghĩa, phân loại tài liệu, tóm tắt — con số này là thừa đủ.
Một card làm được ba việc
Điểm khiến L40S khác các GPU chuyên AI: nó vẫn giữ đầy đủ nhân đồ hoạ và bộ mã hoá video. Cùng một card có thể chạy suy luận AI ban ngày, dựng hình ban đêm, và chia vGPU cho phòng thiết kế. Với doanh nghiệp có nhiều nhu cầu nhưng ngân sách cho một card, đây là lợi thế thật.
Card cũng có bộ mã hoá và giải mã video chuyên dụng, nên rất hợp cho phân tích video giám sát quy mô lớn.
Nhiều L40S hay một GPU lớn
Với suy luận, bốn card L40S trên bốn máy thường tốt hơn một GPU lớn: mỗi card chạy một bản sao mô hình độc lập, hỏng một card chỉ mất một phần công suất, và mở rộng bằng cách thêm card. Chỉ khi mô hình không vừa 48 GB thì mới cần GPU bộ nhớ lớn hơn.
