Cấu hình theo tải thực tế
Chọn GPU, CPU, RAM và dung lượng lưu trữ theo đúng mô hình bạn chạy — huấn luyện, tinh chỉnh hay suy luận — thay vì mua thừa rồi để không.
Vì sao TFLOPS gây hiểu nhầm
Con số TFLOPS quảng cáo là hiệu năng lý thuyết trong điều kiện lý tưởng, thường đo ở độ chính xác thấp nhất mà GPU hỗ trợ và có tính cả kỹ thuật nén ma trận thưa.
Trong thực tế, rất hiếm khi bạn đạt được con số đó. Một GPU quảng cáo hàng nghìn TFLOPS ở FP4 có thể chỉ đạt vài chục TFLOPS ở FP64 — chênh nhau hàng trăm lần tuỳ loại bài toán.
So sánh GPU bằng TFLOPS cũng giống so sánh xe bằng vòng tua máy tối đa.
Tiêu chí 1: dung lượng bộ nhớ
Quan trọng nhất, và là tiêu chí duy nhất có tính chất tuyệt đối: mô hình không vừa bộ nhớ GPU thì không chạy được, chấm hết. Không có chuyện chạy chậm hơn — nó báo lỗi hoặc tràn sang RAM hệ thống với tốc độ chậm hàng chục lần.
Vì vậy trình tự chọn GPU luôn là: tính bộ nhớ cần thiết trước, lọc ra các card đủ bộ nhớ, rồi mới so tiếp các tiêu chí khác.
Tiêu chí 2: băng thông bộ nhớ
Đây là tiêu chí bị đánh giá thấp nhất. Khi sinh từng token, GPU phải đọc toàn bộ trọng số mô hình cho mỗi token. Tốc độ sinh token vì thế bị giới hạn bởi băng thông bộ nhớ chứ không phải sức mạnh tính toán.
Đây là lý do các GPU dùng bộ nhớ HBM có băng thông hàng nghìn GB/s nhanh hơn hẳn card dùng GDDR ở tác vụ suy luận, dù chênh lệch TFLOPS không lớn tương ứng.
Tiêu chí 3: băng thông giữa các GPU
Chỉ quan trọng khi bạn dùng nhiều GPU cho một mô hình. Nếu mô hình trải trên tám GPU, sau mỗi bước tính chúng phải trao đổi dữ liệu. Với đường truyền chậm, phần lớn thời gian trôi vào chờ.
Card nối bằng NVLink trao đổi nhanh hơn nhiều lần so với card chỉ nối qua khe PCIe. Nếu bài toán của bạn chỉ dùng một GPU, tiêu chí này không liên quan.
Tiêu chí 4: điện năng và hình dáng
Tiêu chí thực dụng nhất và hay bị bỏ qua tới lúc lắp đặt. Card 700W không lắp được vào máy chủ có nguồn 800W đang chạy sẵn nhiều thứ khác. Card double-width không vào được khung 1U. Card thụ động không hoạt động trong máy trạm không có luồng gió cưỡng bức.
Hãy kiểm tra ba thứ này với chính chiếc máy chủ của bạn trước khi chốt đơn.
Bảng chọn theo công việc
| Công việc | GPU gợi ý | Lý do |
|---|---|---|
| Phân tích video, mô hình nhỏ | NVIDIA L4 | 72W, low-profile, có bộ giải mã video |
| Suy luận mô hình vừa, đa dụng | NVIDIA L40S | 48GB, PCIe tiêu chuẩn, lắp máy 2U |
| Máy trạm AI và đồ hoạ | RTX 6000 Ada | 48GB ECC, có quạt, đặt bàn làm việc |
| Suy luận mô hình lớn, nhiều người dùng | NVIDIA H200 | 141GB HBM3e, băng thông 4,8 TB/s |
| Huấn luyện mô hình lớn | HGX 8 GPU H200 hoặc B200 | NVLink, bộ nhớ tổng lớn |
Một câu hỏi giúp tránh mua sai
Trước khi chốt GPU, hãy trả lời: mô hình cụ thể nào sẽ chạy trên card này, và nó chiếm bao nhiêu bộ nhớ? Nếu không trả lời được, khả năng cao là bạn đang chọn theo thông số chứ không theo nhu cầu — và đó là cách nhanh nhất để mua thừa hoặc mua thiếu.
