Danh mục đúng mã hàng
Sản phẩm được quản lý theo đúng model và Part Number của hãng, gồm cả hậu tố về cấu hình GPU, số socket, loại nguồn và khay ổ cứng. Điều này giúp tránh nhầm cấu hình khi đặt hàng và khi bảo hành.
Suy luận là bài toán kinh tế, không phải bài toán hiệu năng
Huấn luyện là khoản đầu tư một lần. Suy luận là chi phí chạy hằng ngày, kéo dài suốt vòng đời sản phẩm. Vì vậy câu hỏi đúng khi thiết kế hạ tầng suy luận không phải "GPU nào mạnh nhất" mà là "chi phí cho mỗi nghìn lượt truy vấn là bao nhiêu".
Sự khác biệt này dẫn tới những lựa chọn phần cứng hoàn toàn khác với huấn luyện.
Bộ nhớ GPU quyết định số người dùng phục vụ được
Khi phục vụ một mô hình, bộ nhớ GPU chia làm hai phần: trọng số mô hình, và bộ nhớ đệm KV cho từng phiên đang hoạt động. Trọng số cố định; bộ nhớ đệm KV tăng tuyến tính theo số phiên và độ dài ngữ cảnh.
Ví dụ cụ thể: mô hình 70 tỷ tham số lượng tử hoá 4-bit chiếm khoảng 35 GB. Trên GPU 80 GB, bạn còn 45 GB cho bộ nhớ đệm KV — đủ cho vài chục phiên ngữ cảnh vừa. Trên GPU 141 GB, phần dôi ra hơn gấp đôi, nghĩa là phục vụ được gấp đôi số người dùng trên cùng một máy.
Đây là lý do với suy luận, bộ nhớ GPU thường quan trọng hơn sức mạnh tính toán.
Nhiều GPU nhỏ hay ít GPU lớn
Có hai chiến lược, và lựa chọn phụ thuộc vào mô hình bạn chạy:
- Nhiều GPU nhỏ (L4 24GB, L40S 48GB): mỗi GPU chạy một bản sao mô hình độc lập. Đơn giản, dễ mở rộng, chịu lỗi tốt vì hỏng một GPU chỉ mất một phần công suất. Phù hợp khi mô hình vừa với một GPU.
- Ít GPU lớn (H200, B200 nối NVLink): mô hình trải trên nhiều GPU. Bắt buộc khi mô hình không vừa một GPU, nhưng phức tạp hơn và một GPU hỏng là cả nhóm dừng.
Nguyên tắc thực dụng: nếu mô hình vừa một GPU, hãy chọn nhiều GPU nhỏ.
Lượng tử hoá – công cụ tiết kiệm mạnh nhất
Chuyển mô hình từ FP16 xuống INT8 giảm một nửa bộ nhớ; xuống FP4 hoặc INT4 giảm bốn lần. Với phần lớn ứng dụng thực tế, chất lượng đầu ra gần như không đổi ở mức INT8, và giảm nhẹ ở mức 4-bit.
Điều này có nghĩa: một mô hình cần 4 GPU ở FP16 có thể chạy trên 1 GPU ở 4-bit. Trước khi mua thêm phần cứng, hãy thử lượng tử hoá — đây là khoản tiết kiệm lớn nhất mà không tốn gì.
Phần mềm phục vụ mô hình
Chọn đúng phần mềm phục vụ tạo khác biệt hai tới ba lần về thông lượng trên cùng phần cứng. Các lựa chọn phổ biến gồm NVIDIA Triton Inference Server và TensorRT-LLM cho hiệu năng cao nhất trên GPU NVIDIA, hoặc vLLM với cơ chế PagedAttention giúp dùng bộ nhớ đệm KV hiệu quả hơn nhiều so với cách phục vụ thông thường.
Kiến trúc triển khai gợi ý
- Quy mô phòng ban (dưới 50 người dùng): một máy chủ 2U với 2 GPU L40S. Đơn giản, đặt được trong phòng máy hiện có.
- Quy mô doanh nghiệp (vài trăm người dùng): 2–4 máy chủ mỗi máy 4 GPU, có bộ cân bằng tải phía trước để chịu lỗi.
- Quy mô dịch vụ (hàng nghìn người dùng): cụm HGX 8 GPU với tự động mở rộng, tách riêng tầng lưu trữ và tầng phục vụ.
Các câu hỏi thường gặp
Phụ thuộc mô hình và độ dài ngữ cảnh. Ước lượng thực tế: mô hình 7 tỷ tham số lượng tử hoá trên GPU L40S 48GB phục vụ được khoảng 30–50 phiên đồng thời với ngữ cảnh trung bình. Mô hình 70 tỷ tham số trên GPU 141GB phục vụ khoảng 20–30 phiên.
Ở mức INT8 gần như không nhận ra khác biệt. Ở mức 4-bit có giảm nhẹ, thường không đáng kể với các tác vụ hỏi đáp, tóm tắt và phân loại. Nên chạy thử trên chính dữ liệu của bạn trước khi quyết định.
L40S 48GB rẻ hơn nhiều và đủ cho mô hình tới 70 tỷ tham số ở dạng lượng tử hoá. H200 141GB đáng chọn khi bạn cần ngữ cảnh rất dài, nhiều phiên đồng thời, hoặc chạy mô hình lớn không lượng tử hoá. Hãy tính theo chi phí trên mỗi nghìn truy vấn, không theo giá máy.
Nên có. Đội phát triển dùng chung GPU sản xuất sẽ gây dao động độ trễ cho người dùng thật. Một máy nhỏ như NVIDIA DGX Spark hoặc một máy chủ 1U lắp card L4 là đủ cho việc thử nghiệm.
