Cấu hình theo tải thực tế
Chọn GPU, CPU, RAM và dung lượng lưu trữ theo đúng mô hình bạn chạy — huấn luyện, tinh chỉnh hay suy luận — thay vì mua thừa rồi để không.
Bắt đầu từ mô hình, không từ phần cứng
Câu hỏi đầu tiên không phải "mua GPU nào" mà là "chạy mô hình gì, cho bao nhiêu người, với thời gian phản hồi bao nhiêu". Ba con số đó quyết định toàn bộ cấu hình.
Chúng tôi gặp nhiều trường hợp doanh nghiệp mua máy chủ tám GPU rồi chỉ dùng một card, vì bài toán thực tế nhỏ hơn nhiều so với lúc lập kế hoạch.
Bước 1: tính bộ nhớ GPU cần thiết
Với suy luận: trọng số mô hình chiếm khoảng 0,5 GB cho mỗi tỷ tham số ở dạng lượng tử hoá 4-bit, hoặc 2 GB ở FP16. Cộng thêm bộ nhớ đệm cho các phiên đang hoạt động.
Với tinh chỉnh LoRA: khoảng gấp rưỡi mức suy luận.
Với huấn luyện toàn phần: khoảng 16 GB cho mỗi tỷ tham số.
Ba công thức trên cho ước lượng đủ tốt để chọn card. Sau đó mới xét tới tốc độ.
Bước 2: chọn GPU theo bộ nhớ trước, tốc độ sau
Nguyên tắc quan trọng nhất: mô hình không vừa bộ nhớ GPU thì không chạy được, hoặc chạy chậm hàng chục lần. Một card 48 GB chậm hơn 20% nhưng chứa được mô hình vẫn tốt hơn card 24 GB nhanh hơn nhưng không chứa nổi.
Chỉ khi bộ nhớ đã đủ mới so tiếp về băng thông và sức mạnh tính toán.
Bước 3: cân đối CPU và RAM
Đây là chỗ nhiều cấu hình mất cân đối. GPU cần dữ liệu được nạp và tiền xử lý liên tục, và việc đó chạy trên CPU. Cấu hình 8 GPU với một CPU yếu sẽ khiến GPU chạy ngắt quãng.
Tỷ lệ tham khảo: khoảng 4–8 nhân CPU cho mỗi GPU, và RAM hệ thống ít nhất gấp đôi tổng bộ nhớ GPU. Máy 8 GPU với 640 GB bộ nhớ GPU nên có từ 1 TB RAM.
Bước 4: tầng lưu trữ
Tập dữ liệu đang huấn luyện phải nằm trên NVMe cục bộ. Nếu phải kéo qua mạng chậm, GPU sẽ đói. Dữ liệu gốc và các bản lưu mô hình có thể nằm trên tầng chậm hơn.
Với cụm nhiều node, đây là lúc cần tính tới một node lưu trữ toàn flash và mạng tốc độ cao.
Bước 5: điện và làm mát
Tính công suất thực tế, không lấy con số danh định. Một máy 8 GPU cần khoảng 8–10 kW. Kiểm tra vị trí rack có cấp được không, phòng có thoát được nhiệt không, và sàn có chịu được tải không.
Đây là phần quyết định tiến độ dự án nhiều hơn cả thời gian chờ giao hàng.
Bước 6: nghiệm thu bằng bài toán thật
Đừng nghiệm thu bằng cách nhìn thông số. Hãy chạy chính bài toán bạn định dùng và đo ba thứ: mức sử dụng GPU, nhiệt độ dưới tải kéo dài, và thời gian hoàn thành. Nếu GPU không đạt gần 100% mức sử dụng, cấu hình đang mất cân đối ở đâu đó.
Bốn chỗ hay tiêu tiền vô ích
- Mua GPU đầu bảng cho bài toán suy luận nhỏ. Card tầm trung thường cho chi phí trên mỗi truy vấn tốt hơn nhiều.
- Mua nhiều GPU nhưng thiếu RAM và CPU. Kết quả là GPU chạy dưới công suất.
- Bỏ qua mạng. Cấu hình cơ sở thường chỉ có cổng 1GbE, hoàn toàn không đủ.
- Mua cụm khi một máy là đủ. Vận hành cụm phức tạp hơn nhiều và chỉ đáng khi thật sự cần.
