Cấu hình theo tải thực tế
Chọn GPU, CPU, RAM và dung lượng lưu trữ theo đúng mô hình bạn chạy — huấn luyện, tinh chỉnh hay suy luận — thay vì mua thừa rồi để không.
Chiều cao khung quyết định gần như mọi thứ
Khi lắp GPU vào máy chủ rack, chiều cao khung không chỉ là chuyện kích thước. Nó quyết định số card lắp được, loại card dùng được, công suất nguồn tối đa và cả khả năng làm mát.
Chọn sai khung ngay từ đầu là sai lầm khó sửa nhất, vì không nâng cấp được.
Khung 2U: cân bằng cho phần lớn nhu cầu
Máy 2U nhận được hai tới ba GPU double-width như L40S hoặc RTX PRO 6000. Với suy luận mô hình cỡ vừa, phân tích video hoặc ảo hoá đồ hoạ, đây là mức thừa đủ.
Ưu điểm lớn nhất là tính linh hoạt: cùng chiếc máy đó chạy được cả ảo hoá, cơ sở dữ liệu và AI. Nhiều doanh nghiệp mua máy 2U cho nhu cầu chung rồi lắp GPU khi phát sinh nhu cầu AI — cách tiếp cận ít rủi ro nhất.
Nhược điểm: luồng gió trong khung 2U hạn chế hơn, nên các card công suất rất cao có thể phải giảm xung dưới tải kéo dài.
Khung 4U: cho khi GPU là mục đích chính
Máy 4U nhận được bốn tới tám GPU, có không gian cho tản nhiệt lớn và luồng gió tốt hơn hẳn. Nguồn cũng lắp được nhiều bộ công suất lớn hơn.
Đây là khung cho các bài toán mà GPU là lý do tồn tại của chiếc máy: tinh chỉnh mô hình, phục vụ suy luận quy mô lớn, cụm render.
Đánh đổi: chiếm gấp đôi chỗ trong tủ rack, và nếu bạn chỉ lắp hai GPU thì phần lớn không gian bỏ phí.
Phép tính chi phí thuê chỗ đặt
Trung tâm dữ liệu tính tiền theo vị trí rack và theo kilowatt. Một máy 4U với tám GPU chiếm 4U và khoảng 6 kW. Bốn máy 2U với tổng tám GPU chiếm 8U và cũng khoảng 6 kW.
Về điện thì tương đương, nhưng về chỗ thì máy 4U tiết kiệm một nửa. Ngược lại, bốn máy 2U cho khả năng chịu lỗi tốt hơn — hỏng một máy chỉ mất một phần tư công suất.
Gợi ý theo bài toán
- Suy luận nội bộ dưới 100 người dùng: một máy 2U với 2 GPU L40S.
- Phân tích video nhiều camera: máy 2U với 2 GPU L4 hoặc L40S, kèm ổ NVMe cho video nóng.
- Tinh chỉnh mô hình: máy 4U với 4 GPU bộ nhớ lớn.
- Dựng hình và render: máy 4U với 4–8 GPU có nhân đồ hoạ.
- Huấn luyện mô hình lớn: vượt khỏi phạm vi này — cần máy HGX 8 GPU nối NVLink.
Ba việc phải chốt cùng lúc với việc chọn khung
- Công suất nguồn. Đặt dư ngay từ đầu; thay nguồn sau là phải tắt máy và mua lại cả cặp.
- Bộ riser PCIe. Phải đúng loại cho card double-width, và đây là phụ kiện khó bổ sung sau.
- Loại card. Card thụ động cho máy chủ rack, card có quạt cho máy tower. Lắp nhầm thì card quá nhiệt.
