Máy chủ đa dụng có chỗ cho GPU
Không phải hạ tầng AI nào cũng cần tám GPU. Rất nhiều doanh nghiệp bắt đầu bằng một hoặc hai GPU cho suy luận, đồng thời vẫn phải chạy cơ sở dữ liệu, ảo hoá và ứng dụng nội bộ trên cùng dàn máy. AS-2126HS-TN được thiết kế cho đúng vùng giữa đó: một máy chủ 2U hai socket bình thường về mọi mặt, nhưng có chỗ cho tới ba GPU double-width.
EPYC 9005 – nhiều lõi, nhiều làn PCIe
Nền tảng AMD EPYC 9004/9005 mang lại hai thứ mà tải trọng AI cần. Thứ nhất là số lõi: các mẫu cao cấp lên tới 128 hoặc 192 lõi mỗi socket, đủ để phần tiền xử lý dữ liệu không kìm chân GPU. Thứ hai là số làn PCIe 5.0 — dồi dào hơn hẳn nền tảng đối thủ cùng phân khúc, nghĩa là bạn lắp đủ GPU, card mạng và ổ NVMe mà không phải chia sẻ băng thông.
24 khe DIMM DDR5 6400 MT/s cho tối đa 6 TB. Với máy chủ ảo hoá kiêm suy luận, dung lượng này cho phép chạy hàng chục máy ảo song song với một GPU chia vGPU.
Hai lựa chọn khay ổ cứng
Bản 8 khay 2,5 inch phù hợp khi dữ liệu nằm trên hệ thống lưu trữ dùng chung và máy chủ chỉ cần ổ khởi động cùng vùng đệm. Bản 24 khay biến máy thành một node lưu trữ NVMe thực thụ — lựa chọn tốt khi bạn muốn giữ tập dữ liệu huấn luyện ngay tại chỗ để tránh nghẽn mạng trong mỗi epoch.
Ba GPU dùng vào việc gì
Ba GPU double-width là con số lẻ nhưng rất thực dụng. Cấu hình hay gặp: hai GPU cho suy luận sản xuất và một GPU dành cho đội phát triển thử nghiệm. Hoặc ba GPU L40S phục vụ ba nhóm mô hình khác nhau. Nếu bạn cần bốn GPU trở lên cho một tác vụ duy nhất, nên nhìn sang các dòng 4U chuyên GPU thay vì cố nhét vào khung 2U.
Vận hành
Hai bộ nguồn dự phòng 1+1 chuẩn Titanium hiệu suất 96%. Máy dùng khung CSE-HS201-R000NFP, làm mát bằng khí, lắp vừa mọi tủ rack tiêu chuẩn. Đây là loại máy chủ bạn đặt trong phòng server hiện có mà không phải suy nghĩ nhiều về hạ tầng.
