Máy chủ AI nhỏ nhất trong danh mục
R6615 8x2.5 inch là điểm vào rẻ nhất để có một máy chủ thật sự chạy được AI. Nó đi kèm sẵn GPU NVIDIA A2: 16 GB bộ nhớ, chỉ 60W, dạng low-profile single-width nên vừa khung 1U. Không cần cải tạo phòng máy, không cần nguồn công suất lớn.
A2 không phải GPU để huấn luyện. Vai trò của nó là suy luận: chạy mô hình thị giác máy tính, phân tích video, mô hình ngôn ngữ nhỏ, hoặc tăng tốc giải mã video. Với những việc đó, 16 GB và mức điện 60W là tỷ lệ rất hợp lý.
Một socket EPYC nhưng 32 nhân
AMD EPYC 9334 cho 32 nhân 64 luồng ở xung 2,7 GHz với 128 MB bộ đệm — tất cả trong một socket. Đây là ưu thế đặc trưng của nền tảng EPYC: bạn đạt số nhân của một máy chủ hai socket Intel mà chỉ dùng một CPU.
Lợi ích kéo theo rất thực tế: không có vấn đề NUMA giữa hai CPU, tiết kiệm bản quyền phần mềm tính theo socket, và điện năng thấp hơn.
Nhiều làn PCIe – thứ Intel khó bì
Nền tảng EPYC cung cấp số làn PCIe 5.0 rất lớn trên mỗi socket. Trong khung 1U chật chội, điều này nghĩa là GPU, card mạng 25GbE và các ổ NVMe đều có đủ băng thông riêng thay vì phải chia sẻ.
Điểm phải sửa khi đặt hàng
Cấu hình gốc chỉ có một bộ nguồn 800W, không dự phòng. Với máy có GPU và chạy dịch vụ, hãy bổ sung bộ nguồn thứ hai. Đây là hạng mục duy nhất chúng tôi luôn khuyên thay đổi ở cấu hình này.
Ai nên chọn
Doanh nghiệp muốn thử nghiệm AI mà chưa sẵn sàng đầu tư máy chủ GPU chuyên dụng, hệ thống camera giám sát cần phân tích tự động, phòng lab cần một node suy luận, hoặc chi nhánh cần xử lý dữ liệu tại chỗ thay vì gửi lên trung tâm.
