Cấu hình được triển khai nhiều nhất trong hai năm qua
Nếu có một mẫu máy chủ AI được lắp đặt nhiều nhất trong các dự án huấn luyện mô hình từ 2023 tới nay, đó là dòng HGX 8 GPU H100. SYS-821GE-TNHR là phiên bản Supermicro của cấu hình đó, dùng khung CSE-GP801TS 8U với hai socket Intel Xeon Scalable thế hệ 4 hoặc 5.
Giá trị lớn nhất của máy này không nằm ở thông số mà ở mức độ chín của hệ sinh thái. Mọi framework, mọi hướng dẫn tối ưu, mọi bài viết khắc phục sự cố về máy chủ AI trong hai năm qua đều viết cho nền tảng này. Khi có vấn đề lúc hai giờ sáng, đó là khác biệt rất thực.
Chọn H100 hay H200
Hai GPU dùng chung kiến trúc Hopper, khác nhau ở bộ nhớ. H100 SXM có 80 GB HBM3, H200 có 141 GB HBM3e với băng thông cao hơn khoảng 1,4 lần. Với huấn luyện, chênh lệch này cho phép batch size lớn hơn hoặc mô hình dài ngữ cảnh hơn mà không phải dùng kỹ thuật chia trạng thái. Với suy luận, bộ nhớ lớn hơn nghĩa là phục vụ được nhiều phiên đồng thời hơn trên cùng một máy — thường là yếu tố quyết định chi phí trên mỗi lượt truy vấn.
Nguyên tắc thực dụng: nếu bạn suy luận là chính, chọn H200. Nếu huấn luyện mô hình cỡ vừa và muốn tối ưu chi phí đầu tư, H100 vẫn rất hợp lý.
Bộ nhớ và lưu trữ dồi dào
32 khe DIMM DDR5 5600 MT/s cho dung lượng tối đa 8 TB — cao hơn hẳn nhiều máy chủ HGX khác. Điều này quan trọng với các đường ống huấn luyện cần giữ toàn bộ tập dữ liệu đã tiền xử lý trong RAM. Phần lưu trữ gồm hai khe M.2 NVMe cho hệ điều hành, 16 khay NVMe 2,5 inch tháo lắp nóng cho dữ liệu nóng và 3 khay SATA cho các nhu cầu phụ.
Mạng và mở rộng
Tám khe PCIe Gen 5.0 x16 low-profile cùng bốn khe FHHL. Cấu hình phổ biến là mỗi GPU một card InfiniBand NDR 400 Gb/s để ghép cụm, phần khe còn lại dành cho card lưu trữ hoặc mạng quản trị. Nếu bạn chỉ chạy một máy đơn lẻ, phần lớn khe này sẽ trống — nhưng khi mở rộng lên nhiều node thì đây chính là thứ khiến máy có ghép cụm được hay không.
Chuẩn bị lắp đặt
Tám bộ nguồn 3000W cấu hình 4+4 (hoặc 6 bộ 4+2 tuỳ đơn hàng) chuẩn Titanium. Dự trù khoảng 8 kW điện cho một máy khi đầy tải, và kiểm tra tủ rack chịu được chiều cao 8U cùng trọng lượng của một máy chủ HGX đầy đủ.
