Giá trị lớn nhất của H100 là hệ sinh thái
Về thông số, H100 đã bị H200 và B200 vượt qua. Nhưng nó vẫn là GPU được triển khai nhiều nhất trong các hệ thống AI đang chạy sản xuất, và điều đó mang lại một lợi thế khó đo bằng con số: mọi thư viện, mọi hướng dẫn tối ưu, mọi bài viết khắc phục sự cố trong ba năm qua đều viết cho H100.
Khi hệ thống gặp vấn đề lúc nửa đêm, khác biệt giữa "có người từng gặp và đã viết cách xử lý" với "bạn là người đầu tiên" là rất lớn.
Transformer Engine và định dạng FP8
H100 là thế hệ đầu có Transformer Engine — phần cứng tự động chọn giữa FP8 và FP16 cho từng lớp của mô hình. Với các mô hình dựa trên kiến trúc Transformer, tính năng này cho tốc độ cao hơn đáng kể so với thế hệ A100 mà không phải sửa mã.
Bản PCIe và bản SXM5 khác nhau thật sự
Nhiều người tưởng hai bản chỉ khác hình dạng. Thực tế bản PCIe chạy ở 350W còn bản SXM5 ở 700W — gấp đôi. Chênh lệch điện năng đó chuyển thành chênh lệch hiệu năng khoảng 20–30% tuỳ tải trọng.
Bản PCIe lắp được vào máy chủ 2U hay 4U thông thường và là lựa chọn hợp lý khi bạn cần một tới bốn GPU. Bản SXM5 chỉ có trong máy HGX 8 GPU.
Khi nào nên chọn H100 thay vì H200
Chọn H100 khi công việc chính là huấn luyện hoặc tinh chỉnh mô hình cỡ vừa, khi ngân sách đầu tư là ràng buộc chính, hoặc khi bạn muốn mở rộng một cụm H100 sẵn có cho đồng nhất. Chọn H200 khi suy luận là chính và số người dùng đồng thời quyết định hiệu quả đầu tư.
