SXM không phải card cắm khe PCIe
Đây là điểm nhiều người nhầm khi lần đầu mua GPU cho AI. B200 SXM không phải một tấm card bạn cắm vào khe PCIe của máy chủ có sẵn. Nó là mô-đun hàn trên một bo mạch HGX gồm tám GPU, và bo mạch đó là một phần của máy chủ chuyên dụng như Supermicro SYS-A22GA-NBRT.
Nghĩa là bạn không mua một con B200 — bạn mua một máy chủ HGX 8 GPU. Điều này quan trọng khi lập ngân sách.
Vì sao SXM tồn tại song song với bản PCIe
Hai lý do kỹ thuật. Thứ nhất là điện: mô-đun SXM nhận tới 1000W mỗi GPU, vượt xa giới hạn 600W của khe PCIe. Nhiều điện hơn nghĩa là xung nhịp cao hơn và hiệu năng thực tế cao hơn đáng kể.
Thứ hai là băng thông giữa các GPU. Bản PCIe trao đổi dữ liệu qua khe cắm; bản SXM nối trực tiếp bằng NVLink qua chip NVSwitch, cho băng thông cao hơn nhiều lần. Với huấn luyện mô hình trải trên nhiều GPU, đây là yếu tố quyết định.
180 GB HBM3e dùng vào việc gì
Tám GPU B200 cho tổng 1,4 TB bộ nhớ trong một máy. Con số này đủ để huấn luyện toàn phần mô hình vài chục tỷ tham số, hoặc tinh chỉnh mô hình hàng trăm tỷ tham số mà không phải chia sang máy thứ hai — bước nhảy lớn so với thế hệ H100 80 GB.
Điều kiện lắp đặt
Một máy HGX 8 GPU B200 tiêu thụ khoảng 10 kW và cần luồng gió rất mạnh hoặc làm mát chất lỏng. Trước khi bàn tới giá GPU, hãy kiểm tra phòng máy có cấp được công suất đó cho một vị trí rack hay không.
