Cấu hình theo tải thực tế
Chọn GPU, CPU, RAM và dung lượng lưu trữ theo đúng mô hình bạn chạy — huấn luyện, tinh chỉnh hay suy luận — thay vì mua thừa rồi để không.
Định nghĩa ngắn gọn
Máy chủ AI là máy chủ được thiết kế để chạy các phép tính của mô hình học máy, mà cốt lõi là phép nhân ma trận lặp đi lặp lại hàng tỷ lần. Máy chủ thông thường được thiết kế để chạy nhiều tác vụ khác nhau cùng lúc — phục vụ trang web, chạy cơ sở dữ liệu, cấp máy ảo.
Sự khác biệt về mục đích đó dẫn tới bốn khác biệt cụ thể về phần cứng.
Khác biệt thứ nhất: GPU thay vì CPU
CPU có vài chục nhân mạnh, mỗi nhân xử lý được nhiều loại việc phức tạp. GPU có hàng chục nghìn nhân đơn giản, mỗi nhân chỉ làm được phép tính cơ bản nhưng làm đồng thời.
Phép nhân ma trận chính là loại việc chia nhỏ được thành hàng chục nghìn phép cộng nhân độc lập. Vì vậy với cùng bài toán học máy, GPU nhanh hơn CPU hàng chục tới hàng trăm lần. Đây là lý do gốc rễ khiến máy chủ AI phải có GPU.
Khác biệt thứ hai: băng thông giữa các GPU
Khi mô hình lớn tới mức không vừa một GPU, nó phải trải trên nhiều GPU. Sau mỗi bước tính, các GPU phải trao đổi kết quả với nhau. Nếu đường truyền chậm, GPU dành phần lớn thời gian chờ nhau thay vì tính toán.
Máy chủ AI chuyên dụng dùng NVLink nối trực tiếp các GPU với băng thông cao gấp nhiều lần khe PCIe thông thường. Máy chủ thường không có phần này — và đó là lý do bạn không thể biến một máy chủ thường thành máy chủ AI chỉ bằng cách cắm thêm GPU.
Khác biệt thứ ba: điện và làm mát
Một máy chủ doanh nghiệp thông thường tiêu thụ 300–800W. Một máy chủ AI với tám GPU tiêu thụ 8.000–10.000W — gấp hơn mười lần.
Con số đó thay đổi mọi thứ: bộ nguồn phải nhiều và công suất lớn, hệ thống làm mát phải mạnh hơn hẳn, và quan trọng nhất là phòng máy phải cấp được công suất đó cho một vị trí rack. Rất nhiều dự án AI ở Việt Nam vướng ở đúng chỗ này chứ không phải ở việc mua thiết bị.
Khác biệt thứ tư: tầng lưu trữ
GPU tiêu thụ dữ liệu rất nhanh. Nếu dữ liệu huấn luyện nằm trên ổ đĩa quay hoặc phải kéo qua mạng chậm, GPU sẽ chạy ngắt quãng và bạn không dùng hết phần cứng đã trả tiền.
Máy chủ AI vì thế đi kèm ổ NVMe tốc độ cao ngay trên máy, và trong cụm nhiều node thì cần cả một tầng lưu trữ toàn flash với mạng tốc độ cao.
Khi nào bạn thật sự cần máy chủ AI
Câu trả lời thẳng thắn: ít hơn bạn nghĩ. Nếu công việc là chạy suy luận mô hình nhỏ cho vài chục người dùng, một máy chủ 2U thông thường lắp thêm một card GPU là đủ, và rẻ hơn nhiều lần.
Bạn cần máy chủ AI chuyên dụng khi huấn luyện mô hình từ đầu, khi tinh chỉnh mô hình rất lớn, hoặc khi phục vụ hàng nghìn người dùng đồng thời. Ba trường hợp đó có điểm chung: mô hình không vừa một GPU.
Ba mức đầu tư thường gặp
- Máy chủ thường có GPU — một tới ba card PCIe trong máy 2U. Đủ cho suy luận nội bộ, phân tích video, tinh chỉnh mô hình nhỏ.
- Máy chủ AI 4U — bốn tới tám GPU, nguồn lớn, làm mát mạnh. Cho tinh chỉnh mô hình cỡ vừa và phục vụ nhiều người dùng.
- Hệ thống HGX hoặc rack-scale — tám GPU nối NVLink trở lên. Cho huấn luyện mô hình lớn và nhà máy AI.
Chọn đúng mức là cách tiết kiệm lớn nhất trong toàn bộ dự án.
