Cấu hình theo tải thực tế
Chọn GPU, CPU, RAM và dung lượng lưu trữ theo đúng mô hình bạn chạy — huấn luyện, tinh chỉnh hay suy luận — thay vì mua thừa rồi để không.
Thứ tự cài đặt quan trọng hơn bạn nghĩ
Phần lớn sự cố khi dựng máy chủ AI đến từ việc cài sai thứ tự hoặc trộn nhiều nguồn cài đặt. Trình tự đúng là: hệ điều hành, rồi driver NVIDIA, rồi container runtime, cuối cùng mới tới các framework.
Đặc biệt, đừng cài CUDA trực tiếp lên hệ điều hành nếu bạn định dùng container — container đã mang sẵn phiên bản CUDA riêng, và cài trùng chỉ gây xung đột.
Bước 1: chọn hệ điều hành
Ubuntu Server LTS và Rocky Linux là hai lựa chọn phổ biến nhất, đều được NVIDIA hỗ trợ chính thức. Ubuntu có cộng đồng lớn hơn và tài liệu nhiều hơn; Rocky gần với môi trường doanh nghiệp truyền thống hơn.
Điều quan trọng là chọn bản LTS hoặc bản có hỗ trợ dài hạn, vì driver GPU chỉ được kiểm thử với các nhân hệ điều hành nhất định.
Bước 2: cài driver NVIDIA
Cài từ kho phần mềm chính thức của NVIDIA thay vì kho mặc định của bản phân phối, để có phiên bản mới và được hỗ trợ.
Sau khi cài xong và khởi động lại, chạy lệnh nvidia-smi. Lệnh này phải liệt kê đầy đủ số GPU trong máy kèm nhiệt độ và mức tiêu thụ điện. Nếu thiếu GPU nào, vấn đề nằm ở phần cứng hoặc BIOS chứ không phải phần mềm — hãy kiểm tra card đã cắm chặt và nguồn phụ đã cắm đủ.
Bước 3: container runtime
Cài Docker hoặc Podman, rồi cài NVIDIA Container Toolkit. Bộ công cụ này cho phép container nhìn thấy và dùng GPU của máy chủ.
Kiểm tra bằng cách chạy một container thử có gọi nvidia-smi bên trong. Nếu container thấy đủ GPU, phần nền tảng đã xong.
Bước 4: dùng container dựng sẵn
NVIDIA cung cấp kho container NGC với các bản PyTorch, TensorFlow, Triton đã được tối ưu và kiểm thử sẵn. Dùng chúng thay vì tự cài từ đầu tiết kiệm rất nhiều thời gian và tránh được các vấn đề tương thích phiên bản.
Mỗi container ghi rõ phiên bản CUDA và driver tối thiểu cần có — hãy đối chiếu với driver đã cài trên máy chủ.
Kiểm tra máy chạy đúng công suất
Cài xong chưa có nghĩa là chạy đúng. Hãy chạy một bài kiểm thử thực tế và theo dõi bằng nvidia-smi trong lúc chạy. Ba điều cần thấy:
- Mức sử dụng GPU gần 100%. Nếu thấp và dao động, GPU đang chờ dữ liệu — vấn đề nằm ở CPU hoặc ổ đĩa, không phải GPU.
- Nhiệt độ ổn định. Nếu tăng dần rồi hiệu năng tụt, máy đang bị giảm xung vì nóng.
- Mức tiêu thụ điện gần mức danh định. Nếu thấp hơn nhiều, GPU chưa chạy hết công suất.
Ba lỗi hay gặp
- Cài trộn driver từ nhiều nguồn. Gỡ sạch rồi cài lại từ một nguồn duy nhất.
- Nhân hệ điều hành cập nhật làm hỏng driver. Dùng cơ chế biên dịch lại module tự động, hoặc khoá phiên bản nhân.
- Secure Boot chặn driver. Hoặc tắt trong BIOS, hoặc ký module driver.
