Danh mục đúng mã hàng
Sản phẩm được quản lý theo đúng model và Part Number của hãng, gồm cả hậu tố về cấu hình GPU, số socket, loại nguồn và khay ổ cứng. Điều này giúp tránh nhầm cấu hình khi đặt hàng và khi bảo hành.
Bài toán riêng của môi trường giáo dục
Khác doanh nghiệp, trường đại học và viện nghiên cứu có ba ràng buộc đặc thù. Ngân sách thường là đầu tư một lần theo dự án, không phải chi phí vận hành hằng tháng. Người dùng rất đông và trình độ khác nhau, từ sinh viên năm nhất tới nghiên cứu sinh. Và tải trọng dao động mạnh — cao điểm vào kỳ đồ án, nhàn rỗi vào kỳ nghỉ.
Ba điều đó dẫn tới những lựa chọn kỹ thuật khác hẳn hạ tầng doanh nghiệp.
Chia GPU là chìa khoá
Một sinh viên làm bài tập không cần cả một GPU. Công nghệ MIG của NVIDIA cắt một GPU thành tối đa bảy phiên bản độc lập ở mức phần cứng, mỗi phiên bản có bộ nhớ và luồng tính toán riêng biệt.
Nghĩa là một máy chủ 8 GPU phục vụ được tới 56 phiên làm việc song song mà không ai ảnh hưởng tới ai. Với lớp học 50 sinh viên, một máy là đủ.
Với các bài toán nhẹ hơn, ảo hoá GPU dạng vGPU còn chia được mịn hơn nữa.
Quản lý hạn mức và hàng đợi
Không có cơ chế quản lý, một nghiên cứu sinh chạy bài huấn luyện dài sẽ chiếm hết tài nguyên và cả lớp phải chờ. Hệ điều phối tác vụ giải quyết việc này: mỗi nhóm người dùng có hạn mức riêng, bài toán xếp hàng theo mức ưu tiên, và có thống kê ai dùng bao nhiêu.
Chúng tôi triển khai kèm bộ điều phối và cấu hình hạn mức theo cơ cấu khoa hoặc nhóm nghiên cứu, để hệ thống vận hành công bằng mà không cần can thiệp thủ công.
Cấu hình gợi ý theo quy mô
- Một bộ môn: máy chủ 2U với 2–4 GPU L40S, chia MIG cho 20–30 sinh viên đồng thời.
- Một khoa: máy chủ 4U hoặc 2 máy 2U, tổng 8 GPU, có tầng lưu trữ dùng chung cho tập dữ liệu.
- Trung tâm tính toán của trường: cụm nhiều node có mạng InfiniBand, phục vụ cả giảng dạy lẫn nghiên cứu.
Tận dụng ngân sách đầu tư một lần
Vì ngân sách thường là một lần, hãy ưu tiên những thứ khó bổ sung về sau: khung máy có chỗ mở rộng GPU, bộ nguồn công suất lớn, và mạng. Những thứ dễ nâng cấp như RAM và ổ cứng có thể mua vừa đủ trước rồi bổ sung sau bằng ngân sách thường xuyên.
Chúng tôi thường đề xuất cấu hình có khoảng dư ở nguồn và khe cắm, ngay cả khi chưa lắp đầy — đó là phần khó xin ngân sách lần hai.
Đào tạo đi kèm
Bàn giao máy chạy được là chưa đủ nếu giảng viên và sinh viên chưa biết dùng. Chúng tôi bàn giao kèm môi trường mẫu, tài liệu hướng dẫn bằng tiếng Việt và buổi hướng dẫn cho đội quản trị.
Các câu hỏi thường gặp
Với công nghệ MIG chia mỗi GPU thành tối đa 7 phiên bản, một máy 8 GPU phục vụ tới 56 phiên làm việc song song. Với lớp 50 sinh viên làm bài tập, một máy là đủ.
Không, vì mỗi phiên bản có bộ nhớ và luồng tính toán riêng biệt ở mức phần cứng. Sinh viên này chạy nặng cũng không ảnh hưởng sinh viên khác. Đây là khác biệt lớn so với chia sẻ GPU bằng phần mềm.
Bằng hệ điều phối tác vụ với hạn mức theo nhóm người dùng và hàng đợi theo mức ưu tiên. Chúng tôi cấu hình sẵn theo cơ cấu khoa hoặc nhóm nghiên cứu khi bàn giao.
Ưu tiên những thứ khó bổ sung sau: khung máy có chỗ mở rộng, nguồn công suất lớn, và mạng. RAM với ổ cứng dễ nâng cấp dần bằng ngân sách thường xuyên.
