Đưa mô hình lớn về bàn làm việc
Vấn đề của kỹ sư AI không phải lúc nào cũng là thiếu sức mạnh tính toán. Thường là thiếu quyền truy cập: cụm GPU của công ty luôn kín lịch, mà chỉ để thử một ý tưởng nhỏ cũng phải xếp hàng. DGX Spark giải quyết đúng chỗ đó — một chiếc máy đặt vừa trên bàn, cắm ổ điện dân dụng, nhưng đủ sức nạp và chạy mô hình mà máy trạm thông thường không kham nổi.
Bộ nhớ hợp nhất – điểm khác biệt then chốt
Card đồ hoạ để bàn mạnh nhất hiện nay có 32 GB bộ nhớ. DGX Spark có 128 GB bộ nhớ hợp nhất LPDDR5x mà CPU và GPU dùng chung, không phải chép qua lại. Theo NVIDIA, con số đó đủ để nạp và chạy suy luận mô hình tới 200 tỷ tham số, đồng thời tinh chỉnh được mô hình tới 70 tỷ tham số — việc mà trước đây bắt buộc phải lên máy chủ. Ghép bốn máy qua card ConnectX thì chạy được mô hình tới 700 tỷ tham số.
Với người phát triển, khác biệt nằm ở vòng lặp làm việc: thử prompt, đổi tham số, xem kết quả, tất cả trên máy của mình, không phải đẩy job lên hàng đợi rồi chờ.
Cùng ngăn xếp phần mềm với hệ thống lớn
Điểm hữu ích nhất về mặt kỹ thuật là DGX Spark chạy cùng ngăn xếp phần mềm với DGX và HGX: cùng CUDA, cùng container NGC, cùng NVIDIA AI Enterprise. Mã chạy được trên Spark sẽ chạy trên cụm lớn mà gần như không phải sửa. Đây là môi trường phát triển đúng nghĩa cho hạ tầng sản xuất, không phải một sản phẩm tiêu dùng có gắn nhãn AI.
Ai nên mua
- Đội phát triển AI cần máy riêng để thử nghiệm mà không tranh chấp cụm GPU chung.
- Trường đại học và phòng lab muốn trang bị nhiều máy cho sinh viên với chi phí bằng một phần nhỏ so với máy chủ.
- Công ty vừa và nhỏ cần chạy mô hình trên dữ liệu nội bộ mà không đưa dữ liệu ra dịch vụ đám mây.
- Nhà nghiên cứu làm việc với dữ liệu nhạy cảm bắt buộc xử lý tại chỗ.
Giới hạn cần biết trước
DGX Spark là máy để suy luận và phát triển, không phải để huấn luyện mô hình từ đầu. NVIDIA công bố mức tinh chỉnh tối đa là 70 tỷ tham số; huấn luyện toàn phần một mô hình lớn vẫn cần hệ thống nhiều GPU. Hiểu đúng ranh giới này giúp bạn đặt kỳ vọng chuẩn ngay từ đầu.
