Giải pháp huấn luyện mô hình ngôn ngữ lớn

Bài toán thật của huấn luyện LLM

Huấn luyện một mô hình ngôn ngữ lớn từ đầu không phải là bài toán mua đủ GPU. Nó là bài toán giữ cho toàn bộ GPU trong cụm luôn có việc làm. Trong các dự án thất bại mà chúng tôi được mời vào xử lý, GPU thường chỉ chạy ở 30–50% công suất — phần còn lại là thời gian chờ dữ liệu hoặc chờ đồng bộ gradient qua mạng.

Nói cách khác: bạn trả tiền cho GPU nhưng mua về thời gian chờ.

Bước một: xác định mô hình mục tiêu quyết định bộ nhớ GPU

Quy tắc ước lượng nhanh cho huấn luyện toàn phần với tối ưu hoá Adam: mỗi tỷ tham số cần khoảng 16 GB bộ nhớ GPU khi dùng độ chính xác hỗn hợp — 2 byte cho trọng số, 2 byte cho gradient, 12 byte cho trạng thái tối ưu hoá và bản sao chính. Mô hình 70 tỷ tham số vì vậy cần khoảng 1,1 TB bộ nhớ GPU chỉ để chứa trạng thái, chưa tính activation.

Con số đó dẫn thẳng tới cấu hình phần cứng:

• Dưới 13 tỷ tham số: một máy HGX 8 GPU H100 80GB là đủ.
• 13–70 tỷ tham số: cần 8 GPU H200 141GB hoặc B200, hoặc hai máy HGX ghép cụm.
• Trên 100 tỷ tham số: phải là cụm nhiều node, và lúc này băng thông giữa các GPU trở thành yếu tố quyết định hơn cả sức mạnh tính toán.

Bước hai: mạng nội cụm là chỗ dự án hay hỏng

Khi mô hình trải trên nhiều node, sau mỗi bước huấn luyện các GPU phải trao đổi gradient với nhau. Với mô hình 70 tỷ tham số ở FP16, mỗi lần đồng bộ là 140 GB dữ liệu. Trên mạng 25GbE, riêng bước này mất gần một phút — trong khi phép tính chỉ mất vài giây.

Vì vậy cụm huấn luyện nghiêm túc dùng InfiniBand NDR 400 Gb/s hoặc Ethernet 400GbE, với tỷ lệ một card mạng cho mỗi GPU. Đây là hạng mục thường bị cắt lúc lập ngân sách và luôn phải làm lại sau đó với chi phí cao hơn nhiều.

Với quy mô rất lớn, kiến trúc rack-scale như NVIDIA GB200 NVL72 hoặc GB300 NVL72 gộp 72 GPU vào một miền NVLink duy nhất, loại bỏ hoàn toàn nút thắt này.

Bước ba: tầng lưu trữ phải nạp kịp dữ liệu

Một cụm 8 GPU H100 tiêu thụ dữ liệu ở tốc độ vài GB/s liên tục. Nếu tập dữ liệu nằm trên ổ đĩa quay hoặc phải kéo qua mạng 10GbE, GPU sẽ đói. Cấu trúc chuẩn gồm ba tầng: NVMe cục bộ trên node cho dữ liệu đang dùng, một node lưu trữ toàn flash chia sẻ qua mạng tốc độ cao cho tập dữ liệu nóng, và tầng đĩa quay dung lượng lớn cho dữ liệu gốc và các bản lưu mô hình.

Bước bốn: điện và làm mát quyết định tiến độ dự án

Một máy HGX 8 GPU tiêu thụ khoảng 8–10 kW. Bốn máy là 40 kW cho một tủ rack — vượt xa khả năng của phần lớn phòng máy doanh nghiệp tại Việt Nam, vốn thiết kế cho 5–10 kW mỗi tủ. Với hệ thống rack-scale, con số lên tới 120–140 kW và bắt buộc làm mát bằng chất lỏng.

Trong hầu hết dự án chúng tôi triển khai, phần cải tạo điện và làm mát mất nhiều thời gian hơn cả thời gian chờ giao thiết bị. Vì vậy khảo sát hạ tầng luôn là việc đầu tiên, không phải việc cuối cùng.

Chúng tôi làm gì trong dự án huấn luyện

1. Khảo sát mô hình mục tiêu, tập dữ liệu và thời gian huấn luyện mong muốn để tính ra số GPU và bộ nhớ cần thiết.
2. Khảo sát phòng máy: công suất điện, khả năng thoát nhiệt, tải trọng sàn, đường mạng.
3. Thiết kế cụm: cấu hình node, mạng nội cụm, tầng lưu trữ, hệ điều phối tài nguyên.
4. Lắp đặt, cài đặt môi trường và chạy thử một bài huấn luyện thật trước khi nghiệm thu.
5. Bàn giao kèm tài liệu vận hành và hỗ trợ trong quá trình sử dụng.