Danh mục đúng mã hàng
Sản phẩm được quản lý theo đúng model và Part Number của hãng, gồm cả hậu tố về cấu hình GPU, số socket, loại nguồn và khay ổ cứng. Điều này giúp tránh nhầm cấu hình khi đặt hàng và khi bảo hành.
Tinh chỉnh rẻ hơn huấn luyện rất nhiều
Huấn luyện một mô hình từ đầu cần hàng triệu đô la và một cụm GPU lớn. Tinh chỉnh một mô hình mở có sẵn bằng dữ liệu của bạn cần một máy chủ với vài GPU và vài ngày. Với gần như mọi doanh nghiệp Việt Nam, tinh chỉnh mới là con đường khả thi.
Kỹ thuật làm điều đó khả thi là LoRA: thay vì cập nhật toàn bộ hàng chục tỷ tham số, bạn chỉ huấn luyện một tập tham số phụ rất nhỏ gắn thêm vào mô hình. Số tham số cần cập nhật giảm hàng trăm lần, kéo theo bộ nhớ GPU cần thiết cũng giảm tương ứng.
Cấu hình phần cứng theo quy mô mô hình
- Mô hình 7–8 tỷ tham số: một GPU 24 GB như RTX 5000 Ada là đủ với QLoRA. Một máy trạm tower đặt trong phòng làm việc.
- Mô hình 13–34 tỷ tham số: một GPU 48 GB như L40S hoặc RTX 6000 Ada. Máy chủ 2U trong phòng máy.
- Mô hình 70 tỷ tham số: hai tới bốn GPU 80 GB trở lên, hoặc một GPU 141 GB với QLoRA.
Con số này thấp hơn nhiều so với huấn luyện toàn phần cùng mô hình — đó chính là điểm mấu chốt.
Dữ liệu quan trọng hơn phần cứng
Trong các dự án tinh chỉnh, yếu tố quyết định kết quả gần như luôn là chất lượng dữ liệu chứ không phải GPU. Một nghìn mẫu được chuẩn bị cẩn thận cho kết quả tốt hơn hàng chục nghìn mẫu lộn xộn.
Dữ liệu cần ở dạng cặp câu hỏi – câu trả lời đúng với cách người dùng thật sẽ hỏi, phản ánh đúng giọng điệu và quy trình của tổ chức bạn, và được rà soát để không chứa thông tin sai. Đây là công việc của người hiểu nghiệp vụ, không phải của kỹ sư hạ tầng.
Khi nào tinh chỉnh không phải lời giải
Đây là điều chúng tôi nói thẳng với khách hàng: nếu vấn đề của bạn là mô hình không biết thông tin nội bộ, thì tinh chỉnh không phải cách làm đúng. Cách đúng là RAG — cho mô hình tra cứu tài liệu của bạn tại thời điểm trả lời. RAG cập nhật được ngay khi tài liệu thay đổi; mô hình tinh chỉnh thì phải huấn luyện lại.
Tinh chỉnh phù hợp khi bạn muốn thay đổi cách mô hình trả lời: giọng điệu, định dạng đầu ra, quy trình xử lý, thuật ngữ chuyên ngành. Nhiều hệ thống tốt nhất kết hợp cả hai.
Quy trình chúng tôi triển khai
- Làm rõ mục tiêu: đổi cách trả lời, bổ sung kiến thức, hay cả hai — để quyết định giữa tinh chỉnh, RAG hoặc kết hợp.
- Chọn mô hình nền phù hợp với tiếng Việt và với quy mô phần cứng của bạn.
- Cấu hình máy: GPU, RAM và lưu trữ theo mô hình mục tiêu.
- Cài môi trường huấn luyện, chạy thử một vòng tinh chỉnh với dữ liệu mẫu của bạn.
- Bàn giao quy trình để đội của bạn tự tinh chỉnh lại khi dữ liệu cập nhật.
Các câu hỏi thường gặp
LoRA huấn luyện một tập tham số phụ nhỏ thay vì toàn bộ mô hình. QLoRA làm thêm một bước: nạp mô hình gốc ở dạng lượng tử hoá 4-bit để tiết kiệm bộ nhớ, rồi mới áp LoRA lên. QLoRA cho phép tinh chỉnh mô hình lớn trên GPU nhỏ hơn nhiều, đổi lại tốc độ chậm hơn.
Với LoRA, một nghìn tới năm nghìn mẫu chất lượng cao thường đã cho kết quả rõ rệt. Chất lượng quan trọng hơn số lượng rất nhiều — một nghìn mẫu được rà soát kỹ tốt hơn năm mươi nghìn mẫu tự động sinh.
Dùng RAG nếu vấn đề là mô hình thiếu thông tin nội bộ — RAG cập nhật ngay khi tài liệu đổi. Tinh chỉnh nếu bạn muốn đổi cách mô hình trả lời: giọng điệu, định dạng, quy trình. Nhiều hệ thống tốt nhất kết hợp cả hai.
Không, nếu bạn tinh chỉnh trên máy chủ của mình. Đây là lý do chính khiến nhiều doanh nghiệp chọn tự đầu tư máy chủ GPU thay vì dùng dịch vụ đám mây — dữ liệu không rời khỏi hạ tầng nội bộ.
