Danh mục đúng mã hàng
Sản phẩm được quản lý theo đúng model và Part Number của hãng, gồm cả hậu tố về cấu hình GPU, số socket, loại nguồn và khay ổ cứng. Điều này giúp tránh nhầm cấu hình khi đặt hàng và khi bảo hành.
Tiếng Việt đặt ra hai bài toán riêng
Thứ nhất là tách từ. Tiếng Việt viết rời từng âm tiết, nên một từ có thể gồm nhiều âm tiết mà mô hình phải học cách ghép. Hệ quả: cùng một đoạn văn, tiếng Việt tốn nhiều token hơn tiếng Anh khoảng 1,5 tới 2 lần. Điều đó ảnh hưởng trực tiếp tới bộ nhớ GPU cần thiết và chi phí trên mỗi truy vấn.
Thứ hai là dữ liệu huấn luyện. Phần lớn mô hình mở được huấn luyện chủ yếu trên tiếng Anh; chất lượng tiếng Việt thay đổi rất nhiều giữa các mô hình. Việc chọn mô hình nền vì thế quan trọng hơn việc chọn GPU.
Ba kiến trúc thường gặp
- RAG — mô hình tra cứu tài liệu của bạn rồi trả lời dựa trên đoạn tìm được. Phù hợp nhất cho trợ lý nội bộ và tra cứu quy định, vì cập nhật tài liệu là có hiệu lực ngay.
- Tinh chỉnh — dạy mô hình cách trả lời theo giọng điệu và quy trình của tổ chức. Không dùng để nhồi kiến thức.
- Kết hợp — tinh chỉnh cách trả lời, RAG lo phần kiến thức. Đây là kiến trúc của hầu hết hệ thống chạy tốt trong thực tế.
Phần bị đánh giá thấp: mô hình nhúng
Trong hệ RAG, chất lượng câu trả lời phụ thuộc vào việc tìm đúng đoạn tài liệu, và việc đó do mô hình nhúng quyết định. Một mô hình nhúng yếu với tiếng Việt sẽ trả về đoạn không liên quan, và mô hình ngôn ngữ dù mạnh tới đâu cũng chỉ trả lời sai một cách trôi chảy.
Chúng tôi luôn đo chất lượng tìm kiếm trước khi đo chất lượng trả lời — nếu bước tìm kiếm sai, mọi thứ phía sau vô nghĩa.
Cấu hình phần cứng theo quy mô
- Thử nghiệm và phát triển: một máy trạm GPU 48 GB như Dell T550 kèm RTX 6000 Ada, hoặc NVIDIA DGX Spark.
- Phòng ban dưới 100 người: máy chủ 2U với 2 GPU L40S, chạy mô hình 7–13 tỷ tham số cùng cơ sở dữ liệu vector.
- Toàn công ty vài trăm người: 2–4 máy chủ mỗi máy 4 GPU, có cân bằng tải, tách riêng tầng vector và tầng phục vụ mô hình.
Dữ liệu không rời khỏi hạ tầng
Đây là lý do chính khiến nhiều tổ chức Việt Nam chọn tự đầu tư thay vì dùng dịch vụ đám mây: hợp đồng, hồ sơ nhân sự, dữ liệu khách hàng không được phép gửi ra ngoài. Toàn bộ kiến trúc trên chạy hoàn toàn trong mạng nội bộ.
Các câu hỏi thường gặp
Khoảng 1,5 đến 2 lần với hầu hết bộ tách từ phổ biến. Điều đó nghĩa là cùng độ dài văn bản, tiếng Việt cần nhiều bộ nhớ đệm KV hơn và chi phí trên mỗi truy vấn cao hơn. Hãy tính hệ số này khi ước lượng dung lượng GPU.
Không có câu trả lời chung — chất lượng tiếng Việt khác nhau nhiều giữa các mô hình mở và thay đổi theo từng bản phát hành. Chúng tôi chạy thử vài mô hình trên chính dữ liệu của bạn rồi so kết quả, thay vì chọn theo bảng xếp hạng quốc tế.
RAG, gần như luôn luôn. Trợ lý nội bộ cần trả lời dựa trên quy định và tài liệu hiện hành — RAG cập nhật ngay khi tài liệu đổi, còn mô hình tinh chỉnh phải huấn luyện lại. Tinh chỉnh chỉ thêm vào khi cần thống nhất giọng điệu và định dạng trả lời.
Vì nó quyết định hệ thống tìm đúng đoạn tài liệu hay không. Tìm sai đoạn thì mô hình ngôn ngữ dù mạnh cũng chỉ trả lời sai một cách trôi chảy. Chúng tôi đo chất lượng tìm kiếm trước, đo chất lượng trả lời sau.
