Quantization (lượng tử hóa) mô hình AI là gì? Giảm bộ nhớ mà vẫn giữ chất lượng

Quantization là gì: nén con số, không nén kiến thức

Mỗi mô hình AI là một tập hợp rất lớn các con số gọi là trọng số. Khi huấn luyện, các con số này thường được lưu ở dạng số thực 32-bit hoặc 16-bit, cho độ chính xác cao. Quantization là việc làm tròn chúng về một tập giá trị ít hơn, biểu diễn bằng ít bit hơn.

Ví dụ đời thường: bảng giá vật tư ghi đến từng đồng lẻ. Nếu làm tròn đến hàng nghìn, bảng gọn hơn nhiều, tổng tiền lệch rất ít. Lượng tử hóa cũng vậy: mỗi trọng số bị làm tròn một chút, nhưng vì có hàng tỷ trọng số và sai số phân bố đều, kết quả cuối cùng thay đổi ít.

Các mức độ chính xác thường gặp

• FP32: 32 bit mỗi số, dùng chủ yếu khi huấn luyện.
• FP16, BF16: 16 bit, định dạng phổ biến khi phát hành mô hình.
• INT8, FP8: 8 bit, giảm một nửa so với 16-bit, chất lượng gần như giữ nguyên với nhiều mô hình.
• 4-bit: giảm khoảng bốn lần so với 16-bit, mức phổ biến nhất khi chạy cục bộ.
• 2–3 bit: rất nhỏ nhưng chất lượng giảm rõ, thường chỉ dùng khi bắt buộc.

Cách tính bộ nhớ một mô hình sau lượng tử hóa

Công thức ước lượng nhanh cho phần trọng số:

Bộ nhớ (GB) ≈ số tham số (tỷ) × số bit ÷ 8

Ví dụ với mô hình 8 tỷ tham số:

• 16-bit: 8 × 16 ÷ 8 = khoảng 16 GB.
• 8-bit: khoảng 8 GB.
• 4-bit: khoảng 4 GB, thực tế thường 4,5–5 GB vì một số lớp giữ độ chính xác cao hơn và cần lưu thêm hệ số tỷ lệ.

Phần bộ nhớ ngoài trọng số

Khi chạy, mô hình cần thêm bộ nhớ cho KV cache, tức phần ghi nhớ ngữ cảnh đang xử lý. KV cache tăng theo độ dài ngữ cảnh và số người dùng đồng thời. Một mô hình 7B lượng tử hóa 4-bit thường cần khoảng 5–6 GB VRAM với ngữ cảnh vài nghìn token, nhưng có thể cần nhiều hơn đáng kể khi mở ngữ cảnh dài hàng chục nghìn token. Một số công cụ cho phép lượng tử hóa cả KV cache để tiết kiệm thêm, đổi lại có thể ảnh hưởng chất lượng với ngữ cảnh dài.

Vì vậy, khi chọn GPU, hãy cộng phần trọng số, phần ngữ cảnh và chừa khoảng trống cho hệ điều hành, ứng dụng khác.

Lượng tử hóa sau huấn luyện và trong huấn luyện

Có hai hướng chính:

• Post-Training Quantization (PTQ): lượng tử hóa mô hình đã huấn luyện xong. Nhanh, không cần dữ liệu huấn luyện gốc, đôi khi dùng một tập dữ liệu nhỏ để hiệu chỉnh. Đây là cách phần lớn bản mô hình lượng tử hóa trên mạng được tạo ra.
• Quantization-Aware Training (QAT): mô phỏng việc làm tròn ngay trong quá trình huấn luyện để mô hình “quen” với sai số. Chất lượng ở mức bit thấp thường tốt hơn PTQ, nhưng cần tài nguyên huấn luyện, nên chủ yếu do nhà phát triển mô hình thực hiện.

Lượng tử hóa trọng số và lượng tử hóa phép tính

Nhiều phương pháp chỉ nén trọng số để tiết kiệm bộ nhớ, khi tính toán vẫn giải nén về 16-bit. Cách khác lượng tử hóa cả giá trị kích hoạt để tận dụng phần cứng hỗ trợ tính toán số nguyên hoặc FP8, tăng tốc độ trên server. Với người chạy cục bộ trên một GPU, lợi ích chính thường là giảm bộ nhớ và tăng tốc nhờ đọc ít dữ liệu hơn từ VRAM.

Các phương pháp và định dạng lượng tử hóa phổ biến

Khi tải mô hình, bạn sẽ thấy nhiều tên gọi. Bảng dưới tóm tắt những định dạng phổ biến tại thời điểm viết; công cụ hỗ trợ thay đổi nhanh, hãy kiểm tra tài liệu của phần mềm bạn dùng.

Lượng tử hóa ảnh hưởng chất lượng thế nào

Mức giảm chất lượng phụ thuộc ba yếu tố: số bit, phương pháp, và kích thước mô hình gốc.

• 8-bit: với phần lớn mô hình, khác biệt so với bản gốc rất nhỏ trong công việc thường ngày.
• 5–6 bit: thường là điểm cân bằng tốt khi còn dư bộ nhớ.
• 4-bit: mức phổ biến; với phương pháp hiện đại, mô hình vẫn dùng tốt cho soạn thảo, tóm tắt, hỏi đáp. Có thể thấy giảm ở tác vụ cần chính xác cao như toán, lập trình, trích xuất số liệu.
• Dưới 4-bit: giảm rõ, câu trả lời dễ lặp, sai logic hơn.

Mô hình lớn chịu nén tốt hơn

Một quan sát phổ biến trong cộng đồng: mô hình lớn ở 4-bit thường cho kết quả tốt hơn mô hình nhỏ hơn ở 8-bit khi dùng cùng lượng bộ nhớ. Tuy vậy, điều này không đúng với mọi tác vụ, và tiếng Việt đôi khi nhạy hơn tiếng Anh với lượng tử hóa mạnh vì dữ liệu tiếng Việt chiếm tỷ lệ nhỏ trong huấn luyện.

Cách chắc chắn nhất là tự kiểm tra trên công việc thật của bạn, với cùng bộ câu hỏi, so sánh hai mức lượng tử hóa.

Áp dụng thực tế: chọn mức lượng tử hóa cho doanh nghiệp

Quy trình gợi ý khi triển khai mô hình nội bộ:

1. Xác định bộ nhớ khả dụng: VRAM của GPU, hoặc bộ nhớ hợp nhất trên máy Apple Silicon, trừ đi phần dành cho ngữ cảnh và hệ thống.
2. Chọn mô hình lớn nhất vừa bộ nhớ ở 4-bit: đây thường là điểm khởi đầu hợp lý.
3. Chuẩn bị bộ kiểm tra: 20–30 câu hỏi thật của công ty, có đáp án mong đợi, gồm cả tiếng Việt có dấu, số liệu, bảng biểu.
4. So sánh 2–3 mức: ví dụ 4-bit và 5-bit hoặc 8-bit, ghi lại chất lượng và tốc độ sinh chữ.
5. Kiểm tra với tải thật: nhiều người dùng đồng thời làm KV cache tăng, có thể phải giảm độ dài ngữ cảnh hoặc chọn mức nén cao hơn.

Với máy chủ phục vụ cả văn phòng, các định dạng như AWQ hoặc FP8 trên engine phục vụ chuyên dụng thường cho thông lượng tốt hơn. Với máy trạm cá nhân, GGUF qua Ollama hoặc LM Studio là lựa chọn dễ triển khai.

Lỗi thường gặp và hiểu lầm về quantization

• Chỉ nhìn dung lượng file: file 4 GB không có nghĩa card 4 GB chạy được. Luôn cộng thêm KV cache và phần hệ thống.
• Nghĩ lượng tử hóa làm mô hình “ngu đi” hoàn toàn: ở mức 4–8 bit với phương pháp tốt, phần lớn năng lực được giữ lại.
• Tải bản lượng tử hóa không rõ nguồn: có thể bị lỗi, sai mẫu hội thoại hoặc thậm chí bị chỉnh sửa. Ưu tiên bản từ nhà phát triển mô hình hoặc người đóng gói uy tín.
• Lượng tử hóa nhiều lần: chuyển từ bản đã nén sang mức nén khác làm sai số cộng dồn. Luôn bắt đầu từ bản gốc 16-bit.
• Bỏ qua phiên bản phần mềm: định dạng và kiểu lượng tử hóa mới có thể cần bản công cụ mới. Lỗi nạp mô hình thường đến từ phần mềm cũ.
• So sánh không công bằng: thử bản 4-bit với prompt khác bản 8-bit rồi kết luận. Giữ nguyên prompt, tham số sinh và bộ câu hỏi khi so sánh.

Câu hỏi thường gặp

Bài viết liên quan

• Từ điển thuật ngữ AI cho người làm doanh nghiệp (A–Z)
• Chọn bản mô hình GGUF (Q4, Q5, Q8) phù hợp máy của bạn
• Cần bao nhiêu VRAM để chạy LLM 7B, 14B, 32B, 70B?
• VRAM là gì? Cần bao nhiêu GB VRAM
• Ollama là gì? Chạy mô hình AI miễn phí trên máy của bạn
• Chưng cất mô hình (distillation) là gì? Mô hình nhỏ học từ mô hình lớn
• LoRA là gì? Tinh chỉnh mô hình AI tiết kiệm tài nguyên
• Máy tính chạy AI cục bộ: chọn cấu hình theo nhu cầu và ngân sách

Nguồn tham khảo

• llama.cpp (GitHub)
• GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers (arXiv)
• AWQ: Activation-aware Weight Quantization (arXiv)