Lượng VRAM cần để chạy LLM phụ thuộc số tham số, mức lượng tử hóa và độ dài ngữ cảnh. Ước tính thô với bản 4-bit (Q4): mô hình 7B cần khoảng 5–6 GB, 14B khoảng 9–11 GB, 32B khoảng 20–22 GB, 70B khoảng 40–45 GB VRAM, chưa tính ngữ cảnh dài. Bản 8-bit cần gần gấp đôi, bản 16-bit (FP16) cần khoảng 2 GB cho mỗi tỷ tham số. Hãy cộng thêm 1–4 GB cho KV cache tùy độ dài ngữ cảnh và để dư 15–20% để chạy ổn định.
VRAM chạy LLM là gì và vì sao quan trọng
VRAM là bộ nhớ riêng gắn trên card đồ họa. Khi chạy LLM bằng GPU, toàn bộ trọng số mô hình và bộ nhớ đệm ngữ cảnh (KV cache) cần nằm trong VRAM để GPU đọc với tốc độ cao. VRAM chạy LLM vì vậy là giới hạn cứng: thiếu VRAM thì mô hình không nạp được, hoặc phải chuyển một phần sang RAM hệ thống và chạy chậm đi nhiều lần.
Tốc độ sinh chữ của LLM chủ yếu bị giới hạn bởi băng thông bộ nhớ. Mỗi token sinh ra, GPU phải đọc gần như toàn bộ trọng số mô hình. VRAM trên card có băng thông cao hơn RAM hệ thống nhiều lần, nên khi mô hình nằm trọn trong VRAM, bạn nhận được tốc độ đọc thoải mái.
Ba yếu tố quyết định lượng VRAM
- Số tham số: 7B nghĩa là khoảng 7 tỷ tham số.
- Độ chính xác (lượng tử hóa): mỗi tham số lưu bằng 16, 8, 5 hay 4 bit.
- Ngữ cảnh: càng nhiều token trong cuộc hội thoại, KV cache càng lớn.
Công thức ước tính VRAM cần thiết
Bạn có thể tự nhẩm VRAM cần thiết bằng công thức gần đúng sau:
VRAM ≈ (số tỷ tham số × số bit / 8) + KV cache + 0,5–1 GB bộ đệm
Ví dụ tính tay
- Mô hình 14B ở bản 4-bit: 14 × 4 / 8 = 7 GB trọng số. Thực tế các bản Q4_K_M dùng trung bình khoảng 4,5–5 bit mỗi tham số, nên file thường khoảng 8–9 GB.
- KV cache với ngữ cảnh 8.000 token: thường thêm khoảng 1–2 GB, tùy kiến trúc mô hình.
- Bộ đệm tính toán của công cụ: khoảng 0,5–1 GB.
- Tổng: khoảng 10–12 GB. Card 12 GB chạy được nhưng sát; card 16 GB thoải mái hơn.
Mẹo kiểm tra nhanh
Kích thước file mô hình (ví dụ file GGUF) là con số tham khảo tốt nhất cho phần trọng số. Lấy dung lượng file cộng thêm 15–30% là bạn có ước tính khá sát cho ngữ cảnh ngắn đến trung bình. Với ngữ cảnh dài 32.000 token trở lên, hãy cộng thêm nhiều hơn.
Bảng tra VRAM cho mô hình 7B, 14B, 32B, 70B
Bảng dưới đây là ước tính cho ngữ cảnh khoảng 4.000–8.000 token, chạy một người dùng. Con số thực tế thay đổi theo kiến trúc mô hình, định dạng file và phiên bản công cụ như Ollama hoặc llama.cpp.
Đọc bảng theo hàng: tìm kích thước mô hình bạn định dùng, chọn mức lượng tử hóa chấp nhận được, rồi đối chiếu với VRAM card đang có. Nếu con số sát giới hạn card, hãy giảm ngữ cảnh hoặc hạ một mức lượng tử hóa. Nếu cần ngữ cảnh dài để đọc hợp đồng, báo cáo nhiều trang, hãy chọn card ở mức cao hơn một bậc so với bảng.
Mô hình 70B ở bản FP16 cần khoảng 140 GB, vượt xa mọi card phổ thông, nên trong thực tế gần như chỉ chạy bằng bản lượng tử hóa hoặc trên server nhiều GPU chuyên dụng.
| Kích thước | Q4 (4-bit) | Q8 (8-bit) | FP16 | Card gợi ý cho Q4 |
|---|---|---|---|---|
| 7B–8B | 5–6 GB | 8–10 GB | 15–17 GB | 8–12 GB VRAM |
| 14B | 9–11 GB | 15–17 GB | 29–31 GB | 12–16 GB VRAM |
| 32B | 20–22 GB | 34–37 GB | 65–68 GB | 24 GB VRAM |
| 70B | 40–45 GB | 72–78 GB | khoảng 140 GB | 48 GB hoặc 2 card 24 GB |
KV cache và độ dài ngữ cảnh ảnh hưởng thế nào
KV cache là vùng nhớ lưu thông tin trung gian của các token đã xử lý, giúp mô hình không phải tính lại từ đầu mỗi khi sinh token mới. Dung lượng KV cache tăng gần tuyến tính theo số token trong ngữ cảnh.
Với nhiều mô hình 7B–8B đời mới dùng cơ chế grouped-query attention, ngữ cảnh 8.000 token thường tốn khoảng 1 GB KV cache ở độ chính xác 16-bit. Nâng lên 32.000 token có thể tốn khoảng 4 GB. Mô hình lớn hơn có nhiều lớp hơn nên tốn hơn tương ứng.
Tình huống thực tế
Một nhân viên pháp chế dán hợp đồng 30 trang vào mô hình 14B trên card 12 GB. Câu hỏi ngắn thì chạy tốt, nhưng khi dán hợp đồng, công cụ báo hết bộ nhớ hoặc tự đẩy một phần sang CPU, tốc độ giảm mạnh. Nguyên nhân không phải mô hình quá lớn mà là KV cache phình ra.
Cách giảm KV cache
- Giới hạn độ dài ngữ cảnh trong cấu hình (ví dụ tham số
num_ctxtrong Ollama). - Dùng KV cache lượng tử hóa 8-bit nếu công cụ hỗ trợ.
- Dùng RAG để chỉ đưa đoạn tài liệu liên quan vào thay vì dán toàn bộ.
Chọn mức lượng tử hóa: Q4, Q5, Q8 hay FP16
Lượng tử hóa là cách lưu trọng số mô hình bằng ít bit hơn để giảm VRAM. Đổi lại, chất lượng câu trả lời có thể giảm nhẹ, mức độ tùy mô hình và tác vụ.
- Q4 (như Q4_K_M): điểm cân bằng phổ biến nhất cho máy cá nhân. Chất lượng thường đủ tốt cho soạn thảo, tóm tắt, hỏi đáp.
- Q5, Q6: tốn thêm khoảng 15–35% VRAM so với Q4, chất lượng sát bản gốc hơn. Chọn khi card còn dư.
- Q8: gần như không khác bản gốc trong đa số tác vụ, nhưng tốn gần gấp đôi Q4.
- FP16, BF16: dùng cho tinh chỉnh (fine-tune) hoặc server chạy vLLM với GPU lớn.
Nguyên tắc chọn
Khi phải chọn giữa mô hình lớn ở Q4 và mô hình nhỏ ở Q8 cùng dung lượng VRAM, mô hình lớn ở Q4 thường cho câu trả lời tốt hơn. Ví dụ, 14B ở Q4 thường hơn 7B ở Q8 về khả năng hiểu tiếng Việt và lập luận. Tuy vậy, mức lượng tử hóa quá thấp như Q2, Q3 có thể làm mô hình trả lời lan man, sai chính tả tiếng Việt nhiều hơn. Hãy thử trên câu hỏi thật của công ty trước khi quyết định.
Không đủ VRAM thì làm gì
Nếu card hiện tại thiếu VRAM, bạn có năm hướng xử lý, xếp theo mức tốn kém tăng dần:
- Hạ mức lượng tử hóa: từ Q8 xuống Q5 hoặc Q4.
- Giảm ngữ cảnh: đặt ngữ cảnh 4.000–8.000 token cho tác vụ hỏi đáp thường ngày.
- Chọn mô hình nhỏ hơn: nhiều mô hình 7B–14B đời mới đã đủ tốt cho việc văn phòng.
- Offload một phần sang CPU: llama.cpp và Ollama cho phép chạy một số lớp trên GPU, phần còn lại trên CPU và RAM. Mô hình chạy được nhưng chậm hơn rõ rệt; cần RAM hệ thống đủ lớn.
- Nâng cấp hoặc thêm GPU: hai card 24 GB có thể chia mô hình 70B Q4, với điều kiện mainboard, nguồn và thùng máy đáp ứng.
Kiểm tra mô hình có tràn VRAM không
- Chạy
ollama ps: cột PROCESSOR hiển thị tỷ lệ chạy trên GPU và CPU. - Chạy
nvidia-smiđể xem VRAM đang dùng. - Nếu tốc độ sinh chữ đột ngột chậm khi hội thoại dài ra, rất có thể KV cache đã làm tràn VRAM.
Nhiều người dùng cùng lúc cần thêm bao nhiêu VRAM
Các con số ở trên là cho một người dùng. Khi đặt một máy cho cả văn phòng dùng chung, mỗi yêu cầu đang xử lý song song cần KV cache riêng. Trọng số mô hình chỉ nạp một lần, nhưng KV cache nhân theo số yêu cầu đồng thời.
Ước tính cho văn phòng
- Công ty 30 người, thường chỉ 3–5 yêu cầu cùng lúc vào giờ cao điểm.
- Mô hình 14B Q4 khoảng 9 GB trọng số, mỗi yêu cầu ngữ cảnh 8.000 token thêm khoảng 1,5 GB.
- Với 4 yêu cầu song song: khoảng 9 + 4 × 1,5 + 1 = 16 GB. Card 24 GB đáp ứng thoải mái và còn dư cho ngữ cảnh dài hơn.
Ollama cho phép cấu hình số yêu cầu xử lý song song qua biến môi trường; vLLM quản lý KV cache hiệu quả hơn cho nhiều người dùng nhờ cơ chế PagedAttention. Khi số người dùng tăng, hãy theo dõi thời gian chờ và VRAM thực tế trong vài tuần trước khi quyết định mua thêm GPU.
Đừng chọn card vừa khít với kích thước file mô hình. Hãy chừa ít nhất 20% VRAM cho KV cache, vì người dùng văn phòng rất hay dán tài liệu dài vào khung chat.
Cần máy tính hoặc server chạy AI cho công ty? PCTech tư vấn cấu hình theo mô hình và số người dùng, lắp ráp, cài sẵn Ollama/Open WebUI, bảo hành tận nơi tại TP.HCM.
Nhập mô hình muốn chạy và số người dùng, nhận gợi ý GPU, RAM, SSD ngay. Dùng thử ngay
Câu hỏi thường gặp
Card 8 GB VRAM chạy được mô hình nào?
Card 8 GB chạy tốt mô hình 7B–8B ở bản Q4 với ngữ cảnh vừa phải. Mô hình 14B sẽ phải chạy một phần trên CPU nên chậm hơn đáng kể.
Chạy mô hình 70B cần bao nhiêu VRAM?
Bản Q4 của mô hình 70B cần khoảng 40–45 GB VRAM cho ngữ cảnh ngắn. Thực tế thường dùng card 48 GB hoặc hai card 24 GB chia tải.
VRAM và RAM khác nhau thế nào khi chạy AI?
VRAM nằm trên card đồ họa, băng thông cao, dùng để chứa mô hình khi chạy bằng GPU. RAM là bộ nhớ hệ thống, chậm hơn nhiều, dùng khi mô hình chạy trên CPU hoặc tràn khỏi VRAM.
Hai card 12 GB có bằng một card 24 GB không?
Về tổng dung lượng thì gần tương đương, công cụ như llama.cpp có thể chia mô hình cho hai card. Tuy vậy, một card 24 GB thường đơn giản hơn, ít tốn khe cắm, nguồn và ít rủi ro tương thích.
Làm sao biết mô hình đang chạy hết trên GPU?
Với Ollama, chạy lệnh ollama ps và xem cột PROCESSOR; 100% GPU nghĩa là không tràn sang CPU. Bạn cũng có thể dùng nvidia-smi để theo dõi VRAM.
Lượng tử hóa Q4 có làm AI trả lời kém đi nhiều không?
Với đa số tác vụ văn phòng, bản Q4_K_M cho chất lượng gần bản gốc. Khác biệt rõ hơn ở toán, lập trình và câu trả lời tiếng Việt dài, nên hãy thử trên dữ liệu thật.
Bài viết liên quan
- Máy tính chạy AI cục bộ: chọn cấu hình theo nhu cầu và ngân sách
- Máy tính chạy AI cần bao nhiêu RAM?
- VRAM là gì? Cần bao nhiêu GB VRAM
- Quantization (lượng tử hóa) mô hình AI là gì? Giảm bộ nhớ mà vẫn giữ chất lượng
- Chọn bản mô hình GGUF (Q4, Q5, Q8) phù hợp máy của bạn
- Context window (cửa sổ ngữ cảnh) là gì? Ảnh hưởng gì khi dùng AI
- Card đồ họa cho AI: cần GPU gì để chạy mô hình AI tại chỗ
- GPU NVIDIA RTX cho AI: chọn dòng nào theo đúng việc cần làm
- Lỗi thường gặp khi chạy AI cục bộ và cách khắc phục nhanh
