Máy tính chạy AI cục bộ là máy có phần cứng đủ mạnh để tự chạy mô hình AI bằng các công cụ như Ollama, LM Studio hoặc llama.cpp. Câu hỏi được gửi tới mô hình nằm ngay trên ổ cứng, câu trả lời được tính toán bằng GPU hoặc CPU của máy, không cần tài khoản dịch vụ đám mây.
Nhóm nên cân nhắc đầu tư gồm:
Nếu bạn chỉ thỉnh thoảng hỏi AI vài câu, cần chất lượng ngang các mô hình thương mại lớn nhất, hoặc không có người quản trị máy, dịch vụ đám mây có gói miễn phí/trả phí thường hợp lý hơn. Máy chạy AI cục bộ đáng giá khi bạn dùng đều đặn, có yêu cầu bảo mật dữ liệu, hoặc cần chạy liên tục cho nhiều người.
"}, {"h2": "Linh kiện nào quyết định tốc độ chạy AI", "html": "Với mô hình ngôn ngữ, tốc độ sinh chữ phụ thuộc chủ yếu vào việc toàn bộ mô hình có nằm gọn trong bộ nhớ của GPU hay không. Thứ tự ưu tiên khi chọn linh kiện thường là:
Một lỗi phổ biến là dồn ngân sách vào CPU cao cấp rồi dùng GPU ít VRAM. Với AI cục bộ, cách phân bổ này cho kết quả kém hơn nhiều so với CPU tầm trung đi kèm GPU nhiều VRAM. Nếu phải cắt giảm, hãy cắt ở CPU, vỏ máy, đèn trang trí trước khi cắt ở VRAM.
"}, {"h2": "Xác định nhu cầu trước khi chọn cấu hình", "html": "Trước khi xem linh kiện, hãy trả lời năm câu hỏi. Câu trả lời sẽ quyết định gần như toàn bộ cấu hình.
Một văn phòng kế toán 25 người muốn tóm tắt chứng từ và trả lời câu hỏi về quy trình nội bộ. Nhu cầu thật là mô hình 14B, ngữ cảnh trung bình, khoảng 5–8 người dùng xen kẽ. Cấu hình phù hợp là một máy trạm GPU 24 GB VRAM, không cần server nhiều GPU như suy nghĩ ban đầu của nhiều chủ doanh nghiệp.
"}, {"h2": "Bảng cấu hình mẫu theo nhu cầu và mức ngân sách", "html": "Bảng dưới đây chia thành bốn mức, từ thử nghiệm đến phục vụ cả văn phòng. Đây là cấu hình định hướng; giá linh kiện biến động liên tục nên hãy xem bảng giá hiện hành trước khi chốt.
Nguyên tắc đọc bảng: cột “Mô hình phù hợp” giả định bản lượng tử hóa 4-bit (Q4) và ngữ cảnh vừa phải. Nếu bạn cần bản 8-bit hoặc ngữ cảnh dài, hãy lên một bậc VRAM. Với mức “Văn phòng dùng chung”, nên tính thêm UPS và một ổ NAS để sao lưu dữ liệu, cấu hình.
Nếu chưa chắc nhu cầu, hãy bắt đầu ở mức “Phổ thông” trên một máy có sẵn khe PCIe x16 và nguồn đủ khỏe, rồi nâng GPU sau. Cách này giảm rủi ro mua thừa khi đội ngũ chưa quen dùng AI cục bộ.
", "table": {"caption": "Cấu hình máy tính chạy AI cục bộ theo nhu cầu (định hướng tại thời điểm viết)", "head": ["Mức", "GPU / VRAM", "RAM", "Lưu trữ", "Mô hình phù hợp"], "rows": [["Thử nghiệm", "Không GPU rời hoặc 8 GB VRAM", "16–32 GB", "SSD NVMe 512 GB", "Mô hình 1B–4B, 7B chạy chậm"], ["Phổ thông, 1 người", "12–16 GB VRAM", "32 GB", "SSD NVMe 1 TB", "7B–14B Q4, Whisper, tạo ảnh cơ bản"], ["Chuyên sâu, phòng kỹ thuật", "24 GB VRAM", "64 GB", "SSD NVMe 2 TB", "14B–32B Q4, RAG tài liệu lớn"], ["Văn phòng dùng chung", "2 GPU 24 GB hoặc GPU 48 GB trở lên", "128 GB, nên dùng ECC", "2 SSD NVMe + NAS sao lưu", "32B–70B Q4, nhiều người dùng"]]}}, {"h2": "Chọn GPU: VRAM quan trọng hơn tốc độ xung nhịp", "html": "GPU là linh kiện đắt nhất và quyết định nhất. Khi so sánh hai card, hãy xem theo thứ tự: dung lượng VRAM, băng thông bộ nhớ, hệ sinh thái phần mềm, rồi mới đến hiệu năng tính toán.
Một cách nhẩm thô: mô hình lượng tử hóa 4-bit cần khoảng 0,6–0,7 GB cho mỗi tỷ tham số, cộng thêm 1–2 GB cho KV cache và bộ đệm khi ngữ cảnh ngắn. Như vậy mô hình 7B lượng tử hóa 4-bit thường cần khoảng 5–6 GB VRAM, mô hình 14B khoảng 9–11 GB. Con số thực tế phụ thuộc định dạng, phiên bản công cụ và độ dài ngữ cảnh.
Card dòng game cho tỷ lệ VRAM trên chi phí tốt, phù hợp máy một người dùng. Card chuyên dụng cho máy trạm có VRAM lớn, tản nhiệt kiểu thổi ra sau phù hợp lắp nhiều card, hỗ trợ bộ nhớ ECC, phù hợp máy chạy 24/7. Card cũ đã qua đào coin cần kiểm tra kỹ quạt, keo tản nhiệt và nhiệt độ VRAM trước khi đưa vào sử dụng.
"}, {"h2": "RAM, CPU và mainboard: đủ dùng, đừng lãng phí", "html": "RAM hệ thống nên lớn hơn hoặc bằng tổng VRAM, và tối thiểu 32 GB cho máy làm AI nghiêm túc. Lý do: khi nạp mô hình, dữ liệu thường đi qua RAM; khi mô hình lớn hơn VRAM, công cụ như llama.cpp sẽ đẩy một phần lớp mô hình sang RAM và CPU xử lý. Phần chạy trên CPU chậm hơn nhiều, nhưng vẫn giúp bạn chạy được mô hình mà nếu không thì không chạy nổi.
Đừng trả thêm cho mainboard ép xung cao cấp nếu bạn không ép xung. Khoản đó nên chuyển sang VRAM hoặc RAM.
"}, {"h2": "Ổ cứng, nguồn, tản nhiệt và UPS cho máy chạy liên tục", "html": "Nhiều người chỉ để ý GPU rồi lắp nguồn yếu, thùng máy bí. Kết quả là máy tự tắt khi GPU chạy hết tải, hoặc GPU giảm xung vì quá nóng.
Chọn SSD NVMe có DRAM cache, dung lượng 1 TB trở lên. Một thư viện vài mô hình ở nhiều mức lượng tử hóa có thể chiếm hàng trăm GB. Nên tách ổ hệ điều hành và ổ chứa mô hình, dữ liệu RAG để dễ sao lưu và cài lại.
Cộng công suất tối đa (TDP) của GPU và CPU, nhân với khoảng 1,5 để có dư cho đỉnh tải tức thời. Chọn nguồn có chứng nhận hiệu suất từ 80 Plus Gold trở lên, đủ đầu cấp nguồn PCIe đúng chuẩn của card.
Máy phục vụ cả văn phòng nên có UPS để tránh mất điện đột ngột làm hỏng dữ liệu, đồng thời cho phép tắt máy an toàn. Công suất UPS tính theo công suất thực tế của máy cộng màn hình, thiết bị mạng đi kèm.
"}, {"h2": "Laptop, PC, máy trạm hay server: chọn dạng máy nào", "html": "Cùng một nhu cầu AI cục bộ, dạng máy phù hợp phụ thuộc vào người dùng, nơi đặt và thời gian vận hành.
Một người dùng: PC desktop. Phòng 5–10 người: máy trạm một GPU 24 GB trở lên. Cả công ty và chạy 24/7: server, đặt sau UPS, có kế hoạch sao lưu. Nếu nhu cầu chưa rõ, có thể thuê GPU đám mây vài tuần để đo trước khi mua.
"}, {"h2": "Quy trình 6 bước chốt cấu hình và kiểm tra sau khi lắp", "html": "Làm theo trình tự sau giúp tránh mua sai linh kiện đắt nhất.
ollama ps cho thấy mô hình chạy 100% trên GPU, không tràn sang CPU.Đây là những sai lầm hay gặp khi doanh nghiệp tự chọn cấu hình máy tính chạy AI cục bộ.
Phần lớn lỗi trên tránh được nếu bạn thử nghiệm mô hình mục tiêu trước khi mua, và nhờ người có kinh nghiệm rà lại danh sách linh kiện.
"} ], "tip": "Hãy chốt mô hình và độ dài ngữ cảnh mục tiêu trước, rồi chọn GPU có VRAM dư khoảng 20–30% so với ước tính. Phần dư này giúp máy dùng được thêm 2–3 năm khi mô hình mới ra đời và nhu cầu tăng lên.", "faq": [ {"q": "Máy tính chạy AI cục bộ cần card đồ họa bao nhiêu GB?", "a": "Để chạy mô hình 7B–14B lượng tử hóa 4-bit mượt, GPU 12–16 GB VRAM là mức hợp lý. Mô hình 32B cần khoảng 24 GB, còn 70B cần từ 48 GB trở lên hoặc chia cho nhiều GPU."}, {"q": "Không có card đồ họa rời có chạy AI được không?", "a": "Được, Ollama và llama.cpp chạy được trên CPU với mô hình nhỏ 1B–4B. Tốc độ chậm hơn nhiều so với GPU, phù hợp thử nghiệm hơn là dùng hằng ngày."}, {"q": "Nên mua laptop hay PC để chạy AI cục bộ?", "a": "Nếu không cần di chuyển, PC desktop cho nhiều VRAM hơn, tản nhiệt tốt hơn và dễ nâng cấp. Laptop phù hợp người cần mang mô hình nhỏ đi demo hoặc làm việc ngoài văn phòng."}, {"q": "Một máy chạy AI có phục vụ được cả văn phòng 20 người không?", "a": "Được nếu cấu hình đủ VRAM và dùng công cụ hỗ trợ xử lý nhiều yêu cầu như Ollama, vLLM kèm Open WebUI. Thường không phải 20 người hỏi cùng lúc, nên một máy trạm GPU 24 GB trở lên có thể đáp ứng nhu cầu cơ bản."}, {"q": "Chạy AI cục bộ có tốn điện nhiều không?", "a": "Khi đang sinh câu trả lời, GPU tiêu thụ gần công suất tối đa; khi nhàn rỗi thì thấp hơn nhiều. Chi phí điện phụ thuộc số giờ chạy tải thực tế, nên đo bằng ổ cắm có đồng hồ công suất sau khi lắp."}, {"q": "Card AMD có chạy Ollama được không?", "a": "Nhiều card AMD đời mới đã được Ollama hỗ trợ qua ROCm. Hãy kiểm tra danh sách GPU được hỗ trợ trên trang tài liệu chính thức của Ollama trước khi mua."}, {"q": "Có nên mua card đồ họa cũ để chạy AI?", "a": "Có thể, nếu card nhiều VRAM và còn tốt. Cần kiểm tra nhiệt độ, quạt, chạy thử tải dài và ưu tiên nơi bán có bảo hành rõ ràng."} ], "sources": [ {"t": "Ollama – tài liệu chính thức", "u": "https://ollama.com"}, {"t": "llama.cpp – GitHub chính thức", "u": "https://github.com/ggml-org/llama.cpp"}, {"t": "NVIDIA CUDA Toolkit", "u": "https://developer.nvidia.com/cuda-toolkit"}, {"t": "Large language model – Wikipedia", "u": "https://en.wikipedia.org/wiki/Large_language_model"} ], "related": ["vram-bao-nhieu-de-chay-llm", "ram-bao-nhieu-cho-ai", "card-do-hoa-cho-ai", "chay-ai-tren-may-tinh-ca-nhan", "cpu-hay-gpu-cho-ai", "nguon-va-tan-nhiet-cho-may-ai", "server-ai-noi-bo-cho-sme", "may-tram-ai-workstation", "gpu-cloud-vs-server-tai-cho", "ollama-la-gi"] }, { "id": 2002, "slug": "vram-bao-nhieu-de-chay-llm", "title": "Cần bao nhiêu VRAM để chạy LLM 7B, 14B, 32B, 70B?", "meta_desc": "Cần bao nhiêu VRAM để chạy LLM 7B, 14B, 32B, 70B? Công thức ước tính theo lượng tử hóa, KV cache và độ dài ngữ cảnh, kèm bảng tra nhanh dễ hiểu.", "excerpt": "VRAM là giới hạn cứng khi chạy mô hình ngôn ngữ trên máy tính. Bài này đưa ra công thức ước tính, bảng tra VRAM cho mô hình 7B, 14B, 32B, 70B và cách xử lý khi card không đủ bộ nhớ.", "answer": "Lượng VRAM cần để chạy LLM phụ thuộc số tham số, mức lượng tử hóa và độ dài ngữ cảnh. Ước tính thô với bản 4-bit (Q4): mô hình 7B cần khoảng 5–6 GB, 14B khoảng 9–11 GB, 32B khoảng 20–22 GB, 70B khoảng 40–45 GB VRAM, chưa tính ngữ cảnh dài. Bản 8-bit cần gần gấp đôi, bản 16-bit (FP16) cần khoảng 2 GB cho mỗi tỷ tham số. Hãy cộng thêm 1–4 GB cho KV cache tùy độ dài ngữ cảnh và để dư 15–20% để chạy ổn định.", "kws": ["VRAM chạy LLM", "cần bao nhiêu VRAM", "VRAM cho mô hình 7B", "VRAM chạy mô hình 70B", "tính VRAM cho AI"], "sections": [ {"h2": "VRAM chạy LLM là gì và vì sao quan trọng", "html": "VRAM là bộ nhớ riêng gắn trên card đồ họa. Khi chạy LLM bằng GPU, toàn bộ trọng số mô hình và bộ nhớ đệm ngữ cảnh (KV cache) cần nằm trong VRAM để GPU đọc với tốc độ cao. VRAM chạy LLM vì vậy là giới hạn cứng: thiếu VRAM thì mô hình không nạp được, hoặc phải chuyển một phần sang RAM hệ thống và chạy chậm đi nhiều lần.
Tốc độ sinh chữ của LLM chủ yếu bị giới hạn bởi băng thông bộ nhớ. Mỗi token sinh ra, GPU phải đọc gần như toàn bộ trọng số mô hình. VRAM trên card có băng thông cao hơn RAM hệ thống nhiều lần, nên khi mô hình nằm trọn trong VRAM, bạn nhận được tốc độ đọc thoải mái.
Bạn có thể tự nhẩm VRAM cần thiết bằng công thức gần đúng sau:
VRAM ≈ (số tỷ tham số × số bit / 8) + KV cache + 0,5–1 GB bộ đệm
Kích thước file mô hình (ví dụ file GGUF) là con số tham khảo tốt nhất cho phần trọng số. Lấy dung lượng file cộng thêm 15–30% là bạn có ước tính khá sát cho ngữ cảnh ngắn đến trung bình. Với ngữ cảnh dài 32.000 token trở lên, hãy cộng thêm nhiều hơn.
"}, {"h2": "Bảng tra VRAM cho mô hình 7B, 14B, 32B, 70B", "html": "Bảng dưới đây là ước tính cho ngữ cảnh khoảng 4.000–8.000 token, chạy một người dùng. Con số thực tế thay đổi theo kiến trúc mô hình, định dạng file và phiên bản công cụ như Ollama hoặc llama.cpp.
Đọc bảng theo hàng: tìm kích thước mô hình bạn định dùng, chọn mức lượng tử hóa chấp nhận được, rồi đối chiếu với VRAM card đang có. Nếu con số sát giới hạn card, hãy giảm ngữ cảnh hoặc hạ một mức lượng tử hóa. Nếu cần ngữ cảnh dài để đọc hợp đồng, báo cáo nhiều trang, hãy chọn card ở mức cao hơn một bậc so với bảng.
Mô hình 70B ở bản FP16 cần khoảng 140 GB, vượt xa mọi card phổ thông, nên trong thực tế gần như chỉ chạy bằng bản lượng tử hóa hoặc trên server nhiều GPU chuyên dụng.
", "table": {"caption": "VRAM ước tính để chạy LLM (ngữ cảnh 4K–8K, một người dùng)", "head": ["Kích thước", "Q4 (4-bit)", "Q8 (8-bit)", "FP16", "Card gợi ý cho Q4"], "rows": [["7B–8B", "5–6 GB", "8–10 GB", "15–17 GB", "8–12 GB VRAM"], ["14B", "9–11 GB", "15–17 GB", "29–31 GB", "12–16 GB VRAM"], ["32B", "20–22 GB", "34–37 GB", "65–68 GB", "24 GB VRAM"], ["70B", "40–45 GB", "72–78 GB", "khoảng 140 GB", "48 GB hoặc 2 card 24 GB"]]}}, {"h2": "KV cache và độ dài ngữ cảnh ảnh hưởng thế nào", "html": "KV cache là vùng nhớ lưu thông tin trung gian của các token đã xử lý, giúp mô hình không phải tính lại từ đầu mỗi khi sinh token mới. Dung lượng KV cache tăng gần tuyến tính theo số token trong ngữ cảnh.
Với nhiều mô hình 7B–8B đời mới dùng cơ chế grouped-query attention, ngữ cảnh 8.000 token thường tốn khoảng 1 GB KV cache ở độ chính xác 16-bit. Nâng lên 32.000 token có thể tốn khoảng 4 GB. Mô hình lớn hơn có nhiều lớp hơn nên tốn hơn tương ứng.
Một nhân viên pháp chế dán hợp đồng 30 trang vào mô hình 14B trên card 12 GB. Câu hỏi ngắn thì chạy tốt, nhưng khi dán hợp đồng, công cụ báo hết bộ nhớ hoặc tự đẩy một phần sang CPU, tốc độ giảm mạnh. Nguyên nhân không phải mô hình quá lớn mà là KV cache phình ra.
num_ctx trong Ollama).Lượng tử hóa là cách lưu trọng số mô hình bằng ít bit hơn để giảm VRAM. Đổi lại, chất lượng câu trả lời có thể giảm nhẹ, mức độ tùy mô hình và tác vụ.
Khi phải chọn giữa mô hình lớn ở Q4 và mô hình nhỏ ở Q8 cùng dung lượng VRAM, mô hình lớn ở Q4 thường cho câu trả lời tốt hơn. Ví dụ, 14B ở Q4 thường hơn 7B ở Q8 về khả năng hiểu tiếng Việt và lập luận. Tuy vậy, mức lượng tử hóa quá thấp như Q2, Q3 có thể làm mô hình trả lời lan man, sai chính tả tiếng Việt nhiều hơn. Hãy thử trên câu hỏi thật của công ty trước khi quyết định.
"}, {"h2": "Không đủ VRAM thì làm gì", "html": "Nếu card hiện tại thiếu VRAM, bạn có năm hướng xử lý, xếp theo mức tốn kém tăng dần:
ollama ps: cột PROCESSOR hiển thị tỷ lệ chạy trên GPU và CPU.nvidia-smi để xem VRAM đang dùng.Các con số ở trên là cho một người dùng. Khi đặt một máy cho cả văn phòng dùng chung, mỗi yêu cầu đang xử lý song song cần KV cache riêng. Trọng số mô hình chỉ nạp một lần, nhưng KV cache nhân theo số yêu cầu đồng thời.
Ollama cho phép cấu hình số yêu cầu xử lý song song qua biến môi trường; vLLM quản lý KV cache hiệu quả hơn cho nhiều người dùng nhờ cơ chế PagedAttention. Khi số người dùng tăng, hãy theo dõi thời gian chờ và VRAM thực tế trong vài tuần trước khi quyết định mua thêm GPU.
"} ], "tip": "Đừng chọn card vừa khít với kích thước file mô hình. Hãy chừa ít nhất 20% VRAM cho KV cache, vì người dùng văn phòng rất hay dán tài liệu dài vào khung chat.", "faq": [ {"q": "Card 8 GB VRAM chạy được mô hình nào?", "a": "Card 8 GB chạy tốt mô hình 7B–8B ở bản Q4 với ngữ cảnh vừa phải. Mô hình 14B sẽ phải chạy một phần trên CPU nên chậm hơn đáng kể."}, {"q": "Chạy mô hình 70B cần bao nhiêu VRAM?", "a": "Bản Q4 của mô hình 70B cần khoảng 40–45 GB VRAM cho ngữ cảnh ngắn. Thực tế thường dùng card 48 GB hoặc hai card 24 GB chia tải."}, {"q": "VRAM và RAM khác nhau thế nào khi chạy AI?", "a": "VRAM nằm trên card đồ họa, băng thông cao, dùng để chứa mô hình khi chạy bằng GPU. RAM là bộ nhớ hệ thống, chậm hơn nhiều, dùng khi mô hình chạy trên CPU hoặc tràn khỏi VRAM."}, {"q": "Hai card 12 GB có bằng một card 24 GB không?", "a": "Về tổng dung lượng thì gần tương đương, công cụ như llama.cpp có thể chia mô hình cho hai card. Tuy vậy, một card 24 GB thường đơn giản hơn, ít tốn khe cắm, nguồn và ít rủi ro tương thích."}, {"q": "Làm sao biết mô hình đang chạy hết trên GPU?", "a": "Với Ollama, chạy lệnh ollama ps và xem cột PROCESSOR; 100% GPU nghĩa là không tràn sang CPU. Bạn cũng có thể dùng nvidia-smi để theo dõi VRAM."}, {"q": "Lượng tử hóa Q4 có làm AI trả lời kém đi nhiều không?", "a": "Với đa số tác vụ văn phòng, bản Q4_K_M cho chất lượng gần bản gốc. Khác biệt rõ hơn ở toán, lập trình và câu trả lời tiếng Việt dài, nên hãy thử trên dữ liệu thật."} ], "sources": [ {"t": "llama.cpp – GitHub chính thức", "u": "https://github.com/ggml-org/llama.cpp"}, {"t": "Ollama – tài liệu chính thức", "u": "https://ollama.com"}, {"t": "vLLM – tài liệu chính thức", "u": "https://docs.vllm.ai"}, {"t": "Hugging Face Docs", "u": "https://huggingface.co/docs"} ], "related": ["may-tinh-chay-ai-cuc-bo-chon-cau-hinh", "ram-bao-nhieu-cho-ai", "vram-la-gi", "quantization-la-gi", "quantization-gguf-chon-ban-nao", "context-window-la-gi", "card-do-hoa-cho-ai", "gpu-nvidia-rtx-cho-ai", "loi-thuong-gap-khi-chay-ai-cuc-bo"] }, { "id": 2003, "slug": "ram-bao-nhieu-cho-ai", "title": "Máy tính chạy AI cần bao nhiêu RAM?", "meta_desc": "Máy tính chạy AI cần bao nhiêu RAM? Mức 16, 32, 64, 128 GB phù hợp việc gì, khi nào RAM quan trọng hơn VRAM và cách chọn RAM đúng cho máy AI cục bộ.", "excerpt": "RAM thường bị xem nhẹ khi lắp máy chạy AI, trong khi thiếu RAM khiến máy nạp mô hình chậm, giật lag hoặc không chạy được mô hình lớn. Bài này giúp bạn chọn đúng dung lượng và loại RAM theo cách bạn dùng AI.", "answer": "Máy tính chạy AI cục bộ nên có tối thiểu 32 GB RAM; 16 GB chỉ đủ thử mô hình nhỏ 1B–7B. Nguyên tắc dễ nhớ: RAM hệ thống nên lớn hơn hoặc bằng VRAM của GPU, cộng thêm 8–16 GB cho hệ điều hành và ứng dụng. Nếu chạy mô hình bằng CPU hoặc mô hình lớn tràn khỏi VRAM, RAM phải chứa được phần mô hình đó: mô hình 32B Q4 cần khoảng 20–22 GB, 70B Q4 khoảng 40–45 GB, nên cần 64–128 GB RAM.", "kws": ["RAM cho AI", "máy tính chạy AI cần bao nhiêu RAM", "RAM chạy LLM", "RAM cho máy AI cục bộ"], "sections": [ {"h2": "Máy tính chạy AI cần bao nhiêu RAM: câu trả lời theo mức dùng", "html": "RAM cho AI là bộ nhớ hệ thống của máy tính, khác với VRAM trên card đồ họa. RAM giữ hệ điều hành, ứng dụng, dữ liệu đang xử lý và đóng vai trò trung gian khi nạp mô hình AI vào GPU. Khi máy không có GPU rời, hoặc mô hình quá lớn so với VRAM, RAM trở thành nơi chứa và chạy chính mô hình.
Có thể chia nhu cầu RAM thành bốn mức:
Nhiều người nghĩ có GPU mạnh thì RAM không quan trọng. Thực tế RAM vẫn tham gia ở ba thời điểm.
Công cụ như Ollama, LM Studio đọc file mô hình từ SSD, đi qua RAM rồi mới chép sang VRAM. Hệ điều hành cũng giữ file trong bộ đệm để lần nạp sau nhanh hơn. Thiếu RAM khiến quá trình này chậm, máy dùng bộ nhớ ảo trên ổ cứng và giật.
Nếu mô hình 32B Q4 cần khoảng 21 GB mà card chỉ có 16 GB, phần còn lại sẽ chạy trên CPU và nằm trong RAM. Lúc này RAM phải đủ chứa phần tràn cộng với mọi thứ khác đang chạy.
Hệ thống AI nội bộ hiếm khi chỉ có mô hình. Một máy phục vụ văn phòng thường chạy thêm giao diện chat, cơ sở dữ liệu vector cho RAG, mô hình embedding, công cụ đọc PDF và OCR. Mỗi thành phần chiếm vài GB RAM, cộng lại rất nhanh.
Vì vậy nguyên tắc an toàn là RAM lớn hơn hoặc bằng VRAM, cộng 8–16 GB cho hệ điều hành và ứng dụng.
"}, {"h2": "Bảng chọn dung lượng RAM theo cấu hình và việc cần làm", "html": "Dùng bảng sau để đối chiếu nhanh. Các con số giả định mô hình lượng tử hóa 4-bit, ngữ cảnh vừa phải, hệ điều hành Windows 11 hoặc Linux có giao diện.
Cột “Ghi chú” nêu kịch bản thường gặp ở doanh nghiệp vừa và nhỏ. Nếu bạn vừa chạy AI vừa làm việc nặng khác trên cùng máy như dựng video, thiết kế 3D, máy ảo, hãy cộng thêm dung lượng RAM mà các phần mềm đó đang dùng.
Với máy không có GPU rời, cột “Mô hình chạy bằng CPU” là con số quan trọng nhất, vì toàn bộ mô hình nằm trong RAM. Tốc độ khi đó phụ thuộc băng thông RAM, nên cắm đủ kênh bộ nhớ quan trọng không kém dung lượng.
", "table": {"caption": "Dung lượng RAM gợi ý cho máy tính chạy AI cục bộ", "head": ["VRAM của GPU", "RAM gợi ý", "Mô hình chạy bằng CPU", "Ghi chú"], "rows": [["Không có GPU rời", "16–32 GB", "1B–8B Q4", "Thử nghiệm, máy văn phòng"], ["8–12 GB", "32 GB", "Phần tràn của 14B", "Một người dùng, chat và tóm tắt"], ["16–24 GB", "64 GB", "Phần tràn của 32B–70B", "Phòng kỹ thuật, RAG tài liệu lớn"], ["48 GB trở lên hoặc nhiều GPU", "128 GB trở lên", "Hiếm khi cần", "Server dùng chung cả công ty"]]}}, {"h2": "Chạy AI hoàn toàn bằng CPU thì RAM cần thế nào", "html": "Máy văn phòng không có card rời vẫn chạy được mô hình nhỏ bằng llama.cpp hoặc Ollama. Khi đó RAM vừa chứa mô hình vừa quyết định tốc độ.
Lấy kích thước file mô hình cộng thêm khoảng 2–4 GB cho ngữ cảnh và bộ đệm, sau đó cộng phần dành cho hệ điều hành và ứng dụng. Ví dụ mô hình 8B Q4 khoảng 5 GB, máy cần ít nhất 16 GB RAM để vừa chạy mô hình vừa mở trình duyệt.
Mỗi token sinh ra, CPU phải đọc gần như toàn bộ trọng số từ RAM. Vì vậy:
Mô hình 7B–8B Q4 chạy bằng CPU trên máy để bàn đời mới thường đủ dùng cho tóm tắt ngắn, nhưng chậm khi sinh văn bản dài. Mô hình từ 14B trở lên chạy bằng CPU thường quá chậm cho trải nghiệm chat.
"}, {"h2": "Chọn loại RAM: DDR4 hay DDR5, có cần ECC không", "html": "Ngoài dung lượng, loại RAM cũng ảnh hưởng đến độ ổn định và tốc độ của máy chạy AI.
Đối với máy chủ AI phục vụ nhiều người, độ ổn định quan trọng hơn vài phần trăm tốc độ. Không nên ép xung RAM trên máy chạy dịch vụ cho cả công ty.
"}, {"h2": "Cách kiểm tra máy đã đủ RAM cho AI chưa", "html": "Sau khi cài mô hình, hãy kiểm tra thực tế thay vì chỉ dựa vào bảng ước tính.
free -h trên Linux.Những lỗi dưới đây thường khiến máy chạy AI cục bộ hoạt động kém dù đã đầu tư GPU tốt.
Nếu mô hình đã chạy 100% trên GPU, RAM dùng dưới 70% và máy không giật, việc nâng RAM gần như không làm AI nhanh hơn. Khoản đầu tư nên dành cho GPU nhiều VRAM hơn hoặc SSD lưu trữ mô hình.
"} ], "tip": "Với máy lắp mới để chạy AI, hãy chọn 2 thanh RAM dung lượng lớn chạy dual channel và chừa khe trống. Nâng RAM sau này dễ và ít rủi ro hơn nhiều so với thay mainboard.", "faq": [ {"q": "16GB RAM có chạy được AI không?", "a": "Có thể chạy mô hình nhỏ 1B–7B ở bản lượng tử hóa 4-bit. Tuy vậy, khi mở thêm trình duyệt và Office, máy dễ thiếu RAM nên 32 GB là mức thoải mái hơn."}, {"q": "Chạy mô hình 70B cần bao nhiêu RAM?", "a": "Nếu chạy chủ yếu bằng CPU, bản Q4 của mô hình 70B cần khoảng 40–45 GB chỉ cho trọng số, nên máy cần 64 GB trở lên, tốt nhất là 128 GB. Tốc độ khi đó khá chậm so với chạy trên GPU."}, {"q": "RAM hay VRAM quan trọng hơn khi chạy AI?", "a": "Nếu có GPU, VRAM quan trọng hơn vì quyết định mô hình nào chạy nhanh được. RAM đóng vai trò hỗ trợ và trở thành chính khi máy không có GPU hoặc mô hình tràn khỏi VRAM."}, {"q": "Có nên dùng RAM ECC cho máy chạy AI?", "a": "Nên dùng cho server hoặc máy trạm chạy liên tục phục vụ nhiều người. Máy cá nhân dùng vài giờ mỗi ngày thì RAM thường vẫn đủ ổn định."}, {"q": "Laptop 32GB RAM không có card rời chạy AI được không?", "a": "Được với mô hình 7B–8B lượng tử hóa, phù hợp tóm tắt, soạn thảo ngắn. Tốc độ phụ thuộc CPU và băng thông RAM, thường chậm hơn máy có GPU rời."}, {"q": "Nâng RAM có làm AI chạy nhanh hơn không?", "a": "Chỉ nhanh hơn khi máy đang thiếu RAM hoặc mô hình chạy một phần trên CPU. Nếu mô hình đã nằm trọn trong VRAM, nâng RAM gần như không thay đổi tốc độ."} ], "sources": [ {"t": "llama.cpp – GitHub chính thức", "u": "https://github.com/ggml-org/llama.cpp"}, {"t": "Ollama – tài liệu chính thức", "u": "https://ollama.com"}, {"t": "Random-access memory – Wikipedia", "u": "https://en.wikipedia.org/wiki/Random-access_memory"} ], "related": ["may-tinh-chay-ai-cuc-bo-chon-cau-hinh", "vram-bao-nhieu-de-chay-llm", "bao-nhieu-gb-ram-la-du", "ram-ecc-la-gi", "dual-channel-la-gi", "ram-ddr5-la-gi", "cpu-hay-gpu-cho-ai", "chay-llm-tren-may-van-phong-cu"] } ]