Cài Ollama trên Windows và chạy mô hình AI đầu tiên

💻 Cài Ollama trên Windows để làm gì

Ollama là phần mềm mã nguồn mở dùng để tải và chạy mô hình ngôn ngữ lớn (LLM) ngay trên máy tính của bạn. Khi cài Ollama trên Windows, bạn có một “máy chủ AI mini” chạy nền, nhận câu hỏi qua dòng lệnh hoặc qua giao diện khác như Open WebUI, rồi trả lời bằng phần cứng của chính máy đó.

Với người dùng văn phòng, lợi ích rõ nhất là:

• Dữ liệu không rời máy: bạn có thể dán nội dung hợp đồng, bảng lương nháp hay email nội bộ để tóm tắt mà không gửi lên dịch vụ đám mây.
• Không phụ thuộc hạn mức: mô hình chạy cục bộ không giới hạn số câu hỏi mỗi ngày.
• Học và thử nghiệm: phòng IT của một công ty 30 người có thể thử nhiều mô hình mở trước khi quyết định đầu tư server chung.

Khi nào chưa nên cài

Nếu máy chỉ có 8 GB RAM, ổ cứng HDD hoặc bạn cần chất lượng trả lời ngang các mô hình thương mại lớn nhất, trải nghiệm sẽ khá hạn chế. Khi đó nên dùng dịch vụ đám mây có gói miễn phí/trả phí cho nhu cầu hằng ngày, và chỉ thử Ollama với mô hình rất nhỏ để làm quen.

📌 Chuẩn bị máy trước khi cài

Dành 10 phút kiểm tra máy sẽ tránh được phần lớn lỗi về sau. Danh sách chuẩn bị:

• Hệ điều hành: Windows 10 hoặc 11 bản 64-bit, đã cập nhật gần đây. Kiểm tra trong Settings, mục System, About.
• RAM: 16 GB là mức dễ chịu cho mô hình 3B–8B lượng tử hóa 4-bit; 8 GB chỉ nên thử mô hình 1B–3B.
• Ổ cứng: SSD còn trống ít nhất 20 GB. Mỗi mô hình 7B–8B bản 4-bit thường chiếm khoảng 4–5 GB, bạn sẽ muốn thử vài mô hình.
• Card đồ họa: mở Task Manager, tab Performance, xem mục GPU để biết tên card và dung lượng Dedicated GPU memory.
• Driver: với card NVIDIA, cài driver mới từ trang NVIDIA hoặc GeForce Experience/NVIDIA App; với card AMD, cài driver Adrenalin mới.
• Quyền: tài khoản Windows có quyền cài phần mềm; máy công ty có thể cần IT cấp quyền.

Kiểm tra dung lượng VRAM

VRAM quyết định mô hình có nằm gọn trong GPU hay không. Card 8 GB VRAM thường chạy tốt mô hình 7B–8B bản 4-bit với ngữ cảnh vừa phải; card 4 GB chỉ nên dùng mô hình 3B trở xuống. Phần không vừa VRAM sẽ bị đẩy sang RAM và CPU, tốc độ giảm mạnh.

🛠️ Các bước cài Ollama trên Windows

Quá trình cài khá giống cài một phần mềm thông thường. Thực hiện theo thứ tự:

1. Mở trình duyệt, vào trang chính thức ollama.com, chọn Download rồi chọn Windows để tải tệp OllamaSetup.exe. Không tải bộ cài từ trang chia sẻ không rõ nguồn.
2. Chạy tệp vừa tải, bấm Install. Bộ cài mặc định đặt chương trình trong thư mục người dùng nên thường không hỏi quyền quản trị.
3. Sau khi cài, biểu tượng Ollama xuất hiện ở khay hệ thống góc phải màn hình. Đây là dịch vụ chạy nền, lắng nghe tại địa chỉ http://localhost:11434.
4. Mở PowerShell hoặc Command Prompt, gõ ollama --version. Nếu hiện số phiên bản là cài thành công.
5. Gõ ollama run kèm tên một mô hình nhỏ trong thư viện trên ollama.com, ví dụ một mô hình khoảng 3B. Lần đầu Ollama sẽ tải mô hình về, thời gian tùy tốc độ mạng.
6. Khi thấy dấu nhắc >>>, gõ câu hỏi bằng tiếng Việt và nhấn Enter. Gõ /bye để thoát.

Phiên bản mới của Ollama trên Windows có thể kèm cửa sổ chat đơn giản. Giao diện có thể thay đổi theo từng bản, nên hãy đối chiếu hướng dẫn trên trang chính thức tại thời điểm cài.

📌 Chọn mô hình đầu tiên phù hợp với máy

Người mới hay mắc lỗi tải ngay mô hình lớn nhất rồi thấy máy đứng. Nguyên tắc an toàn là bắt đầu nhỏ, đo tốc độ, sau đó mới tăng dần. Thư viện trên ollama.com ghi rõ kích thước tệp của từng phiên bản, hãy so với VRAM và RAM của máy.

Gợi ý chọn theo máy:

• Laptop văn phòng không GPU rời, 16 GB RAM: mô hình 1B–3B cho tóm tắt ngắn, viết lại email.
• PC có GPU 8 GB VRAM: mô hình 7B–8B bản 4-bit, đủ cho soạn thảo, hỏi đáp, dịch cơ bản.
• PC có GPU 12–16 GB VRAM: mô hình 12B–14B, hiểu tiếng Việt và làm theo hướng dẫn tốt hơn.
• Máy trạm 24 GB VRAM trở lên: có thể thử mô hình 27B–32B.

Ưu tiên mô hình hiểu tiếng Việt

Không phải mô hình mở nào cũng viết tiếng Việt tự nhiên. Hãy thử cùng một câu hỏi thực tế, ví dụ “Tóm tắt email khiếu nại này thành 3 ý và đề xuất câu trả lời lịch sự”, trên 2–3 mô hình cùng cỡ rồi chọn mô hình trả lời mạch lạc nhất. Ghi lại kết quả để phòng ban khác dùng chung.

📌 Các lệnh Ollama cần nhớ

Bạn không cần thuộc nhiều lệnh. Bảng dưới đây gom những lệnh dùng hằng ngày khi quản lý mô hình trên máy Windows.

Một vài lưu ý khi dùng lệnh:

• Tên mô hình gồm phần tên và nhãn sau dấu hai chấm, nhãn thường cho biết cỡ mô hình hoặc mức lượng tử hóa.
• Lệnh ollama ps rất hữu ích để biết mô hình đang chạy bao nhiêu phần trên GPU, bao nhiêu phần trên CPU.
• Xóa mô hình không dùng bằng ollama rm để giải phóng ổ cứng, nhất là trên laptop SSD nhỏ.

📌 Đổi thư mục lưu mô hình và cho máy khác truy cập

Mặc định, mô hình được lưu trong thư mục .ollama của tài khoản người dùng trên ổ C. Với laptop ổ C nhỏ, đây là nguyên nhân phổ biến làm đầy ổ. Bạn có thể chuyển sang ổ D hoặc SSD thứ hai.

Chuyển thư mục mô hình

1. Thoát Ollama bằng cách bấm chuột phải biểu tượng ở khay hệ thống, chọn Quit.
2. Mở Settings, tìm “Edit environment variables for your account”.
3. Tạo biến OLLAMA_MODELS với giá trị là thư mục mới, ví dụ D:\ollama\models.
4. Mở lại Ollama từ Start menu, sau đó tải lại mô hình hoặc chép thư mục cũ sang vị trí mới.

Cho máy khác trong mạng LAN gọi tới

Mặc định Ollama chỉ nhận kết nối từ chính máy đó. Nếu muốn đồng nghiệp dùng chung, có thể đặt biến OLLAMA_HOST thành 0.0.0.0 và mở cổng 11434 trên Windows Firewall cho mạng nội bộ. Tuy nhiên Ollama không có cơ chế đăng nhập riêng, ai vào được mạng là gọi được. Với nhu cầu dùng chung nhiều người, nên đặt một giao diện có tài khoản như Open WebUI phía trước và tuyệt đối không mở cổng này ra Internet.

📌 Kiểm tra kết quả: máy đã chạy bằng GPU chưa

Cài xong và chat được chưa có nghĩa là máy đang dùng GPU. Hãy kiểm tra theo ba cách:

1. Dùng lệnh: trong lúc mô hình đang trả lời hoặc vừa trả lời xong, mở cửa sổ khác gõ ollama ps. Cột PROCESSOR hiện 100% GPU là tốt nhất; nếu thấy tỷ lệ chia CPU/GPU nghĩa là mô hình không vừa VRAM.
2. Dùng Task Manager: tab Performance, chọn GPU, quan sát Dedicated GPU memory tăng lên khi nạp mô hình.
3. Cảm nhận tốc độ: gõ ollama run tên-mô-hình --verbose, cuối mỗi câu trả lời sẽ có thống kê tốc độ sinh token. Với chat thoải mái, khoảng 15–20 token mỗi giây trở lên thường cho cảm giác mượt.

Bộ câu hỏi thử nhanh

• Viết lại một email xin lỗi khách vì giao hàng trễ, giọng lịch sự.
• Tóm tắt đoạn quy định nội bộ dài 500 chữ thành 5 gạch đầu dòng.
• Giải thích công thức VLOOKUP cho nhân viên mới.

Nếu mô hình trả lời đúng ý, tiếng Việt tự nhiên và tốc độ chấp nhận được, bạn đã có nền tảng để gắn thêm giao diện web hoặc kết nối tài liệu nội bộ.

❓ Lỗi thường gặp khi cài Ollama trên Windows

Phần lớn sự cố rơi vào vài nhóm quen thuộc. Bảng dưới đây giúp bạn tự xử lý trước khi nhờ hỗ trợ.

Nếu đã thử các cách trên vẫn không ổn, hãy ghi lại phiên bản Ollama, tên card đồ họa, phiên bản driver và nội dung lỗi trong tệp log. Trên Windows, log của Ollama nằm trong thư mục %LOCALAPPDATA%\Ollama; gửi kèm thông tin này giúp người hỗ trợ xác định nguyên nhân nhanh hơn nhiều.

❓ Câu hỏi thường gặp

📌 Bài viết liên quan

• Ollama là gì? Chạy mô hình AI miễn phí trên máy của bạn
• Ollama vs LM Studio: chạy AI cục bộ bằng công cụ nào
• Cài Open WebUI: giao diện chat AI nội bộ cho cả công ty
• Chạy AI trên máy tính cá nhân (local AI): cần gì và có đáng không
• Cần bao nhiêu VRAM để chạy LLM 7B, 14B, 32B, 70B?
• Chọn bản mô hình GGUF (Q4, Q5, Q8) phù hợp máy của bạn
• Lỗi thường gặp khi chạy AI cục bộ và cách khắc phục nhanh
• Máy tính chạy AI cục bộ: chọn cấu hình theo nhu cầu và ngân sách

📌 Nguồn tham khảo

• Ollama – trang chính thức
• Ollama – GitHub chính thức
• NVIDIA Drivers