[ { "id": 2019, "slug": "cai-ollama-tren-windows", "title": "Cài Ollama trên Windows và chạy mô hình AI đầu tiên", "meta_desc": "Hướng dẫn cài Ollama trên Windows từng bước: chuẩn bị máy, tải mô hình, chạy chat đầu tiên, đổi thư mục lưu, kiểm tra GPU và xử lý lỗi thường gặp.", "excerpt": "Ollama giúp bạn chạy mô hình AI ngay trên máy Windows mà không cần biết lập trình. Bài này đi từ khâu chuẩn bị, cài đặt, tải mô hình đầu tiên đến cách kiểm tra máy có dùng GPU hay không.", "answer": "Cài Ollama trên Windows gồm bốn bước: tải bộ cài OllamaSetup.exe từ trang ollama.com, chạy cài đặt như phần mềm thông thường, mở PowerShell gõ lệnh ollama run kèm tên mô hình (ví dụ một mô hình 3B–8B), rồi chờ tải xong là chat được ngay trong cửa sổ dòng lệnh. Máy nên có Windows 10/11 bản cập nhật gần đây, tối thiểu 16 GB RAM và ổ SSD trống 20 GB trở lên. Nếu có card NVIDIA hoặc AMD được hỗ trợ, Ollama tự dùng GPU để trả lời nhanh hơn; không có GPU vẫn chạy được bằng CPU nhưng chậm hơn rõ rệt.", "kws": ["cài Ollama trên Windows", "hướng dẫn cài Ollama", "chạy mô hình AI trên Windows", "Ollama Windows", "chạy LLM cục bộ"], "sections": [ {"h2": "Cài Ollama trên Windows để làm gì", "html": "

Ollama là phần mềm mã nguồn mở dùng để tải và chạy mô hình ngôn ngữ lớn (LLM) ngay trên máy tính của bạn. Khi cài Ollama trên Windows, bạn có một “máy chủ AI mini” chạy nền, nhận câu hỏi qua dòng lệnh hoặc qua giao diện khác như Open WebUI, rồi trả lời bằng phần cứng của chính máy đó.

Với người dùng văn phòng, lợi ích rõ nhất là:

Khi nào chưa nên cài

Nếu máy chỉ có 8 GB RAM, ổ cứng HDD hoặc bạn cần chất lượng trả lời ngang các mô hình thương mại lớn nhất, trải nghiệm sẽ khá hạn chế. Khi đó nên dùng dịch vụ đám mây có gói miễn phí/trả phí cho nhu cầu hằng ngày, và chỉ thử Ollama với mô hình rất nhỏ để làm quen.

"}, {"h2": "Chuẩn bị máy trước khi cài", "html": "

Dành 10 phút kiểm tra máy sẽ tránh được phần lớn lỗi về sau. Danh sách chuẩn bị:

Kiểm tra dung lượng VRAM

VRAM quyết định mô hình có nằm gọn trong GPU hay không. Card 8 GB VRAM thường chạy tốt mô hình 7B–8B bản 4-bit với ngữ cảnh vừa phải; card 4 GB chỉ nên dùng mô hình 3B trở xuống. Phần không vừa VRAM sẽ bị đẩy sang RAM và CPU, tốc độ giảm mạnh.

"}, {"h2": "Các bước cài Ollama trên Windows", "html": "

Quá trình cài khá giống cài một phần mềm thông thường. Thực hiện theo thứ tự:

  1. Mở trình duyệt, vào trang chính thức ollama.com, chọn Download rồi chọn Windows để tải tệp OllamaSetup.exe. Không tải bộ cài từ trang chia sẻ không rõ nguồn.
  2. Chạy tệp vừa tải, bấm Install. Bộ cài mặc định đặt chương trình trong thư mục người dùng nên thường không hỏi quyền quản trị.
  3. Sau khi cài, biểu tượng Ollama xuất hiện ở khay hệ thống góc phải màn hình. Đây là dịch vụ chạy nền, lắng nghe tại địa chỉ http://localhost:11434.
  4. Mở PowerShell hoặc Command Prompt, gõ ollama --version. Nếu hiện số phiên bản là cài thành công.
  5. Gõ ollama run kèm tên một mô hình nhỏ trong thư viện trên ollama.com, ví dụ một mô hình khoảng 3B. Lần đầu Ollama sẽ tải mô hình về, thời gian tùy tốc độ mạng.
  6. Khi thấy dấu nhắc >>>, gõ câu hỏi bằng tiếng Việt và nhấn Enter. Gõ /bye để thoát.

Phiên bản mới của Ollama trên Windows có thể kèm cửa sổ chat đơn giản. Giao diện có thể thay đổi theo từng bản, nên hãy đối chiếu hướng dẫn trên trang chính thức tại thời điểm cài.

"}, {"h2": "Chọn mô hình đầu tiên phù hợp với máy", "html": "

Người mới hay mắc lỗi tải ngay mô hình lớn nhất rồi thấy máy đứng. Nguyên tắc an toàn là bắt đầu nhỏ, đo tốc độ, sau đó mới tăng dần. Thư viện trên ollama.com ghi rõ kích thước tệp của từng phiên bản, hãy so với VRAM và RAM của máy.

Gợi ý chọn theo máy:

Ưu tiên mô hình hiểu tiếng Việt

Không phải mô hình mở nào cũng viết tiếng Việt tự nhiên. Hãy thử cùng một câu hỏi thực tế, ví dụ “Tóm tắt email khiếu nại này thành 3 ý và đề xuất câu trả lời lịch sự”, trên 2–3 mô hình cùng cỡ rồi chọn mô hình trả lời mạch lạc nhất. Ghi lại kết quả để phòng ban khác dùng chung.

"}, {"h2": "Các lệnh Ollama cần nhớ", "html": "

Bạn không cần thuộc nhiều lệnh. Bảng dưới đây gom những lệnh dùng hằng ngày khi quản lý mô hình trên máy Windows.

Một vài lưu ý khi dùng lệnh:

", "table": {"caption": "Lệnh Ollama thường dùng trên Windows", "head": ["Lệnh", "Tác dụng", "Khi nào dùng"], "rows": [["ollama run tên-mô-hình", "Tải (nếu chưa có) và mở phiên chat", "Thử nhanh một mô hình"], ["ollama pull tên-mô-hình", "Chỉ tải mô hình về máy", "Chuẩn bị trước khi dùng qua giao diện khác"], ["ollama list", "Liệt kê mô hình đã tải và dung lượng", "Kiểm tra ổ cứng còn trống"], ["ollama ps", "Xem mô hình đang nạp và tỷ lệ GPU/CPU", "Kiểm tra máy có dùng GPU không"], ["ollama rm tên-mô-hình", "Xóa mô hình khỏi máy", "Dọn dung lượng"], ["ollama --version", "Hiện phiên bản đang cài", "Xác nhận cài đặt, trước khi báo lỗi"]]}}, {"h2": "Đổi thư mục lưu mô hình và cho máy khác truy cập", "html": "

Mặc định, mô hình được lưu trong thư mục .ollama của tài khoản người dùng trên ổ C. Với laptop ổ C nhỏ, đây là nguyên nhân phổ biến làm đầy ổ. Bạn có thể chuyển sang ổ D hoặc SSD thứ hai.

Chuyển thư mục mô hình

  1. Thoát Ollama bằng cách bấm chuột phải biểu tượng ở khay hệ thống, chọn Quit.
  2. Mở Settings, tìm “Edit environment variables for your account”.
  3. Tạo biến OLLAMA_MODELS với giá trị là thư mục mới, ví dụ D:\\ollama\\models.
  4. Mở lại Ollama từ Start menu, sau đó tải lại mô hình hoặc chép thư mục cũ sang vị trí mới.

Cho máy khác trong mạng LAN gọi tới

Mặc định Ollama chỉ nhận kết nối từ chính máy đó. Nếu muốn đồng nghiệp dùng chung, có thể đặt biến OLLAMA_HOST thành 0.0.0.0 và mở cổng 11434 trên Windows Firewall cho mạng nội bộ. Tuy nhiên Ollama không có cơ chế đăng nhập riêng, ai vào được mạng là gọi được. Với nhu cầu dùng chung nhiều người, nên đặt một giao diện có tài khoản như Open WebUI phía trước và tuyệt đối không mở cổng này ra Internet.

"}, {"h2": "Kiểm tra kết quả: máy đã chạy bằng GPU chưa", "html": "

Cài xong và chat được chưa có nghĩa là máy đang dùng GPU. Hãy kiểm tra theo ba cách:

  1. Dùng lệnh: trong lúc mô hình đang trả lời hoặc vừa trả lời xong, mở cửa sổ khác gõ ollama ps. Cột PROCESSOR hiện 100% GPU là tốt nhất; nếu thấy tỷ lệ chia CPU/GPU nghĩa là mô hình không vừa VRAM.
  2. Dùng Task Manager: tab Performance, chọn GPU, quan sát Dedicated GPU memory tăng lên khi nạp mô hình.
  3. Cảm nhận tốc độ: gõ ollama run tên-mô-hình --verbose, cuối mỗi câu trả lời sẽ có thống kê tốc độ sinh token. Với chat thoải mái, khoảng 15–20 token mỗi giây trở lên thường cho cảm giác mượt.

Bộ câu hỏi thử nhanh

Nếu mô hình trả lời đúng ý, tiếng Việt tự nhiên và tốc độ chấp nhận được, bạn đã có nền tảng để gắn thêm giao diện web hoặc kết nối tài liệu nội bộ.

"}, {"h2": "Lỗi thường gặp khi cài Ollama trên Windows", "html": "

Phần lớn sự cố rơi vào vài nhóm quen thuộc. Bảng dưới đây giúp bạn tự xử lý trước khi nhờ hỗ trợ.

Nếu đã thử các cách trên vẫn không ổn, hãy ghi lại phiên bản Ollama, tên card đồ họa, phiên bản driver và nội dung lỗi trong tệp log. Trên Windows, log của Ollama nằm trong thư mục %LOCALAPPDATA%\\Ollama; gửi kèm thông tin này giúp người hỗ trợ xác định nguyên nhân nhanh hơn nhiều.

", "table": {"caption": "Lỗi thường gặp và cách khắc phục", "head": ["Triệu chứng", "Nguyên nhân thường gặp", "Cách xử lý"], "rows": [["Gõ lệnh báo không nhận ra ollama", "Chưa mở lại PowerShell sau khi cài, PATH chưa cập nhật", "Đóng và mở lại cửa sổ dòng lệnh, hoặc khởi động lại máy"], ["Trả lời rất chậm, CPU 100%", "Mô hình lớn hơn VRAM hoặc driver GPU cũ", "Chọn mô hình nhỏ hơn, cập nhật driver, kiểm tra bằng ollama ps"], ["Tải mô hình dừng giữa chừng", "Mạng chập chờn, proxy hoặc tường lửa công ty chặn", "Chạy lại lệnh pull, nhờ IT mở truy cập tới ollama.com"], ["Ổ C đầy sau vài ngày", "Mô hình lưu mặc định trong thư mục người dùng", "Đặt biến OLLAMA_MODELS sang ổ khác, xóa mô hình không dùng"], ["Báo lỗi cổng 11434 đã bị dùng", "Ollama đã chạy nền hoặc chạy hai lần", "Thoát biểu tượng ở khay hệ thống rồi mở lại một lần"]]}} ], "tip": "Hãy cài Ollama trên một máy thử nghiệm trước, ghi lại mô hình nào chạy tốt với tiếng Việt và tốc độ bao nhiêu token mỗi giây. Bộ ghi chép này giúp bạn quyết định chính xác cấu hình khi đầu tư máy chủ AI dùng chung cho cả văn phòng.", "faq": [ {"q": "Cài Ollama trên Windows có miễn phí không?", "a": "Ollama là phần mềm mã nguồn mở, tải và dùng trên máy cá nhân không mất phí. Mỗi mô hình mở có giấy phép riêng, nên doanh nghiệp cần đọc điều khoản trước khi dùng cho mục đích thương mại."}, {"q": "Máy không có card rời có chạy được Ollama không?", "a": "Có, Ollama sẽ dùng CPU và RAM. Tốc độ chậm hơn nhiều so với GPU, nên chỉ phù hợp mô hình 1B–3B và các câu hỏi ngắn."}, {"q": "Ollama có giao diện chat như ChatGPT không?", "a": "Bản Windows gần đây có kèm cửa sổ chat đơn giản, ngoài ra bạn dùng dòng lệnh. Muốn giao diện đầy đủ có tài khoản, lịch sử, tải tài liệu, hãy cài thêm Open WebUI và kết nối tới Ollama."}, {"q": "Làm sao biết Ollama đang dùng GPU hay CPU?", "a": "Gõ lệnh ollama ps khi mô hình đang nạp. Cột PROCESSOR cho biết tỷ lệ GPU và CPU; nếu không phải 100% GPU, mô hình đang vượt quá VRAM."}, {"q": "Mô hình chạy bằng Ollama có biết tiếng Việt không?", "a": "Nhiều mô hình mở hiện nay hiểu và viết tiếng Việt ở mức khá, nhưng chất lượng khác nhau giữa các dòng và cỡ mô hình. Hãy thử vài mô hình với cùng câu hỏi thực tế rồi chọn bản phù hợp nhất."}, {"q": "Gỡ Ollama khỏi Windows thế nào cho sạch?", "a": "Gỡ trong Settings, Apps như phần mềm thông thường, sau đó xóa thư mục .ollama trong thư mục người dùng hoặc thư mục bạn đã đặt cho OLLAMA_MODELS để lấy lại dung lượng ổ cứng."} ], "sources": [ {"t": "Ollama – trang chính thức", "u": "https://ollama.com"}, {"t": "Ollama – GitHub chính thức", "u": "https://github.com/ollama/ollama"}, {"t": "NVIDIA Drivers", "u": "https://www.nvidia.com/en-us/drivers/"} ], "related": ["ollama-la-gi", "ollama-vs-lm-studio", "cai-open-webui", "chay-ai-tren-may-tinh-ca-nhan", "vram-bao-nhieu-de-chay-llm", "quantization-gguf-chon-ban-nao", "loi-thuong-gap-khi-chay-ai-cuc-bo", "may-tinh-chay-ai-cuc-bo-chon-cau-hinh"] }, { "id": 2020, "slug": "cai-open-webui", "title": "Cài Open WebUI: giao diện chat AI nội bộ cho cả công ty", "meta_desc": "Hướng dẫn cài Open WebUI bằng Docker hoặc Python, kết nối Ollama, tạo tài khoản quản trị, phân quyền nhân viên và cấu hình kho tài liệu cho chat AI nội bộ.", "excerpt": "Open WebUI biến mô hình chạy bằng Ollama thành một trang chat quen thuộc, có tài khoản, lịch sử và phân quyền. Bài này hướng dẫn cài đặt, cấu hình người dùng và những thiết lập cần làm trước khi mở cho cả công ty.", "answer": "Cài Open WebUI là cách nhanh nhất để có giao diện chat AI kiểu ChatGPT dùng trong mạng nội bộ. Bạn chạy Open WebUI bằng Docker (một lệnh docker run) hoặc bằng Python (pip install open-webui), trỏ nó tới Ollama hay một API tương thích OpenAI, rồi mở trình duyệt vào cổng đã cấu hình. Tài khoản đăng ký đầu tiên trở thành quản trị viên; các tài khoản sau chờ duyệt. Với công ty 20–50 người, nên cài trên một máy chủ có GPU, bật duyệt đăng ký, chia nhóm quyền và sao lưu thư mục dữ liệu định kỳ.", "kws": ["cài Open WebUI", "Open WebUI Docker", "giao diện chat AI nội bộ", "Open WebUI Ollama", "chat AI cho công ty"], "sections": [ {"h2": "Cài Open WebUI để giải quyết vấn đề gì", "html": "

Open WebUI là giao diện web mã nguồn mở cho mô hình ngôn ngữ, thường đi cùng Ollama. Khi đã cài Open WebUI, nhân viên chỉ cần mở trình duyệt, đăng nhập và chat như dùng các dịch vụ AI quen thuộc, trong khi mô hình và dữ liệu nằm trên máy chủ của công ty.

So với việc mỗi người tự cài Ollama, cách này giải quyết ba vấn đề:

Ví dụ thực tế

Một công ty phân phối thiết bị 40 người đặt máy chủ trong phòng IT. Phòng kinh doanh dùng mô hình để soạn báo giá mô tả, phòng nhân sự hỏi đáp nội quy từ kho tài liệu, còn kế toán chỉ được cấp mô hình nội bộ và không dùng kết nối API ra ngoài. Tất cả đi qua một địa chỉ web duy nhất trong mạng LAN.

"}, {"h2": "Chuẩn bị trước khi cài Open WebUI", "html": "

Open WebUI bản thân khá nhẹ; phần nặng là mô hình chạy phía sau. Trước khi cài, chốt các điểm sau:

Docker hay Python

Docker cô lập Open WebUI khỏi hệ thống, cập nhật bằng cách kéo bản mới và chạy lại, dữ liệu nằm trong một volume riêng. Cách Python phù hợp khi máy không cài được Docker hoặc bạn chỉ thử nghiệm trên một máy cá nhân.

"}, {"h2": "Các bước cài Open WebUI bằng Docker", "html": "

Cách dưới đây áp dụng khi Ollama chạy trên cùng máy với Docker. Kiểm tra lại lệnh trên tài liệu chính thức vì tham số có thể thay đổi theo phiên bản.

  1. Cài Docker Engine (Linux) hoặc Docker Desktop (Windows), xác nhận bằng lệnh docker --version.
  2. Chạy lệnh khởi tạo theo mẫu trong tài liệu Open WebUI: docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main.
  3. Chờ vài phút cho lần chạy đầu tải image, kiểm tra trạng thái bằng docker ps.
  4. Mở trình duyệt vào http://địa-chỉ-máy-chủ:3000.
  5. Tạo tài khoản đầu tiên. Tài khoản này là quản trị viên, nên dùng email công ty và mật khẩu mạnh.
  6. Vào Admin Panel, mục Settings, Connections, kiểm tra kết nối Ollama trỏ tới http://host.docker.internal:11434 và thấy danh sách mô hình.
  7. Chọn một mô hình ở góc trên khung chat, gửi câu hỏi thử.

Cách cài bằng Python

Tạo môi trường ảo Python 3.11, chạy pip install open-webui rồi open-webui serve. Giao diện mặc định mở ở cổng 8080. Cách này cần tự cấu hình chạy nền khi khởi động máy.

"}, {"h2": "Thiết lập tài khoản và phân quyền cho nhân viên", "html": "

Đây là bước quyết định Open WebUI an toàn hay lộn xộn. Mặc định, người đăng ký mới ở trạng thái chờ duyệt; quản trị viên duyệt trong Admin Panel, mục Users.

  1. Giữ cơ chế duyệt đăng ký: chỉ chấp nhận email công ty, từ chối tài khoản lạ.
  2. Tạo nhóm theo phòng ban: Kinh doanh, Kế toán, Nhân sự, Kỹ thuật.
  3. Gán quyền mô hình: mô hình nhẹ cho mọi người; mô hình lớn hoặc kết nối API trả phí chỉ cấp cho nhóm cần.
  4. Giới hạn quyền tạo kho tài liệu: chỉ trưởng phòng hoặc IT được tạo Knowledge dùng chung, tránh tài liệu trùng lặp, lỗi thời.
  5. Có ít nhất hai quản trị viên: phòng khi một người nghỉ việc hoặc quên mật khẩu.

Bảng sau gợi ý cách chia quyền cho công ty khoảng 30 người.

", "table": {"caption": "Gợi ý phân quyền Open WebUI theo vai trò", "head": ["Vai trò", "Quyền nên có", "Không nên cấp"], "rows": [["Quản trị viên IT", "Cài mô hình, kết nối, duyệt tài khoản, xem cấu hình", "Dùng chung tài khoản với người khác"], ["Trưởng phòng", "Tạo và cập nhật kho tài liệu của phòng, mẫu prompt", "Thay đổi kết nối hệ thống"], ["Nhân viên", "Chat, tải tệp cá nhân, dùng kho tài liệu được chia sẻ", "Xem kho tài liệu của phòng khác"], ["Thực tập sinh, cộng tác viên", "Chat với mô hình nội bộ cơ bản", "Kết nối API bên ngoài, tài liệu nhạy cảm"]]}}, {"h2": "Thêm tài liệu nội bộ để AI trả lời theo công ty", "html": "

Open WebUI có sẵn tính năng RAG: bạn tải tài liệu lên, hệ thống chia nhỏ, tạo chỉ mục và đưa đoạn liên quan vào câu hỏi. Nhờ vậy mô hình trả lời dựa trên quy trình của công ty thay vì kiến thức chung.

Cách tổ chức kho tài liệu

Kiểm tra chất lượng trả lời

Soạn 15–20 câu hỏi nhân viên hay hỏi kèm đáp án đúng, chạy thử và chấm điểm. Nếu câu trả lời sai hoặc thiếu, xem lại cách chia đoạn, mô hình embedding và số đoạn được lấy trong phần cài đặt Documents. Đừng mở cho cả công ty khi bộ câu hỏi thử còn sai nhiều.

"}, {"h2": "Kiểm tra kết quả trước khi mở cho cả công ty", "html": "

Chạy một tuần thí điểm với 5–10 người từ các phòng khác nhau, theo checklist sau:

  1. Truy cập: mọi máy trong LAN mở được địa chỉ Open WebUI, đăng nhập bình thường.
  2. Tốc độ: khi 3–5 người cùng hỏi, thời gian bắt đầu trả lời vẫn chấp nhận được. Nếu chậm, xem lại cỡ mô hình và VRAM.
  3. Phân quyền: dùng tài khoản nhân viên thử truy cập kho tài liệu của phòng khác, phải bị chặn.
  4. Sao lưu: sao lưu volume open-webui hoặc thư mục dữ liệu, rồi thử khôi phục trên máy khác.
  5. Khởi động lại: tắt và bật máy chủ, Ollama và Open WebUI phải tự chạy lại.
  6. Hướng dẫn sử dụng: một trang ngắn: địa chỉ truy cập, chọn mô hình nào cho việc gì, dữ liệu nào không được đưa vào.

Thu thập phản hồi cuối tuần: câu hỏi nào AI làm tốt, câu nào sai, ai cần thêm quyền. Đây là dữ liệu thực tế để quyết định có nâng cấp phần cứng hay không.

"}, {"h2": "Lỗi thường gặp khi cài Open WebUI", "html": "

Các lỗi dưới đây chiếm phần lớn sự cố trong giai đoạn đầu:

Không mở thẳng ra Internet

Nếu cần dùng từ xa, hãy truy cập qua VPN của công ty. Mở cổng Open WebUI trực tiếp ra Internet khiến trang đăng nhập bị dò mật khẩu và có thể lộ dữ liệu nội bộ.

"} ], "tip": "Đừng mở Open WebUI cho cả công ty ngay ngày đầu. Chạy thí điểm với một nhóm nhỏ, hoàn thiện phân quyền và bộ câu hỏi thử, rồi mới mở rộng; làm vậy nhân viên sẽ tin dùng thay vì bỏ sau vài câu trả lời sai.", "faq": [ {"q": "Open WebUI có bắt buộc dùng với Ollama không?", "a": "Không. Open WebUI kết nối được với Ollama và các API tương thích chuẩn OpenAI, kể cả máy chủ vLLM nội bộ hoặc dịch vụ đám mây. Ollama chỉ là lựa chọn phổ biến vì dễ cài."}, {"q": "Cài Open WebUI có tốn phí không?", "a": "Open WebUI là phần mềm mã nguồn mở, tự cài không mất phí bản quyền phần mềm. Chi phí chính nằm ở phần cứng máy chủ, điện và thời gian quản trị; hãy đọc giấy phép hiện hành nếu muốn đổi thương hiệu giao diện."}, {"q": "Bao nhiêu người dùng chung một máy Open WebUI được?", "a": "Phụ thuộc chủ yếu vào GPU và cỡ mô hình chứ không phải Open WebUI. Một GPU 16–24 GB chạy mô hình 7B–14B thường đủ cho nhóm vài chục người không hỏi đồng thời liên tục."}, {"q": "Open WebUI có dùng được trên điện thoại không?", "a": "Có, giao diện chạy trên trình duyệt di động. Nếu ở ngoài văn phòng, nên kết nối VPN công ty trước rồi mới truy cập."}, {"q": "Cập nhật Open WebUI bản mới thế nào?", "a": "Với Docker, sao lưu volume dữ liệu, kéo image mới, xóa container cũ và chạy lại cùng lệnh có gắn volume. Đọc ghi chú phát hành trước vì một số bản thay đổi cấu hình."}, {"q": "Dữ liệu chat trên Open WebUI lưu ở đâu?", "a": "Lưu trong thư mục dữ liệu của Open WebUI trên máy chủ, mặc định là cơ sở dữ liệu SQLite trong volume Docker. Vì vậy cần đưa thư mục này vào lịch sao lưu."} ], "sources": [ {"t": "Open WebUI – tài liệu chính thức", "u": "https://docs.openwebui.com"}, {"t": "Open WebUI – GitHub chính thức", "u": "https://github.com/open-webui/open-webui"}, {"t": "Docker – tài liệu chính thức", "u": "https://docs.docker.com"} ], "related": ["open-webui-la-gi", "cai-ollama-tren-windows", "chatgpt-noi-bo-tu-host", "anythingllm-vs-open-webui", "server-ai-noi-bo-cho-sme", "docker-cho-ung-dung-ai", "rag-la-gi", "cach-tao-tro-ly-ai-tra-loi-noi-bo"] }, { "id": 2021, "slug": "chatgpt-noi-bo-tu-host", "title": "Tự dựng “ChatGPT nội bộ” chạy trên server công ty", "meta_desc": "Tự dựng ChatGPT nội bộ trên server công ty: kiến trúc các lớp, chọn mô hình và phần cứng, bảo mật, kết nối tài liệu, lộ trình triển khai và chi phí vận hành.", "excerpt": "Một “ChatGPT nội bộ” không chỉ là cài phần mềm chat, mà là hệ thống gồm máy chủ, mô hình, đăng nhập, tài liệu và quy trình vận hành. Bài này giúp chủ doanh nghiệp hình dung kiến trúc, quyết định nên tự dựng hay không và lộ trình làm từng giai đoạn.", "answer": "ChatGPT nội bộ tự host là hệ thống chat AI mà doanh nghiệp tự vận hành trên server của mình: mô hình ngôn ngữ mở chạy bằng Ollama hoặc vLLM, giao diện như Open WebUI, đăng nhập bằng tài khoản công ty và kho tài liệu nội bộ để AI trả lời theo quy trình riêng. Cách này phù hợp khi dữ liệu nhạy cảm, số người dùng đều đặn và có người quản trị IT. Đổi lại, chất lượng mô hình mở thường thấp hơn các mô hình thương mại hàng đầu, và doanh nghiệp tự chịu trách nhiệm phần cứng, bảo mật, sao lưu, cập nhật.", "kws": ["ChatGPT nội bộ", "tự host AI cho doanh nghiệp", "chatbot AI chạy trên server công ty", "AI nội bộ tự vận hành", "private ChatGPT"], "sections": [ {"h2": "ChatGPT nội bộ tự host là gì", "html": "

ChatGPT nội bộ là cách gọi quen miệng cho một hệ thống chat AI chỉ phục vụ nhân viên công ty, chạy trên hạ tầng do công ty kiểm soát. Nó không phải sản phẩm ChatGPT của OpenAI, mà là tổ hợp các phần mềm mở ghép lại để cho trải nghiệm tương tự: gõ câu hỏi, nhận câu trả lời, lưu lịch sử, hỏi trên tài liệu.

Khác biệt cốt lõi so với dùng dịch vụ đám mây:

Không phải lựa chọn duy nhất

Nhiều doanh nghiệp chọn cách lai: dùng gói doanh nghiệp của dịch vụ đám mây cho việc chung, và ChatGPT nội bộ cho dữ liệu nhạy cảm như hồ sơ nhân sự, bảng lương, hợp đồng. Quyết định nên dựa trên loại dữ liệu và năng lực vận hành, không phải xu hướng.

"}, {"h2": "Kiến trúc một hệ thống ChatGPT nội bộ gồm những lớp nào", "html": "

Hình dung hệ thống như năm lớp chồng lên nhau, mỗi lớp có lựa chọn riêng. Hiểu rõ các lớp giúp bạn thay một phần mà không phải làm lại từ đầu.

Luồng một câu hỏi đi qua hệ thống:

  1. Nhân viên đăng nhập giao diện web bằng tài khoản công ty.
  2. Giao diện kiểm tra quyền, tìm đoạn tài liệu liên quan trong kho vector.
  3. Câu hỏi kèm đoạn tài liệu được gửi tới máy chủ suy luận.
  4. Mô hình trên GPU sinh câu trả lời, trả về giao diện.
  5. Hệ thống ghi log ai hỏi gì, lúc nào, để kiểm soát và cải thiện.
", "table": {"caption": "Các lớp của ChatGPT nội bộ và lựa chọn phổ biến", "head": ["Lớp", "Vai trò", "Lựa chọn phổ biến", "Ghi chú"], "rows": [["Phần cứng", "Chạy mô hình, lưu dữ liệu", "Máy trạm GPU, server rack, có UPS", "VRAM quyết định cỡ mô hình"], ["Máy chủ suy luận", "Nạp mô hình, xử lý yêu cầu", "Ollama, vLLM, llama.cpp server", "vLLM mạnh khi nhiều người dùng đồng thời"], ["Mô hình", "Hiểu câu hỏi, sinh câu trả lời", "Các dòng mô hình mở 7B–32B", "Đọc giấy phép, thử tiếng Việt"], ["Giao diện và tài khoản", "Chat, phân quyền, lịch sử", "Open WebUI, AnythingLLM, LibreChat", "Nên đăng nhập qua tài khoản công ty"], ["Tài liệu (RAG)", "Đưa kiến thức nội bộ vào câu trả lời", "Kho tài liệu tích hợp, cơ sở dữ liệu vector", "Chất lượng phụ thuộc tài liệu đầu vào"]]}}, {"h2": "Khi nào doanh nghiệp nên tự dựng, khi nào không", "html": "

Tự dựng ChatGPT nội bộ hợp lý khi hội đủ phần lớn các điều kiện dưới đây:

Trường hợp không nên

Một câu hỏi kiểm tra hữu ích: nếu server tắt một tuần, công việc có bị ảnh hưởng không? Nếu có, bạn cần đầu tư nghiêm túc vào vận hành, không chỉ cài đặt.

"}, {"h2": "Chọn mô hình và phần cứng theo số người dùng", "html": "

Số người dùng đồng thời quan trọng hơn tổng số nhân viên. Công ty 50 người thường chỉ có 3–8 người hỏi cùng lúc vào giờ cao điểm. Bảng dưới là ước lượng tham khảo cho mô hình lượng tử hóa 4-bit, ngữ cảnh vừa phải; con số thực tế thay đổi theo phiên bản phần mềm, độ dài tài liệu và mô hình cụ thể.

Nguyên tắc chọn

", "table": {"caption": "Ước lượng cấu hình theo quy mô sử dụng", "head": ["Quy mô", "Cỡ mô hình gợi ý", "GPU tham khảo", "RAM hệ thống"], "rows": [["Nhóm thử nghiệm 5–10 người", "7B–8B", "Một GPU 12–16 GB VRAM", "32 GB"], ["Công ty 20–50 người", "12B–14B", "Một GPU 24 GB VRAM", "64 GB"], ["50–150 người, hỏi tài liệu nhiều", "27B–32B", "Hai GPU 24 GB hoặc một GPU 48 GB", "128 GB"], ["Nhiều phòng ban, nhiều mô hình", "Kết hợp mô hình nhỏ và lớn", "Server nhiều GPU, chạy vLLM", "Từ 128 GB, tùy thiết kế"]]}}, {"h2": "Bảo mật cho ChatGPT nội bộ", "html": "

Tự host không tự động an toàn. Dữ liệu tập trung một chỗ, nên một lỗ hổng có thể lộ nhiều hơn. Checklist tối thiểu:

  1. Chỉ truy cập trong mạng nội bộ hoặc qua VPN: không mở cổng giao diện chat, cổng Ollama hay vLLM ra Internet.
  2. Đăng nhập tập trung: kết nối với tài khoản công ty (Microsoft 365, Google Workspace) qua OIDC nếu giao diện hỗ trợ, để nhân viên nghỉ việc bị khóa ngay.
  3. Phân quyền tài liệu: kho nhân sự, kế toán tách riêng; không gom mọi tài liệu vào một kho chung.
  4. Mã hóa kết nối: dùng HTTPS bằng reverse proxy với chứng chỉ nội bộ.
  5. Cập nhật định kỳ: hệ điều hành, Docker, giao diện chat; đọc ghi chú phát hành về lỗi bảo mật.
  6. Ghi log và rà soát: lưu log truy cập, định kỳ xem tài khoản lạ, lượng truy vấn bất thường.

Chính sách dữ liệu đi kèm

Kỹ thuật phải đi cùng quy định: loại dữ liệu nào được đưa vào, ai được xem lịch sử chat, lưu bao lâu. Với dữ liệu cá nhân, hãy đối chiếu quy định bảo vệ dữ liệu cá nhân hiện hành của Việt Nam và hỏi ý kiến bộ phận pháp chế.

"}, {"h2": "Lộ trình triển khai theo 4 giai đoạn", "html": "

Chia nhỏ giúp giảm rủi ro và cho bạn số liệu thật trước khi đầu tư lớn.

  1. Giai đoạn 1 – Thử nghiệm (2–3 tuần): dùng một máy trạm có GPU sẵn có, cài Ollama và Open WebUI, 5 người thử. Mục tiêu: chọn mô hình phù hợp tiếng Việt, liệt kê 10 việc AI làm tốt.
  2. Giai đoạn 2 – Thí điểm phòng ban (1–2 tháng): chọn một phòng có tài liệu rõ ràng, ví dụ chăm sóc khách hàng. Xây kho tài liệu, bộ câu hỏi kiểm tra, đo thời gian tiết kiệm.
  3. Giai đoạn 3 – Hạ tầng chính thức: đầu tư server đặt trong tủ rack có UPS, mạng ổn định, sao lưu, đăng nhập tập trung, HTTPS.
  4. Giai đoạn 4 – Mở rộng và vận hành: thêm phòng ban, mẫu prompt cho từng nhóm, kết nối quy trình tự động khi cần.

Ví dụ ở quy mô 35 người

Một công ty tư vấn thiết kế nội thất bắt đầu với phòng dự án: AI tóm tắt biên bản họp khách, soạn email báo tiến độ, tra quy chuẩn vật liệu từ kho tài liệu. Sau thí điểm, phòng kế toán được thêm vào với kho riêng và quyền tách biệt, máy chủ được nâng cấp lên GPU 24 GB.

"}, {"h2": "Chi phí vận hành cần tính trước", "html": "

Không chỉ có tiền mua máy. Khi lập ngân sách, liệt kê đủ các khoản sau và xin báo giá hiện hành cho từng khoản:

So sánh công bằng với dịch vụ đám mây

Đặt hai phương án cạnh nhau trong 3 năm: tổng chi phí sở hữu server so với số tài khoản dịch vụ đám mây nhân với bảng giá hiện hành. Đừng quên giá trị không quy ra tiền được như quyền kiểm soát dữ liệu, cũng như rủi ro không có người vận hành.

"}, {"h2": "Sai lầm thường gặp khi tự dựng ChatGPT nội bộ", "html": "

Những lỗi dưới đây khiến nhiều dự án dừng sau vài tháng:

Tránh được các lỗi này, ChatGPT nội bộ trở thành công cụ hằng ngày thay vì một dự án thử nghiệm bị bỏ quên.

"} ], "tip": "Hãy coi ChatGPT nội bộ là một dịch vụ cần người chịu trách nhiệm, không phải phần mềm cài một lần. Chỉ định người phụ trách, lịch sao lưu và bộ câu hỏi kiểm tra ngay từ đầu sẽ quyết định hệ thống sống được bao lâu.", "faq": [ {"q": "ChatGPT nội bộ có dùng được mô hình của OpenAI không?", "a": "Có thể dùng giao diện nội bộ kết nối API của OpenAI hoặc nhà cung cấp khác, nhưng khi đó câu hỏi vẫn gửi ra ngoài. Muốn dữ liệu không rời công ty, phải dùng mô hình mở chạy trên server của mình."}, {"q": "Tự dựng ChatGPT nội bộ mất bao lâu?", "a": "Bản thử nghiệm trên máy có sẵn GPU có thể dựng trong vài ngày. Hệ thống chính thức có đăng nhập tập trung, phân quyền, kho tài liệu và sao lưu thường cần vài tuần đến vài tháng tùy quy mô."}, {"q": "Mô hình mở có trả lời tiếng Việt tốt bằng ChatGPT không?", "a": "Mô hình mở cỡ vừa hiểu và viết tiếng Việt khá tốt cho soạn thảo, tóm tắt, hỏi đáp tài liệu, nhưng thường kém hơn mô hình thương mại hàng đầu ở suy luận phức tạp. Hãy thử với câu hỏi thực tế của công ty trước khi quyết định."}, {"q": "Có cần kết nối Internet để dùng ChatGPT nội bộ không?", "a": "Không, sau khi tải mô hình và phần mềm, hệ thống chạy hoàn toàn trong mạng nội bộ. Internet chỉ cần khi cập nhật phần mềm hoặc tải mô hình mới."}, {"q": "Nhân viên làm việc từ xa dùng ChatGPT nội bộ thế nào?", "a": "Cách an toàn là kết nối VPN của công ty rồi truy cập địa chỉ nội bộ như khi ngồi văn phòng. Không nên mở trực tiếp giao diện chat ra Internet."}, {"q": "Ai chịu trách nhiệm nếu AI nội bộ trả lời sai?", "a": "AI chỉ là công cụ hỗ trợ, người dùng vẫn chịu trách nhiệm kiểm tra trước khi gửi cho khách hay ra quyết định. Doanh nghiệp nên ghi rõ điều này trong quy định sử dụng."}, {"q": "Có thể bắt đầu nhỏ rồi nâng cấp không?", "a": "Được, và nên làm vậy. Kiến trúc nhiều lớp cho phép thay GPU, đổi mô hình hoặc chuyển từ Ollama sang vLLM mà vẫn giữ giao diện và kho tài liệu."} ], "sources": [ {"t": "Open WebUI – tài liệu chính thức", "u": "https://docs.openwebui.com"}, {"t": "vLLM – tài liệu chính thức", "u": "https://docs.vllm.ai"}, {"t": "Ollama – trang chính thức", "u": "https://ollama.com"}, {"t": "NIST AI Risk Management Framework", "u": "https://www.nist.gov/itl/ai-risk-management-framework"} ], "related": ["xay-tro-ly-ai-noi-bo", "server-ai-noi-bo-cho-sme", "cai-open-webui", "ollama-vs-vllm", "gpu-cloud-vs-server-tai-cho", "bao-mat-du-lieu-khi-dung-chatgpt-claude-trong-cong-ty", "ha-tang-it-cho-ai-sme", "vllm-la-gi"] } ]