Điện năng máy chạy AI là tổng năng lượng mà máy (chủ yếu là GPU, CPU và nguồn) tiêu thụ trong một khoảng thời gian, đo bằng kWh, chính là “số điện” trên hóa đơn. Hai máy cùng cấu hình có thể tốn điện khác nhau vài lần vì cách sử dụng khác nhau.
Năm yếu tố quyết định:
Công thức gốc rất đơn giản: kWh = W × giờ ÷ 1.000. Cái khó là chọn đúng số W cho từng trạng thái.
Cách chia trạng thái này cho kết quả sát thực tế hơn nhiều so với lấy công suất nguồn nhân 24 giờ, cách tính thường làm người ta lo quá mức.
"}, {"h2": "Ví dụ ước tính cho ba kiểu máy AI", "html": "Bảng dưới minh họa cách tính, con số công suất là ước lượng cho cấu hình phổ biến. Hãy thay bằng số đo từ máy của bạn.
", "table": {"caption": "Ví dụ ước tính điện năng mỗi tháng (22 ngày làm việc, chưa tính làm mát)", "head": ["Kịch bản", "Tải nặng", "Chờ", "kWh/tháng ước lượng"], "rows": [["PC GPU tầm trung, trợ lý chat cho 10 người, bật 10 giờ/ngày", "400 W × 1,5 giờ", "90 W × 8,5 giờ", "khoảng 30 kWh"], ["Máy trạm GPU cao cấp tạo ảnh sản phẩm, bật 9 giờ/ngày", "650 W × 5 giờ", "120 W × 4 giờ", "khoảng 82 kWh"], ["Server 2 GPU phục vụ cả công ty, bật 24/7 (30 ngày)", "1.100 W × 6 giờ", "220 W × 18 giờ", "khoảng 317 kWh"]]}}, {"h2": "Đo điện năng thực tế bằng công cụ nào", "html": "Ước lượng giúp lập kế hoạch, nhưng đo thực tế mới là con số đáng tin. Có ba cách, kết hợp càng nhiều càng chính xác.
Đây là cách đơn giản và đầy đủ nhất vì đo toàn bộ máy, kể cả tổn hao nguồn. Cắm máy qua đồng hồ, để chạy một tuần làm việc bình thường, đọc tổng kWh rồi suy ra cho một tháng.
Lệnh nvidia-smi hiển thị công suất GPU hiện tại và giới hạn công suất. Dùng chế độ ghi định kỳ ra file để biết GPU tải nặng bao nhiêu giờ mỗi ngày. Lưu ý đây chỉ là điện của GPU, chưa gồm CPU, bo mạch và nguồn.
Nhiều UPS và ổ cắm PDU cho tủ rack hiển thị công suất và ghi nhật ký. Nếu nhiều máy dùng chung, cách này cho biết tổng tải của cả góc máy chủ.
Mẹo: đo riêng một ngày cao điểm (đầu tháng, chốt báo cáo) và một ngày bình thường để có khoảng dao động, tránh lấy một ngày bất thường làm chuẩn.
"}, {"h2": "Chạy AI tại chỗ hay dùng dịch vụ đám mây: điện năng tính vào đâu", "html": "Khi dùng ChatGPT, Claude hay Gemini qua gói doanh nghiệp, tiền điện của trung tâm dữ liệu đã nằm trong phí thuê bao. Khi tự chạy AI tại chỗ, tiền điện trở thành chi phí riêng, cần cộng vào tổng chi phí sở hữu cùng với phần cứng, thời gian quản trị và khấu hao.
Điện năng ít khi là lý do duy nhất để chọn đám mây hay tại chỗ, nhưng nó thay đổi bài toán trong một số trường hợp:
Một cách nhìn hữu ích là quy đổi về điện năng trên mỗi người dùng mỗi tháng, rồi so với phí thuê bao đám mây theo đầu người.
"}, {"h2": "Cách giảm điện năng cho máy chạy AI", "html": "nvidia-smi -pl (cần quyền quản trị). Với chat LLM, giảm 20–30% công suất thường chỉ làm tốc độ giảm ít vì tốc độ phụ thuộc nhiều vào băng thông bộ nhớ.Nên ghi số đo vào một bảng theo dõi đơn giản mỗi tháng. Sau vài tháng, bạn có dữ liệu thật để quyết định mở rộng, tối ưu hay chuyển một phần sang đám mây.
"} ], "tip": "Đừng đoán: cắm một đồng hồ đo công suất cho máy AI trong một tuần làm việc bình thường, sau đó thử giới hạn công suất GPU và đo lại, bạn sẽ thấy rõ mức tiết kiệm mà không phải hy sinh nhiều tốc độ.", "faq": [ {"q": "PC chạy Ollama bật cả ngày tốn bao nhiêu số điện một tháng?", "a": "Tùy GPU và mức sử dụng. Một PC GPU tầm trung dùng cho vài người trong giờ hành chính thường chỉ vài chục kWh mỗi tháng; cách chính xác nhất là đo bằng đồng hồ công suất."}, {"q": "GPU có tốn điện khi không chạy AI không?", "a": "Có nhưng ít. Khi giữ mô hình trong VRAM và chờ, GPU thường tiêu thụ vài chục watt; khi bỏ mô hình và nghỉ sâu thì còn thấp hơn."}, {"q": "Giới hạn công suất GPU có làm hỏng card không?", "a": "Không. Giảm giới hạn công suất trong phạm vi nhà sản xuất cho phép là thao tác an toàn, thường còn giúp card mát và bền hơn."}, {"q": "Tạo ảnh AI có tốn điện hơn chat AI không?", "a": "Thường có, vì tạo ảnh giữ GPU ở tải cao lâu hơn cho mỗi yêu cầu. Chat LLM chỉ tải nặng vài giây mỗi câu trả lời."}, {"q": "Làm sao xem công suất GPU NVIDIA đang tiêu thụ?", "a": "Chạy lệnh nvidia-smi trong Command Prompt hoặc Terminal, cột Pwr hiển thị công suất hiện tại và giới hạn. Muốn theo dõi lâu dài, dùng tùy chọn ghi log định kỳ."}, {"q": "Có cần tính điện điều hòa vào chi phí máy AI không?", "a": "Nên tính nếu máy đặt trong phòng kín có điều hòa, vì toàn bộ điện máy tiêu thụ biến thành nhiệt mà điều hòa phải thải ra."} ], "sources": [ {"t": "NVIDIA System Management Interface", "u": "https://developer.nvidia.com/system-management-interface"}, {"t": "Kilowatt-hour (Wikipedia)", "u": "https://en.wikipedia.org/wiki/Kilowatt-hour"}, {"t": "Tập đoàn Điện lực Việt Nam (EVN)", "u": "https://www.evn.com.vn/"} ], "related": ["ups-cho-server-ai", "nguon-va-tan-nhiet-cho-may-ai", "gpu-server-thue-hay-mua", "server-ai-noi-bo-cho-sme", "gpu-nvidia-rtx-cho-ai", "ha-tang-it-cho-ai-sme"] }, { "id": 2029, "slug": "ha-tang-it-cho-ai-sme", "title": "Hạ tầng IT tối thiểu để doanh nghiệp nhỏ triển khai AI an toàn, hiệu quả", "meta_desc": "Hạ tầng IT tối thiểu để doanh nghiệp nhỏ triển khai AI: tài khoản, bảo mật, mạng, lưu trữ, sao lưu, máy tính, điện và lộ trình 3 giai đoạn cho SME.", "excerpt": "Nhiều doanh nghiệp nhỏ muốn dùng AI nhưng chưa chắc hệ thống hiện tại có đủ nền tảng hay không. Bài trụ cột này liệt kê từng lớp hạ tầng IT tối thiểu, mức nào là đủ, mức nào nên nâng cấp, và lộ trình triển khai theo giai đoạn.", "answer": "Hạ tầng IT tối thiểu để doanh nghiệp nhỏ triển khai AI gồm sáu lớp: tài khoản doanh nghiệp quản lý tập trung có xác thực hai lớp; máy tính nhân viên cập nhật, có trình duyệt hiện đại; mạng internet ổn định với Wi-Fi và firewall tách mạng khách; dữ liệu được tổ chức trên kho lưu trữ chung có phân quyền; sao lưu theo nguyên tắc 3-2-1; và chính sách sử dụng AI bằng văn bản. Nếu chỉ dùng AI đám mây, chưa cần server GPU. Chỉ khi có dữ liệu nhạy cảm hoặc nhu cầu tự động hóa lớn mới bổ sung máy AI tại chỗ, UPS và giám sát.", "kws": ["hạ tầng IT cho AI", "hạ tầng IT doanh nghiệp nhỏ", "triển khai AI cho SME", "chuẩn bị hạ tầng trước khi dùng AI", "hạ tầng AI tối thiểu"], "sections": [ {"h2": "Hạ tầng IT cho AI là gì và vì sao doanh nghiệp nhỏ cần quan tâm", "html": "Hạ tầng IT cho AI là toàn bộ nền tảng giúp nhân viên dùng công cụ AI một cách ổn định, an toàn và có kiểm soát: tài khoản, thiết bị, mạng, dữ liệu, bảo mật, điện và quy trình quản trị. Nó không chỉ là một máy chủ GPU đắt tiền.
Với doanh nghiệp nhỏ 10–50 người, phần lớn giá trị của AI đến từ các công cụ đám mây như ChatGPT, Claude, Gemini, Copilot. Những công cụ này chỉ cần trình duyệt và internet. Vậy vì sao vẫn phải nói chuyện hạ tầng?
Tin tốt là phần lớn hạng mục trong bài này cũng chính là nền tảng IT cơ bản mà doanh nghiệp nên có, dù có dùng AI hay không.
"}, {"h2": "Sáu lớp hạ tầng tối thiểu: mức đủ và mức nên có", "html": "Bảng dưới tóm tắt mỗi lớp ở hai mức: mức tối thiểu để bắt đầu dùng AI đám mây an toàn, và mức nên có khi AI đã trở thành công cụ hằng ngày hoặc khi chạy AI nội bộ.
Hãy dùng bảng như một phiếu tự đánh giá. Đánh dấu lớp nào đã đạt mức tối thiểu, lớp nào chưa, rồi ưu tiên xử lý lớp yếu nhất trước khi mua thêm công cụ AI.
", "table": {"caption": "Sáu lớp hạ tầng IT cho AI ở doanh nghiệp nhỏ", "head": ["Lớp", "Mức tối thiểu", "Mức nên có", "Dấu hiệu chưa đạt"], "rows": [["Tài khoản và danh tính", "Email tên miền công ty, xác thực hai lớp", "Đăng nhập một lần (SSO), quản lý tập trung", "Nhân viên dùng Gmail cá nhân cho công việc"], ["Thiết bị đầu cuối", "Hệ điều hành còn hỗ trợ, cập nhật tự động, diệt virus", "Quản lý thiết bị tập trung, mã hóa ổ đĩa", "Máy chạy hệ điều hành hết hỗ trợ"], ["Mạng và internet", "Đường truyền ổn định, Wi-Fi tách mạng khách", "Đường truyền dự phòng, firewall, VLAN", "Hay rớt mạng, mật khẩu Wi-Fi dùng chung từ lâu"], ["Dữ liệu và lưu trữ", "Kho chung trên đám mây hoặc NAS, có phân quyền", "Cấu trúc thư mục chuẩn, phân loại dữ liệu nhạy cảm", "File nằm rải rác trên máy cá nhân"], ["Sao lưu và phục hồi", "Sao lưu tự động hằng ngày", "Quy tắc 3-2-1, thử phục hồi định kỳ", "Chưa từng thử khôi phục bản sao lưu"], ["Quản trị và chính sách", "Quy định dùng AI bằng văn bản", "Người phụ trách, nhật ký sử dụng, đào tạo", "Không ai biết nhân viên đang dùng AI nào"]]}}, {"h2": "Lớp 1: tài khoản và bảo mật danh tính", "html": "Đây là lớp quan trọng nhất và rẻ nhất để làm đúng. Mọi công cụ AI dành cho doanh nghiệp đều gắn với tài khoản, nên quản lý tài khoản tốt là quản lý được AI.
Ví dụ: một công ty phân phối 30 người phát hiện nhân viên kinh doanh đã nghỉ vẫn còn đăng nhập được ChatGPT cá nhân chứa bảng giá và danh sách khách hàng. Nếu dùng gói doanh nghiệp gắn tài khoản công ty, chỉ cần khóa tài khoản là quyền truy cập dữ liệu chấm dứt.
"}, {"h2": "Lớp 2 và 3: thiết bị đầu cuối và mạng", "html": "Dùng AI đám mây không đòi hỏi máy mạnh. Máy văn phòng có 8–16 GB RAM, SSD và trình duyệt hiện đại là đủ. Điều quan trọng hơn là máy phải an toàn: hệ điều hành còn được cập nhật bảo mật, có phần mềm chống mã độc, không cài tiện ích mở rộng trình duyệt lạ. Tiện ích “AI miễn phí” không rõ nguồn gốc là một kênh rò rỉ dữ liệu phổ biến vì nó có quyền đọc mọi trang nhân viên mở.
Nếu có nhân viên làm việc với tài liệu nhạy cảm, nên bật mã hóa ổ đĩa và khóa màn hình tự động.
AI đám mây phụ thuộc kết nối. Một văn phòng 20–50 người nên có:
AI chỉ giỏi như dữ liệu bạn đưa cho nó. Muốn xây trợ lý trả lời theo quy trình công ty, chat với hợp đồng mẫu hay phân tích doanh số, dữ liệu phải nằm ở nơi tập trung, có cấu trúc và có phân quyền.
Ít nhất 3 bản dữ liệu, trên 2 loại phương tiện khác nhau, 1 bản nằm ngoài văn phòng hoặc trên đám mây. Với kho tri thức AI và cơ sở dữ liệu vector, sao lưu cả dữ liệu gốc lẫn cấu hình, vì chỉ mục có thể dựng lại nhưng tài liệu gốc thì không. Quan trọng nhất: thử khôi phục định kỳ, ít nhất mỗi quý một lần.
"}, {"h2": "Lớp 6: chính sách và quản trị việc dùng AI", "html": "Hạ tầng không chỉ là thiết bị. Một trang chính sách rõ ràng ngăn được nhiều sự cố hơn mọi phần mềm. Chính sách sử dụng AI tối thiểu nên trả lời được:
Về pháp lý, doanh nghiệp xử lý dữ liệu cá nhân cần tuân thủ quy định bảo vệ dữ liệu cá nhân hiện hành của Việt Nam. Hãy kiểm tra văn bản chính thức mới nhất hoặc hỏi ý kiến chuyên gia pháp lý khi xây dựng quy trình, thay vì dựa vào bản tóm tắt.
"}, {"h2": "Khi nào cần thêm máy AI tại chỗ, UPS và giám sát", "html": "Đa số doanh nghiệp nhỏ có thể dừng ở sáu lớp trên và dùng AI đám mây rất hiệu quả. Hạ tầng AI tại chỗ chỉ nên cân nhắc khi có một trong các dấu hiệu:
Khi đó, bộ hạ tầng bổ sung gồm:
Không cần làm tất cả cùng lúc. Lộ trình dưới đây phù hợp công ty 10–50 người, mỗi giai đoạn khoảng 1–3 tháng tùy nguồn lực.
", "table": {"caption": "Lộ trình hạ tầng IT cho AI ở doanh nghiệp nhỏ", "head": ["Giai đoạn", "Mục tiêu", "Việc chính", "Kết quả đo được"], "rows": [["1. Nền móng", "Dùng AI đám mây an toàn", "Email tên miền, xác thực hai lớp, gói AI doanh nghiệp, chính sách AI", "100% nhân viên dùng tài khoản công ty"], ["2. Dữ liệu sẵn sàng", "AI làm việc được với tài liệu công ty", "Gom kho tài liệu, phân quyền, sao lưu 3-2-1, dọn dữ liệu trùng", "Tìm được tài liệu chuẩn trong vài phút"], ["3. Tự động hóa và AI nội bộ", "AI gắn vào quy trình", "Workflow n8n/Make, trợ lý nội bộ, máy AI tại chỗ nếu cần, UPS, giám sát", "Số giờ thủ công giảm theo từng quy trình"]]}}, {"h2": "Lỗi thường gặp khi doanh nghiệp nhỏ chuẩn bị hạ tầng cho AI", "html": "Cách tránh đơn giản: mỗi giai đoạn đặt một người phụ trách, một mục tiêu đo được và một ngày rà soát. Hạ tầng IT tốt không phải hạ tầng đắt nhất, mà là hạ tầng có người chăm sóc và phục vụ đúng việc.
"} ], "tip": "Hãy bắt đầu bằng tài khoản công ty, xác thực hai lớp và một trang chính sách AI trong tuần đầu tiên; ba việc gần như không tốn chi phí này giải quyết phần lớn rủi ro trước khi bạn nghĩ tới chuyện mua máy chủ.", "faq": [ {"q": "Doanh nghiệp nhỏ có cần server riêng để dùng AI không?", "a": "Phần lớn không cần. Các gói AI đám mây cho doanh nghiệp chỉ cần trình duyệt và internet; server riêng chỉ đáng đầu tư khi có dữ liệu không được đưa ra ngoài hoặc khối lượng xử lý rất lớn."}, {"q": "Máy tính văn phòng cấu hình thấp có dùng AI được không?", "a": "Được, nếu dùng AI đám mây qua trình duyệt. Chỉ khi chạy mô hình AI trên chính máy đó mới cần GPU, RAM lớn."}, {"q": "Nên dùng Microsoft 365 hay Google Workspace để triển khai AI?", "a": "Cả hai đều có công cụ AI tích hợp và quản lý tài khoản tốt. Nên chọn theo hệ sinh thái công ty đang dùng, đặc biệt là định dạng file và phần mềm kế toán, thay vì chuyển đổi chỉ vì AI."}, {"q": "Làm sao ngăn nhân viên đưa dữ liệu nhạy cảm vào ChatGPT?", "a": "Kết hợp chính sách bằng văn bản, gói doanh nghiệp có cam kết không dùng dữ liệu để huấn luyện, đào tạo nhân viên và phân quyền tài liệu. Các công cụ ngăn rò rỉ dữ liệu có thể bổ sung khi quy mô lớn hơn."}, {"q": "Sao lưu 3-2-1 là gì?", "a": "Giữ ít nhất 3 bản dữ liệu, trên 2 loại phương tiện khác nhau, trong đó 1 bản đặt ngoài văn phòng hoặc trên đám mây. Nguyên tắc này giúp khôi phục được dữ liệu khi gặp mã độc tống tiền, hỏng ổ hoặc cháy nổ."}, {"q": "Triển khai hạ tầng IT cho AI mất bao lâu?", "a": "Giai đoạn nền móng thường làm trong vài tuần với công ty 10–50 người. Phần dữ liệu và tự động hóa kéo dài hơn vì phụ thuộc mức độ lộn xộn của tài liệu hiện có."}, {"q": "Có nên thuê đơn vị IT bên ngoài quản lý hạ tầng AI không?", "a": "Nếu công ty không có nhân sự IT chuyên trách, thuê ngoài theo hợp đồng bảo trì giúp hệ thống được cập nhật, sao lưu và giám sát đều đặn. Nên giữ quyền quản trị tài khoản chính ở công ty."} ], "sources": [ {"t": "NIST Cybersecurity Framework", "u": "https://www.nist.gov/cyberframework"}, {"t": "NIST AI Risk Management Framework", "u": "https://www.nist.gov/itl/ai-risk-management-framework"}, {"t": "OECD AI Policy Observatory", "u": "https://oecd.ai/"} ], "related": ["server-ai-noi-bo-cho-sme", "nas-cho-du-lieu-ai", "bao-mat-du-lieu-khi-dung-chatgpt-claude-trong-cong-ty", "ups-cho-server-ai", "gpu-cloud-vs-server-tai-cho", "bao-mat-may-tram-khi-dung-ai", "chatgpt-noi-bo-tu-host", "may-tinh-chay-ai-cuc-bo-chon-cau-hinh"] }, { "id": 2030, "slug": "loi-thuong-gap-khi-chay-ai-cuc-bo", "title": "Lỗi thường gặp khi chạy AI cục bộ và cách khắc phục nhanh", "meta_desc": "Tổng hợp lỗi thường gặp khi chạy AI cục bộ với Ollama, LM Studio: hết VRAM, chạy bằng CPU, không nhận GPU, lỗi cổng, Docker, quá nhiệt và cách khắc phục.", "excerpt": "Chạy AI cục bộ thường suôn sẻ ở lần đầu, rồi gặp lỗi khi đổi mô hình, thêm người dùng hay cập nhật driver. Bài này gom các lỗi hay gặp nhất, nguyên nhân và cách sửa theo từng bước.", "answer": "Lỗi thường gặp khi chạy AI cục bộ chia thành năm nhóm: thiếu bộ nhớ (out of memory, mô hình quá lớn so với VRAM), không dùng được GPU (driver cũ, phần mềm không nhận card nên chạy bằng CPU rất chậm), lỗi kết nối (cổng bị chiếm, Open WebUI trong Docker không gọi được Ollama, máy khác trong mạng không truy cập được), lỗi chất lượng (trả lời sai tiếng Việt, quên ngữ cảnh) và lỗi phần cứng (quá nhiệt, sập nguồn). Cách xử lý chung là đọc log, kiểm tra GPU bằng nvidia-smi, giảm kích thước mô hình hoặc ngữ cảnh, rồi thay đổi từng thứ một.", "kws": ["lỗi chạy AI cục bộ", "lỗi Ollama", "out of memory khi chạy LLM", "Ollama không nhận GPU", "sửa lỗi LM Studio"], "sections": [ {"h2": "Lỗi thường gặp khi chạy AI cục bộ chia thành mấy nhóm", "html": "Lỗi khi chạy AI cục bộ là những sự cố xảy ra khi tự chạy mô hình AI trên máy tính hoặc server của mình bằng Ollama, LM Studio, llama.cpp, Open WebUI. Dù thông báo lỗi rất đa dạng, gần như tất cả đều thuộc một trong năm nhóm:
Xác định đúng nhóm trước khi sửa giúp tiết kiệm rất nhiều thời gian. Ví dụ “trả lời chậm” có thể là lỗi nhóm 2 (đang chạy bằng CPU) chứ không phải do máy yếu.
Bảng dưới gom các triệu chứng hay gặp nhất khi vận hành AI cục bộ ở văn phòng. Đọc từ cột triệu chứng, thử cách sửa theo thứ tự từ trên xuống.
", "table": {"caption": "Tra nhanh lỗi khi chạy AI cục bộ", "head": ["Triệu chứng", "Nguyên nhân thường gặp", "Cách sửa"], "rows": [["Báo out of memory hoặc tải mô hình thất bại", "Mô hình hoặc ngữ cảnh vượt VRAM", "Dùng bản lượng tử hóa thấp hơn, mô hình nhỏ hơn, giảm độ dài ngữ cảnh"], ["Trả lời rất chậm, GPU gần như không hoạt động", "Phần mềm chạy bằng CPU", "Cập nhật driver, kiểm tra log nhận GPU, cài đúng bản hỗ trợ GPU"], ["Tốc độ giảm mạnh khi đổi sang mô hình lớn", "Một phần mô hình bị đẩy sang RAM", "Kiểm tra tỷ lệ chạy trên GPU, chọn mô hình vừa VRAM"], ["Open WebUI báo không kết nối được Ollama", "Sai địa chỉ khi chạy trong Docker", "Dùng địa chỉ máy chủ thay cho localhost, kiểm tra cổng 11434"], ["Máy khác trong mạng không truy cập được", "Ollama chỉ nghe trên 127.0.0.1, firewall chặn", "Cấu hình OLLAMA_HOST, mở cổng trong mạng nội bộ"], ["Máy tự tắt khi đang chạy nặng", "Nguồn yếu hoặc quá nhiệt", "Kiểm tra nguồn, vệ sinh, giới hạn công suất GPU"], ["Tải mô hình dừng giữa chừng", "Ổ đầy hoặc mạng chập chờn", "Dọn ổ, đổi thư mục lưu mô hình, tải lại"]]}}, {"h2": "Lỗi hết bộ nhớ (out of memory) và cách khắc phục", "html": "Đây là lỗi phổ biến nhất. Bộ nhớ GPU phải chứa cả trọng số mô hình lẫn bộ nhớ đệm ngữ cảnh (KV cache). Ngữ cảnh càng dài và càng nhiều người hỏi cùng lúc, bộ nhớ đệm càng lớn.
Chạy lại cùng câu hỏi dài nhất mà người dùng hay gửi, theo dõi VRAM sử dụng. Nên chừa ít nhất 10–15% VRAM trống để tránh lỗi khi có nhiều người hỏi cùng lúc.
"}, {"h2": "Lỗi không nhận GPU, mô hình chạy bằng CPU", "html": "Triệu chứng: mọi thứ vẫn chạy, không báo lỗi, nhưng trả lời chậm như rùa. Mở trình theo dõi thấy CPU tăng cao còn GPU gần như đứng yên. Đây là lỗi “im lặng” khiến nhiều người kết luận nhầm là máy không đủ mạnh.
nvidia-smi. Nếu lệnh lỗi, cài lại driver NVIDIA bản mới từ trang chính thức.Khi chuyển từ dùng một mình sang phục vụ cả văn phòng, lỗi kết nối bắt đầu xuất hiện.
Ollama mặc định dùng cổng 11434. Nếu đã có một bản Ollama khác chạy nền (ví dụ bản cài sẵn tự khởi động cùng Windows), lần chạy thứ hai sẽ báo cổng đang được dùng. Tắt bản đang chạy ở khay hệ thống hoặc dịch vụ trước khi khởi động lại.
Bên trong container, localhost là chính container chứ không phải máy chủ. Cần trỏ địa chỉ Ollama tới máy chủ, ví dụ dùng host.docker.internal trên Docker Desktop, hoặc đặt cả hai dịch vụ trong cùng một mạng Docker và gọi bằng tên dịch vụ.
Mặc định Ollama chỉ nghe kết nối từ chính máy đó. Đặt biến môi trường OLLAMA_HOST để nghe trên địa chỉ mạng nội bộ, khởi động lại dịch vụ và mở cổng trên firewall của máy chủ cho dải IP văn phòng.
Lưu ý an toàn: chỉ mở trong mạng nội bộ. Không mở cổng Ollama trực tiếp ra internet vì giao diện API mặc định không có xác thực; nếu cần truy cập từ xa, dùng VPN hoặc đặt sau reverse proxy có đăng nhập.
"}, {"h2": "Lỗi chất lượng: trả lời sai tiếng Việt, lặp lại, quên ngữ cảnh", "html": "Mô hình chạy được nhưng trả lời kém là nhóm lỗi gây thất vọng nhất với người dùng văn phòng.
Mẹo: chuẩn bị một bộ 10–15 câu hỏi mẫu sát công việc thật. Mỗi lần đổi mô hình hoặc cài đặt, chạy lại bộ câu hỏi này để so sánh thay vì đánh giá theo cảm giác.
"}, {"h2": "Lỗi phần cứng và hệ thống: quá nhiệt, sập nguồn, ổ đầy", "html": "Nếu máy sập nguồn kể cả khi đã giới hạn công suất, có mùi khét, GPU báo lỗi bộ nhớ khi chạy công cụ kiểm tra, hãy ngừng sử dụng và nhờ kỹ thuật viên kiểm tra phần cứng. Cố chạy tiếp có thể làm hỏng thêm linh kiện.
"} ], "tip": "Mỗi lần chỉ thay đổi một thứ (driver, mô hình, ngữ cảnh hoặc cài đặt) rồi kiểm tra lại; thay nhiều thứ cùng lúc sẽ khiến bạn không biết điều gì thật sự sửa được lỗi hay gây ra lỗi mới.", "faq": [ {"q": "Vì sao Ollama chạy chậm dù máy có card NVIDIA?", "a": "Thường do Ollama không nhận GPU vì driver cũ, hoặc mô hình quá lớn nên một phần bị đẩy sang CPU. Kiểm tra log của Ollama và lệnh ollama ps để xem tỷ lệ chạy trên GPU."}, {"q": "Lỗi CUDA out of memory nghĩa là gì?", "a": "GPU không còn đủ VRAM để nạp mô hình hoặc xử lý yêu cầu. Giảm kích thước mô hình, mức lượng tử hóa hoặc độ dài ngữ cảnh sẽ khắc phục được đa số trường hợp."}, {"q": "Làm sao cho máy khác trong văn phòng dùng Ollama trên máy chủ?", "a": "Đặt biến môi trường OLLAMA_HOST để Ollama nghe trên địa chỉ mạng nội bộ, khởi động lại và mở cổng 11434 trên firewall cho dải IP văn phòng. Không mở cổng này ra internet."}, {"q": "Open WebUI báo lỗi kết nối Ollama phải làm sao?", "a": "Kiểm tra địa chỉ Ollama trong cài đặt Open WebUI. Nếu Open WebUI chạy trong Docker, không dùng localhost mà dùng host.docker.internal hoặc tên dịch vụ trong cùng mạng Docker."}, {"q": "Mô hình AI cục bộ trả lời tiếng Việt kém thì sửa thế nào?", "a": "Thử mô hình khác có hỗ trợ tiếng Việt tốt hơn, dùng bản lượng tử hóa cao hơn và đặt lời nhắc hệ thống yêu cầu trả lời tiếng Việt. Mô hình quá nhỏ thường khó trả lời tiếng Việt tự nhiên."}, {"q": "Xóa mô hình Ollama không dùng để giải phóng ổ cứng thế nào?", "a": "Dùng lệnh ollama list để xem danh sách, rồi ollama rm kèm tên mô hình để xóa. Có thể đổi thư mục lưu mô hình sang ổ khác bằng biến môi trường OLLAMA_MODELS."} ], "sources": [ {"t": "Ollama trên GitHub", "u": "https://github.com/ollama/ollama"}, {"t": "LM Studio Documentation", "u": "https://lmstudio.ai/docs"}, {"t": "llama.cpp trên GitHub", "u": "https://github.com/ggml-org/llama.cpp"} ], "related": ["cai-ollama-tren-windows", "ollama-la-gi", "lm-studio-la-gi", "vram-bao-nhieu-de-chay-llm", "chay-ai-tren-may-tinh-ca-nhan", "docker-cho-ung-dung-ai", "cuda-la-gi", "nguon-va-tan-nhiet-cho-may-ai"] } ]