[ { "id": 2160, "slug": "lora-la-gi", "title": "LoRA là gì? Tinh chỉnh mô hình AI tiết kiệm tài nguyên", "meta_desc": "LoRA là gì? Giải thích cách tinh chỉnh mô hình AI bằng adapter hạng thấp, QLoRA, nhu cầu VRAM ước lượng, chuẩn bị dữ liệu và khi nào doanh nghiệp nên dùng.", "excerpt": "Tinh chỉnh toàn bộ một mô hình ngôn ngữ hàng tỷ tham số đòi hỏi hạ tầng mà ít doanh nghiệp có. LoRA ra đời để giải bài toán đó: chỉ huấn luyện một phần rất nhỏ, mà vẫn thay đổi được hành vi mô hình. Bài này giải thích LoRA dễ hiểu và nêu điều kiện để dùng hiệu quả.", "answer": "LoRA (Low-Rank Adaptation) là kỹ thuật tinh chỉnh mô hình AI bằng cách giữ nguyên trọng số gốc và chỉ huấn luyện thêm các ma trận nhỏ gọi là adapter, gắn vào một số lớp của mô hình. Số tham số cần huấn luyện thường chỉ bằng dưới 1% mô hình gốc, nên tốn ít VRAM, huấn luyện nhanh hơn và file kết quả chỉ vài chục đến vài trăm MB. LoRA được dùng rộng rãi cho cả mô hình ngôn ngữ và mô hình tạo ảnh, phù hợp khi doanh nghiệp cần mô hình theo đúng định dạng, giọng văn hoặc phong cách riêng.", "kws": ["LoRA là gì", "Low-Rank Adaptation", "QLoRA", "tinh chỉnh mô hình tiết kiệm VRAM", "adapter LoRA"], "sections": [ {"h2": "LoRA là gì và vì sao ra đời", "html": "

LoRA là viết tắt của Low-Rank Adaptation, tạm dịch “thích ứng hạng thấp”. Kỹ thuật này được nhóm nghiên cứu của Microsoft công bố năm 2021 và nhanh chóng trở thành cách tinh chỉnh phổ biến nhất cho mô hình mở.

Vấn đề LoRA giải quyết: tinh chỉnh toàn bộ (full fine-tuning) một mô hình 7 tỷ tham số cần cập nhật tất cả 7 tỷ con số, lưu thêm trạng thái của bộ tối ưu, gradient. Tổng bộ nhớ có thể gấp nhiều lần kích thước mô hình, vượt xa một card đồ họa phổ thông. Mỗi lần tinh chỉnh lại cho ra một bản sao đầy đủ của mô hình, nặng hàng chục GB.

Ý tưởng cốt lõi

Nhóm tác giả nhận thấy phần thay đổi cần thiết khi tinh chỉnh thường có “cấu trúc đơn giản”, có thể biểu diễn bằng tích của hai ma trận rất nhỏ. Thay vì sửa ma trận trọng số lớn, LoRA đóng băng nó và học thêm hai ma trận nhỏ. Khi chạy, kết quả của hai ma trận nhỏ được cộng vào trọng số gốc.

Hình dung đơn giản: mô hình gốc như cuốn sách giáo khoa in sẵn, LoRA như tập ghi chú dán thêm vào lề. Bạn không in lại sách, chỉ thay ghi chú khi đổi môn.

"}, {"h2": "LoRA hoạt động thế nào: rank, alpha và module đích", "html": "

Khi cấu hình LoRA, bạn sẽ gặp ba thông số chính:

Sau khi huấn luyện

Kết quả là một file adapter. Bạn có hai cách dùng:

  1. Nạp mô hình gốc rồi nạp adapter khi chạy. Có thể giữ nhiều adapter cho nhiều tác vụ và đổi qua lại.
  2. Gộp (merge) adapter vào trọng số gốc để tạo một mô hình hoàn chỉnh, tiện cho việc lượng tử hóa và triển khai.

Adapter LoRA chỉ dùng được với đúng mô hình gốc và phiên bản đã huấn luyện. Đổi mô hình nền là phải huấn luyện lại.

"}, {"h2": "QLoRA: tinh chỉnh trên card đồ họa phổ thông", "html": "

QLoRA kết hợp lượng tử hóa và LoRA. Mô hình gốc được nạp ở dạng 4-bit để giảm bộ nhớ, còn adapter LoRA vẫn được huấn luyện ở độ chính xác cao hơn. Nhờ vậy, việc tinh chỉnh mô hình cỡ vừa trở nên khả thi trên một GPU đơn.

Ước lượng VRAM (tham khảo có điều kiện)

Nhu cầu bộ nhớ phụ thuộc kích thước mô hình, độ dài chuỗi huấn luyện, batch size, rank và thư viện sử dụng. Các con số dưới đây chỉ là khoảng thường gặp với QLoRA, chuỗi khoảng 2.000 token, batch nhỏ:

Tăng độ dài chuỗi hoặc batch size có thể làm nhu cầu bộ nhớ tăng nhanh. Hãy thử với cấu hình nhỏ trước, theo dõi mức sử dụng VRAM rồi mới tăng dần. Ngoài GPU, cần RAM hệ thống đủ để nạp dữ liệu và SSD nhanh cho checkpoint.

"}, {"h2": "So sánh tinh chỉnh toàn bộ, LoRA và QLoRA", "html": "

Bảng dưới so sánh ở mức khái niệm. Con số cụ thể thay đổi theo mô hình và thiết lập, hãy coi đây là xu hướng để chọn hướng tiếp cận.

", "table": {"caption": "Tinh chỉnh toàn bộ so với LoRA và QLoRA", "head": ["Tiêu chí", "Tinh chỉnh toàn bộ", "LoRA", "QLoRA"], "rows": [["Tham số được huấn luyện", "Toàn bộ mô hình", "Phần nhỏ qua adapter", "Phần nhỏ qua adapter"], ["Nhu cầu VRAM", "Rất cao, thường cần nhiều GPU", "Trung bình", "Thấp nhất trong ba cách"], ["Kích thước kết quả", "Bằng mô hình gốc", "Vài chục đến vài trăm MB", "Vài chục đến vài trăm MB"], ["Tốc độ huấn luyện", "Chậm", "Nhanh hơn", "Có thể chậm hơn LoRA do giải nén trọng số"], ["Chất lượng", "Cao nhất khi đủ dữ liệu", "Gần tinh chỉnh toàn bộ với nhiều tác vụ", "Gần LoRA, phụ thuộc cấu hình"], ["Phù hợp", "Phòng thí nghiệm, tổ chức lớn", "Doanh nghiệp có GPU 24 GB trở lên", "Thử nghiệm trên một GPU phổ thông"]]}}, {"h2": "Khi nào doanh nghiệp nên dùng LoRA", "html": "

LoRA hữu ích khi bạn muốn thay đổi cách mô hình trả lời, không phải bổ sung kiến thức thay đổi thường xuyên.

Trường hợp phù hợp

Trường hợp không nên

"}, {"h2": "Chuẩn bị dữ liệu và các bước tinh chỉnh LoRA", "html": "

Chất lượng dữ liệu quyết định phần lớn kết quả. Một bộ vài trăm đến vài nghìn ví dụ sạch thường tốt hơn hàng chục nghìn ví dụ lộn xộn.

  1. Xác định tác vụ hẹp: viết rõ đầu vào, đầu ra mong muốn và tiêu chí đúng sai.
  2. Thu thập ví dụ: lấy từ dữ liệu thật đã được người kiểm tra, che thông tin cá nhân, thông tin nhạy cảm.
  3. Định dạng: chuyển thành cặp hướng dẫn và câu trả lời theo mẫu hội thoại của mô hình gốc.
  4. Tách tập kiểm tra: giữ lại khoảng 10% ví dụ không dùng để huấn luyện.
  5. Huấn luyện thử: rank nhỏ, ít epoch, theo dõi loss trên tập kiểm tra để phát hiện học thuộc.
  6. Đánh giá: so sánh mô hình gốc có prompt tốt với mô hình đã gắn LoRA trên cùng bộ câu hỏi thật.
  7. Kiểm tra an toàn: thử các câu hỏi ngoài phạm vi, yêu cầu không phù hợp, xem mô hình có mất hành vi từ chối hợp lý không.

Các thư viện phổ biến gồm Hugging Face PEFT, TRL và nhiều công cụ cộng đồng xây trên chúng. Hãy kiểm tra giấy phép của mô hình gốc trước khi dùng cho mục đích thương mại.

"}, {"h2": "Lỗi thường gặp khi dùng LoRA", "html": ""} ], "tip": "Trước khi tinh chỉnh LoRA, hãy viết một prompt tốt nhất có thể kèm 3–5 ví dụ mẫu và đo kết quả trên bộ kiểm tra. Nếu prompt đã đạt phần lớn yêu cầu, chi phí vận hành LoRA có thể không đáng.", "faq": [ {"q": "LoRA khác fine-tuning thông thường thế nào?", "a": "Fine-tuning thông thường cập nhật toàn bộ trọng số mô hình. LoRA giữ nguyên trọng số gốc và chỉ huấn luyện các adapter nhỏ, nên tốn ít bộ nhớ và cho file kết quả nhỏ hơn nhiều."}, {"q": "Cần GPU bao nhiêu GB để tinh chỉnh LoRA?", "a": "Với QLoRA, mô hình 7B–8B thường cần khoảng 10–16 GB VRAM ở cấu hình chuỗi và batch nhỏ. Con số tăng theo độ dài chuỗi, batch size và kích thước mô hình."}, {"q": "LoRA trong tạo ảnh Stable Diffusion có giống LoRA cho LLM không?", "a": "Cùng nguyên lý adapter hạng thấp, chỉ khác mô hình gốc. Với tạo ảnh, LoRA thường dùng để học một phong cách, nhân vật hoặc sản phẩm cụ thể."}, {"q": "Nên dùng LoRA hay RAG cho chatbot nội bộ?", "a": "Nếu cần AI trả lời theo tài liệu thay đổi thường xuyên, dùng RAG. LoRA phù hợp hơn khi cần thay đổi định dạng, giọng văn hoặc kỹ năng cho một tác vụ hẹp. Hai cách có thể kết hợp."}, {"q": "Cần bao nhiêu dữ liệu để tinh chỉnh LoRA?", "a": "Tùy tác vụ, nhiều trường hợp bắt đầu được với vài trăm đến vài nghìn ví dụ chất lượng. Quan trọng là dữ liệu sạch, đa dạng và có tập kiểm tra riêng."}, {"q": "Adapter LoRA có dùng được với mô hình khác không?", "a": "Không. Adapter gắn chặt với kiến trúc và trọng số của mô hình gốc đã dùng khi huấn luyện. Đổi mô hình nền thì phải huấn luyện lại."} ], "sources": [ {"t": "LoRA: Low-Rank Adaptation of Large Language Models (arXiv)", "u": "https://arxiv.org/abs/2106.09685"}, {"t": "QLoRA: Efficient Finetuning of Quantized LLMs (arXiv)", "u": "https://arxiv.org/abs/2305.14314"}, {"t": "Hugging Face PEFT", "u": "https://github.com/huggingface/peft"} ], "related": ["tu-dien-thuat-ngu-ai", "fine-tuning-la-gi", "quantization-la-gi", "rag-la-gi", "vram-bao-nhieu-de-chay-llm", "card-do-hoa-cho-ai", "rlhf-la-gi"] }, { "id": 2161, "slug": "quantization-la-gi", "title": "Quantization (lượng tử hóa) mô hình AI là gì? Giảm bộ nhớ mà vẫn giữ chất lượng", "meta_desc": "Quantization (lượng tử hóa) mô hình AI là gì? Giải thích FP16, INT8, 4-bit, cách tính bộ nhớ, các phương pháp GPTQ, AWQ, GGUF và ảnh hưởng tới chất lượng.", "excerpt": "Một mô hình ngôn ngữ 7 tỷ tham số ở định dạng gốc nặng khoảng 14 GB, nhưng nhiều người vẫn chạy được trên card 8 GB. Bí quyết là lượng tử hóa. Bài này giải thích quantization từ gốc: con số được nén thế nào, mất gì, được gì và chọn phương pháp nào.", "answer": "Quantization (lượng tử hóa) mô hình AI là kỹ thuật biểu diễn trọng số, và đôi khi cả phép tính, bằng ít bit hơn, ví dụ từ 16-bit xuống 8-bit hoặc 4-bit. Mô hình nhỏ đi gần tương ứng: 7 tỷ tham số ở 16-bit cần khoảng 14 GB cho trọng số, ở 4-bit chỉ còn khoảng 4 GB cộng phần phụ. Nhờ vậy mô hình chạy được trên GPU, laptop phổ thông và thường sinh chữ nhanh hơn. Đổi lại, chất lượng có thể giảm nhẹ; ở mức 4-bit với phương pháp tốt, mức giảm thường khó nhận ra trong công việc thông thường.", "kws": ["quantization là gì", "lượng tử hóa mô hình AI", "mô hình 4-bit", "GPTQ AWQ GGUF", "giảm VRAM chạy LLM"], "sections": [ {"h2": "Quantization là gì: nén con số, không nén kiến thức", "html": "

Mỗi mô hình AI là một tập hợp rất lớn các con số gọi là trọng số. Khi huấn luyện, các con số này thường được lưu ở dạng số thực 32-bit hoặc 16-bit, cho độ chính xác cao. Quantization là việc làm tròn chúng về một tập giá trị ít hơn, biểu diễn bằng ít bit hơn.

Ví dụ đời thường: bảng giá vật tư ghi đến từng đồng lẻ. Nếu làm tròn đến hàng nghìn, bảng gọn hơn nhiều, tổng tiền lệch rất ít. Lượng tử hóa cũng vậy: mỗi trọng số bị làm tròn một chút, nhưng vì có hàng tỷ trọng số và sai số phân bố đều, kết quả cuối cùng thay đổi ít.

Các mức độ chính xác thường gặp

"}, {"h2": "Cách tính bộ nhớ một mô hình sau lượng tử hóa", "html": "

Công thức ước lượng nhanh cho phần trọng số:

Bộ nhớ (GB) ≈ số tham số (tỷ) × số bit ÷ 8

Ví dụ với mô hình 8 tỷ tham số:

Phần bộ nhớ ngoài trọng số

Khi chạy, mô hình cần thêm bộ nhớ cho KV cache, tức phần ghi nhớ ngữ cảnh đang xử lý. KV cache tăng theo độ dài ngữ cảnh và số người dùng đồng thời. Một mô hình 7B lượng tử hóa 4-bit thường cần khoảng 5–6 GB VRAM với ngữ cảnh vài nghìn token, nhưng có thể cần nhiều hơn đáng kể khi mở ngữ cảnh dài hàng chục nghìn token. Một số công cụ cho phép lượng tử hóa cả KV cache để tiết kiệm thêm, đổi lại có thể ảnh hưởng chất lượng với ngữ cảnh dài.

Vì vậy, khi chọn GPU, hãy cộng phần trọng số, phần ngữ cảnh và chừa khoảng trống cho hệ điều hành, ứng dụng khác.

"}, {"h2": "Lượng tử hóa sau huấn luyện và trong huấn luyện", "html": "

Có hai hướng chính:

Lượng tử hóa trọng số và lượng tử hóa phép tính

Nhiều phương pháp chỉ nén trọng số để tiết kiệm bộ nhớ, khi tính toán vẫn giải nén về 16-bit. Cách khác lượng tử hóa cả giá trị kích hoạt để tận dụng phần cứng hỗ trợ tính toán số nguyên hoặc FP8, tăng tốc độ trên server. Với người chạy cục bộ trên một GPU, lợi ích chính thường là giảm bộ nhớ và tăng tốc nhờ đọc ít dữ liệu hơn từ VRAM.

"}, {"h2": "Các phương pháp và định dạng lượng tử hóa phổ biến", "html": "

Khi tải mô hình, bạn sẽ thấy nhiều tên gọi. Bảng dưới tóm tắt những định dạng phổ biến tại thời điểm viết; công cụ hỗ trợ thay đổi nhanh, hãy kiểm tra tài liệu của phần mềm bạn dùng.

", "table": {"caption": "Các định dạng và phương pháp lượng tử hóa thường gặp", "head": ["Tên", "Đặc điểm", "Công cụ thường dùng", "Phù hợp"], "rows": [["GGUF (k-quants như Q4_K_M, Q5_K_M, Q8_0)", "Định dạng của hệ llama.cpp, chạy được trên CPU, GPU, Apple Silicon, cho phép đẩy một phần lớp lên GPU", "llama.cpp, Ollama, LM Studio", "Máy cá nhân, máy văn phòng"], ["GPTQ", "PTQ dùng dữ liệu hiệu chỉnh, tối ưu cho GPU", "Thư viện Transformers và các engine phục vụ", "GPU NVIDIA, server"], ["AWQ", "Bảo vệ các trọng số quan trọng dựa trên kích hoạt, giữ chất lượng tốt ở 4-bit", "vLLM và các engine phục vụ", "Server phục vụ nhiều người"], ["bitsandbytes (8-bit, NF4)", "Lượng tử hóa khi nạp mô hình, tiện thử nghiệm và QLoRA", "Transformers, PEFT", "Nghiên cứu, tinh chỉnh"], ["FP8", "Số thực 8-bit, cần phần cứng thế hệ mới hỗ trợ", "Engine phục vụ trên GPU trung tâm dữ liệu", "Triển khai quy mô lớn"]]}}, {"h2": "Lượng tử hóa ảnh hưởng chất lượng thế nào", "html": "

Mức giảm chất lượng phụ thuộc ba yếu tố: số bit, phương pháp, và kích thước mô hình gốc.

Mô hình lớn chịu nén tốt hơn

Một quan sát phổ biến trong cộng đồng: mô hình lớn ở 4-bit thường cho kết quả tốt hơn mô hình nhỏ hơn ở 8-bit khi dùng cùng lượng bộ nhớ. Tuy vậy, điều này không đúng với mọi tác vụ, và tiếng Việt đôi khi nhạy hơn tiếng Anh với lượng tử hóa mạnh vì dữ liệu tiếng Việt chiếm tỷ lệ nhỏ trong huấn luyện.

Cách chắc chắn nhất là tự kiểm tra trên công việc thật của bạn, với cùng bộ câu hỏi, so sánh hai mức lượng tử hóa.

"}, {"h2": "Áp dụng thực tế: chọn mức lượng tử hóa cho doanh nghiệp", "html": "

Quy trình gợi ý khi triển khai mô hình nội bộ:

  1. Xác định bộ nhớ khả dụng: VRAM của GPU, hoặc bộ nhớ hợp nhất trên máy Apple Silicon, trừ đi phần dành cho ngữ cảnh và hệ thống.
  2. Chọn mô hình lớn nhất vừa bộ nhớ ở 4-bit: đây thường là điểm khởi đầu hợp lý.
  3. Chuẩn bị bộ kiểm tra: 20–30 câu hỏi thật của công ty, có đáp án mong đợi, gồm cả tiếng Việt có dấu, số liệu, bảng biểu.
  4. So sánh 2–3 mức: ví dụ 4-bit và 5-bit hoặc 8-bit, ghi lại chất lượng và tốc độ sinh chữ.
  5. Kiểm tra với tải thật: nhiều người dùng đồng thời làm KV cache tăng, có thể phải giảm độ dài ngữ cảnh hoặc chọn mức nén cao hơn.

Với máy chủ phục vụ cả văn phòng, các định dạng như AWQ hoặc FP8 trên engine phục vụ chuyên dụng thường cho thông lượng tốt hơn. Với máy trạm cá nhân, GGUF qua Ollama hoặc LM Studio là lựa chọn dễ triển khai.

"}, {"h2": "Lỗi thường gặp và hiểu lầm về quantization", "html": ""} ], "tip": "Khi lập cấu hình máy chạy AI, hãy tính bộ nhớ theo mô hình bạn muốn dùng ở 4-bit cộng thêm ít nhất 20–30% cho ngữ cảnh và hệ thống. Thiếu VRAM là nguyên nhân phổ biến nhất khiến mô hình chạy chậm bất thường vì phải tràn sang RAM.", "faq": [ {"q": "Lượng tử hóa 4-bit có làm mô hình kém đi nhiều không?", "a": "Với phương pháp hiện đại, mức giảm thường nhỏ trong việc soạn thảo, tóm tắt, hỏi đáp. Tác vụ cần chính xác cao như toán, lập trình có thể bị ảnh hưởng rõ hơn, nên hãy kiểm tra trên việc thật."}, {"q": "Mô hình 7B lượng tử hóa cần bao nhiêu VRAM?", "a": "Ở 4-bit, phần trọng số khoảng 4–5 GB, tổng thường khoảng 5–6 GB với ngữ cảnh vài nghìn token. Ngữ cảnh dài hơn hoặc nhiều người dùng cùng lúc cần thêm bộ nhớ."}, {"q": "GGUF, GPTQ và AWQ khác nhau thế nào?", "a": "GGUF là định dạng của hệ llama.cpp, linh hoạt trên CPU và GPU. GPTQ và AWQ là phương pháp lượng tử hóa tối ưu cho GPU, thường dùng trên server với engine phục vụ chuyên dụng."}, {"q": "Có tự lượng tử hóa mô hình được không?", "a": "Được, các công cụ như llama.cpp có sẵn lệnh chuyển đổi và lượng tử hóa. Cần bản mô hình gốc, đủ RAM để xử lý và nên kiểm tra chất lượng sau khi chuyển."}, {"q": "Quantization khác distillation thế nào?", "a": "Quantization giữ nguyên kiến trúc, chỉ biểu diễn trọng số bằng ít bit hơn. Distillation huấn luyện một mô hình nhỏ hơn học theo mô hình lớn, thay đổi cả số tham số."}, {"q": "Chạy mô hình lượng tử hóa trên CPU được không?", "a": "Được, đặc biệt với định dạng GGUF. Tốc độ phụ thuộc băng thông RAM và số nhân CPU; thường chậm hơn GPU đáng kể nhưng đủ cho thử nghiệm hoặc tác vụ không cần phản hồi nhanh."} ], "sources": [ {"t": "llama.cpp (GitHub)", "u": "https://github.com/ggml-org/llama.cpp"}, {"t": "GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers (arXiv)", "u": "https://arxiv.org/abs/2210.17323"}, {"t": "AWQ: Activation-aware Weight Quantization (arXiv)", "u": "https://arxiv.org/abs/2306.00978"} ], "related": ["tu-dien-thuat-ngu-ai", "quantization-gguf-chon-ban-nao", "vram-bao-nhieu-de-chay-llm", "vram-la-gi", "ollama-la-gi", "model-distillation-la-gi", "lora-la-gi", "may-tinh-chay-ai-cuc-bo-chon-cau-hinh"] }, { "id": 2162, "slug": "mixture-of-experts-la-gi", "title": "Mixture of Experts (MoE) là gì? Vì sao mô hình lớn mà chạy nhanh", "meta_desc": "Mixture of Experts (MoE) là gì? Giải thích cơ chế chuyên gia và bộ định tuyến, tham số tổng và tham số kích hoạt, ưu nhược điểm và lưu ý khi chạy MoE cục bộ.", "excerpt": "Nhiều mô hình AI nổi bật gần đây có tổng số tham số rất lớn nhưng mỗi lần sinh chữ chỉ dùng một phần nhỏ. Đó là kiến trúc Mixture of Experts. Hiểu MoE giúp bạn đọc đúng thông số mô hình và tính đúng phần cứng khi muốn chạy nội bộ.", "answer": "Mixture of Experts (MoE, hỗn hợp chuyên gia) là kiến trúc mô hình AI trong đó một số lớp được chia thành nhiều mạng con gọi là “chuyên gia”, và một bộ định tuyến chọn vài chuyên gia phù hợp cho từng token. Nhờ vậy mô hình có tổng tham số rất lớn để chứa nhiều kiến thức, nhưng mỗi bước tính toán chỉ kích hoạt một phần nhỏ, nên chạy nhanh hơn mô hình dày đặc cùng kích thước. Đổi lại, toàn bộ chuyên gia vẫn phải nằm trong bộ nhớ, nên MoE cần nhiều RAM hoặc VRAM.", "kws": ["Mixture of Experts là gì", "mô hình MoE", "hỗn hợp chuyên gia", "tham số kích hoạt", "MoE chạy cục bộ"], "sections": [ {"h2": "Mixture of Experts là gì: hình dung bằng một văn phòng", "html": "

Mixture of Experts là cách tổ chức mô hình giống một văn phòng có nhiều chuyên viên. Khi có hồ sơ đến, lễ tân (bộ định tuyến) không đưa cho tất cả mọi người, mà chọn hai người phù hợp nhất để xử lý. Văn phòng có thể có hàng chục chuyên viên, nhưng mỗi hồ sơ chỉ tốn công của hai người.

Trong mô hình ngôn ngữ kiểu Transformer, mỗi khối có phần attention và phần mạng truyền thẳng (feed-forward). Ở mô hình MoE, phần feed-forward được thay bằng nhiều mạng con song song. Với mỗi token, bộ định tuyến tính điểm cho từng chuyên gia và chỉ gửi token đến vài chuyên gia có điểm cao nhất, gọi là top-k.

Mô hình dày đặc và mô hình thưa

Ý tưởng MoE đã có từ những năm 1990 và được áp dụng cho mạng nơ-ron quy mô lớn từ khoảng năm 2017, nhưng chỉ trở nên phổ biến với mô hình ngôn ngữ mở trong vài năm gần đây.

"}, {"h2": "Tham số tổng và tham số kích hoạt: đọc thông số cho đúng", "html": "

Với mô hình MoE, bạn sẽ thấy hai con số:

Ví dụ từ thông tin công bố

Theo công bố của Mistral AI, Mixtral 8x7B có khoảng 47 tỷ tham số tổng nhưng mỗi token chỉ dùng khoảng 13 tỷ. Theo báo cáo kỹ thuật của DeepSeek, DeepSeek-V3 có khoảng 671 tỷ tham số tổng, khoảng 37 tỷ tham số kích hoạt mỗi token. Một số họ mô hình ghi thẳng hai con số vào tên, ví dụ dạng “30B-A3B” nghĩa là khoảng 30 tỷ tổng, 3 tỷ kích hoạt.

Lưu ý cái tên “8x7B” không có nghĩa là 56 tỷ tham số, vì phần attention và embedding được dùng chung giữa các chuyên gia. Hãy đọc thẻ mô hình (model card) để biết con số chính xác.

"}, {"h2": "Bộ định tuyến chọn chuyên gia như thế nào", "html": "

Bộ định tuyến (router hay gating network) là một lớp nhỏ, nhận biểu diễn của token và trả ra điểm cho từng chuyên gia. Token được gửi đến k chuyên gia có điểm cao nhất, kết quả của chúng được cộng lại theo trọng số.

Chuyên gia có thật sự “chuyên” không?

Tên gọi dễ gây hiểu lầm. Các chuyên gia không được gán sẵn lĩnh vực như “chuyên gia luật”, “chuyên gia toán”. Sự phân công hình thành tự nhiên trong huấn luyện, và nghiên cứu cho thấy nó thường gắn với đặc điểm ngôn ngữ, cú pháp hoặc loại token hơn là chủ đề rõ ràng.

Thách thức khi huấn luyện

"}, {"h2": "So sánh mô hình MoE và mô hình dày đặc", "html": "

Bảng dưới so sánh ở mức xu hướng khi hai mô hình có chất lượng tương đương. Kết quả thực tế phụ thuộc thiết kế cụ thể và phần mềm chạy.

", "table": {"caption": "Mô hình MoE so với mô hình dày đặc", "head": ["Tiêu chí", "Mô hình dày đặc", "Mô hình MoE"], "rows": [["Bộ nhớ cần để nạp", "Theo tổng tham số, thường nhỏ hơn MoE cùng chất lượng", "Theo tổng tham số, thường lớn"], ["Tốc độ sinh mỗi token", "Theo tổng tham số", "Theo tham số kích hoạt, thường nhanh hơn"], ["Chi phí huấn luyện", "Cao hơn với cùng chất lượng", "Hiệu quả tính toán tốt hơn"], ["Độ phức tạp triển khai", "Đơn giản, công cụ hỗ trợ rộng", "Phức tạp hơn, cần engine hỗ trợ tốt MoE"], ["Chạy trên một GPU phổ thông", "Dễ với mô hình nhỏ", "Khó nếu tổng tham số lớn; có thể đẩy chuyên gia sang RAM"], ["Phục vụ nhiều người dùng", "Ổn định, dễ dự đoán", "Thông lượng cao khi hạ tầng đủ lớn"]]}}, {"h2": "Ưu điểm và hạn chế của Mixture of Experts", "html": "

Ưu điểm

Hạn chế

"}, {"h2": "Chạy mô hình MoE cục bộ: lưu ý phần cứng", "html": "

MoE thay đổi cách tính cấu hình máy so với mô hình dày đặc. Hai nguyên tắc cần nhớ:

  1. Dung lượng bộ nhớ tính theo tham số tổng: một mô hình khoảng 30 tỷ tham số tổng ở 4-bit cần khoảng 17–20 GB cho trọng số, cộng thêm phần ngữ cảnh, dù chỉ khoảng 3 tỷ tham số được kích hoạt.
  2. Tốc độ tính theo tham số kích hoạt và băng thông bộ nhớ: vì mỗi token chỉ đọc một phần trọng số, MoE chịu được việc đặt một phần chuyên gia ở RAM hệ thống tốt hơn mô hình dày đặc.

Các cấu hình thường gặp

Các con số trên là ước lượng, phụ thuộc phiên bản mô hình, kiểu lượng tử hóa và độ dài ngữ cảnh. Hãy thử trên máy thật trước khi đầu tư lớn.

"}, {"h2": "Doanh nghiệp có nên chọn mô hình MoE không", "html": "

Câu trả lời phụ thuộc cách bạn dùng AI:

Câu hỏi nên đặt khi tư vấn cấu hình

  1. Mô hình dự định dùng có bao nhiêu tham số tổng và kích hoạt?
  2. Bao nhiêu người dùng đồng thời, ngữ cảnh dài bao nhiêu?
  3. Ưu tiên tốc độ phản hồi hay chất lượng trả lời?
  4. Có kế hoạch tinh chỉnh hay chỉ dùng kèm RAG?
"} ], "tip": "Khi so sánh mô hình để chạy nội bộ, luôn ghi cả tham số tổng và tham số kích hoạt. Tính bộ nhớ theo con số thứ nhất, kỳ vọng tốc độ theo con số thứ hai, bạn sẽ tránh được phần lớn sai lầm khi chọn phần cứng.", "faq": [ {"q": "MoE viết tắt của gì?", "a": "MoE là Mixture of Experts, tạm dịch là hỗn hợp chuyên gia. Đây là kiến trúc chia một phần mô hình thành nhiều mạng con và chỉ kích hoạt vài mạng con cho mỗi token."}, {"q": "Mô hình MoE có cần ít VRAM hơn không?", "a": "Không. MoE cần bộ nhớ theo tổng tham số vì phải nạp tất cả chuyên gia. Lợi thế của MoE là tốc độ tính toán, không phải dung lượng bộ nhớ."}, {"q": "Mixtral 8x7B có phải là 56 tỷ tham số không?", "a": "Không. Theo công bố của Mistral AI, mô hình có khoảng 47 tỷ tham số tổng vì phần attention dùng chung, và khoảng 13 tỷ tham số kích hoạt mỗi token."}, {"q": "Các chuyên gia trong MoE có chuyên về chủ đề cụ thể không?", "a": "Thường không theo chủ đề rõ ràng như con người hình dung. Sự phân công hình thành trong huấn luyện và hay gắn với đặc điểm ngôn ngữ, cú pháp hơn là lĩnh vực."}, {"q": "Có chạy được mô hình MoE trên máy tính cá nhân không?", "a": "Được với MoE cỡ vừa, nhất là khi máy có nhiều RAM và dùng công cụ hỗ trợ đặt chuyên gia trên RAM. Mô hình MoE rất lớn vẫn cần server chuyên dụng."}, {"q": "MoE có tốt hơn mô hình dày đặc không?", "a": "Không hẳn. MoE hiệu quả hơn về tính toán ở quy mô lớn, còn mô hình dày đặc đơn giản hơn để triển khai, lượng tử hóa và tinh chỉnh. Chọn theo nhu cầu và hạ tầng."} ], "sources": [ {"t": "Mixture of experts (Wikipedia)", "u": "https://en.wikipedia.org/wiki/Mixture_of_experts"}, {"t": "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (arXiv)", "u": "https://arxiv.org/abs/1701.06538"}, {"t": "Mixtral of Experts (arXiv)", "u": "https://arxiv.org/abs/2401.04088"}, {"t": "DeepSeek-V3 Technical Report (arXiv)", "u": "https://arxiv.org/abs/2412.19437"} ], "related": ["tu-dien-thuat-ngu-ai", "transformer-la-gi", "quantization-la-gi", "vram-bao-nhieu-de-chay-llm", "deepseek-la-gi", "mistral-ai-la-gi", "server-ai-noi-bo-cho-sme"] } ]