Mixture of Experts (MoE, hỗn hợp chuyên gia) là kiến trúc mô hình AI trong đó một số lớp được chia thành nhiều mạng con gọi là “chuyên gia”, và một bộ định tuyến chọn vài chuyên gia phù hợp cho từng token. Nhờ vậy mô hình có tổng tham số rất lớn để chứa nhiều kiến thức, nhưng mỗi bước tính toán chỉ kích hoạt một phần nhỏ, nên chạy nhanh hơn mô hình dày đặc cùng kích thước. Đổi lại, toàn bộ chuyên gia vẫn phải nằm trong bộ nhớ, nên MoE cần nhiều RAM hoặc VRAM.
Mixture of Experts là gì: hình dung bằng một văn phòng
Mixture of Experts là cách tổ chức mô hình giống một văn phòng có nhiều chuyên viên. Khi có hồ sơ đến, lễ tân (bộ định tuyến) không đưa cho tất cả mọi người, mà chọn hai người phù hợp nhất để xử lý. Văn phòng có thể có hàng chục chuyên viên, nhưng mỗi hồ sơ chỉ tốn công của hai người.
Trong mô hình ngôn ngữ kiểu Transformer, mỗi khối có phần attention và phần mạng truyền thẳng (feed-forward). Ở mô hình MoE, phần feed-forward được thay bằng nhiều mạng con song song. Với mỗi token, bộ định tuyến tính điểm cho từng chuyên gia và chỉ gửi token đến vài chuyên gia có điểm cao nhất, gọi là top-k.
Mô hình dày đặc và mô hình thưa
- Mô hình dày đặc (dense): mọi tham số đều tham gia tính toán cho mọi token.
- Mô hình thưa (sparse) kiểu MoE: chỉ một phần tham số được kích hoạt cho mỗi token.
Ý tưởng MoE đã có từ những năm 1990 và được áp dụng cho mạng nơ-ron quy mô lớn từ khoảng năm 2017, nhưng chỉ trở nên phổ biến với mô hình ngôn ngữ mở trong vài năm gần đây.
Tham số tổng và tham số kích hoạt: đọc thông số cho đúng
Với mô hình MoE, bạn sẽ thấy hai con số:
- Tham số tổng (total parameters): tất cả chuyên gia cộng phần dùng chung. Quyết định bộ nhớ cần để nạp mô hình.
- Tham số kích hoạt (active parameters): phần thật sự tham gia tính toán cho mỗi token. Ảnh hưởng chính đến tốc độ và chi phí tính toán.
Ví dụ từ thông tin công bố
Theo công bố của Mistral AI, Mixtral 8x7B có khoảng 47 tỷ tham số tổng nhưng mỗi token chỉ dùng khoảng 13 tỷ. Theo báo cáo kỹ thuật của DeepSeek, DeepSeek-V3 có khoảng 671 tỷ tham số tổng, khoảng 37 tỷ tham số kích hoạt mỗi token. Một số họ mô hình ghi thẳng hai con số vào tên, ví dụ dạng “30B-A3B” nghĩa là khoảng 30 tỷ tổng, 3 tỷ kích hoạt.
Lưu ý cái tên “8x7B” không có nghĩa là 56 tỷ tham số, vì phần attention và embedding được dùng chung giữa các chuyên gia. Hãy đọc thẻ mô hình (model card) để biết con số chính xác.
Bộ định tuyến chọn chuyên gia như thế nào
Bộ định tuyến (router hay gating network) là một lớp nhỏ, nhận biểu diễn của token và trả ra điểm cho từng chuyên gia. Token được gửi đến k chuyên gia có điểm cao nhất, kết quả của chúng được cộng lại theo trọng số.
Chuyên gia có thật sự “chuyên” không?
Tên gọi dễ gây hiểu lầm. Các chuyên gia không được gán sẵn lĩnh vực như “chuyên gia luật”, “chuyên gia toán”. Sự phân công hình thành tự nhiên trong huấn luyện, và nghiên cứu cho thấy nó thường gắn với đặc điểm ngôn ngữ, cú pháp hoặc loại token hơn là chủ đề rõ ràng.
Thách thức khi huấn luyện
- Cân bằng tải: nếu bộ định tuyến luôn chọn vài chuyên gia quen thuộc, các chuyên gia khác bị bỏ phí. Người ta thêm hàm mất mát phụ hoặc cơ chế khác để phân bổ đều.
- Chuyên gia dùng chung: một số thiết kế có vài chuyên gia luôn được kích hoạt để giữ kiến thức chung, cộng với các chuyên gia được định tuyến.
- Giao tiếp giữa GPU: khi chuyên gia nằm trên nhiều GPU, việc chuyển token qua lại tốn băng thông.
So sánh mô hình MoE và mô hình dày đặc
Bảng dưới so sánh ở mức xu hướng khi hai mô hình có chất lượng tương đương. Kết quả thực tế phụ thuộc thiết kế cụ thể và phần mềm chạy.
| Tiêu chí | Mô hình dày đặc | Mô hình MoE |
|---|---|---|
| Bộ nhớ cần để nạp | Theo tổng tham số, thường nhỏ hơn MoE cùng chất lượng | Theo tổng tham số, thường lớn |
| Tốc độ sinh mỗi token | Theo tổng tham số | Theo tham số kích hoạt, thường nhanh hơn |
| Chi phí huấn luyện | Cao hơn với cùng chất lượng | Hiệu quả tính toán tốt hơn |
| Độ phức tạp triển khai | Đơn giản, công cụ hỗ trợ rộng | Phức tạp hơn, cần engine hỗ trợ tốt MoE |
| Chạy trên một GPU phổ thông | Dễ với mô hình nhỏ | Khó nếu tổng tham số lớn; có thể đẩy chuyên gia sang RAM |
| Phục vụ nhiều người dùng | Ổn định, dễ dự đoán | Thông lượng cao khi hạ tầng đủ lớn |
Ưu điểm và hạn chế của Mixture of Experts
Ưu điểm
- Nhiều kiến thức hơn với cùng chi phí tính toán: tổng tham số lớn giúp mô hình chứa nhiều thông tin, trong khi mỗi token chỉ tốn tính toán của phần kích hoạt.
- Tốc độ sinh chữ tốt: khi toàn bộ mô hình nằm gọn trong bộ nhớ nhanh, MoE thường sinh token nhanh hơn mô hình dày đặc cùng tổng kích thước.
- Chi phí phục vụ thấp hơn ở quy mô lớn: đây là lý do nhiều nhà cung cấp API dùng MoE cho mô hình chủ lực.
Hạn chế
- Ngốn bộ nhớ: phải nạp tất cả chuyên gia dù mỗi lần chỉ dùng vài cái.
- Khó tinh chỉnh: tinh chỉnh MoE dễ mất cân bằng chuyên gia, công cụ hỗ trợ ít hơn mô hình dày đặc.
- Hiệu năng không đều khi chạy cục bộ: nếu một phần chuyên gia phải nằm ở RAM hệ thống, tốc độ phụ thuộc mạnh băng thông bộ nhớ.
- Lượng tử hóa cần cẩn thận: bộ định tuyến và các lớp dùng chung nhạy với sai số, nhiều bản lượng tử hóa giữ chúng ở độ chính xác cao hơn.
Chạy mô hình MoE cục bộ: lưu ý phần cứng
MoE thay đổi cách tính cấu hình máy so với mô hình dày đặc. Hai nguyên tắc cần nhớ:
- Dung lượng bộ nhớ tính theo tham số tổng: một mô hình khoảng 30 tỷ tham số tổng ở 4-bit cần khoảng 17–20 GB cho trọng số, cộng thêm phần ngữ cảnh, dù chỉ khoảng 3 tỷ tham số được kích hoạt.
- Tốc độ tính theo tham số kích hoạt và băng thông bộ nhớ: vì mỗi token chỉ đọc một phần trọng số, MoE chịu được việc đặt một phần chuyên gia ở RAM hệ thống tốt hơn mô hình dày đặc.
Các cấu hình thường gặp
- GPU 24 GB: chạy được MoE cỡ khoảng 30B tổng ở 4-bit với ngữ cảnh vừa phải.
- GPU nhỏ hơn kèm nhiều RAM: công cụ như llama.cpp cho phép giữ phần dùng chung trên GPU, đẩy chuyên gia sang RAM. Tốc độ chấp nhận được với một người dùng nếu RAM đủ nhanh.
- Máy bộ nhớ hợp nhất dung lượng lớn: phù hợp với MoE nhờ chứa được toàn bộ mô hình.
Các con số trên là ước lượng, phụ thuộc phiên bản mô hình, kiểu lượng tử hóa và độ dài ngữ cảnh. Hãy thử trên máy thật trước khi đầu tư lớn.
Doanh nghiệp có nên chọn mô hình MoE không
Câu trả lời phụ thuộc cách bạn dùng AI:
- Dùng qua API hoặc ứng dụng chat: bạn không cần quan tâm mô hình là MoE hay không. Hãy đánh giá theo chất lượng, chi phí, chính sách dữ liệu.
- Chạy nội bộ cho một nhóm nhỏ: MoE cỡ vừa có thể cho tốc độ tốt trên máy có nhiều RAM, phù hợp khi GPU hạn chế nhưng RAM dồi dào.
- Phục vụ cả văn phòng nhiều người: cần engine phục vụ hỗ trợ tốt MoE và đủ VRAM để chứa toàn bộ mô hình; thường đòi hỏi server nhiều GPU hoặc GPU bộ nhớ lớn.
- Cần tinh chỉnh riêng: mô hình dày đặc thường dễ hơn, công cụ hỗ trợ nhiều hơn.
Câu hỏi nên đặt khi tư vấn cấu hình
- Mô hình dự định dùng có bao nhiêu tham số tổng và kích hoạt?
- Bao nhiêu người dùng đồng thời, ngữ cảnh dài bao nhiêu?
- Ưu tiên tốc độ phản hồi hay chất lượng trả lời?
- Có kế hoạch tinh chỉnh hay chỉ dùng kèm RAG?
Khi so sánh mô hình để chạy nội bộ, luôn ghi cả tham số tổng và tham số kích hoạt. Tính bộ nhớ theo con số thứ nhất, kỳ vọng tốc độ theo con số thứ hai, bạn sẽ tránh được phần lớn sai lầm khi chọn phần cứng.
Muốn đưa AI vào công việc của doanh nghiệp? PCTech tư vấn, đánh giá mức sẵn sàng AI và triển khai chatbot, AI agent, tự động hóa cho doanh nghiệp.
10 câu hỏi, 2 phút, nhận mức độ và việc nên làm tiếp theo. Dùng thử ngay
Câu hỏi thường gặp
MoE viết tắt của gì?
MoE là Mixture of Experts, tạm dịch là hỗn hợp chuyên gia. Đây là kiến trúc chia một phần mô hình thành nhiều mạng con và chỉ kích hoạt vài mạng con cho mỗi token.
Mô hình MoE có cần ít VRAM hơn không?
Không. MoE cần bộ nhớ theo tổng tham số vì phải nạp tất cả chuyên gia. Lợi thế của MoE là tốc độ tính toán, không phải dung lượng bộ nhớ.
Mixtral 8x7B có phải là 56 tỷ tham số không?
Không. Theo công bố của Mistral AI, mô hình có khoảng 47 tỷ tham số tổng vì phần attention dùng chung, và khoảng 13 tỷ tham số kích hoạt mỗi token.
Các chuyên gia trong MoE có chuyên về chủ đề cụ thể không?
Thường không theo chủ đề rõ ràng như con người hình dung. Sự phân công hình thành trong huấn luyện và hay gắn với đặc điểm ngôn ngữ, cú pháp hơn là lĩnh vực.
Có chạy được mô hình MoE trên máy tính cá nhân không?
Được với MoE cỡ vừa, nhất là khi máy có nhiều RAM và dùng công cụ hỗ trợ đặt chuyên gia trên RAM. Mô hình MoE rất lớn vẫn cần server chuyên dụng.
MoE có tốt hơn mô hình dày đặc không?
Không hẳn. MoE hiệu quả hơn về tính toán ở quy mô lớn, còn mô hình dày đặc đơn giản hơn để triển khai, lượng tử hóa và tinh chỉnh. Chọn theo nhu cầu và hạ tầng.
Bài viết liên quan
- Từ điển thuật ngữ AI cho người làm doanh nghiệp (A–Z)
- Transformer là gì? Kiến trúc đứng sau ChatGPT, Gemini, Claude
- Quantization (lượng tử hóa) mô hình AI là gì? Giảm bộ nhớ mà vẫn giữ chất lượng
- Cần bao nhiêu VRAM để chạy LLM 7B, 14B, 32B, 70B?
- DeepSeek là gì? Ưu điểm, giới hạn và lưu ý dữ liệu
- Mistral AI là gì? Mô hình AI châu Âu và Le Chat
- Server AI nội bộ cho doanh nghiệp nhỏ: khi nào cần, cấu hình ra sao
