RLHF (Reinforcement Learning from Human Feedback, học tăng cường từ phản hồi của con người) là kỹ thuật huấn luyện giúp mô hình ngôn ngữ trả lời theo cách con người đánh giá là hữu ích, trung thực và an toàn hơn. Quy trình thường gồm ba bước: tinh chỉnh mô hình bằng câu trả lời mẫu do người viết, huấn luyện một mô hình phần thưởng từ việc người chấm so sánh các câu trả lời, rồi dùng học tăng cường để mô hình chính tối ưu theo điểm thưởng đó. RLHF là lý do chatbot hiện đại biết làm theo chỉ dẫn, không chỉ đoán chữ tiếp theo.
RLHF là gì: giải thích bằng ví dụ đời thường
RLHF là cách dạy mô hình AI bằng việc cho con người chấm điểm câu trả lời, thay vì chỉ cho nó đọc thêm văn bản. Hãy hình dung một nhân viên chăm sóc khách hàng mới. Họ đã đọc rất nhiều tài liệu (giống mô hình ngôn ngữ được huấn luyện trước trên lượng văn bản khổng lồ), nhưng chưa biết trả lời khách sao cho vừa đúng vừa dễ chịu. Người quản lý đọc các câu trả lời, nói câu nào tốt hơn câu nào. Dần dần, nhân viên hình thành cảm nhận về “câu trả lời tốt” trong công ty.
Mô hình ngôn ngữ trước RLHF chỉ giỏi một việc: đoán từ tiếp theo hợp lý nhất. Nếu bạn hỏi “Viết email xin nghỉ phép”, nó có thể tiếp tục bằng một danh sách câu hỏi khác thay vì viết email, vì trên mạng có nhiều văn bản như vậy. RLHF giúp mô hình hiểu rằng người dùng muốn được làm theo yêu cầu.
Thuật ngữ cần nắm
- Reinforcement learning (học tăng cường): mô hình thử hành động, nhận điểm thưởng, điều chỉnh để được thưởng nhiều hơn.
- Human feedback (phản hồi con người): điểm thưởng ban đầu đến từ đánh giá của người chấm.
Ba giai đoạn của quy trình RLHF
Quy trình RLHF kinh điển được mô tả trong nghiên cứu InstructGPT của OpenAI gồm ba giai đoạn. Các phòng thí nghiệm khác có biến thể riêng, nhưng ý tưởng chung tương tự.
- Tinh chỉnh có giám sát (SFT): người viết câu trả lời mẫu cho nhiều loại yêu cầu. Mô hình nền được tinh chỉnh trên dữ liệu này để học định dạng hội thoại và cách làm theo chỉ dẫn.
- Huấn luyện mô hình phần thưởng: với mỗi câu hỏi, mô hình sinh vài câu trả lời. Người chấm xếp hạng câu nào tốt hơn. Từ hàng loạt so sánh này, một mô hình phụ học cách dự đoán điểm mà con người sẽ cho.
- Tối ưu bằng học tăng cường: mô hình chính sinh câu trả lời, mô hình phần thưởng chấm điểm, thuật toán (thường là PPO) cập nhật mô hình chính để tăng điểm. Một ràng buộc giữ mô hình không đi quá xa phiên bản ban đầu, tránh “học mẹo” để lấy điểm.
Vì sao không dùng người chấm trực tiếp ở bước 3? Vì bước này cần hàng triệu lượt chấm. Mô hình phần thưởng đóng vai “người chấm thay thế”, rẻ và nhanh hơn rất nhiều.
Mô hình phần thưởng hoạt động thế nào
Mô hình phần thưởng (reward model) là trái tim của RLHF. Nó nhận vào một câu hỏi và một câu trả lời, trả ra một con số thể hiện mức độ “tốt” theo tiêu chí con người.
Vì sao dùng so sánh thay vì chấm điểm tuyệt đối
Nếu yêu cầu người chấm cho điểm từ 1 đến 10, mỗi người có thang đo riêng: người dễ tính cho 8, người khó tính cho 5 cùng một câu trả lời. So sánh “A tốt hơn B” ổn định hơn giữa các người chấm. Mô hình phần thưởng học từ hàng loạt cặp so sánh như vậy.
Người chấm đánh giá điều gì
- Câu trả lời có làm đúng yêu cầu không.
- Thông tin có chính xác, có thừa nhận khi không chắc không.
- Có nội dung gây hại, thiên lệch hoặc xúc phạm không.
- Cách trình bày có rõ ràng, đúng độ dài cần thiết không.
Chất lượng mô hình phần thưởng phụ thuộc trực tiếp vào hướng dẫn chấm và đội ngũ người chấm. Nếu hướng dẫn ưu tiên câu trả lời dài, mô hình sau RLHF có xu hướng dài dòng. Đây là lý do các nhà phát triển liên tục điều chỉnh tiêu chí.
RLHF và các phương pháp thay thế: so sánh nhanh
RLHF tốn kém và phức tạp, nên các nhóm nghiên cứu đã phát triển nhiều cách khác để căn chỉnh mô hình theo mong muốn con người. Bảng dưới tóm tắt những phương pháp thường được nhắc tới, ở mức khái niệm.
| Phương pháp | Ý tưởng chính | Ưu điểm | Hạn chế |
|---|---|---|---|
| SFT (tinh chỉnh có giám sát) | Học từ câu trả lời mẫu do người viết | Đơn giản, dễ triển khai | Cần nhiều mẫu chất lượng cao, khó dạy sự tinh tế |
| RLHF | Mô hình phần thưởng học từ so sánh của người, rồi tối ưu bằng học tăng cường | Bắt được sở thích khó viết thành luật | Tốn kém, huấn luyện kém ổn định |
| DPO (Direct Preference Optimization) | Tối ưu trực tiếp trên cặp câu trả lời được ưa thích, không cần mô hình phần thưởng riêng | Gọn hơn, ổn định hơn | Vẫn cần dữ liệu so sánh tốt |
| RLAIF, Constitutional AI | Dùng AI chấm theo bộ nguyên tắc thay một phần người chấm | Giảm chi phí, mở rộng quy mô | Chất lượng phụ thuộc nguyên tắc và mô hình chấm |
Giới hạn và tác dụng phụ của RLHF
RLHF làm chatbot dễ dùng hơn nhiều, nhưng không phải phép màu. Hiểu các giới hạn giúp bạn dùng AI tỉnh táo hơn.
- Không tạo thêm kiến thức: RLHF dạy cách trả lời, không bổ sung dữ liệu mới. Mô hình vẫn có thể sai sự thật, chỉ là sai một cách lịch sự.
- Chiều lòng người dùng: vì người chấm thường thích câu trả lời đồng tình, mô hình có thể có xu hướng nói điều người dùng muốn nghe. Hiện tượng này được gọi là sycophancy.
- Lách điểm thưởng (reward hacking): mô hình tìm cách đạt điểm cao từ mô hình phần thưởng mà không thật sự tốt hơn, ví dụ viết dài, dùng nhiều định dạng.
- Từ chối quá mức: nếu tiêu chí an toàn quá chặt, mô hình từ chối cả yêu cầu bình thường.
- Phản ánh quan điểm người chấm: văn hóa, ngôn ngữ của đội ngũ chấm ảnh hưởng tới cách mô hình trả lời, có thể kém tự nhiên với bối cảnh Việt Nam.
Các nhà phát triển mô hình liên tục điều chỉnh để giảm những tác dụng phụ này, nhưng người dùng vẫn nên kiểm chứng thông tin quan trọng.
RLHF có ý nghĩa gì với doanh nghiệp dùng AI
Hầu hết doanh nghiệp vừa và nhỏ sẽ không tự làm RLHF. Đây là việc của nhà phát triển mô hình, cần đội ngũ chấm lớn và hạ tầng tính toán đáng kể. Tuy vậy, hiểu RLHF giúp bạn ra quyết định tốt hơn:
- Hiểu vì sao mô hình đồng ý quá dễ: khi hỏi “kế hoạch này ổn không”, hãy yêu cầu AI nêu rủi ro và phản biện, thay vì chỉ xin xác nhận.
- Hiểu vì sao các mô hình có “tính cách” khác nhau: mỗi hãng dùng tiêu chí chấm riêng, nên giọng văn, mức thận trọng khác nhau. Hãy thử vài mô hình với công việc thật của bạn.
- Hiểu giới hạn của tinh chỉnh nội bộ: nếu công ty tinh chỉnh một mô hình mở bằng dữ liệu riêng, mô hình có thể mất một phần hành vi an toàn đã được căn chỉnh. Cần kiểm thử lại trước khi đưa cho khách dùng.
Phản hồi của bạn có được dùng để huấn luyện không
Nút thích hoặc không thích trong ứng dụng chat là một dạng phản hồi. Tùy nhà cung cấp và gói sử dụng, dữ liệu này có thể được dùng cải thiện mô hình. Đọc chính sách dữ liệu hiện hành, đặc biệt khi nhân viên dán thông tin công ty vào cuộc trò chuyện.
Áp dụng tinh thần RLHF trong quy trình nội bộ
Dù không huấn luyện mô hình, doanh nghiệp có thể áp dụng ý tưởng cốt lõi của RLHF: thu thập đánh giá của con người một cách có hệ thống để cải thiện đầu ra AI.
- Ghi lại phản hồi: khi nhân viên sửa bản nháp do AI viết, lưu cả bản gốc và bản sửa.
- So sánh theo cặp: định kỳ cho người phụ trách chọn giữa hai cách prompt hoặc hai mô hình trên cùng một bộ câu hỏi thật.
- Viết hướng dẫn chấm: nêu rõ thế nào là câu trả lời tốt trong công ty: đúng chính sách, đúng giọng thương hiệu, độ dài phù hợp.
- Cập nhật prompt và tài liệu: dùng những lỗi lặp lại để sửa prompt hệ thống, bổ sung tài liệu tham chiếu.
- Đo lại: tỷ lệ bản nháp phải sửa nhiều có giảm không.
Cách làm này rẻ, không cần GPU, và thường cải thiện chất lượng nhanh hơn việc vội vàng tinh chỉnh mô hình. Khi đã có vài nghìn cặp phản hồi chất lượng, doanh nghiệp mới có cơ sở cân nhắc tinh chỉnh.
Khi cần AI đánh giá một ý tưởng hay kế hoạch, hãy yêu cầu nó đóng vai người phản biện và liệt kê ít nhất ba điểm yếu. Điều này bù lại xu hướng chiều lòng người dùng mà quá trình căn chỉnh có thể tạo ra.
Muốn đưa AI vào công việc của doanh nghiệp? PCTech tư vấn, đánh giá mức sẵn sàng AI và triển khai chatbot, AI agent, tự động hóa cho doanh nghiệp.
10 câu hỏi, 2 phút, nhận mức độ và việc nên làm tiếp theo. Dùng thử ngay
Câu hỏi thường gặp
RLHF viết tắt của gì?
RLHF là Reinforcement Learning from Human Feedback, tạm dịch là học tăng cường từ phản hồi của con người. Đây là kỹ thuật căn chỉnh mô hình AI theo đánh giá của người chấm.
ChatGPT có dùng RLHF không?
Có. OpenAI đã công bố việc dùng RLHF trong quá trình phát triển InstructGPT và ChatGPT. Các hãng khác cũng dùng RLHF hoặc biến thể của nó; chi tiết từng phiên bản nên xem tài liệu chính thức của hãng.
RLHF khác fine-tuning thế nào?
Fine-tuning thông thường dạy mô hình bằng câu trả lời mẫu. RLHF thêm bước người chấm so sánh các câu trả lời, huấn luyện mô hình phần thưởng rồi tối ưu mô hình theo điểm đó.
RLHF có làm AI hết bịa thông tin không?
Không hoàn toàn. RLHF giúp mô hình thận trọng hơn và biết thừa nhận khi không chắc, nhưng không bổ sung kiến thức mới, nên vẫn cần kiểm chứng thông tin quan trọng.
Doanh nghiệp nhỏ có tự làm RLHF được không?
Về kỹ thuật có thư viện mã nguồn mở hỗ trợ, nhưng cần dữ liệu so sánh lớn, người chấm và GPU mạnh. Phần lớn doanh nghiệp nhỏ nên cải thiện prompt, tài liệu tham chiếu và quy trình duyệt trước.
DPO là gì và có thay RLHF không?
DPO là phương pháp tối ưu trực tiếp trên dữ liệu so sánh mà không cần huấn luyện mô hình phần thưởng riêng. Nó được dùng rộng rãi vì gọn hơn, nhưng là bổ sung chứ chưa thay hoàn toàn RLHF.
Bài viết liên quan
- Từ điển thuật ngữ AI cho người làm doanh nghiệp (A–Z)
- Fine-tuning là gì? Khi nào doanh nghiệp cần tinh chỉnh mô hình AI
- LLM là gì? Giải thích cho người không chuyên
- LoRA là gì? Tinh chỉnh mô hình AI tiết kiệm tài nguyên
- AI hallucination là gì? Cách giảm sai sót khi dùng AI
- Chưng cất mô hình (distillation) là gì? Mô hình nhỏ học từ mô hình lớn
- Guardrails AI là gì? Hàng rào an toàn cho chatbot doanh nghiệp
