Prompt caching là cơ chế lưu đệm phần đầu của prompt đã được mô hình xử lý, để các yêu cầu tiếp theo có cùng phần đầu không phải tính lại. Một số nhà cung cấp gọi là context caching, nhưng ý tưởng giống nhau.
Để hiểu vì sao điều này tiết kiệm, cần biết mô hình xử lý một yêu cầu qua hai giai đoạn: đọc toàn bộ đầu vào (prefill) rồi mới sinh từng token đầu ra. Giai đoạn đọc tạo ra một khối dữ liệu trung gian gọi là KV cache. Nếu 9.000 trong 10.000 token đầu vào giống hệt lần trước, việc tính lại khối dữ liệu đó là lãng phí.
Ví dụ một chatbot chăm sóc khách hàng của cửa hàng điện máy:
Mỗi tin nhắn, hơn 99% đầu vào lặp lại. Với prompt caching, phần 7.500 token đầu chỉ cần xử lý đầy đủ ở lần đầu, các lần sau đọc từ cache với chi phí và thời gian thấp hơn đáng kể.
" }, { "h2": "Prompt caching hoạt động thế nào", "html": "Nguyên tắc cốt lõi là khớp tiền tố (prefix). Hệ thống so sánh phần đầu prompt mới với các phần đã lưu. Cache chỉ dùng được cho đoạn giống nhau tính từ token đầu tiên; ngay khi gặp một ký tự khác, phần phía sau phải xử lý lại.
Cache không tồn tại mãi. Tùy nhà cung cấp, cache có thể hết hạn sau vài phút không dùng, một số cho chọn thời gian dài hơn với điều kiện khác. Nếu lưu lượng thưa, cache có thể đã hết hạn trước khi yêu cầu tiếp theo đến.
Ngưỡng tối thiểu, mức giá đọc và ghi cache, thời gian sống đều khác nhau giữa các hãng và có thể thay đổi. Hãy kiểm tra trang tài liệu và bảng giá hiện hành trước khi tính toán.
" }, { "h2": "Khi nào prompt caching mang lại lợi ích lớn", "html": "Prompt caching phát huy tác dụng khi có phần đầu vào dài, cố định và được dùng lặp lại nhiều lần trong khoảng thời gian ngắn.
", "table": { "caption": "Mức độ hưởng lợi theo tình huống", "head": [ "Tình huống", "Phần lặp lại", "Mức hưởng lợi" ], "rows": [ [ "Chatbot có system prompt và chính sách dài", "Hướng dẫn, tài liệu chính sách", "Cao" ], [ "Hỏi đáp nhiều câu trên cùng một hợp đồng", "Toàn văn hợp đồng", "Cao" ], [ "Hội thoại nhiều lượt", "Lịch sử các lượt trước", "Trung bình đến cao" ], [ "Agent gọi công cụ nhiều vòng", "Định nghĩa công cụ, hướng dẫn", "Cao" ], [ "Mỗi yêu cầu một tài liệu khác nhau", "Gần như không có", "Thấp" ], [ "Prompt ngắn vài trăm token", "Dưới ngưỡng cache", "Không đáng kể" ] ] } }, { "h2": "Cách sắp xếp prompt để tận dụng cache", "html": "Quy tắc vàng: cố định ở trên, thay đổi ở dưới. Hãy sắp xếp prompt theo thứ tự từ ít thay đổi nhất đến thay đổi nhiều nhất.
Sai: đặt Hôm nay là {ngày giờ hiện tại}. Khách hàng: {tên khách} ở dòng đầu system prompt. Mỗi yêu cầu có phần đầu khác nhau, cache không bao giờ khớp.
Đúng: đưa ngày giờ và tên khách xuống phần câu hỏi cuối cùng, để toàn bộ khối hướng dẫn phía trên giữ nguyên từng ký tự giữa các lần gọi.
Với công ty 20–50 người dùng chung một trợ lý nội bộ, chỉ cần sắp xếp lại prompt theo nguyên tắc này đã có thể giảm rõ chi phí đầu vào mà không đổi chất lượng câu trả lời.
" }, { "h2": "Đo hiệu quả prompt caching", "html": "Đừng giả định cache đang hoạt động, hãy kiểm tra. Phản hồi API của các nhà cung cấp hỗ trợ caching thường có trường thống kê cho biết bao nhiêu token được đọc từ cache và bao nhiêu token được ghi mới vào cache.
Nếu tỷ lệ cache hit thấp dù prompt đã sắp xếp đúng, nguyên nhân thường là lưu lượng quá thưa khiến cache hết hạn, hoặc các yêu cầu bị phân tán qua nhiều cấu hình khác nhau.
" }, { "h2": "Lỗi thường gặp làm mất cache", "html": "Những lỗi nhỏ sau có thể khiến cache gần như không bao giờ khớp:
Nếu ứng dụng chỉ gửi prompt ngắn, mỗi lần một tài liệu khác nhau, hoặc lưu lượng rất thấp, công sức tối ưu cache không đáng. Hãy ưu tiên chọn mô hình phù hợp và giới hạn độ dài đầu ra trước.
Lưu ý bảo mật: cache thuộc phạm vi tài khoản hoặc tổ chức của bạn theo chính sách nhà cung cấp. Vẫn nên đọc điều khoản lưu trữ dữ liệu nếu prompt chứa thông tin nhạy cảm.
" } ], "tip": "Trước khi viết thêm tính năng, hãy mở log và xem tỷ lệ token đọc từ cache. Chỉ cần dời dòng ngày giờ và tên khách xuống cuối prompt, nhiều ứng dụng đã cải thiện cả chi phí lẫn tốc độ phản hồi.", "faq": [ { "q": "Prompt caching có làm thay đổi câu trả lời không?", "a": "Không. Cache chỉ lưu kết quả xử lý trung gian của phần đầu vào giống hệt nhau, nên chất lượng và nội dung câu trả lời không bị ảnh hưởng." }, { "q": "Prompt caching tiết kiệm được bao nhiêu?", "a": "Phụ thuộc tỷ lệ phần prompt lặp lại và bảng giá từng nhà cung cấp. Token đọc từ cache được tính thấp hơn token thường; xem bảng giá hiện hành để tính chính xác." }, { "q": "Có cần bật prompt caching thủ công không?", "a": "Tùy nhà cung cấp. Một số tự động áp dụng khi prompt đủ dài, một số yêu cầu đánh dấu điểm cache trong yêu cầu API." }, { "q": "Cache tồn tại bao lâu?", "a": "Thường chỉ vài phút kể từ lần dùng gần nhất, một số dịch vụ cho chọn thời gian dài hơn. Kiểm tra tài liệu của nhà cung cấp vì quy định có thể thay đổi." }, { "q": "Chạy mô hình cục bộ có prompt caching không?", "a": "Nhiều công cụ phục vụ mô hình như vLLM, llama.cpp có cơ chế tái sử dụng KV cache cho tiền tố chung. Lợi ích là giảm thời gian xử lý, còn chi phí đã là phần cứng của bạn." }, { "q": "Prompt caching khác lưu đệm câu trả lời thế nào?", "a": "Lưu đệm câu trả lời trả lại nguyên kết quả cũ cho câu hỏi giống hệt. Prompt caching vẫn sinh câu trả lời mới, chỉ bỏ qua việc tính lại phần đầu vào lặp lại." } ], "sources": [ { "t": "Anthropic – Prompt caching documentation", "u": "https://docs.anthropic.com" }, { "t": "OpenAI API documentation", "u": "https://platform.openai.com/docs" }, { "t": "Google Gemini API – Context caching", "u": "https://ai.google.dev/gemini-api/docs" } ], "related": [ "chi-phi-api-ai-uoc-tinh", "token-trong-ai-la-gi", "batch-api-la-gi", "latency-throughput-ai-la-gi", "system-prompt-la-gi", "context-window-la-gi", "api-ai-la-gi", "context-engineering-la-gi" ] }, { "id": 2185, "slug": "batch-api-la-gi", "title": "Batch API là gì? Xử lý hàng loạt bằng AI với chi phí thấp", "meta_desc": "Batch API là gì: gửi hàng nghìn yêu cầu AI một lần, nhận kết quả sau vài giờ với giá thấp hơn gọi thường. Khi nào nên dùng, các bước làm và lỗi thường gặp.", "excerpt": "Không phải việc AI nào cũng cần trả lời ngay. Phân loại 5.000 email cũ, viết mô tả cho 2.000 sản phẩm hay tóm tắt hồ sơ tồn đọng có thể chờ đến sáng mai. Batch API sinh ra cho những việc như vậy, đổi thời gian chờ lấy chi phí thấp hơn.", "answer": "Batch API là cách gọi mô hình AI theo lô: bạn gom nhiều yêu cầu vào một tệp, gửi lên một lần và nhận kết quả sau một khoảng thời gian, thường trong vòng 24 giờ theo cam kết của nhà cung cấp. Đổi lại việc không cần phản hồi tức thì, yêu cầu theo lô được tính giá thấp hơn đáng kể so với gọi đồng bộ và ít bị giới hạn tốc độ hơn. Batch API phù hợp với phân loại dữ liệu, trích xuất thông tin, dịch, viết mô tả sản phẩm số lượng lớn; không phù hợp với chatbot hay bất kỳ việc nào khách đang chờ.", "kws": [ "batch API là gì", "xử lý hàng loạt bằng AI", "batch processing AI", "gọi API theo lô", "giảm chi phí API AI" ], "sections": [ { "h2": "Batch API là gì", "html": "Batch API là chế độ gọi mô hình AI bất đồng bộ theo lô. Thay vì gửi từng câu hỏi và chờ câu trả lời ngay, bạn chuẩn bị một danh sách hàng trăm đến hàng chục nghìn yêu cầu, gửi lên nhà cung cấp, rồi quay lại lấy kết quả khi hoàn tất.
Có thể so sánh với hai cách gửi hàng: chuyển phát hỏa tốc và chuyển phát tiết kiệm. Hỏa tốc đến ngay trong ngày nhưng đắt; tiết kiệm đến chậm hơn vài ngày nhưng rẻ hơn. Với nhà cung cấp AI, yêu cầu theo lô cho họ tự do xếp lịch xử lý vào lúc hệ thống rảnh, nên họ có thể giảm giá.
Một số điểm chung của Batch API ở các nhà cung cấp lớn, tại thời điểm viết:
Gọi API thông thường (đồng bộ) phù hợp khi có người đang chờ. Batch API phù hợp khi chỉ có hệ thống chờ. Bảng dưới tóm tắt khác biệt để bạn chọn đúng chế độ cho từng việc.
", "table": { "caption": "So sánh gọi đồng bộ và Batch API", "head": [ "Tiêu chí", "Gọi đồng bộ", "Batch API" ], "rows": [ [ "Thời gian nhận kết quả", "Vài giây", "Vài phút đến tối đa theo cam kết, thường 24 giờ" ], [ "Chi phí mỗi token", "Giá chuẩn", "Thấp hơn đáng kể" ], [ "Giới hạn tốc độ", "Chia sẻ với mọi tính năng", "Hạn mức riêng, thường rộng hơn" ], [ "Cách gửi", "Từng yêu cầu", "Tệp gồm nhiều yêu cầu" ], [ "Xử lý lỗi", "Thử lại ngay", "Đọc tệp lỗi, gửi lại lô mới" ], [ "Phù hợp", "Chatbot, trợ lý, voice bot", "Phân loại, trích xuất, viết hàng loạt" ] ] } }, { "h2": "Doanh nghiệp dùng Batch API vào việc gì", "html": "Mọi việc có số lượng lớn, đầu vào sẵn có và không gấp đều là ứng viên tốt. Một vài ví dụ thực tế với doanh nghiệp Việt Nam:
Không dùng cho bất cứ việc nào có người chờ: trả lời khách trên Zalo, hỗ trợ nhân viên trực tiếp. Cũng không nên dùng khi chỉ có vài chục yêu cầu, vì công sức chuẩn bị tệp lớn hơn phần tiết kiệm được.
" }, { "h2": "Các bước sử dụng Batch API", "html": "sp-00125.Với người không lập trình, có thể làm phần lớn các bước bằng một kịch bản Python ngắn do đội IT viết sẵn, hoặc tích hợp vào n8n bằng các nút gọi HTTP.
" }, { "h2": "Kiểm tra kết quả và kiểm soát chất lượng", "html": "Xử lý hàng loạt nghĩa là lỗi cũng hàng loạt. Một prompt sai có thể tạo ra 5.000 kết quả sai trong một đêm. Áp dụng các chốt kiểm tra sau:
Cuối cùng, hãy lưu lại tệp đầu vào, tệp kết quả và phiên bản prompt của mỗi lô. Khi có thắc mắc về một kết quả cụ thể, bạn truy lại được chính xác điều gì đã được gửi đi.
" } ], "tip": "Hãy rà lại danh sách việc AI đang chạy ở chế độ đồng bộ và hỏi: có ai thật sự đang chờ kết quả này không? Những việc trả lời 'không' là ứng viên đầu tiên để chuyển sang Batch API.", "faq": [ { "q": "Batch API rẻ hơn bao nhiêu so với gọi thường?", "a": "Mức giảm khác nhau giữa các nhà cung cấp và có thể thay đổi. Hãy xem bảng giá hiện hành của từng hãng để tính toán chính xác cho khối lượng của bạn." }, { "q": "Batch API mất bao lâu để có kết quả?", "a": "Nhà cung cấp thường cam kết hoàn thành trong một cửa sổ tối đa, phổ biến là 24 giờ. Thực tế nhiều lô nhỏ xong sớm hơn nhiều, nhưng không nên dựa vào điều đó." }, { "q": "Chất lượng câu trả lời qua Batch API có kém hơn không?", "a": "Không. Cùng mô hình, cùng prompt và tham số thì chất lượng tương đương gọi đồng bộ; chỉ khác thời điểm xử lý và giá." }, { "q": "Không biết lập trình có dùng Batch API được không?", "a": "Khó dùng trực tiếp vì cần tạo tệp JSONL và gọi API. Cách thực tế là nhờ đội IT viết sẵn kịch bản hoặc dựng workflow để nhân viên chỉ cần đưa vào bảng tính." }, { "q": "Hủy lô đang chạy được không?", "a": "Thường có thể hủy, và các yêu cầu đã hoàn thành trước khi hủy vẫn có kết quả. Cách tính phí khi hủy xem trong tài liệu nhà cung cấp." }, { "q": "Batch API có dùng được với mô hình chạy cục bộ không?", "a": "Khái niệm tương tự có thể làm bằng cách xếp hàng đợi và chạy ban đêm trên máy chủ nội bộ. Các công cụ như vLLM có chế độ suy luận theo lô hiệu quả cho việc này." } ], "sources": [ { "t": "OpenAI API documentation", "u": "https://platform.openai.com/docs" }, { "t": "Anthropic documentation", "u": "https://docs.anthropic.com" }, { "t": "JSON Lines format", "u": "https://jsonlines.org" } ], "related": [ "prompt-caching-la-gi", "chi-phi-api-ai-uoc-tinh", "api-ai-la-gi", "latency-throughput-ai-la-gi", "token-trong-ai-la-gi", "evals-la-gi", "zapier-make-va-n8n", "bao-mat-api-key-ai" ] }, { "id": 2186, "slug": "agent-memory-la-gi", "title": "Bộ nhớ của AI agent hoạt động thế nào? Ngắn hạn, dài hạn và rủi ro", "meta_desc": "Bộ nhớ của AI agent là gì: cách agent ghi nhớ ngắn hạn trong phiên và dài hạn giữa các phiên, các loại bộ nhớ, cách thiết kế cho doanh nghiệp và rủi ro cần kiểm.", "excerpt": "Một AI agent hữu ích cần nhớ khách hàng là ai, việc đã làm đến đâu và những quy tắc riêng của công ty. Nhưng mô hình ngôn ngữ bản chất không tự nhớ gì giữa các lần gọi. Bài này giải thích bộ nhớ của agent được xây dựng ra sao và cần kiểm soát gì.", "answer": "Bộ nhớ của AI agent là phần hệ thống lưu và gọi lại thông tin để agent làm việc liên tục qua nhiều bước và nhiều phiên, vì bản thân mô hình ngôn ngữ không tự nhớ giữa các lần gọi. Bộ nhớ ngắn hạn là những gì nằm trong cửa sổ ngữ cảnh hiện tại: hội thoại, kết quả công cụ vừa gọi. Bộ nhớ dài hạn được lưu bên ngoài, trong tệp, cơ sở dữ liệu hoặc vector database, và chỉ phần liên quan được nạp lại khi cần. Thiết kế bộ nhớ tốt giúp agent nhất quán hơn; thiết kế kém dễ gây lộ dữ liệu, nhớ sai hoặc tốn chi phí.", "kws": [ "bộ nhớ AI agent", "agent memory là gì", "bộ nhớ dài hạn của AI", "AI agent ghi nhớ", "memory cho chatbot" ], "sections": [ { "h2": "Bộ nhớ của AI agent là gì và vì sao cần", "html": "Bộ nhớ của AI agent là tập hợp cơ chế giúp agent giữ lại thông tin từ trước để dùng cho việc hiện tại. Cần nhấn mạnh: mô hình ngôn ngữ lớn không có trí nhớ tự nhiên giữa các lần gọi. Mỗi yêu cầu gửi lên là độc lập; mô hình chỉ 'biết' những gì nằm trong prompt lần đó cộng kiến thức đã học khi huấn luyện.
Cảm giác ChatGPT hay Claude 'nhớ' cuộc trò chuyện là do ứng dụng gửi lại lịch sử hội thoại trong mỗi lượt, và một số sản phẩm có thêm tính năng ghi nhớ lưu thông tin ở bên ngoài.
Với agent làm việc nhiều bước, bộ nhớ càng quan trọng:
Không có bộ nhớ, agent hỏi lại những điều đã biết, lặp lại bước đã làm và không học được từ phản hồi. Có bộ nhớ thiết kế kém, agent lại nhớ nhầm, nhớ thừa hoặc kể chuyện của khách này cho khách khác.
" }, { "h2": "Các loại bộ nhớ của AI agent", "html": "Các nhà nghiên cứu và nhà phát triển thường mượn cách phân loại trí nhớ của con người để mô tả bộ nhớ agent. Tên gọi không hoàn toàn thống nhất, nhưng phân nhóm dưới đây được dùng khá rộng rãi.
", "table": { "caption": "Các loại bộ nhớ thường gặp", "head": [ "Loại", "Lưu cái gì", "Nằm ở đâu", "Ví dụ" ], "rows": [ [ "Ngắn hạn (làm việc)", "Hội thoại và kết quả hiện tại", "Cửa sổ ngữ cảnh", "Khách vừa cho mã đơn hàng" ], [ "Sự kiện (episodic)", "Những gì đã xảy ra trong các phiên trước", "Cơ sở dữ liệu, log", "Tuần trước khách đổi địa chỉ giao hàng" ], [ "Ngữ nghĩa (semantic)", "Sự thật, kiến thức ổn định", "Vector database, tệp hồ sơ", "Khách là đại lý cấp 1, thanh toán cuối tháng" ], [ "Quy trình (procedural)", "Cách làm việc, quy tắc", "System prompt, tệp hướng dẫn", "Đơn trên mức quy định phải chờ quản lý duyệt" ] ] } }, { "h2": "Bộ nhớ ngắn hạn: giới hạn của cửa sổ ngữ cảnh", "html": "Bộ nhớ ngắn hạn chính là nội dung trong cửa sổ ngữ cảnh: system prompt, lịch sử hội thoại, kết quả các lần gọi công cụ. Cửa sổ ngữ cảnh của mô hình hiện đại khá lớn, nhưng không phải vô hạn, và càng nhồi nhiều càng tốn token, tăng độ trễ và có thể giảm độ chính xác.
Đây là phần cốt lõi của context engineering: quyết định đưa gì vào ngữ cảnh ở từng bước. Agent chạy công việc dài như rà soát 100 hợp đồng sẽ không thể giữ tất cả trong một ngữ cảnh, mà phải ghi kết quả từng hợp đồng ra ngoài.
" }, { "h2": "Bộ nhớ dài hạn được xây dựng thế nào", "html": "Bộ nhớ dài hạn nằm ngoài mô hình và được nạp vào ngữ cảnh khi cần. Một vòng hoạt động điển hình gồm bốn bước:
Agent hỗ trợ IT nội bộ lưu hồ sơ từng máy: cấu hình, phần mềm đã cài, sự cố trước đây. Khi anh Minh báo 'máy lại chậm', agent tra hồ sơ thấy tháng trước đã dọn ổ C và ổ đã gần đầy lại, nên đề xuất kiểm tra dung lượng trước rồi mới nghĩ tới nâng cấp RAM. Kỹ thuật viên xác nhận trước khi thực hiện.
" }, { "h2": "Rủi ro của bộ nhớ agent và cách kiểm soát", "html": "Bộ nhớ làm agent thông minh hơn nhưng cũng mở ra rủi ro mới:
Không phải agent nào cũng cần bộ nhớ dài hạn. Thêm bộ nhớ là thêm độ phức tạp, chi phí lưu trữ và nghĩa vụ bảo vệ dữ liệu.
Cách bắt đầu an toàn: dùng nguồn dữ liệu có cấu trúc sẵn có làm 'bộ nhớ' trước, chỉ thêm bộ nhớ tự do khi thật sự thấy agent thiếu ngữ cảnh. Với mỗi loại thông tin, hãy trả lời ba câu: lưu để làm gì, ai được xem, khi nào xóa.
" } ], "tip": "Trước khi thêm tính năng ghi nhớ cho agent, hãy xem thông tin đó đã có trong CRM hay phần mềm quản lý chưa. Cho agent đọc đúng nguồn gốc thường an toàn và chính xác hơn để agent tự ghi một bản sao riêng.", "faq": [ { "q": "ChatGPT có thật sự nhớ tôi không?", "a": "Mô hình không tự nhớ. Ứng dụng gửi lại lịch sử trong phiên và nếu bật tính năng ghi nhớ, nó lưu một số thông tin ở bên ngoài để nạp lại ở phiên sau. Bạn có thể xem và xóa trong phần cài đặt." }, { "q": "Bộ nhớ agent khác RAG như thế nào?", "a": "RAG thường truy xuất từ kho tài liệu chung, tương đối cố định. Bộ nhớ agent lưu thông tin phát sinh từ chính quá trình làm việc, gắn với người dùng hoặc nhiệm vụ cụ thể và thay đổi liên tục." }, { "q": "Cửa sổ ngữ cảnh lớn có thay được bộ nhớ dài hạn không?", "a": "Không hoàn toàn. Ngữ cảnh lớn giúp giữ nhiều thông tin trong một phiên nhưng tốn token, tăng độ trễ và mất khi phiên kết thúc." }, { "q": "Bộ nhớ của agent lưu ở đâu?", "a": "Tùy thiết kế: tệp văn bản, cơ sở dữ liệu quan hệ, vector database hoặc dịch vụ bộ nhớ của nền tảng agent. Doanh nghiệp nên biết rõ vị trí lưu để quản lý quyền và sao lưu." }, { "q": "Làm sao để agent quên một thông tin?", "a": "Cần chức năng xóa mục bộ nhớ tương ứng trong kho lưu trữ. Nếu thông tin đã lan sang bản tóm tắt hoặc log, phải xóa cả ở đó." }, { "q": "n8n có hỗ trợ bộ nhớ cho agent không?", "a": "n8n có các nút bộ nhớ cho agent, từ bộ nhớ hội thoại đơn giản đến kết nối cơ sở dữ liệu. Chi tiết tính năng nên kiểm tra theo phiên bản đang dùng." } ], "sources": [ { "t": "LangChain documentation", "u": "https://python.langchain.com" }, { "t": "Anthropic documentation", "u": "https://docs.anthropic.com" }, { "t": "Intelligent agent – Wikipedia", "u": "https://en.wikipedia.org/wiki/Intelligent_agent" } ], "related": [ "ai-agent-hoat-dong-the-nao", "context-window-la-gi", "context-engineering-la-gi", "rag-la-gi", "vector-database-la-gi", "ai-agent-la-gi", "xay-ai-agent-bang-n8n", "multi-agent-la-gi" ] } ]