Prompt Caching
Khi bạn trò chuyện với một Space được đính kèm, một phần lớn tin nhắn của bạn — ngữ cảnh nền được lấy từ Space đó — giữ nguyên qua từng lượt. Prompt caching cho phép nhà cung cấp AI ghi nhớ phần lặp lại đó thay vì phải đọc lại (và tính phí lại) mỗi lần. Kết quả: chi phí thấp hơn và, thường là, phản hồi nhanh hơn, mà không thay đổi chất lượng câu trả lời bạn nhận được.
Rephlo chủ động bật prompt caching cho Anthropic (Claude) — mặc định bật sẵn, với thời gian sống có thể cấu hình. Trang này giải thích khi nào caching được kích hoạt và cách xem lợi ích của nó.
Cách hoạt động (nói đơn giản)
Một yêu cầu gửi tới AI được xây dựng theo từng lớp: một chỉ dẫn ổn định, ngữ cảnh nền của Space, rồi tới phần mới của cuộc trò chuyện. Ngữ cảnh nền lặp lại mỗi lượt chính là phần được cache.
- Tiền tố ổn định (chỉ dẫn + ngữ cảnh Space) được tái sử dụng từ cache.
- Chỉ nội dung mới trong mỗi lượt mới được xử lý lại từ đầu.
- Với ngữ cảnh lặp lại, điều này có thể cắt giảm đáng kể chi phí của các token đầu vào đó.
Khi nào caching được áp dụng
Caching được kích hoạt khi cả hai điều sau đều đúng:
- Một Space được đính kèm vào cuộc trò chuyện. Ngữ cảnh Space chính là thứ tạo ra một tiền tố lớn, lặp lại và đáng để cache. Không có Space đính kèm, sẽ không có khối ổn định nào để cache, nên caching không có gì để làm.
- Bạn đang dùng một nhà cung cấp có hỗ trợ cache. Rephlo vận hành caching cho Anthropic (Claude) để ngữ cảnh lặp lại được phục vụ từ cache ở các lượt sau. Một số nhà cung cấp đám mây khác tự động cache ngữ cảnh lặp lại ở phía họ — đó là hành vi riêng của họ, không phải điều Rephlo kiểm soát. Mô hình trên thiết bị (on-device) chạy cục bộ và không cache, nên caching đơn giản là không áp dụng ở đó.
Cũng có một ngưỡng thực tế: ngữ cảnh được cache cần đủ lớn trước khi nhà cung cấp thực sự phục vụ nó từ cache. Các Space nhỏ có thể không vượt qua ngưỡng đó, trong trường hợp này bạn sẽ thấy rất ít hoặc không có lợi ích caching nào — điều này vô hại, chỉ đơn giản là không tiết kiệm được.
Chi tiết riêng cho Anthropic (Claude)
Các nhà cung cấp khác nhau cache theo những cách khác nhau. Hầu hết các hãng đám mây cache ngữ cảnh lặp lại tự động. Anthropic (Claude) hơi khác — Rephlo vận hành caching cho nó và cung cấp cho bạn hai thiết lập trong cấu hình nhà cung cấp Anthropic:
| Thiết lập | Chức năng |
|---|---|
| Prompt caching enabled | Bật caching cho Anthropic. Mặc định bật. |
| Cache lifetime (TTL) | Thời gian cache tồn tại giữa các lượt: ephemeral (khoảng 5 phút, mặc định) hoặc extended (khoảng 1 giờ). Thời gian sống dài hơn tốn thêm một chút chi phí để ghi cache, nhưng giữ cache "ấm" lâu hơn. |
Mức mặc định ephemeral phù hợp với hầu hết các cuộc trò chuyện, nơi các tin nhắn tiếp theo của bạn đến trong vòng vài phút kể từ nhau. Nếu bạn có xu hướng rời đi và quay lại một cuộc trò chuyện sau một thời gian dài, extended sẽ giữ cache "ấm" để tin nhắn tiếp theo vẫn trúng cache (cache hit).
Bạn sẽ tìm thấy các tùy chọn này trên màn hình Providers trong phần cấu hình Anthropic của mình. Để hiểu mô hình và nhà cung cấp kết hợp với nhau ra sao, xem Mô hình & Suy luận.
Xem mức tiết kiệm
Rephlo theo dõi số token đầu vào được phục vụ từ cache so với xử lý mới trên m ỗi phản hồi. Khi bật ghi log cache chi tiết (mặc định với Anthropic), thông tin này được ghi lại để bạn xác nhận caching đang hoạt động đúng — tỷ lệ token được cache cao ở các lượt sau nghĩa là cache đang được tái sử dụng đúng như dự kiến.
Mức tiết kiệm đến từ việc nhà cung cấp tính phí thấp hơn cho đầu vào được cache so với đầu vào mới, nên các cuộc trò chuyện dài với ngữ cảnh Space ổn định là nơi caching mang lại lợi ích lớn nhất.
Mẹo nhanh
- Đính kèm một Space vào cuộc trò chuyện để caching có thể hoạt động — đó là yếu tố kích hoạt.
- Giữ ngữ cảnh Space ổn định qua các lượt. Rephlo tự xử lý việc này cho bạn bằng cách chỉ thêm ngữ cảnh thực sự mới mỗi lượt thay vì xây dựng lại toàn bộ khối.
- Đừng lo về cache "nguội". Lượt đầu tiên ghi cache; không có hình phạt nào nếu một lượt sau đó xảy ra trượt cache (cache miss) — nó chỉ đơn giản được xử lý bình thường.
Trang liên quan
- Mô hình & Suy luận — cách nhà cung cấp và mô hình hoạt động.
- Chế độ dữ liệu & Nén thông minh — cách ngữ cảnh Space và ngân sách token được quản lý.
- Cài đặt Providers — nơi có các tùy chọn caching của Anthropic.
- Chat & Cuộc trò chuyện — đính kèm một Space vào cuộc trò chuyện.
- Credit & Mức sử dụng — cách mức sử dụng được tính.