프롬프트 캐싱
Space를 연결한 상태로 채팅할 때, 메시지의 상당 부분 — 해당 Space에서 가져온 배경 컨텍스트 — 은 매 턴마다 동일하게 유지됩니다. **프롬프트 캐싱(Prompt Caching)**을 사용하면 AI 제공업체가 이 반복되는 부분을 매번 다시 읽고 다시 과금하는 대신 기억할 수 있습니다. 그 결과 비용이 낮아지고, 종종 응답 속도도 더 빨라지며, 받는 답변에는 아무런 변화가 없습니다.
Rephlo는 **Anthropic(Claude)**에 대해 프롬프트 캐싱을 적극적으로 활성화합니다 — 기본적으로 켜져 있으며, 유효 기간을 설정할 수 있습니다. 이 페이지에서는 캐싱이 언제 작동하는지, 그리고 그 이점을 어떻게 확인하는지 설명합니다.
작동 방식 (쉽게 설명하면)
AI에 보내는 요청은 여러 계층으로 구성됩니다: 고정된 지시문, Space의 배경 컨텍스트, 그리고 대화의 새로운 부분입니다. 매 턴마다 반복되는 배경 컨텍스트가 바로 캐싱되는 대상입니다.
- 고정 프리픽스(지시문 + Space 컨텍스트)는 캐시에서 재사용됩니다.
- 각 턴에서 새로운 콘텐츠만 새로 처리됩니다.
- 반복되는 컨텍스트의 경우, 이는 해당 입력 토큰 비용을 크게 절감할 수 있습니다.
캐싱이 적용되는 경우
다음 두 조건이 모두 충족될 때 캐싱이 작동합니다:
- 대화에 Space가 연결되어 있어야 합니다. Space 컨텍스트는 캐싱할 가치가 있 는 크고 반복 가능한 프리픽스를 만들어냅니다. 연결된 Space가 없으면 캐싱할 고정 블록이 없으므로 캐싱이 작동할 대상이 없습니다.
- 캐싱을 지원하는 제공업체를 사용해야 합니다. Rephlo는 **Anthropic(Claude)**에 대해 캐싱을 직접 구동하여, 이후 턴에서 반복되는 컨텍스트가 캐시에서 제공되도록 합니다. 일부 다른 클라우드 제공업체는 자체적으로 반복 컨텍스트를 자동으로 캐싱합니다 — 이는 해당 제공업체의 동작 방식이며, Rephlo가 제어하는 부분이 아닙니다. 온디바이스 모델은 로컬에서 실행되며 캐싱을 하지 않으므로, 이 경우에는 캐싱이 아예 적용되지 않습니다.
또한 실질적인 하한선도 있습니다: 캐시된 컨텍스트가 어느 정도 커야 제공업체가 실제로 캐시에서 제공합니다. 작은 Space는 이 임계값을 넘지 못할 수 있으며, 이 경우 캐싱 이점이 거의 또는 전혀 없을 수 있습니다 — 이는 해롭지는 않지만 절감 효과도 없다는 뜻입니다.
Anthropic(Claude) 세부 사항
제공업체마다 캐싱 방식이 다릅니다. 대부분의 클라우드 벤더는 반복 컨텍스트를 자동으로 캐싱합니다. Anthropic(Claude)은 조금 다릅니다 — Rephlo가 이를 위한 캐싱을 직접 구동하며, Anthropic 제공업체 설정에서 두 가지 옵션을 제공합니다:
| 설정 | 기능 |
|---|---|
| Prompt caching enabled | Anthropic 캐싱을 켭니다. 기본적으로 켜져 있습니다. |
| Cache lifetime (TTL) | 턴 사이에 캐시가 유지되는 시간: ephemeral(약 5분, 기본값) 또는 extended(약 1시간). 유효 기간이 길수록 캐시 작성 비용이 약간 더 들지만 더 오래 유지됩니다. |
기본값인 ephemeral 캐싱은 후속 메시지가 몇 분 안에 이어지는 대부분의 대화에 적합합니다. 자리를 비웠다가 나중에 다시 채팅으로 돌아오는 경우가 많다면, extended를 사용하면 캐시가 계속 유지되어 다음 메시지도 캐시 적중을 얻을 수 있습니다.
이 옵션들은 Anthropic 설정 아래의 Providers 화면에서 찾을 수 있습니다. 모델과 제공업체가 어떻게 맞물리는지에 대해서는 **Models & Inference**를 참고하세요.
절감 효과 확인하기
Rephlo는 각 응답에서 캐시로부터 제공된 입력 토큰 수와 새로 처리된 입력 토큰 수를 추적합니다. 상세 캐시 로깅이 활성화된 상태(Anthropic의 기본값)에서는 이 정보가 기록되므로 캐싱이 제대로 작동하는지 확인할 수 있습니다 — 이후 턴에서 캐시된 토큰의 비율이 높다면 캐시가 의도한 대로 재사용되고 있다는 뜻입니다.
절감 효과는 제공업체가 캐시된 입력에 대해 새 입력보다 더 낮은 비용을 청구하는 데서 나오므로, 안정적인 Space 컨텍스트를 가진 긴 대화일수록 캐싱의 이점이 가장 큽니다.
빠른 팁
- Space를 연결하여 채팅에 캐싱이 가능하도록 하세요 — 이것이 트리거입니다.
- Space 컨텍스트를 턴마다 안정적으로 유지하세요. Rephlo는 매 턴마다 전체 블록을 다시 만드는 대신 진짜로 새로운 컨텍스트만 추가함으로써 이를 자동으로 처리합니다.
- "콜드" 캐시를 걱정하지 마세요. 첫 번째 턴이 캐시를 작성하며, 이후 턴에서 우연히 캐시가 미스되더라도 불이익은 없습니다 — 그냥 평소대로 처리될 뿐입니다.
관련 페이지
- Models & Inference — 제공업체와 모델이 작동하는 방식.
- Data Modes & Compaction — Space 컨텍스트와 토큰 예산이 관리되는 방식.
- Providers Settings — Anthropic 캐싱 옵션이 있는 곳.
- Chat & Conversations — 채팅에 Space를 연결하는 방법.
- Credits & Usage — 사용량이 계산되는 방식.