プロンプトキャッシュ
Space をアタッチして チャットすると、メッセージの大部分——そのSpaceから引き出される背景コンテキスト——はターンをまたいでも変わりません。プロンプトキャッシュ は、AIプロバイダーがこの繰り返し部分を毎回読み直す(そして毎回課金される)代わりに記憶しておける仕組みです。結果として、コストが下がり、多くの場合レスポンスも速くなります——受け取る回答の内容が変わることはありません。
Rephloは Anthropic(Claude) に対してプロンプトキャッシュを能動的に有効化しています——デフォルトでオンになっており、有効期間も設定可能です。このページでは、キャッシュがいつ発動するのか、その効果をどう確認するのかを説明します。
仕組み(かんたんに)
AIへのリクエストは層になって構築されます。安定した指示、Spaceの背景コンテキスト、そして会話の新しい部分です。毎ターン繰り返される背景コンテキストがキャッシュされる対象です。
- 安定したプレフィックス(指示 + Spaceのコンテキスト)は、キャッシュから再利用されます。
- 各ターンで 新しいコンテンツ だけが新規に処理されます。
- 繰り返されるコンテキストについては、これによってその入力トークン分のコストを大幅に削減できます。
キャッシュが適用されるとき
以下の2つの条件が両方とも満たされたとき、キャッシュが機能します。
- 会話にSpaceがアタッチされていること。 Spaceのコンテキストこそが、キャッシュする価値のある大きく反復可能なプレフィックスを生み出すものです。Spaceがアタッチされていなければ、キャッシュすべき安定したブロックがないため、キャッシュにできることは何もありません。
- キャッシュに対応したプロバイダーを使用していること。 Rephloは Anthropic(Claude) に対してキャッシュを制御しており、以降のターンでは繰り返しのコンテキストがキャッシュから提供されます。他の一部のクラウドプロバイダーは、自社側で繰り返しコンテキストを自動的にキャッシュします——これはそれぞれのプロバイダーの挙動であり、Rephloが制御するものではありません。オンデバイスモデル はローカルで動作しキャッシュを行わないため、そもそもキャッシュは適用されません。
現実的な下限もあります。プロバイダーが実際にキャッシュから提供するには、キャッシュされるコンテキストがある程度の大きさである必要があります。小さなSpaceではこの閾値を超えないことがあり、その場合はキャッシュの効果がほとんど、あるいはまったく見られません——これは無害ですが、節約にはならないというだけです。
Anthropic(Claude)に関する詳細
プロバイダーごとにキャッシュの方式は異なります。ほとんどのクラウドベンダーは繰り返しコンテキストを 自動的に キャッシュします。Anthropic(Claude)は少し異なり——Rephloがそのキャッシュを制御し、Anthropicプロバイダーの設定内に2つの項目を用意しています。
| 設定 | 内容 |
|---|---|
| Prompt caching enabled | Anthropicのキャッシュをオンにします。デフォルトでオン。 |
| Cache lifetime (TTL) | ターン間でキャッシュが生き続ける時間:ephemeral(約5分、デフォルト)または extended(約1時間)。有効期間を長くするとキャッシュの書き込みに多少コストがかかりますが、その分キャッシュが長く「温かい」状態を保ちます。 |
デフォルトの ephemeral キャッシュは、フォローアップのメッセージが数分以内に届くようなほとんどの会話に適しています。会話から離れて、しばらく経ってから戻ってくることが多い場合は、extended にしておくとキャッシュが温かいまま保たれ、次のメッセージでもキャッシュヒットが得られます。
これらのオプションは、Anthropicの設定内にある Providers 画面にあります。モデルとプロバイダーがどう組み合わさるかについては、モデルと推論 を参照してください。
節約効果を確認する
Rephloは、各レスポンスにおいてキャッシュから提供された入力トークン数と、新規に処理された入力トークン数を追跡しています。詳細なキャッシュログ(Anthropicではデフォルトで有効)が有効な場合、この情報が記録されるため、キャッシュが正しく機能しているかを確認できます——後のターンでキャッシュされたトークンの割合が高ければ、キャッシュが意図どおりに再利用されているということです。
節約効果は、プロバイダーがキャッシュされた入力に対して新規入力より安い料金を課すことから生まれます。そのため、安定したSpaceコンテキストを持つ長い会話ほど、キャッシュの恩恵が最も大きくなります。
クイックヒント
- チャットに Spaceをアタッチ すると、キャッシュが可能になります——これがトリガーです。
- Spaceのコンテキストをターンをまたいで安定させておく こと。Rephloは、ブロック全体を毎回作り直すのではなく、実際に新しいコンテキストだけを毎ターン追加することでこれを自動的に処理します。
- 「コールド」なキャッシュを気にする必要はありません。 最初のターンでキャッシュが書き込まれます。後の ターンでたまたまキャッシュミスになっても不利益はなく、通常どおり処理されるだけです。
関連ページ
- モデルと推論 — プロバイダーとモデルがどのように機能するか。
- データモードと圧縮 — Spaceのコンテキストとトークン予算がどのように管理されるか。
- プロバイダー設定 — Anthropicのキャッシュオプションがある場所。
- Chat と会話 — チャットにSpaceをアタッチする方法。
- Credit と使用状況 — 使用状況の数え方。