メインコンテンツまでスキップ

オンデバイスモデル

Rephlo は AI モデルをお使いのコンピューター上で直接実行できます — インターネット接続は不要、メッセージごとの credit 消費もなく、テキストがデバイスの外に出ることもありません。オンデバイスモデル画面では、厳選されたローカルモデルのカタログを閲覧し、必要なモデルをダウンロードして、マシンのメモリの使われ方をコントロールできます。

この画面は、設定内の LLM Providers エリアにあります。オンデバイス推論は GGUF 形式のモデルファイルを使用し、Rephlo に内蔵されたローカルエンジンを通じて実行されます。

組み込みの Web 検索はありません。 オンデバイスモデルは完全にオフラインで動作するため、自力で検索したり最新情報を取得したりすることはできません。Web 検索コネクター(MCP)は開発中であり、利用可能になればオンデバイスモデルでも最新データを取得できるようになる予定です。現時点で Web 検索を利用したい場合は、それに対応したクラウドプロバイダーをご利用ください(Chat & Conversations を参照)。

添付ファイルの読み取り。 v1.4.1 以降、オンデバイスモデルはチャットに添付された PDF、テキストファイル、Office 文書を読み取れます — テキストはローカルで抽出され、プロンプトに含められます。画像や vision 系の添付にはまだ対応していません。

オンデバイスモデルを使えるのは誰か

オンデバイスモデルの利用には ProEnterprise、または perpetual license(永続ライセンス) が必要です — Free および Starter プランには含まれません。

ご利用のプランに含まれていない場合、カタログの上部にアップグレードバナーが表示されます。「On-device models require Pro, Enterprise, or a perpetual license.」 カタログ自体は引き続き閲覧できますが、モデルのダウンロードとアクティベートは無効化されます。ただし、ダウンロード済みのモデルを削除してディスク容量を空けることは引き続き可能です。バナーにはボタンが 1 つ表示されます。

状況ボタン
無料体験の対象である場合Start free trial or view plans
すでに体験版を利用済み(または対象外)の場合View plans

このボタンを選択するとアップグレードのプロンプトが開き、そこから体験版を開始したり、プランを比較したりできます。プランがこの機能を解放した瞬間にバナーは消え、ダウンロードが可能になります — 再起動は不要です。

体験版を開始するには ライセンスと体験版(License & Trial) を、プランを比較するには 料金ページ をご覧ください。

Check my machine(事前ハードウェアチェック)

何かをダウンロードする前に、**事前ハードウェアチェック(pre-flight hardware check)**を使うと、お使いのコンピューターが無理なく動かせるモデルを確認できます。Rephlo はハードウェア情報を読み取り、次のような概要を表示します。

16 GB RAM · 8 cores · Apple Silicon (unified memory)

続けてカタログ内のモデルをランク付けし、最適な 1 つをダウンロードボタン上に直接示します(例: Download Phi-4 Mini 3.8B)。ワンクリックでその推奨モデルをダウンロードできます。

このチェックはあくまで参考情報であり、利用を制限するものではありません。

  • 推奨モデルがマシンに適合する場合は、そのまま明確な推奨として表示されます。
  • モデルがお使いのメモリより多く必要とする場合、Rephlo は軽い警告(「This model may be slow or may not load」)を表示しますが、Download anyway を選んでダウンロードすることも可能です — 完全にブロックされることはありません。
  • 何らかの理由でハードウェアの検出に失敗した場合でも、以下からモデルを手動で閲覧・ダウンロードできます。

モデルのダウンロードと管理

カタログ内の各モデルには、ダウンロードサイズ、簡単な説明、そして速度精度の評価(ドットの並びで表示され、多いほど高評価)が表示されます。各モデルの行から、次の操作を行えます。

  • Download — モデルファイルを取得し、進捗バーをリアルタイムに表示します。ダウンロードに失敗した場合は、その行にエラーが表示され、再試行できます。
  • Use (Activate) — ダウンロード済みのモデルを、チャットおよびコマンドで使うアクティブなオンデバイスモデルとして設定します。あるモデルをアクティベートすると、他のモデルは非アクティブになります。アクティブなモデルは画面上部に表示されます。
  • Delete — モデルファイルを削除してディスク容量を空けます(この機能がロックされたプランに変わった後でも削除は可能なので、いつでもストレージを回収できます)。

モデルのライフサイクル

ストレージ

ダウンロードしたモデルは、プラットフォームごとに以下のアプリデータフォルダーに保存されます。

プラットフォーム保存場所
macOS~/Library/Application Support/Rephlo/models/llm
Windows%LOCALAPPDATA%\Rephlo\models\llm

この画面には、ダウンロード済みの全モデルの合計ディスク使用量が表示され、各行にはそのモデル個別のサイズが表示されます。モデルファイルは容量が大きく(多くの場合 1 つあたり数ギガバイト)、空き容量には注意が必要です — ダウンロード前に十分な空き容量があることを確認してください。

メモリ管理: モデルをロードしたままにするか、アンロードするか

モデルをメモリにロードするには少し時間がかかり、アクティブな間は RAM を消費します。この挙動をどう管理するかは、**メモリ戦略(memory strategy)**として選択できます。

戦略動作内容向いているケース
Always Loadedアクティブなモデルを常にメモリに保持し、即座に応答できるようにします。オンデバイス AI を常時使用する、高性能なマシン向け。
Auto Unload (Recommended)使用中はモデルをロードしたままにし、アイドル状態が一定時間続くと自動的にメモリを解放します(デフォルトは 10 分)。ほとんどのユーザー向け — 使用中は高速、アイドル時はリソースを節約。
Manual必要に応じてロードし、ユーザーが選んだときだけアンロードします。完全な制御を求める上級ユーザー向け。

Auto Unload を選択している場合、**アイドルタイムアウト(idle timeout)**を分単位で調整できます。その時間だけ使用がないと、モデルは自動的にアンロードされ、メモリが他のアプリに解放されます。次にリクエストが来ると、自動的に再ロードされます。

同じ Model Memory カードには **Context Window(コンテキストウィンドウ)**の設定もあります。これは、オンデバイスモデルが 1 リクエストあたりに考慮できる最大トークン数です。デフォルトは **32,768 トークン(約 32K)**で、2,048~262,144 の範囲で設定できます。ここには Auto オプションはありません — BYOK/クラウドおよび Ollama 系プロバイダーモデルの Context Length フィールドとは異なり、オンデバイスモデルは常にこの明示的な設定を使用します。Context Window を大きくすると、より多くの RAM/VRAM を消費し、アクティブなモデルが再ロードされます。

コンテキスト超過エラーが出る場合は? リクエストがメモリに収まらない場合、Rephlo は対処可能なエラーを表示します(NoKvSlot が言及されることもあります)。上記の Context Window を大きくすることで解決できます。

Settings → LLM Providers → On-Device — 使用ストレージ、Check my machine、Model Memory、Activate/Delete 付きのオンデバイスモデルカタログ

オンデバイスモデル画面: 上部に事前チェックの「Check my machine」パネル、メモリ戦略のセレクター、合計ストレージ使用量、そして各行に download/use/delete 操作を備えたスクロール可能なモデルカタログ。

関連ページ