メインコンテンツまでスキップ

オンデバイスモデルとクラウドモデル

Rephloは、AIモデルをお使いのコンピューター上で実行することも、リクエストをクラウドモデルへ送ることもできます。どちらも同じモデル選択画面に現れ、同じチャットウィンドウで応答するため、両者は交換可能だと思いがちです。

そうではありません。このページでは違いを分かりやすく説明し、適切なほうを選べるようにします——そして、ローカル処理のプライバシーの大部分と大規模なクラウドモデルの性能を同時に得る方法もご紹介します。

短い答え​

オンデバイスモデルは、クラウドモデルよりずっと小さなAIです。 ノートパソコン上で動くため、そのメモリに収まらなければなりません。クラウドモデルは、車より高価なハードウェアを備えたデータセンターで動きます。

オンデバイスモデルは日常的なテキスト作業では確かに役立ちますが、クラウドモデルなら問題にならない場面で行き詰まることも想定してください。同じものの小型版で同等というわけではなく、能力の段階そのものが異なります。

なぜこれほど差が大きいのか​

AIモデルはパラメータの数で測られます——ごく大まかに言えば、学習を通じて獲得した内部の調整可能な値の数です。パラメータが多いほど一般に性能は高くなり、同時に必要なメモリも増えます。

Rephloのオンデバイスカタログはおよそ20億から140億パラメータの範囲です。個人のコンピューターに無理なく収まるのがその規模だからです。大規模なクラウドモデルは、それより数十倍から数百倍の大きさがあります。

この差は判断力の違いとして現れます: 長く入り組んだ指示に従い続けること、複雑な文書を念頭に置いたまま回答すること、質問に誤った前提が含まれていると気づくこと。小さなモデルは、分かりやすいことはうまくこなし、微妙なことは安定してこなせません。

並べて比較​

オンデバイスモデルクラウドモデル
テキストの行き先どこにも行かない——コンピューター上に留まるそのモデルを提供するプロバイダー
オフラインで動作するしない
1メッセージあたりの費用なしcredits、またはBYOKなら自分のプロバイダー請求
速度ハードウェア次第安定していて、一般に高速
難しい問題の推論限定的高い
長い文書限定的高い
ウェブ検索不可対応プロバイダーで利用可能
画像の読み取り不可ビジョン対応モデルで利用可能
添付文書の読み取り可能——PDF、テキスト、Officeファイル可能
準備数GBの一度きりのダウンロード不要
利用条件Pro、Enterprise、または買い切りライセンスすべてのプラン

オンデバイスモデルが得意なこと​

次の作業では、差はほとんど表に出ません。

  • 書き換えと言い換え——トーンの変更、短縮、より丁寧な表現へ
  • 文法とスペルの修正
  • 短めから中程度の文章の要約
  • 単純な抽出——段落から名前、日付、箇条書き項目を取り出す
  • 日常的な文章の手早い翻訳
  • オフラインでの作業——機内、セキュア施設、接続がない場所
  • 端末から出したくないほど機密性の高いもの全般

苦手なこと​

次の場面では結果が弱くなることを想定してください。

  • 複雑な推論——多段階の論理、数学、綿密な分析
  • 長い文書——小さなモデルの作業メモリはすぐいっぱいになる
  • 短い断片を超えるコード生成
  • 長く入り組んだ指示——小さなモデルは最初のいくつかに従い、残りから逸れがち
  • ニュアンスと事実の正確さ——小さなモデルは自信を持って誤ったことを述べやすい

先に知っておきたい2つの明確な制約​

ウェブ検索ができません。 オンデバイスモデルは完全にオフラインで動作するため、何も調べられません。知識は学習データまでです。ウェブ検索コネクターは開発中で、現時点で最新情報が必要な場合は検索に対応したクラウドプロバイダーをお使いください。

画像が見えません。 オンデバイスモデルは画像を見ることができません。画像を添付すると、Rephloは端末上でその中のテキストを読み取り、代わりにそれを渡します——有用ですが、モデルが実際に図表を見ることとは異なります。Rephloがファイルを読み取る仕組みをご覧ください。

両方のいいとこ取り: ローカルで秘匿化してからクラウドモデルへ​

これは、機密性の高い作業をされる多くの方におすすめしたい構成であり、そして多くのユーザーが存在に気づいていない構成でもあります。

*「高性能だが自分のデータが外に出る」か「安全だが能力が足りない」*かを選ぶ必要はありません。Rephloはお使いのコンピューター上でリクエストから個人情報を取り除き、そのうえで初めて大規模なクラウドモデルへ送信できます。 難しい処理はクラウドモデルが担い、個人情報はその旅に出ません。

設定方法: Settings ▸ Privacy ▸ Remove personal info before cloud requests を有効にし、秘匿化するカテゴリを選びます。

検出は2つの層で行われます。

  • パターンマッチングは組み込みで常に利用でき、形式が予測できるものを捉えます——メールアドレス、電話番号、社会保障番号、カード情報一式。
  • 端末内のAIモデルは必要に応じてダウンロードされ(約 1.16 GB)、決まった形式を持たないものを捉えます——氏名、生年月日、住所、運転免許証やパスポートなどの身分証番号。

この2つめのモデルをダウンロードするまで、それに依存するカテゴリは利用不可として表示されます。実際に何が取り除かれているかについて誤解が生じることはありません。

得られるものについては現実的に理解してください。 秘匿化は偶発的な露出を大きく減らしますが、これは検出であって保証ではありません——すべてのケースを捉えられるわけではないのです。見落としが許容できないほど機密性が高い内容であれば、より強い選択肢をお使いください。

  • Block send if redaction is uncertain を有効にすると、確信が持てないものを送るリスクを冒すのではなく、Rephloがリクエストを保留します。
  • Force Local for Sensitive を有効にすると、機微とマークされたリクエストはオンデバイスモデルが処理し、クラウドプロバイダーには一切届きません。

各設定の詳細はプライバシーとデータをご覧ください。

では、どちらを使うべきか​

状況使うもの
日常的な書き換え、トーン調整、文法オンデバイスで十分
インターネット接続がないオンデバイス
端末から絶対に出してはいけない内容オンデバイス、または Force Local for Sensitive
機密性が高いが、本当の性能も必要ローカルで秘匿化してからクラウドモデル
難しい推論、コード、長い文書クラウド
ウェブから最新情報が必要クラウド(検索対応プロバイダー)
モデルに画像を見てほしいクラウド(ビジョン対応モデル)
credits の消費を抑えたいオンデバイスは credits を消費しない

どちらかに固定する必要はありません。モデルの切り替えはドロップダウンで行えるため、オンデバイスモデルで下書きし、回答が十分でないときにクラウドモデルへ切り替えるのが現実的な進め方です。

よくある質問​

オンデバイスモデルは、Rephloがクラウドで使っているモデルと同じですか? いいえ。まったく別のモデルで、系統も規模も大きく異なります。

オンデバイスモデルが遅いのはなぜですか? 速度はハードウェア——メモリとプロセッサ——に左右されます。オンデバイスモデルの画面で Check my machine を使い、お使いのコンピューターが無理なく実行できる範囲を確認してください。大きなモデルが重い場合は、小さなモデルをお選びください。

オンデバイスモデルは credits を消費しますか? いいえ。ダウンロード後はご自身のハードウェア上で動作し、メッセージごとの費用はかかりません。この機能にはPro、Enterprise、または買い切りプランが必要です。

オンデバイスモデルを使えば、データは自動的にプライベートになりますか? ローカルモードでは、コンテンツは端末上に留まります。これはローカル処理という性質であって、コンプライアンス認証ではありません。規制対象の業務であれば [email protected] までご連絡ください。

オンデバイスモデルでOCRは使えますか? 使えます。スキャン文書の読み取りは、どのモデルを選んでいてもローカルで動作するため、スキャンPDFはクラウドモデルと同じようにオンデバイスモデルでも扱えます。

関連ページ​