メインコンテンツまでスキップ

Rephloがファイルを読み取る仕組み

Rephloにファイルを渡す方法はいくつかあります——チャットメッセージへの添付、Knowledge Spaceへの追加、スクリーンショットの貼り付けなど。その後どうなるかは、そのファイルがどんな種類かとどこに置いたかで決まります。この2つは混同されがちです。

このページが答えるのは1つだけです: Rephloにファイルを渡した——実際には何が行われたのか?

短い答え​

Rephloに渡したファイルは、必ず3つの経路のいずれかを通ります。

経路どんなときに通るかRephloが行うこと
テキストファイルにすでにテキストが含まれている——通常のPDF、Word文書、Markdown、CSV、コードファイルから直接テキストを読み取る
OCRファイルがテキストの画像である——スキャンされたPDF、ページの写真、FAXお使いのコンピューター上でテキストを認識し、その後はテキスト経路と同じように扱う
ビジョンファイルが本物の画像である——図表、スクリーンショット、写真画像そのものを、見ることができるモデルへ送る

最初の2つの違いは、聞こえる以上に重要です。スキャナーから出てきたPDFは、開いてみるとWordから出力したPDFと見た目は同じですが、ソフトウェアにとって一方はテキストで、もう一方はテキストを撮影した写真です。RephloがOCRを行えるようになる前は、スキャンされたPDFは単に読み取れない画像でした——検索するものも、引用するものもありませんでした。

2つめの問い: 添付かSpaceか​

経路はファイルがどう読まれるかを決めます。どこに置くかはどれだけ残り、どう使われるかを決めます。

メッセージに添付するKnowledge Spaceに追加する
保持期間この会話のあいだだけ削除するまで保存される
再利用毎回添付し直すそのSpaceを使うすべてのチャットとコマンドで利用できる
使われ方そのメッセージのプロンプトに挿入されるチャンクに分割してインデックス化し、関連する部分だけを取り出す
向いている用途1つの文書についての単発の質問何度も参照する資料——ハンドブック、契約書一式、調査ノート

どちらも同じ3つの経路を通ります。スキャンされたPDFは、添付してもSpaceに追加してもOCRされます。違いはその後テキストがどう扱われるかです。

なぜSpaceは文書全体を送らないのか。 大きな文書はモデルのコンテキストウィンドウに収まらず、詰め込めば遅くも高くもなります。Spaceはテキストをインデックス化し、実際に質問に答えるわずかな箇所だけをRephloが取り出せるようにします。RAG検索とチューニングを参照してください。

2つの問いを組み合わせる​

Rephloに渡すものどこに置くか何が起こるか
テキストレイヤーのあるPDF、Word、Markdown、CSV、コードメッセージに添付テキストが読み取られ、そのメッセージに含まれる
同じファイルSpaceに追加テキストが読み取られ、チャンク化されてインデックス化される
スキャンされたPDF(テキストレイヤーなし)メッセージに添付端末上でテキストが認識され、その後含まれる
スキャンされたPDFSpaceに追加端末上でテキストが認識され、チャンク化されてインデックス化される
スクリーンショット、図表、写真メッセージに添付画像がビジョン対応モデルへ送られる
スクリーンショット、図表、写真Spaceに追加見つかったテキストがインデックス化される。画像そのものは検索対象にならない

スキャン文書を読み取る(OCR)​

OCR——光学文字認識——は、テキストの画像を再びテキストに戻す技術です。Rephloはこれをすべてお使いのコンピューター上で行います。文書が認識のためにどこかへアップロードされることはありません。

オンとオフの切り替え​

Settings ▸ Privacy ▸ Read scanned documents on this device へ進みます。

既定で有効です。オフにすると、Rephloは認識を行わず、代わりにファイルをそのままAIモデルへ送ります——文書の読み取りが得意なモデルを使っていて、ローカルの処理時間をかけたくない場合には妥当な選択です。

一度だけのダウンロード​

OCRを初めて使うとき、Rephloは小さなテキスト認識モデル——約 15 MB——をダウンロードし、準備ができたことをお知らせします。これは一度きり、バックグラウンドで行われます。ダウンロードに失敗した場合(たいていは接続の問題です)、Rephloはその旨を伝えます。成功するまでスキャン文書は読み取られません。

文書の言語を選ぶ​

同じ設定の下に Scanned document language があります。既定は Auto で、アプリの言語に従うため、ほとんどの方は変更する必要がありません。

変更が必要なのは、スキャンする文書がアプリの表示言語と異なる言語で書かれている場合です。これは見た目以上に重要です。日本語や韓国語のページをラテン文字用の認識器で読み取ると、多少悪くなるどころか、使い物にならないテキストになります。

認識は次の言語向けに調整されています。

言語
英語、フランス語、スペイン語、ドイツ語、ポルトガル語共通のラテン文字認識器
日本語、中国語(簡体字)
韓国語
ベトナム語

その他の言語もベストエフォートで動作しますが、精度は保証されません。

非常に長い文書: 「Partial OCR」バッジ​

1ページの認識にはお使いのマシンの実際の処理が必要なため、インデックス化は1文書あたり 200ページ が上限です。スキャン文書がこの上限を超える場合、Rephloはそのファイルが元から持っていたテキストをインデックス化し、Space内で Partial OCR バッジを付けます。

このバッジは、あなたが誤解しないために存在します。表示されている場合、その文書の一部のページは検索結果に含まれていません——残りを黙って見落とすのではなく、一部を見ているのだと分かります。非常に長いスキャン文書では、より小さなファイルに分割するのが現実的な解決策です。

画像​

画像は文書とは異なる扱いになります。画像には、どれだけテキストを抽出しても捉えられない意味——図表の形、図解のレイアウト、写真の被写体——が含まれうるからです。

モデルが見える場合​

ビジョン対応モデルには画像そのものが渡されます。 RephloはOCRを行わず、テキストに置き換えることもしません。これは意図的です。テキスト抽出をすれば、その画像を添付した理由である視覚的な理解をまさに捨ててしまうからです。

モデルが見えない場合​

すべてのモデルが画像を扱えるわけではありません。オンデバイスモデルは扱えませんし、テキスト専用のクラウドモデルの多くも同様です。以前は、そうしたモデルに画像を添付すると画像は黙って破棄され、あなたの画像を一度も見ていないモデルから自信ありげな回答が返ってきていました。

現在は、モデルが見えない場合、Rephloが端末上で画像からテキストを読み取り、代わりにそれを渡します。画像に読み取れるテキストがまったくない場合——たとえば人物の写真——は、沈黙ではなく明示的な通知が表示されます。モデルは見ていない画像について作り話をするのではなく、画像が見えなかったと伝えられます。

これはフォールバックであって、性能向上ではありません。図表から認識されたテキストは、その図表を理解することとは違います。視覚的な細部が重要なら、ビジョン対応モデルをお使いください。

画像と秘匿化​

Remove personal info before cloud requests を有効にしている場合、画像も対象になります。

Rephloは、添付画像がクラウドモデルへ送られる前に、端末内OCRで読み取ります。個人情報が見つかった場合、画像は秘匿化されたテキストに置き換えられます。秘匿化するものがなければ、画像はそのまま送信されます。

その限界についてははっきり理解しておいてください。OCRが読み取るのはテキストであり、顔や署名、読み取れない手書き文字は捉えられません。そのリスクを受け入れられない画像については、Block send if redaction uncertain を有効にしてください。Rephloは読み取れない画像を送らずに保留します。

秘匿化設定の全体はプライバシーとデータをご覧ください。

クイックアンサー​

質問答え
スキャンPDFを追加したのに検索で何も見つからないSettings ▸ Privacy を確認してください。「Read scanned documents on this device」は有効ですか。一度きりのモデルダウンロードは完了しましたか。
認識されたテキストが文字化けしている文書の言語が合っていない可能性が高いです。Scanned document language を明示的に設定してください。
文書に「Partial OCR」バッジが付いている200ページのインデックス上限を超えています。より小さなファイルに分割してください。
画像を添付したのにモデルが無視したそのモデルはおそらく画像を見られません。Rephloは見つかったテキストを渡すようになりました。視覚的な理解が必要な場合はビジョン対応モデルに切り替えてください。
スキャン文書はOCRのためにアップロードされますかいいえ。認識はお使いのコンピューター上で行われます。
オンデバイスモデルでOCRは使えますか使えます。OCRはどのモデルを使うかとは無関係で、いずれの場合もローカルで動作します。

関連ページ​