Modelos no dispositivo x na nuvem

O Rephlo pode rodar modelos de IA no seu próprio computador ou enviar sua solicitação a um modelo na nuvem. Os dois aparecem no mesmo seletor de modelos e respondem na mesma janela de chat, o que facilita supor que sejam intercambiáveis.

Não são. Esta página explica a diferença em termos simples, para você escolher o certo — e mostra como obter quase toda a privacidade do processamento local e a capacidade de um grande modelo na nuvem ao mesmo tempo.

A resposta curta

Um modelo no dispositivo é uma IA bem menor que um modelo na nuvem. Ele roda no seu notebook, então precisa caber na memória dele. Um modelo na nuvem roda em um data center, em hardware que custa mais que um carro.

Espere que um modelo no dispositivo seja realmente útil no trabalho cotidiano com texto, e espere que ele tropece onde um modelo na nuvem não tropeçaria. Não é uma versão menor mas equivalente da mesma coisa — é um patamar de capacidade diferente.

Por que a diferença é tão grande

Modelos de IA são medidos em parâmetros — de forma bem aproximada, a quantidade de valores internos ajustáveis que o modelo aprendeu durante o treinamento. Mais parâmetros geralmente significam mais capacidade, e também mais memória.

O catálogo on-device do Rephlo vai de cerca de 2 a 14 bilhões de parâmetros, porque é isso que cabe confortavelmente em um computador pessoal. Grandes modelos na nuvem são dezenas a centenas de vezes maiores.

Essa diferença aparece como uma diferença de julgamento: seguir uma instrução longa e em camadas; manter um documento complicado em mente enquanto responde sobre ele; perceber que sua pergunta contém uma premissa falsa. Modelos menores fazem bem o óbvio e fazem de forma pouco confiável o sutil.

Lado a lado

	Modelo no dispositivo	Modelo na nuvem
Para onde vai o seu texto	Para lugar nenhum — fica no seu computador	Para o provedor que serve o modelo
Funciona offline	Sim	Não
Custo por mensagem	Nenhum	credits, ou a conta do seu próprio provedor com BYOK
Velocidade	Depende do seu hardware	Constante, em geral mais rápida
Raciocínio em problemas difíceis	Limitado	Forte
Documentos longos	Limitado	Forte
Busca na web	Não	Disponível com provedores que suportam
Ler imagens	Não	Disponível com modelos com visão
Ler documentos anexados	Sim — PDFs, textos e arquivos do Office	Sim
Configuração	Download único de vários GB	Nenhuma
Disponibilidade	Pro, Enterprise ou licença perpétua	Todos os planos

No que os modelos no dispositivo são bons

Nestas tarefas a diferença quase não aparece:

• Reescrever e reformular — mudar o tom, encurtar, deixar mais formal
• Corrigir gramática e ortografia
• Resumir textos curtos e médios
• Extração simples — tirar nomes, datas ou itens de lista de um parágrafo
• Tradução rápida de textos do dia a dia
• Trabalhar offline — em um avião, em uma instalação segura ou sem conexão
• Qualquer coisa confidencial o bastante para você preferir que nunca saia da máquina

Onde eles tropeçam

Prepare-se para resultados mais fracos aqui:

• Raciocínio complexo — lógica de várias etapas, matemática, análise cuidadosa
• Documentos longos — a memória de trabalho de um modelo pequeno enche rápido
• Geração de código além de trechos curtos
• Instruções longas e em camadas — um modelo pequeno tende a seguir as primeiras e se desviar do resto
• Nuance e precisão factual — modelos menores são mais propensos a afirmar algo com confiança e errado

Dois limites rígidos que vale conhecer de saída

Sem busca na web. Como os modelos no dispositivo rodam totalmente offline, eles não conseguem consultar nada. O conhecimento deles para nos dados de treinamento. Um conector de busca na web está em desenvolvimento; para informações atuais hoje, use um provedor de nuvem que suporte busca.

Sem visão. Modelos no dispositivo não conseguem olhar imagens. Se você anexar uma, o Rephlo lê no seu dispositivo qualquer texto contido nela e repassa isso — útil, mas não é o mesmo que um modelo realmente ver o seu gráfico. Veja Como o Rephlo lê seus arquivos.

O melhor dos dois: suprimir localmente e depois usar um modelo na nuvem

Esta é a configuração que recomendaríamos para a maioria das pessoas que lida com trabalho sensível, e é a que a maior parte dos usuários não sabe que existe.

Você não precisa escolher entre “potente, mas meus dados saem daqui” e “privado, mas limitado”. O Rephlo consegue retirar as informações pessoais da sua solicitação no seu próprio computador e só então enviá-la a um grande modelo na nuvem. O modelo na nuvem faz o trabalho difícil; os dados pessoais nunca fazem a viagem.

Para configurar: Settings ▸ Privacy ▸ Remove personal info before cloud requests, e então escolha quais categorias suprimir.

Duas camadas fazem a detecção:

• Correspondência de padrões, embutida e sempre disponível, capta coisas com formato previsível — endereços de e-mail, telefones, números de previdência social e dados completos de cartão.
• Um modelo de IA no dispositivo, baixado sob demanda (cerca de 1,16 GB), capta coisas sem formato fixo — nomes, datas de nascimento, endereços e números de documentos como carteira de motorista e passaporte.

Até você baixar esse segundo modelo, as categorias que dependem dele aparecem como indisponíveis, então você nunca é induzido ao erro sobre o que está realmente sendo removido.

Seja realista sobre o que isso oferece. A supressão reduz de forma significativa a exposição acidental, mas é detecção e não uma garantia — ela não consegue captar todos os casos. Se o seu conteúdo é sensível a ponto de uma falha ser inaceitável, use uma das opções mais fortes:

• Ative Block send if redaction is uncertain, e o Rephlo retém a solicitação em vez de arriscar enviar algo de que não tem certeza.
• Ative Force Local for Sensitive, e as solicitações marcadas como sensíveis são atendidas por um modelo no dispositivo, sem chegar a nenhum provedor na nuvem.

Veja Privacidade e dados para cada configuração em detalhe.

Então qual eu devo usar?

Sua situação	Use
Reescrita, tom e gramática do dia a dia	Modelo no dispositivo dá conta
Sem conexão com a internet	Modelo no dispositivo
Conteúdo que jamais pode sair da máquina	Modelo no dispositivo, ou Force Local for Sensitive
Conteúdo sensível, mas você precisa de capacidade real	Suprimir localmente e depois um modelo na nuvem
Raciocínio difícil, código, documentos longos	Nuvem
Você precisa de informação atual da web	Nuvem, com um provedor que suporte busca
Você precisa que o modelo olhe uma imagem	Nuvem, com um modelo com visão
Você está de olho no gasto de credits	Modelo no dispositivo não custa credits

Você não precisa se comprometer. Trocar de modelo é um menu suspenso, então um hábito sensato é rascunhar com um modelo no dispositivo e subir para um modelo na nuvem quando a resposta não for boa o bastante.

Perguntas comuns

O modelo no dispositivo é o mesmo que o Rephlo usa na nuvem? Não. São modelos completamente diferentes, de famílias distintas e com tamanhos muito diferentes.

Por que meu modelo no dispositivo está lento? A velocidade depende do seu hardware — memória e processador. Use Check my machine na tela de modelos no dispositivo para ver o que o seu computador roda com folga, e prefira um modelo menor se um maior estiver arrastado.

Modelos no dispositivo custam credits? Não. Depois de baixados, eles rodam no seu hardware sem custo por mensagem. O recurso exige um plano Pro, Enterprise ou perpétuo.

Um modelo no dispositivo torna meus dados privados automaticamente? Seu conteúdo fica na sua máquina no modo local. Isso é uma propriedade do processamento local, não uma certificação de conformidade — se o seu trabalho é regulado, fale conosco em [email protected].

Posso usar OCR com um modelo no dispositivo? Sim. A leitura de documentos digitalizados roda localmente independentemente do modelo escolhido, então um PDF digitalizado funciona com um modelo no dispositivo assim como funciona com um na nuvem.

Páginas relacionadas

• Modelos on-device — o catálogo, downloads e configurações de memória
• Modelos e inferência — como o Rephlo escolhe entre nuvem e dispositivo
• Privacidade e dados — supressão, roteamento e processamento local
• Como o Rephlo lê seus arquivos — anexos, Spaces, documentos digitalizados e imagens