Modelos en el dispositivo frente a la nube
Rephlo puede ejecutar modelos de IA en tu propio ordenador o enviar tu solicitud a un modelo en la nube. Ambos aparecen en el mismo selector de modelos y responden en la misma ventana de chat, lo que hace fácil suponer que son intercambiables.
No lo son. Esta página explica la diferencia en términos sencillos, para que elijas el adecuado, y te muestra cómo obtener casi toda la privacidad del procesamiento local y la capacidad de un gran modelo en la nube al mismo tiempo.
La respuesta corta
Un modelo en el propio dispositivo es una IA mucho más pequeña que un modelo en la nube. Se ejecuta en tu portátil, así que tiene que caber en su memoria. Un modelo en la nube se ejecuta en un centro de datos, sobre hardware que cuesta más que un coche.
Espera que un modelo en el propio dispositivo te resulte de verdad útil para el trabajo cotidiano con texto, y espera también que se atasque donde un modelo en la nube no lo haría. No es una versión más pequeña pero equivalente de lo mismo: es otro nivel de capacidad.
Por qué la brecha es tan grande
Los modelos de IA se miden en parámetros: a grandes rasgos, la cantidad de valores internos ajustables que el modelo aprendió durante el entrenamiento. Más parámetros suelen significar más capacidad, y también más memoria.
El catálogo en el dispositivo de Rephlo va de unos 2 a 14 mil millones de parámetros, porque eso es lo que cabe con holgura en un ordenador personal. Los grandes modelos en la nube son de decenas a cientos de veces mayores.
Esa brecha se manifiesta como una diferencia de criterio: seguir una instrucción larga y con varias capas; retener un documento complicado mientras responde sobre él; darse cuenta de que tu pregunta contiene una premisa falsa. Los modelos más pequeños hacen bien lo evidente y de forma poco fiable lo sutil.
Uno al lado del otro
| Modelo en el dispositivo | Modelo en la nube | |
|---|---|---|
| Adónde va tu texto | A ninguna parte: se queda en tu ordenador | Al proveedor que sirve el modelo |
| Funciona sin conexión | Sí | No |
| Coste por mensaje | Ninguno | credits, o la factura de tu propio proveedor con BYOK |
| Velocidad | Depende de tu hardware | Constante, en general más rápida |
| Razonamiento en problemas difíciles | Limitado | Sólido |
| Documentos largos | Limitado | Sólido |
| Búsqueda web | No | Disponible con proveedores que la admiten |
| Leer imágenes | No | Disponible con modelos con visión |
| Leer documentos adjuntos | Sí: PDF, texto y archivos de Office | Sí |
| Puesta en marcha | Descarga única de varios GB | Ninguna |
| Disponibilidad | Pro, Enterprise o licencia perpetua | Todos los planes |
En qué son buenos los modelos en el dispositivo
En estas tareas la brecha apenas se nota:
- Reescribir y reformular: cambiar el tono, acortar, hacer algo más formal
- Corregir gramática y ortografía
- Resumir textos cortos y medios
- Extracción sencilla: sacar nombres, fechas o elementos de una lista de un párrafo
- Traducción rápida de textos cotidianos
- Trabajar sin conexión: en un avión, en una instalación segura o sin red
- Cualquier cosa lo bastante confidencial como para preferir que no salga de la máquina
Dónde se quedan cortos
Prepárate para resultados más flojos aquí:
- Razonamiento complejo: lógica de varios pasos, matemáticas, análisis cuidadoso
- Documentos largos: la memoria de trabajo de un modelo pequeño se llena enseguida
- Generación de código más allá de fragmentos breves
- Instrucciones largas y anidadas: un modelo pequeño tiende a seguir las primeras y desviarse del resto
- Matiz y precisión factual: los modelos más pequeños son más propensos a afirmar algo con seguridad y equivocarse
Dos límites duros que conviene conocer de entrada
Sin búsqueda web. Como los modelos en el dispositivo funcionan totalmente sin conexión, no pueden consultar nada. Su conocimiento se detiene en sus datos de entrenamiento. Hay un conector de búsqueda web en desarrollo; para información actual hoy, usa un proveedor en la nube que admita búsqueda.
Sin visión. Los modelos en el dispositivo no pueden mirar imágenes. Si adjuntas una, Rephlo lee en tu dispositivo el texto que contenga y lo transmite en su lugar: útil, pero no es lo mismo que un modelo viendo de verdad tu gráfico. Consulta Cómo lee Rephlo tus archivos.
Lo mejor de ambos: ocultar en local y luego usar un modelo en la nube
Esta es la configuración que recomendaríamos a la mayoría de quienes manejan trabajo sensible, y la que la mayoría de los usuarios no sabe que existe.
No tienes que elegir entre «potente pero mis datos salen de aquí» y «privado pero limitado». Rephlo puede quitar la información personal de tu solicitud en tu propio ordenador y solo entonces enviarla a un gran modelo en la nube. El modelo en la nube hace el trabajo difícil; los datos personales nunca hacen el viaje.
Para configurarlo: Settings ▸ Privacy ▸ Remove personal info before cloud requests, y después elige qué categorías ocultar.
La detección se hace en dos capas:
- La coincidencia de patrones, integrada y siempre disponible, capta cosas con una forma predecible: direcciones de correo, números de teléfono, números de la seguridad social y datos completos de tarjetas.
- Un modelo de IA en el dispositivo, descargado cuando hace falta (unos 1,16 GB), capta cosas sin forma fija: nombres, fechas de nacimiento, direcciones y números de identificación como el permiso de conducir o el pasaporte.
Hasta que descargues ese segundo modelo, las categorías que dependen de él aparecen como no disponibles, así que nunca se te induce a error sobre lo que se está eliminando de verdad.
Sé realista sobre lo que esto te da. La ocultación reduce de forma apreciable la exposición accidental, pero es detección y no una garantía: no puede captar todos los casos. Si tu contenido es tan sensible que un fallo sería inaceptable, usa una de las opciones más fuertes:
- Activa Block send if redaction is uncertain y Rephlo retendrá la solicitud en lugar de arriesgarse a enviar algo de lo que no está seguro.
- Activa Force Local for Sensitive y las solicitudes marcadas como sensibles las atenderá un modelo en el dispositivo, sin llegar nunca a un proveedor en la nube.
Consulta Privacidad y datos para cada ajuste en detalle.
Entonces, ¿cuál debo usar?
| Tu situación | Usa |
|---|---|
| Reescritura, tono y gramática del día a día | Con el dispositivo basta |
| Sin conexión a internet | En el dispositivo |
| Contenido que nunca debe salir de la máquina | En el dispositivo, o Force Local for Sensitive |
| Contenido sensible, pero necesitas capacidad real | Ocultar en local y luego un modelo en la nube |
| Razonamiento difícil, código, documentos largos | Nube |
| Necesitas información actual de la web | Nube, con un proveedor que admita búsqueda |
| Necesitas que el modelo mire una imagen | Nube, con un modelo con visión |
| Estás vigilando tu gasto de credits | En el dispositivo no cuesta credits |
No tienes que casarte con ninguno. Cambiar de modelo es un desplegable, así que una costumbre razonable es redactar con un modelo en el dispositivo y subir a uno en la nube cuando una respuesta no sea lo bastante buena.
Preguntas frecuentes
¿El modelo en el dispositivo es el mismo que Rephlo usa en la nube? No. Son modelos completamente distintos, de familias diferentes y con tamaños muy distintos.
¿Por qué va lento mi modelo en el dispositivo? La velocidad depende de tu hardware: memoria y procesador. Usa Check my machine en la pantalla de modelos en el dispositivo para ver qué puede ejecutar tu ordenador con holgura, y prefiere un modelo más pequeño si uno mayor va pesado.
¿Los modelos en el dispositivo cuestan credits? No. Una vez descargados, se ejecutan en tu hardware sin coste por mensaje. La función requiere un plan Pro, Enterprise o perpetuo.
¿Un modelo en el dispositivo hace que mis datos sean privados automáticamente? Tu contenido se queda en tu máquina en modo local. Eso es una propiedad del procesamiento local, no una certificación de cumplimiento: si tu trabajo está regulado, escríbenos a [email protected].
¿Puedo usar OCR con un modelo en el dispositivo? Sí. La lectura de documentos escaneados se ejecuta localmente sea cual sea el modelo elegido, así que un PDF escaneado funciona con un modelo en el dispositivo igual que con uno en la nube.
Páginas relacionadas
- Modelos en el dispositivo — el catálogo, las descargas y los ajustes de memoria
- Modelos e inferencia — cómo elige Rephlo entre nube y dispositivo
- Privacidad y datos — ocultación, enrutamiento y procesamiento local
- Cómo lee Rephlo tus archivos — adjuntos, Spaces, documentos escaneados e imágenes