Modelle & Inferenz
Ein Provider ist wer die KI betreibt (OpenAI, Anthropic, Ihr eigener Rechner oder Rephlo). Ein Modell ist die eigentliche Engine, die den Text erzeugt. Ein Provider bietet meist mehrere Modelle an, und Sie wählen aus, welches jeden Command oder Chat ausführt.
Diese Unterscheidung richtig zu verstehen, ist der Schlüssel, um Geschwindigkeit, Qualität, Datenschutz und Kosten zu kontrollieren.
Die drei Arten, wie Rephlo KI ausführt
Rephlo kann eine Anfrage auf eine von drei verschiedenen Arten ausführen. Sie wählen diejenige, die zu Ihren Bedürfnissen passt.
| Art der KI-Ausführung | Wo sie läuft | Wer zahlt | Erforderlicher Plan | Am besten geeignet für |
|---|---|---|---|---|
| Cloud (eigener Schlüssel) | Die Server des Providers (OpenAI, Anthropic, Google usw.) | Sie — vom Provider über Ihren eigenen API-Schlüssel abgerechnet | Pro-Plan oder Perpetual License | Top-Modelle, volle Kontrolle |
| On-Device | Ihr eigener Rechner, vollständig offline | Niemand — keine Credits, keine Rechnung vom Provider | Pro-Plan oder Perpetual License | Datenschutz, kein Internet, keine Nutzungskosten |
| Rephlo-hosted | Rephlos Inferenzdienst | Rephlo-Credits aus Ihrem Plan | In kostenpflichtigen Plänen enthalten | Bequemlichkeit, keine Schlüsselverwaltung |
Plan-Gating: Bring-your-own-key-Provider (Cloud und Ollama) sowie On-Device-Modelle sind Pro-Tarif-Funktionen — sie erfordern einen aktiven Pro-Plan (oder höher) oder eine Perpetual License. Bei On-Device-Modellen deckt dieses Gating sowohl das Herunterladen als auch das Ausführen ab; sobald freigeschaltet, laufen sie ohne Nutzungskosten und vollständig offline. Die Rephlo-hosted Dedicated API ist in kostenpflichtigen Plänen enthalten und verbraucht Credits.
1. Cloud-Provider (eigenen Schlüssel mitbringen)
Sie fügen einen API-Schlüssel eines Providers ein, bei dem Sie bereits ein Konto haben. Rephlo unterstützt acht BYOK-Providertypen — sieben Cloud-Anbieter (OpenAI, Anthropic, Google, Groq, xAI (Grok), OpenRouter und jeden OpenAI-kompatiblen Endpunkt — einschließlich Azure OpenAI) sowie das lokale Ollama, das auf Ihrem eigenen Rechner unter localhost:11434 läuft. Jeder stellt seine eigene Modellliste bereit — Sie wählen aus dem, was der jeweilige Provider aktuell anbietet (die neuesten GPT-, Claude-, Gemini- und andere Modelle).
Die Nutzung wird von dem Provider über Ihren Schlüssel abgerechnet — Rephlo berechnet für diese Aufrufe niemals Credits. Richten Sie dies unter Providers ein.
2. On-Device-Modelle (privat, kostenlos, offline)
Rephlo kann offene Modelle vollständig auf Ihrem eigenen Rechner über GGUF-Modelldateien mit einer integrierten Engine ausführen. Sobald ein Modell heruntergeladen ist:
- Läuft es mit null Internetverbindung — nichts wird an einen Server gesendet.
- Verbraucht es keine Credits und kostet nichts im Betrieb.
- Bleibt alles vollständig privat auf Ihrem Rechner.
Die Nutzung von On-Device-Modellen — sowohl das Herunterladen als auch das Ausführen — erfordert einen aktiven Pro-Plan (oder höher) oder eine Perpetual License, genau wie bei BYOK-Cloud- und Ollama-Providern. Sobald freigeschaltet, laufen sie credit-frei und vollständig offline.
Jedes On-Device-Modell trägt Metadaten, damit Sie das richtige auswählen können: eine Downloadgröße, eine Geschwindigkeitsbewertung und Genauigkeitsbewertung (1–10) sowie den benötigten RAM (ein Minimum und ein empfohlener Wert). Wählen Sie ein kleineres, schnelleres Modell, wenn Ihr Rechner über begrenzten Speicher verfügt, oder ein größeres, genaueres, wenn Sie RAM übrig haben.
Manche On-Device-Modelle unterstützen einen Thinking Mode (sichtbares Schlussfolgern vor der endgültigen Antwort). Modelle mit Reasoning-Fähigkeit wie Qwen und Gemma erzeugen ihre Gedanken in speziellen Blöcken; Rephlo erkennt dies automatisch, sodass das Reasoning korrekt behandelt wird.
Durchsuchen, herunterladen und verwalten Sie diese unter On-Device Models.
3. Rephlo-hosted Inferenz (verbraucht Credits)
Wenn Sie keine Schlüssel verwalten möchten, kann Rephlo die Inferenz für Sie auf seinem eigenen gehosteten Dienst ausführen. Diese Anfragen verbrauchen Credits aus Ihrem Rephlo-Plan. Antworten werden in Echtzeit gestreamt, sodass Sie die Ausgabe sehen, während sie generiert wird.
Credits, Guthaben und was in jedem Plan enthalten ist, finden Sie im Web — siehe Credits & Usage und Plans & Pricing.
Wie ein Modell ausgewählt wird
Rephlo entscheidet anhand einer klaren Prioritätsreihenfolge, welches Modell verwendet wird:
- Der eigene Model-Override eines Commands, falls der Command einen angibt.
- Das für die aktuelle Konversation gewählte Modell (im Chat), das pro Konversation gemerkt wird.
- Das Standardmodell des aktiven Providers, verwendet als Fallback — zum Beispiel laufen schnelle Kontextmenü-Aktionen (Overlay) auf dem Standardmodell des aktiven Providers, sofern der Command es nicht überschreibt.
Neustart: Ein brandneuer Chat — oder das Öffnen von Chat aus der Seitenleiste, bevor für diese spezifische Konversation ein Modell festgelegt wurde — greift auf das Modell zurück, das Sie zuletzt irgendwo in Rephlo verwendet haben. Dieses globale Gedächtnis des zuletzt verwendeten Modells ist getrennt vom konversationsbezogenen Gedächtnis: Sobald Sie das Modell innerhalb einer bestimmten Konversation wechseln, merkt sich diese Konversation ihre eigene Wahl unabhängig.
Modelle spontan wechseln
Im Chat ermöglicht Ihnen ein einheitlicher Modellwähler in der Symbolleiste, das Modell für die aktuelle Konversation zu ändern. Ihre Wahl wird für diese Konversation gemerkt, sodass beim erneuten Öffnen dasselbe Modell erhalten bleibt. Siehe Chat & Conversations für Details.
Der Wähler zeigt auch, welche Modelle in Ihrem Plan enthalten sind: gesperrte oder unzugängliche Dedicated-API-Modelle zeigen ein Tarif-Badge (wie PRO oder ENTERPRISE) und ein Schlosssymbol an, sodass Sie auf einen Blick sehen, was in Ihrem Plan verfügbar ist.
Rephlo lässt Sie nie stillschweigend auf einem Modell, das Ihr Plan nicht mehr enthält — wird Ihr aktives Modell unzugänglich (zum Beispiel nach einem Plan-Downgrade), wechselt es Sie automatisch zu einem zugänglichen Modell.
Modellparameter
Über die Wahl des Modells hinaus können Sie mit Parametern wie Temperature (Zufälligkeit), Max Tokens (Länge der Antwort), Top-P und Top-K einstellen, wie es sich verhält. Nicht jedes Modell unterstützt jeden Parameter, und manche haben Beschränkungen — Rephlo validiert und passt Ihre Einstellungen an die Beschränkungen jedes Modells an, sodass Sie sich die Regeln nicht merken müssen. Sie finden diese im Modellparameter-Editor und unter Advanced Configuration.
Kosten senken mit Prompt Caching
Wenn Sie Anthropic (Claude) mit wiederholtem Kontext verwenden — dieselben langen Anweisungen oder Dokumente über viele Anfragen hinweg —, kann Rephlo eine zwischengespeicherte Kopie dieses Kontexts wiederverwenden, statt ihn jedes Mal erneut zu senden. Dies ist standardmäßig aktiviert und kann die Kosten für wiederholte Arbeit erheblich senken. Manche anderen Cloud-Provider cachen wiederholten Kontext automatisch auf ihrer eigenen Seite, und On-Device-Modelle cachen überhaupt nicht. Mehr dazu in Prompt Caching.
Den richtigen Ansatz wählen
- Möchten Sie die beste Qualität und haben bereits einen API-Schlüssel? Verwenden Sie einen Cloud-Provider (BYOK — eine Pro-Tarif-Funktion).
- Legen Sie besonderen Wert auf Datenschutz oder arbeiten offline? Verwenden Sie ein On-Device-Modell — kostenlos und lokal im Betrieb (der Zugang ist eine Pro-Tarif-Funktion).
- Möchten Sie überhaupt keine Schlüssel verwalten? Verwenden Sie Rephlo-hosted Inferenz (in kostenpflichtigen Plänen enthalten; verbraucht Credits).