Skip to main content
Basis-URL: https://router.flatkey.ai Die Textgenerierung läuft über POST /v1/chat/completions, was exakt der OpenAI Chat Completions API entspricht. Jeder OpenAI-kompatible Client funktioniert, nachdem Sie die Basis-URL geändert haben.

Kein Umschreiben erforderlich

Behalten Sie Ihren bestehenden Request-Code und zeigen Sie base_url auf https://router.flatkey.ai/v1.

Ein Schlüssel, jedes Modell

Wechseln Sie Modelle, indem Sie das Feld model ändern. Alles andere bleibt gleich.

Ihren ersten Aufruf machen

Ein Modell auswählen

Listen Sie alles auf, was Ihr Konto erreichen kann, und behalten Sie die Textmodelle:
Durchsuchen Sie dieselbe Liste mit Preisen, Kontextlänge und Latenz im Modellverzeichnis. Ein praktischer Ausgangspunkt:

Die Antwort streamen

Setzen Sie stream: true, um Tokens zu empfangen, sobald sie erzeugt werden:
Jeder Chunk enthält ein partielles delta anstelle einer vollständigen Nachricht.

Eigene Funktionen aufrufen

Übergeben Sie Tool-Definitionen, und das Modell entscheidet, wann es sie aufruft:
Um die Schleife zu beenden, hängen Sie die Assistant-Nachricht an, dann eine Nachricht pro Tool-Ergebnis mit dem Schlüssel tool_call_id, und senden Sie den gesamten Thread zurück.
Wenn ein Tool ausgelöst wird, ist finish_reason gleich tool_calls, nicht stop. Code, der nur auf stop prüft, verwirft den Aufruf stillschweigend.
Tool-Calling ist eine Fähigkeit des Modells, nicht von Flatkey. Die GPT-, Claude-, Gemini-, Qwen-, DeepSeek- und GLM-Familien unterstützen es. Bild-, Video- und Sprachmodelle ignorieren ein tools-Array.

Eine JSON-Struktur erzwingen

Verwenden Sie response_format, wenn Sie die Antwort parsen müssen:
{"type": "json_object"} funktioniert ebenfalls, wenn Sie nur gültiges JSON ohne festes Schema benötigen.

Token-Nutzung lesen

Jede Antwort enthält die Zählwerte, nach denen Sie abgerechnet werden:
Verschiedene Modellfamilien tokenisieren unterschiedlich, sodass derselbe Text bei verschiedenen Modellen eine unterschiedliche Anzahl von Tokens kostet. Verwenden Sie usage anstatt aus Zeichenanzahlen zu schätzen. Die Kosten pro Anfrage erscheinen auch in den Nutzungsprotokollen.

Fehlerbehebung

No available channel for model ... Dieses Modell ist gerade nicht routbar. Wählen Sie eine andere ID aus /v1/models. Ein erneuter Versuch mit demselben Modell behebt das nicht. Die Antwort endet mitten im Satz finish_reason ist length. Erhöhen Sie max_tokens. Tool-Aufrufe werden nie ausgelöst Bestätigen Sie, dass das Modell Tools unterstützt, und prüfen Sie, dass tool_choice nicht auf none gesetzt ist.

Nächste Schritte

API-Referenz

Jeder Parameter und jedes Antwortfeld.

OpenAI SDK-Leitfaden

Flatkey in ein bestehendes OpenAI-Projekt integrieren.