All Otoroshi LLM Extension Features

Try LLM extension with our Otoroshi Managed Instances

Read the documentation
The logo of the authify

Einheitliche Schnittstelle

  • Vereinfacht die Integration mit mehreren LLM‑Anbietern
  • Reduziert Entwicklungs- und Wartungsaufwand
Learn More about Einheitliche Schnittstelle

Mehrere Anbieter verwenden

  • Unterstützt über 10 LLM‑Anbieter, mit weiteren in Vorbereitung
  • Steigert Flexibilität und Auswahl
Learn More about Mehrere Anbieter verwenden

Lastverteilung

  • Verteilt Arbeitslast auf mehrere LLM‑Anbieter
  • Gewährleistet optimale Leistung
Learn More about Lastverteilung

Fallbacks

  • Schaltet bei Ausfällen automatisch zwischen LLMs um
  • Bietet ununterbrochene und genaue Leistung
Learn More about Fallbacks

Automatische Wiederholungen

  • Behandelt unerklärliche Fehler der LLM-API
  • Rettet eine beträchtliche Anzahl fehlgeschlagener Anfragen
Learn More about Automatische Wiederholungen

Semantischer Cache

  • Beschleunigt wiederholte Abfragen
  • Verbessert die Reaktionszeiten
Learn More about Semantischer Cache

Feingranulare Authorisierungen

  • Erweiterte Kontrolle der Modellnutzung
  • Beschränkt Nutzung basierend auf Benutzer, API-Schlüssel oder Metadaten.
Learn More about Feingranulare Authorisierungen

Prompt-Zäune

  • Validiert Prompts und Antworten
  • Verhindert das Lecken sensibler oder persönlicher Daten
Learn More about Prompt-Zäune

Prompt-Engineering

  • Bietet kontextuelle Informationen zu Prompts
  • Speichert Prompts in einer wiederverwendbaren Bibliothek
Learn More about Prompt-Engineering

Model Context Protocol (MCP)

  • Standardisiert die Bereitstellung von Tools und Ressourcen für LLMs
  • Ermöglicht Interoperabilität zwischen LLM-Anbietern und Agenten
Learn More about Model Context Protocol (MCP)

Leitplanken

  • Erzwingt Sicherheits- und Compliance-Vorgaben
  • Verringert das Risiko unangemessener oder schädlicher Ausgaben
Learn More about Leitplanken

Kostenverfolgung

  • Überwacht Ressourcenverbrauch und Kosten pro Anfrage
  • Ermöglicht Budgetierung und Optimierung von LLM-Vorgängen
Learn More about Kostenverfolgung

Wasm‑Funktionen (Tool Calls)

  • Führt WebAssembly‑Module sicher in einer Sandbox aus
  • Ermöglicht plattformunabhängige Ausführung von Tools
Learn More about Wasm‑Funktionen (Tool Calls)

Berichterstattung

  • Erstellt detaillierte Berichte zur Nutzung und Leistung
  • Unterstützt Anforderungen an Compliance und Audits
Learn More about Berichterstattung

Ökologische Auswirkungen von LLM

  • Ermittelt und verfolgt den ökologischen Fußabdruck der LLM-Nutzung
  • Hilft Organisationen, Nachhaltigkeitsziele zu erreichen
Learn More about Ökologische Auswirkungen von LLM

Schutz persönlicher Informationen

  • Verhindert das Lecken von personenbezogenen Daten (PII)
  • Sichert die Einhaltung von Datenschutzvorschriften
Learn More about Schutz persönlicher Informationen

Schutz gegen geheime Datenlecks

  • Verhindert versehentliches Teilen von Geheimnissen oder Zugangsdaten
  • Verringert das Risiko von Sicherheitslücken
Learn More about Schutz gegen geheime Datenlecks

Zeichenzahl‑Schutz

  • Begrenzt die Länge von Eingaben oder Ausgaben
  • Verhindert Überläufe bei Prompts oder Antworten
Learn More about Zeichenzahl‑Schutz

Prompt‑Inhalts‑Schutz

  • Überprüft Prompts auf erforderliche oder verbotene Begriffe
  • Verbessert die Qualität und Sicherheit von Prompts
Learn More about Prompt‑Inhalts‑Schutz

Schutz gegen Geschlechtervorurteile

  • Erkennt und mindert Geschlechtervorurteile in Ausgaben
  • Fördert Fairness und Inklusivität
Learn More about Schutz gegen Geschlechtervorurteile

Schutz gegen Kauderwelsch

  • Erkennt und blockiert unsinnige oder inkohärente Ausgaben
  • Verbessert die Antwortqualität
Learn More about Schutz gegen Kauderwelsch

LLM-Schutz

  • Wendet allgemeine Sicherheits- und Compliance-Prüfungen auf LLM-Interaktionen an
  • Bietet einen Rahmen für die erweiterbare Durchsetzung von Schutzmechanismen
Learn More about LLM-Schutz

Sprache-Moderationsschutz

  • Blockiert toxische, beleidigende oder unangemessene Sprache
  • Sorgt dafür, dass Ausgaben für alle Zielgruppen geeignet sind
Learn More about Sprache-Moderationsschutz

Schutz gegen Geheimnislecks

  • Verhindert die Offenlegung vertraulicher oder sensibler Informationen
  • Schützt Organisations- und Nutzerdaten
Learn More about Schutz gegen Geheimnislecks

Connect more than 10 providers

and access an infinite number of models

OpenAI

OpenAI

Add OpenAI to your Gateway
Anthropic

Anthropic

Add Anthropic to your Gateway
Google Gemini

Google Gemini

Add Google Gemini to your Gateway
Ollama

Ollama

Add Ollama to your Gateway
Mistral

Mistral

Add Mistral to your Gateway
Scaleway

Scaleway

Add Scaleway to your Gateway
Deepseek

Deepseek

Add Deepseek to your Gateway
Grok

Grok

Add Grok to your Gateway
Cloudflare AI

Cloudflare AI

Add Cloudflare AI to your Gateway
Groq

Groq

Add Groq to your Gateway
OVH Cloud AI Endpoints

OVH Cloud AI Endpoints

Add OVH Cloud AI Endpoints to your Gateway
Cohere

Cohere

Add Cohere to your Gateway
Azure AI Foundry

Azure AI Foundry

Add Azure AI Foundry to your Gateway
Luma

Luma

Add Luma to your Gateway
Hive

Hive

Add Hive to your Gateway
ElevenLabs

ElevenLabs

Add ElevenLabs to your Gateway
HuggingFace

HuggingFace

Add HuggingFace to your Gateway
Tester maintenant avec nos instances managées