| Hauptfunktion |
Ein Inferenzanbieter, der unterstützte Modelle über seine Plattform bereitstellt. Eine Anfrage geht an den Endpunkt des ausgewählten Deepinfra-Modells.
|
Eine API-Schicht, die Modelle teilnehmender Anbieter zugänglich macht. Welche Route verfügbar ist, hängt vom Modell und den Anbieteroptionen ab.
|
| Anbieterauswahl |
Die Anwendung wählt Deepinfra als Inferenzanbieter und eines der dort verfügbaren Modelle aus.
|
Die Anwendung kann über eine einzige API-Integration auf Modelle verschiedener Anbieter zugreifen, sofern entsprechende Routen verfügbar sind.
|
| Modellsuche |
Durchsuchen Sie den Katalog der von Deepinfra unterstützten Modelle und prüfen Sie die Dokumentation des Modells, das Sie aufrufen möchten.
|
Durchsuchen Sie einen gebündelten Katalog und prüfen Sie anschließend, welche Anbieter und Funktionen für das Modell verfügbar sind, das Sie aufrufen möchten.
|
| API-Integration |
Verwenden Sie den dokumentierten Deepinfra-Endpunkt und das dokumentierte Anfrageformat. Prüfen Sie, welche Eingaben ein Modell unterstützt, bevor Sie Code wiederverwenden, der für ein anderes Modell geschrieben wurde.
|
Verwenden Sie das API-Format und die Modellkennungen von OpenRouter. Anbieterspezifisches Verhalten kann auch hinter einer gemeinsamen Schnittstelle eine Rolle spielen.
|
| Modelle wechseln |
Wechseln Sie zwischen unterstützten Deepinfra-Modellen und testen Sie Prompts, Parameter und die Verarbeitung der Ausgaben erneut.
|
Vergleichen Sie Modelle verschiedener teilnehmender Anbieter, ohne für jeden eine eigene Integration zu entwickeln; erneute Tests sind dennoch erforderlich.
|
| Einblick in den Betrieb |
Untersuchen Sie die Anfrage anhand des aufgerufenen Inferenzdienstes und der Dokumentation für das ausgewählte Modell.
|
Berücksichtigen Sie bei der Untersuchung von Verfügbarkeit oder Unterschieden in den Antworten sowohl die API-Ebene als auch die gewählte Anbieterroute.
|
| Bester Ausgangspunkt |
Ein Workload mit einem bekanntermaßen unterstützten Modell, bei dem der Inferenzanbieter vorzugsweise direkt aufgerufen wird.
|
Ein Workload, bei dem es von Vorteil ist, mehrere Anbieter zu bewerten oder Optionen für künftige Änderungen beim Routing offenzuhalten.
|