Modellauswahl
Der Katalog der deepinfra-Modelle ist ein guter Ausgangspunkt, wenn Sie wissen, was Sie tun möchten, aber noch nicht, welches Modell dafür geeignet ist. Nutzen Sie ihn, um die Auswahl einzugrenzen, und prüfen Sie dann die aktuellen Details eines infrage kommenden Modells, bevor Sie eine Anfrage senden.
Der allgemeine Einstieg bei Deepinfra stellt den Dienst vor. Ein modellorientierter Einstieg beginnt bei Ihrem Anwendungsfall und den Details, die Sie vor einem Test prüfen müssen.
Sie benötigen Vektoren für die semantische Suche statt einer Antwort im Gesprächsformat. Ein allgemeiner Überblick verrät Ihnen nicht, welche Ausgabeform Sie prüfen sollten.
Beginnen Sie mit dem Embedding-Anwendungsfall und prüfen Sie dann die Vektordimensionen und Eingabegrenzen im Eintrag des infrage kommenden Modells.
Sie benötigen Unterstützung bei Codeänderungen und möchten einen Programmier-Workflow von einem allgemeinen Chat-Test unterscheiden.
Bestimmen Sie zuerst die Programmieraufgabe und bewerten Sie dann die Ausgabe eines infrage kommenden Modells anhand einer repräsentativen Frage zum Repository.
Sie haben eine mehrstufige Frage und möchten ein bestimmtes Modell prüfen, statt den gesamten Katalog zu durchsuchen.
Vergleichen Sie das dokumentierte Eingabeformat und die Grenzen des Modells mit der Aufgabe, die Sie ausführen möchten.
Sie möchten ein bestimmtes Modell mit einem Entwurf testen, müssen aber zunächst seine Verfügbarkeit und Fähigkeiten prüfen.
Prüfen Sie, ob ein Eintrag für das Modell vorhanden ist, und vergleichen Sie dann die dokumentierten Einschränkungen mit der Länge Ihres Entwurfs und der erwarteten Ausgabe.
Unterscheiden Sie Ausgabetypen, prüfen Sie einen auf Ihre Aufgabe zugeschnittenen Workflow und sehen Sie sich ein bestimmtes Modell genauer an. Diese nächsten Schritte sind hilfreicher, als allein anhand eines Namens zu entscheiden.
Ein kurzer Test sagt Ihnen mehr als ein Modellname. Behalten Sie Aufgabe und Bewertungskriterien bei, während Sie Kandidaten vergleichen.
Halten Sie fest, ob Sie Text, Code oder Vektoren benötigen. Fügen Sie eine repräsentative Eingabe hinzu und beschreiben Sie, was eine brauchbare Antwort enthalten sollte. So schließen Sie ungeeignete Modelltypen aus Ihrer engeren Auswahl aus.
Prüfen Sie für jeden Deepinfra-Kandidaten die unterstützte Aufgabe, das Anfrageformat, Beschränkungen für Kontext oder Eingaben sowie etwaige Hinweise zur Verfügbarkeit im Katalogeintrag. Gehen Sie nicht davon aus, dass zwei ähnlich benannte Varianten identische Anfragen akzeptieren.
Testen Sie dieselbe Eingabe mit jedem geeigneten Kandidaten und vergleichen Sie Genauigkeit, Ausgabeformat und Umgang mit Ihrem Sonderfall. Prüfen Sie den Katalogeintrag erneut, bevor Sie auf einem Ergebnis aufbauen, denn Katalogdetails können sich ändern.
Verwenden Sie für jeden Ausgabetyp ein anderes Akzeptanzkriterium. Deepinfra-Modellnamen allein zeigen nicht, ob eine Antwort für Ihre Anwendung geeignet ist.
Text
Stellen Sie dem Kandidaten eine Frage mit überprüfbarer Antwort und klaren Vorgaben zum Format. Auch eine überzeugend formulierte Antwort kann eine erforderliche Tatsache auslassen oder eine Vorgabe missachten.
Code
Geben Sie eine kleine Funktion, das erwartete Verhalten und einen Grenzfall vor. Prüfen Sie den entstandenen Code mit eigenen Tests, statt plausible Syntax als Beweis dafür zu nehmen, dass er funktioniert.
Vektoren
Erstellen Sie Einbettungen für eine kleine Auswahl von Dokumenten und Suchanfragen und prüfen Sie dann, ob relevante Einträge wie erwartet in der Rangfolge erscheinen. Bestätigen Sie die dokumentierte Vektorform, bevor Sie einen Index anbinden.
Der Deepinfra-Katalog hilft Ihnen, Kandidaten zu finden; er kann weder Ihre konkreten Daten validieren noch garantieren, dass ein Eintrag unverändert bleibt, noch Anwendungstests ersetzen.
Unterstützte Aufgabenbezeichnungen zeigen nicht, wie gut ein Kandidat mit dem Fachvokabular, den Formatierungsregeln oder den Fehlerfällen Ihrer Domäne zurechtkommt.
Was Sie stattdessen tun sollten
Testen Sie eine kleine, repräsentative Auswahl von Eingaben und prüfen Sie die Ausgaben selbst.
Der Name einer Modellfamilie sagt nicht aus, welche Eingabedaten, Kontextgrenzen oder Ausgabeformate jede Variante unterstützt.
Was Sie stattdessen tun sollten
Lesen Sie die aktuelle Dokumentation für genau den Kandidaten, den Sie verwenden möchten.
Eine einzelne gute Antwort belegt weder konsistentes Verhalten noch die Eignung für sensible Eingaben oder die Leistungsfähigkeit unter Ihrer Arbeitslast.
Was Sie stattdessen tun sollten
Wiederholen Sie Tests mit Grenzfällen und prüfen Sie vor der Bereitstellung die geltenden Informationen zum Umgang mit Daten.
Beginnen Sie mit einer Aufgabe und einer repräsentativen Eingabe. Wählen Sie geeignete Deepinfra-Kandidaten aus, prüfen Sie deren aktuelle Anforderungen und vergleichen Sie die Ausgaben anhand zuvor festgelegter Kriterien.
Beginnen Sie mit der benötigten Ausgabe: generierter Text, Code oder Vektoren. Treffen Sie eine Vorauswahl in dieser Kategorie, lesen Sie die aktuellen Einträge und testen Sie jede geeignete Option mit derselben repräsentativen Eingabe.
Nein. Modelle können sich bei unterstützten Aufgaben, Anfrageformaten, Eingabebeschränkungen und der Art ihrer Ausgabe unterscheiden. Prüfen Sie den Eintrag des konkreten Modells, statt davon auszugehen, dass Modelle mit ähnlichen Namen gleich funktionieren.
Nutzen Sie die Dokumentation oder den Eintrag des konkreten Modells, das Sie testen möchten. Die Verfügbarkeit im Katalog und technische Details können sich ändern. Prüfen Sie sie daher erneut, bevor Sie ein Modell in einer Anwendung einsetzen.
Ein Name hilft dabei, ein Modell zu finden, belegt aber nicht, dass es Ihre Anforderungen erfüllt. Vergleichen Sie die dokumentierten Funktionen und führen Sie einen auf Ihre Aufgabe zugeschnittenen Test mit einem erwarteten Ergebnis durch.