Wo Zeitunterschiede auftreten
Latenz kann Unterschiedliches bedeuten: Bei einem interaktiven Assistenten zählt die Zeit bis zum ersten sichtbaren Token, während bei einem Batch-Auftrag vor allem die Zeit bis zum vollständigen Abschluss wichtig sein kann.
oder
Option 1
Nutzer warten auf eine gestreamte Antwort
Bevorzugen Sie den Anbieter, bei dem die Zeit bis zum ersten Token in Ihrer Region und bei Ihrer üblichen Prompt-Länge konstanter ist.
Testen Sie dasselbe Modell und dieselben Prompts zu verschiedenen Tageszeiten über Deepinfra und Together AI. Erfassen Sie sowohl langsame Ausreißer als auch den Median; eine gelegentlich lange Wartezeit kann stärker ins Gewicht fallen als ein kleiner Vorteil im Durchschnitt.
oder
Option 2
Ein Batch-Prozess verarbeitet viele Anfragen
Bevorzugen Sie den Anbieter, der den gesamten Batch bei der benötigten Anzahl gleichzeitiger Anfragen zuverlässig abschließt.
Messen Sie die gesamte verstrichene Zeit, abgeschlossene Anfragen, Wiederholungsversuche und Antwortlänge zusammen. Eine schnellere Einzelantwort ist nicht unbedingt besser, wenn eine höhere Last zu mehr Fehlern führt.
oder
Option 3
Die aktuelle Integration hält ihre Frist bereits ein
Behalten Sie sie bei, sofern die Alternative keinen deutlichen, reproduzierbaren Vorteil bietet.
Berücksichtigen Sie die Zeit, die nötig ist, um Prompts erneut zu testen, die Verarbeitung von Anfragen anzupassen und die Ergebnisse zu überwachen. Ein geringfügiger Zeitvorteil rechtfertigt möglicherweise keine Änderung eines stabilen Workflows.