所要時間に差が出る場面
レイテンシーには複数の意味があります。対話型アシスタントでは最初のトークンが表示されるまでの時間が重要ですが、バッチジョブでは処理全体の完了時間が最も重要な場合があります。
または
選択肢 1
ユーザーがストリーミング回答を待つ場合
利用地域と通常のプロンプト長で、最初のトークンが出るまでの時間がより安定しているプロバイダーを選びましょう。
同じモデルとプロンプトを、1日のうち複数の時間帯にDeepinfraとTogether AIで実行します。中央値だけでなく、極端に遅いケースも記録してください。平均でわずかに速いことより、時折発生する長い待ち時間のほうが重要な場合があります。
または
選択肢 2
バッチ処理で多数のリクエストを扱う場合
必要な同時実行数でバッチ全体を確実に完了できるプロバイダーを選びましょう。
総所要時間、完了したリクエスト数、再試行回数、レスポンスの長さを合わせて測定します。負荷が高まると失敗が増えるなら、個々のレスポンスが速くても必ずしも優れているとは限りません。
または
選択肢 3
現在の連携ですでに期限を守れている場合
代替プロバイダーで意味のある、再現可能な改善が確認できない限り、現状を維持しましょう。
プロンプトの再テスト、リクエスト処理の更新、結果の監視に必要な時間も考慮してください。所要時間がわずかに短くなるだけでは、安定したワークフローを変更する価値はないかもしれません。