Deepinfra
対応モデルがすでにワークロードに適合している場合は、推論サービスへの直接ルートを選びましょう。
適している点
- アプリケーションと選択したモデルを提供するプラットフォームが直接つながっているため、リクエストの経路を把握し、問題を調査しやすくなります。
- モデル固有のドキュメントを参照すれば、デプロイ前に入力形式、利用可能なパラメーター、想定される出力を具体的に確認できます。
- プロバイダーを定期的に比較する必要がなければ、対象を絞った連携のほうが保守しやすい場合があります。
トレードオフ
- カタログはそのプラットフォームが対応するモデルに限られます。他で利用できるモデルを使うには、別の連携が必要になる場合があります。
- 両方のAPIが似ていても、後から別のプロバイダーに変更する場合は、識別子の変更と回帰テストが必要です。