検索機能の開発者
会話形式の回答ではなく、セマンティック検索用のベクトルが必要な場合、一般的な概要だけでは、確認すべき出力形式がわかりません。
まず埋め込みの用途から探し、候補の掲載ページでベクトルの次元数と入力上限を確認してください。
モデルの選択
タスク別にdeepinfraのモデルを探す
やりたいことは決まっていても、どのモデルが適しているかわからない場合は、deepinfraのモデルカタログから始めましょう。候補を絞り込んだら、リクエストを送る前に、そのモデルの最新情報を確認してください。
モデル別の入口と一般向けの入口の違い
Deepinfraの一般向けページでは、サービス全体を紹介しています。モデルから探す場合は、まず用途を明確にし、テスト前に評価すべき詳細を確認します。
コーディングアシスタントの開発者
コードの変更を支援するモデルが必要で、コーディング向けのワークフローと一般的なチャットのテストを区別したい場合。
まずコーディングタスクを明確にし、実際のリポジトリを想定した質問に対する候補モデルの出力を評価してください。
推論モデルの評価者
複数のステップを要する質問があり、カタログ全体を閲覧するのではなく、特定の候補を詳しく調べたい場合。
候補モデルについて公開されている入力形式と制限を、実行予定のタスクと比較してください。
長文の執筆者
名前を指定した候補モデルで下書きを試したいものの、利用可能かどうかと、その機能を確認する必要がある場合。
掲載ページが存在することを確認し、記載されている制約を下書きの長さや期待する出力と比較してください。
モデル選択でできる3つのこと
出力の種類を区別し、タスクに特化したワークフローを確認し、名前を指定した候補モデルを詳しく調べられます。モデル名だけで選ぶよりも、次に取るべき有効なステップです。
モデルの使い始め方
モデル名よりも、短いテストのほうが多くのことを教えてくれます。候補を比較する間は、タスクと評価基準を固定してください。
-
1
出力を定義する
テキスト、コード、ベクトルのどれが必要かを書き出してください。代表的な入力と、使える回答に含まれるべき内容も記載します。そうすることで、関係のない種類のモデルを候補から除外できます。
-
2
最新の掲載情報を確認する
Deepinfra の各候補について、掲載情報に記載された対応タスク、リクエスト形式、コンテキストや入力の制約、利用可否に関する注意事項を確認してください。名前が似ている2つのバリエーションが同じリクエストを受け付けるとは限りません。
-
3
同じ小規模なテストを実行する
適切な候補それぞれに同じ入力を試し、正確さ、出力形式、エッジケースへの対応を比較してください。カタログの詳細は変更されることがあるため、その結果に基づいて構築を進める前に、掲載情報を再確認してください。
テストをワークロードに合わせる
出力の種類ごとに異なる合格基準を使用してください。Deepinfra のモデル名だけでは、回答がアプリケーションで使えるかどうかは判断できません。
テキスト
流暢さだけでなく、回答の内容を確認する
検証可能な答えがある質問を候補に与え、形式について明確に指示してください。洗練された回答でも、必要な事実が抜けていたり、制約を無視していたりする場合があります。
- 事実に関する主張を、手元の資料と照らし合わせて確認してください。
- 回答が指定された構成に従っているか確認してください。
コード
実行可能な要件に照らしてテストする
小さな関数、期待する動作、1つのエッジケースを提示します。もっともらしい構文を動作の証拠とみなさず、生成されたコードを独自のテストで評価します。
- 候補間で仕様を同一に保ちます。
- 成功したテストだけでなく、失敗したテストも記録します。
ベクトル
検索の挙動を確認する
少数の文書とクエリを埋め込み、関連項目が期待どおりの順位にあるか確認します。インデックスに接続する前に、ドキュメントに記載されたベクトルの形状を確認します。
- 類似度の高い文書と無関係な文書を含めます。
- インデックス作成時とクエリ時の設定を統一します。
導入を決める前に確認すべき限界
Deepinfraのカタログは候補探しに役立ちますが、個別のデータでの有効性を検証したり、掲載内容が変わらないことを保証したり、アプリケーションのテストに代わったりすることはできません。
1
掲載されていることは品質の保証ではない
対応タスクのラベルだけでは、候補が対象分野の用語、書式ルール、失敗しやすいケースにどれほど対応できるかは分かりません。
代わりにすべきこと
少数の代表的な入力でテストし、出力を自分で確認します。
2
名前だけではリクエストの詳細は分からない
モデルファミリーの名前だけでは、各バリアントで受け付けるペイロード、コンテキストの上限、出力形式は分かりません。
代わりにすべきこと
使用を予定している候補について、最新のドキュメントを確認します。
3
サンプルが成功しても本番環境で使えるとは限らない
1つの良好な応答だけでは、動作の一貫性、機密性の高い入力への適合性、実際のワークロードでの性能は判断できません。
代わりにすべきこと
エッジケースを含めてテストを繰り返し、デプロイ前に該当するデータ取り扱い情報を確認します。
候補を実際のテストに進める
まずは1つのタスクと1つの代表的な入力から始めます。適切なDeepinfraの候補を絞り込み、最新の要件を確認して、事前に決めた基準に照らして出力を比較します。
モデル探しに関するよくある質問
まず、必要な出力が生成テキスト、コード、ベクトルのどれかを決めます。そのカテゴリで候補を絞り、各モデルの最新の掲載情報を確認して、適した候補を同じ代表的な入力でテストしてください。
いいえ。対応するタスク、リクエスト形式、入力の制約、返される出力の種類は候補によって異なります。名前が似たモデルも同じように動作するとは限らないため、各モデルの掲載情報を正確に確認してください。
テストする候補モデルのドキュメントまたは掲載情報を確認してください。カタログ上の提供状況や技術仕様は変わる可能性があるため、アプリケーションで利用する前に再確認してください。
名前は候補を見つける手がかりにはなりますが、要件を満たす根拠にはなりません。記載されている機能を比較し、期待する結果を決めたうえで、タスクに即したテストを行ってください。