Seleção de modelos
O catálogo de modelos deepinfra é um ponto de partida quando você sabe o que quer fazer, mas não sabe qual modelo é mais adequado. Use-o para restringir as opções e, depois, confira os detalhes atuais de um candidato antes de enviar uma solicitação.
O ponto de partida geral da Deepinfra apresenta o serviço. Um caminho focado em modelos começa pela sua tarefa e pelos detalhes que você precisa avaliar antes de testar.
Você precisa de vetores para busca semântica, não de uma resposta conversacional. Uma visão geral não informa qual formato de saída você deve examinar.
Comece pela tarefa de embeddings e, depois, confira as dimensões dos vetores e os limites de entrada na página do modelo candidato.
Você precisa de ajuda com alterações no código e quer distinguir um fluxo de trabalho de programação de um teste de chat geral.
Identifique primeiro a tarefa de programação e, depois, avalie a saída do modelo candidato usando uma pergunta representativa sobre o repositório.
Você tem uma pergunta com várias etapas e precisa examinar um candidato específico, em vez de navegar pelo catálogo inteiro.
Compare o formato de entrada e os limites documentados do candidato com a tarefa que pretende executar.
Você quer testar um candidato específico com um rascunho, mas precisa verificar sua disponibilidade e seus recursos.
Confirme que a página do modelo existe e, depois, compare as restrições documentadas com o tamanho do seu rascunho e a saída esperada.
Distinguir tipos de saída, examinar um fluxo de trabalho específico para a tarefa e avaliar um candidato pelo nome. Esses próximos passos são mais úteis do que escolher apenas com base no nome.
Um teste rápido revela mais do que o nome de um modelo. Mantenha a tarefa e os critérios de avaliação iguais ao comparar os candidatos.
Anote se você precisa de texto, código ou vetores. Inclua uma entrada representativa e descreva o que uma resposta útil deve conter; isso mantém tipos de modelo irrelevantes fora da sua lista de opções.
Para cada modelo da Deepinfra que você estiver considerando, confira a tarefa compatível, o formato da requisição, as restrições de contexto ou de entrada e as observações de disponibilidade exibidas na listagem. Não presuma que duas variantes com nomes parecidos aceitem requisições idênticas.
Use a mesma entrada com cada modelo adequado e compare a precisão, o formato da saída e o tratamento do seu caso-limite. Confira a listagem novamente antes de desenvolver uma solução com base no resultado, pois os detalhes do catálogo podem mudar.
Use um critério de aceitação diferente para cada tipo de saída. Os nomes dos modelos da Deepinfra, por si só, não demonstram se uma resposta funciona para sua aplicação.
Texto
Faça ao modelo uma pergunta com resposta verificável e dê instruções claras sobre o formato. Mesmo uma resposta bem escrita pode omitir um fato obrigatório ou ignorar uma restrição.
Código
Forneça uma função pequena, o comportamento esperado e um caso extremo. Avalie o código resultante com seus próprios testes, em vez de considerar uma sintaxe plausível como prova de que ele funciona.
Vetores
Gere embeddings para um pequeno conjunto de documentos e consultas e, em seguida, verifique se os itens relevantes aparecem nas posições esperadas. Confirme o formato documentado dos vetores antes de conectar um índice.
O catálogo da Deepinfra ajuda você a encontrar candidatos; ele não pode validar seus dados específicos, garantir que uma listagem permaneça inalterada nem substituir os testes da aplicação.
Os rótulos de tarefas compatíveis não mostram quão bem um candidato lida com o vocabulário do seu domínio, as regras de formatação ou os casos de falha.
O que fazer em vez disso
Teste um conjunto pequeno e representativo de entradas e analise os resultados por conta própria.
O nome de uma família de modelos não determina os dados aceitos na requisição, o limite de contexto nem o formato de saída de cada variante.
O que fazer em vez disso
Leia a documentação atual do candidato exato que você pretende usar.
Uma boa resposta não basta para comprovar um comportamento consistente, a adequação para entradas sensíveis ou o desempenho sob sua carga de trabalho.
O que fazer em vez disso
Repita os testes com casos extremos e analise as informações aplicáveis sobre o tratamento de dados antes da implantação.
Comece com uma tarefa e uma entrada representativa. Selecione candidatos adequados da Deepinfra, verifique os requisitos atuais deles e compare os resultados com critérios definidos previamente.
Comece pelo resultado de que você precisa: texto gerado, código ou vetores. Selecione candidatos nessa categoria, leia as páginas atuais de cada um e execute o mesmo teste representativo com cada opção adequada.
Não. Os candidatos podem diferir nas tarefas compatíveis, nos formatos de requisição, nas restrições de entrada e no tipo de resultado que retornam. Confira a página do modelo exato em vez de presumir que modelos com nomes semelhantes funcionam da mesma forma.
Consulte a documentação ou a página do candidato exato que você pretende testar. A disponibilidade no catálogo e os detalhes técnicos podem mudar, então confirme essas informações antes de usar um modelo em um aplicativo.
O nome ajuda a encontrar um candidato, mas não comprova que ele atende aos seus requisitos. Compare as capacidades documentadas e faça um teste específico para sua tarefa com um resultado esperado.