Fundamentos da busca
Os embeddings da Deepinfra transformam texto em vetores que podem ajudar um sistema de busca a encontrar trechos relacionados, mesmo quando a redação é diferente. Comece com textos claros e independentes e, depois, teste se os resultados recuperados respondem a perguntas reais.
Use embeddings para recuperar textos pelo significado e, depois, examine os trechos de origem antes de confiar em uma resposta. A preparação adequada depende do que seus leitores precisam encontrar.
Os leitores descrevem um problema sem usar a terminologia do guia do produto.
Gere embeddings de seções curtas junto com seus títulos para que os resultados mantenham o contexto. O guia de modelos da deepinfra ajuda as equipes a comparar as opções de modelos relevantes para seu fluxo de trabalho.
Um agente precisa do trecho da política que responde à pergunta de um cliente.
Indexe trechos distintos da política e retorne suas referências de origem. O guia do plano de programação da deepinfra aborda uma opção diferente para trabalhos voltados à programação, não à recuperação de informações para suporte.
Resultados relacionados aparecem em relatórios que usam vocabulários diferentes.
Busque em excertos com embeddings e, depois, leia o contexto no relatório antes de tirar conclusões. O guia de modelos da deepinfra é um ponto de partida para verificar qual modelo é adequado ao conjunto de documentos.
Um fluxo de trabalho de recuperação tem três tarefas distintas: criar trechos úteis, representá-los de forma consistente e avaliar os resultados retornados.
Remova elementos de navegação repetidos e divida os documentos em pontos de separação que façam sentido. Mantenha os títulos ou rótulos de seção junto de cada trecho para que um resultado isolado ainda faça sentido.
Use o mesmo modelo de embedding para os trechos armazenados e as consultas recebidas. Registre o modelo usado em cada índice; mudar de modelo exige gerar novamente os embeddings do texto armazenado.
Compare os vetores das consultas com os vetores dos trechos em um índice de busca, examine as correspondências mais próximas e teste com perguntas cujos trechos de origem corretos você já conhece.
Uma correspondência vetorial próxima é uma possível fonte, não uma prova de que o trecho esteja correto ou atualizado.
Embeddings podem classificar um trecho plausível, mas desatualizado, acima da política atualmente em vigor. Eles não comprovam um fato nem resolvem conflitos entre fontes.
O que fazer em vez disso
Armazene datas e identificadores das fontes junto dos trechos, aplique filtros quando apropriado e confira o documento original.
Gerar um único embedding para um documento inteiro pode ocultar o parágrafo específico de que o leitor precisa. Dividi-lo em trechos muito pequenos pode eliminar o contexto que dá sentido a uma frase.
O que fazer em vez disso
Teste os tamanhos dos trechos com perguntas representativas e preserve os títulos próximos.
Vetores gerados por modelos de embedding diferentes podem ter dimensões distintas ou representar significados de maneiras diferentes. Misturá-los pode impedir a comparação ou tornar a classificação pouco confiável.
O que fazer em vez disso
Registre o modelo de cada índice e reconstrua o índice ao mudar de modelo.
A geração de embeddings não anonimiza nomes, trechos confidenciais nem dados pessoais presentes no texto de origem.
O que fazer em vez disso
Remova ou oculte as informações que não devem entrar no fluxo de trabalho e analise antes os requisitos aplicáveis de tratamento de dados.
O mesmo processo de geração de embeddings atende a diferentes leitores, mas a unidade pesquisável e os metadados úteis variam conforme a fonte.
Artigos de ajuda
Um artigo de suporte pode conter várias respostas sem relação entre si. Indexe trechos que abordem uma pergunta ou política cada um, preservando o título do artigo e uma referência à fonte. Assim, fica mais fácil para um agente verificar o trecho encontrado.
Documentação técnica
Símbolos de código, mensagens de erro e identificadores de versão muitas vezes importam tanto quanto a similaridade semântica. Mantenha os identificadores exatos no texto do trecho e considere combinar a recuperação vetorial com a busca por palavras-chave quando esses identificadores forem determinantes para a pergunta.
Notas de pesquisa
Uma conclusão breve sem o estudo, a data ou o autor pode ser enganosa. Anexe uma citação ou referência ao documento a cada trecho indexado para que as pessoas possam ler as evidências relacionadas a um resultado promissor.
O resultado útil da recuperação não é apenas uma classificação por similaridade; é um trecho que uma pessoa pode localizar, ler e avaliar.
Etapa 1
Um trecho como “isso se aplica após 30 dias” pode corresponder a uma consulta sem deixar claro a que “isso” se refere. Antes de criar embeddings, inclua contexto próximo suficiente para identificar o assunto. Teste as passagens fora do documento original para encontrar trechos que precisem de um título ou de uma frase adicional.
Etapa 2
Crie um pequeno conjunto de perguntas reais e anote qual passagem da fonte deve responder a cada uma. Após a recuperação, verifique se a passagem esperada aparece e se outros resultados podem induzir o leitor ao erro. Repita essa verificação quando o material de origem ou o modelo de embeddings mudar.
Selecione alguns documentos representativos, transforme-os em passagens que possam ser compreendidas isoladamente e escreva perguntas que devam recuperar cada uma delas. Assim, você terá uma forma prática de avaliar se os embeddings ajudam antes de ampliar o índice.
Eles representam textos como vetores que um sistema de recuperação pode comparar. Entre os usos comuns estão a busca semântica e a identificação de passagens relevantes para fornecer contexto a uma etapa separada de geração de respostas. Um embedding não é, por si só, uma resposta escrita.
Verifique quais modelos estão disponíveis para o idioma e o tipo de texto que você precisa pesquisar. Depois, teste os candidatos com suas próprias perguntas e documentos. Compare se as passagens corretas aparecem, em vez de escolher apenas pelo nome do modelo. Use o mesmo modelo para as consultas e as passagens indexadas.
Um vetor de um documento inteiro pode ser amplo demais para recuperar uma resposta específica de forma confiável. Divida os documentos em passagens coerentes e mantenha os títulos e as referências às fontes. Teste diferentes pontos de divisão com perguntas que apontem para seções específicas.
Não. O modelo de embedding cria vetores; um índice de busca os armazena e compara quando uma consulta chega. Seu fluxo de trabalho também precisa de uma forma de associar cada resultado ao trecho original e à fonte.
Não presuma que os vetores do novo modelo sejam comparáveis aos já armazenados. Gere novos embeddings para os trechos de origem e reconstrua o índice afetado; depois, avalie novamente a recuperação. Registre qual modelo produziu cada índice para evitar misturar resultados.