Les bases de la recherche
Les embeddings Deepinfra transforment le texte en vecteurs qui peuvent aider un système de recherche à trouver des passages connexes, même lorsque leur formulation diffère. Commencez par un texte clair et autonome, puis vérifiez si les résultats trouvés répondent à de vraies questions.
Utilisez les embeddings pour retrouver des textes selon leur sens, puis examinez les passages sources avant de vous fier à une réponse. La bonne préparation dépend de ce que vos lecteurs ont besoin de trouver.
Les lecteurs décrivent un problème sans employer les termes utilisés dans un guide produit.
Créez des embeddings pour de courtes sections accompagnées de leurs titres afin que les résultats conservent leur contexte. Le guide des modèles deepinfra aide les équipes à comparer les modèles adaptés à leur flux de travail.
Un agent a besoin du passage des conditions qui répond à la question d’un client.
Indexez des passages distincts des conditions et fournissez leurs références sources. Le guide du forfait de codage deepinfra présente une autre voie, destinée aux travaux de codage plutôt qu’à la recherche de réponses pour l’assistance.
Des conclusions connexes figurent dans des rapports qui emploient un vocabulaire différent.
Recherchez parmi les extraits dotés d’embeddings, puis lisez le rapport autour de chaque extrait avant de tirer des conclusions. Le guide des modèles deepinfra est un point de départ pour vérifier quel modèle convient au corpus.
Un flux de recherche de passages comporte trois tâches distinctes : créer des passages utiles, les représenter de manière cohérente et évaluer les résultats obtenus.
Supprimez les éléments de navigation répétés et découpez les documents à des endroits pertinents. Conservez les titres ou les intitulés de section avec chaque passage pour qu’un résultat isolé reste compréhensible.
Utilisez le même modèle d’embedding pour les passages stockés et les requêtes entrantes. Notez le modèle utilisé pour chaque index ; si vous changez de modèle, vous devez recréer les embeddings du texte stocké.
Comparez les vecteurs des requêtes à ceux des passages dans un index de recherche, examinez les correspondances les plus proches et faites des tests avec des questions dont vous connaissez déjà les passages sources corrects.
Une correspondance vectorielle proche est une source potentielle, pas une preuve que le passage est exact ou à jour.
Les embeddings peuvent classer un passage plausible mais obsolète avant la politique actuellement en vigueur. Ils ne permettent ni d’établir un fait ni de départager des sources contradictoires.
Que faire à la place
Enregistrez les dates et les identifiants des sources avec les passages, appliquez des filtres lorsque c’est pertinent et consultez le document original.
Créer un seul embedding pour un document entier peut rendre difficile à trouver le paragraphe précis dont un lecteur a besoin. Un découpage trop fin peut supprimer le contexte qui donne son sens à une phrase.
Que faire à la place
Testez différentes tailles de passages avec des questions représentatives et conservez les titres à proximité.
Les vecteurs produits par différents modèles d’embedding peuvent avoir des dimensions différentes ou représenter le sens différemment. Les mélanger peut empêcher les comparaisons ou rendre les classements peu fiables.
Que faire à la place
Consignez le modèle utilisé pour chaque index et reconstruisez cet index lorsque vous changez de modèle.
La création d’embeddings n’anonymise ni les noms, ni les passages confidentiels, ni les données personnelles présents dans le texte source.
Que faire à la place
Supprimez ou masquez les informations qui ne doivent pas entrer dans ce processus, et examinez d’abord les exigences applicables en matière de traitement des données.
Le même processus de création d’embeddings répond aux besoins de différents lecteurs, mais l’unité de recherche et les métadonnées utiles varient selon la source.
Articles d’aide
Un article d’assistance peut contenir plusieurs réponses sans lien entre elles. Indexez des passages portant chacun sur une seule question ou règle, tout en conservant le titre de l’article et une référence à la source. Un agent pourra ainsi vérifier plus facilement un extrait trouvé.
Documentation technique
Les symboles de code, les messages d’erreur et les numéros de version comptent souvent autant que la similarité sémantique. Conservez les identifiants exacts dans le texte des passages et envisagez de combiner la recherche vectorielle avec la recherche par mots-clés lorsque ces identifiants sont déterminants pour la question.
Notes de recherche
Une brève conclusion sans indication de l’étude, de la date ou de l’auteur peut être trompeuse. Associez une citation ou une référence documentaire à chaque extrait indexé sous forme de vecteur afin que chacun puisse consulter les éléments qui étayent un résultat prometteur.
Le résultat utile d’une recherche ne se limite pas à un classement par similarité : c’est un passage qu’une personne peut retrouver, lire et évaluer.
Étape 1
Un fragment tel que « cela s’applique après 30 days » peut correspondre à une requête tout en masquant ce que signifie « cela ». Avant de créer des embeddings, incluez suffisamment de contexte proche pour identifier le sujet. Examinez les passages hors de leur document d’origine pour repérer ceux qui nécessitent un titre ou une phrase supplémentaire.
Étape 2
Constituez un petit ensemble de questions réelles et notez quel passage source devrait répondre à chacune. Après la recherche, vérifiez si le passage attendu apparaît et si d’autres résultats risquent d’induire le lecteur en erreur. Répétez cette vérification lorsque les documents sources ou le modèle d’embedding changent.
Prenez quelques documents représentatifs, transformez-les en passages compréhensibles par eux-mêmes et rédigez des questions qui devraient permettre de retrouver chacun d’eux. Vous disposerez ainsi d’un moyen concret d’évaluer l’utilité des embeddings avant d’étendre l’index.
Ils représentent les textes sous forme de vecteurs qu’un système de recherche peut comparer. Ils servent notamment à la recherche sémantique et à la sélection de passages pertinents à fournir comme contexte lors d’une étape de réponse distincte. Un embedding n’est pas en soi une réponse rédigée.
Examinez les modèles disponibles pour la langue et le type de texte dans lesquels vous devez effectuer des recherches, puis testez les candidats sur vos propres questions et documents. Vérifiez si les bons passages apparaissent, plutôt que de choisir un modèle uniquement d’après son nom. Utilisez le même modèle pour les requêtes et les passages indexés.
Un vecteur représentant un document entier peut être trop général pour permettre de retrouver une réponse précise de manière fiable. Divisez les documents en passages cohérents et conservez les titres et les références des sources. Testez différents découpages à l’aide de questions portant sur des sections précises.
Non. Le modèle d’embedding crée des vecteurs ; un index de recherche les stocke et les compare lorsqu’une requête arrive. Votre processus doit aussi permettre d’associer chaque résultat à son passage d’origine et à sa source.
Ne supposez pas que les vecteurs du nouveau modèle sont comparables à ceux déjà stockés. Recréez les embeddings des passages sources et reconstruisez l’index concerné, puis évaluez à nouveau la recherche. Notez quel modèle a produit chaque index afin d’éviter de mélanger les résultats.