Grundlagen der Suche
Deepinfra-Embeddings wandeln Text in Vektoren um. So kann ein Suchsystem verwandte Textpassagen finden, auch wenn sie anders formuliert sind. Beginnen Sie mit klaren, in sich verständlichen Texten und prüfen Sie dann, ob die gefundenen Ergebnisse echte Fragen beantworten.
Nutzen Sie Embeddings, um Text anhand seiner Bedeutung zu finden, und prüfen Sie die Quellpassagen, bevor Sie sich auf eine Antwort verlassen. Die richtige Vorbereitung hängt davon ab, wonach Ihre Leser suchen.
Leser beschreiben ein Problem, ohne die Begriffe aus einem Produkthandbuch zu verwenden.
Erstellen Sie Embeddings für kurze Abschnitte zusammen mit ihren Überschriften, damit Treffer ihren Kontext behalten. Der Leitfaden zu deepinfra-Modellen hilft Teams, die für ihren Arbeitsablauf relevanten Modelloptionen zu vergleichen.
Ein Support-Mitarbeiter benötigt die Richtlinienpassage, die auf die Frage eines Kunden eingeht.
Indexieren Sie einzelne Richtlinienpassagen und geben Sie deren Quellen an. Der Leitfaden zum deepinfra-Coding-Plan behandelt einen anderen Ansatz für Programmieraufgaben, nicht für die Informationssuche im Support.
Zusammenhängende Erkenntnisse finden sich in Berichten, die unterschiedliches Vokabular verwenden.
Durchsuchen Sie Auszüge, für die Embeddings erstellt wurden, und lesen Sie anschließend den umgebenden Bericht, bevor Sie Schlussfolgerungen ziehen. Der Leitfaden zu deepinfra-Modellen ist ein Ausgangspunkt, um zu prüfen, welches Modell zum Textbestand passt.
Ein Workflow zur Informationssuche umfasst drei unterschiedliche Aufgaben: nützliche Passagen erstellen, sie einheitlich repräsentieren und die zurückgegebenen Ergebnisse bewerten.
Entfernen Sie wiederholte Navigationselemente und teilen Sie Dokumente an sinnvollen Stellen auf. Behalten Sie Titel oder Abschnittsüberschriften bei jedem Textabschnitt, damit auch ein einzelnes Suchergebnis verständlich bleibt.
Verwenden Sie für gespeicherte Textabschnitte und eingehende Suchanfragen dasselbe Embedding-Modell. Halten Sie für jeden Index fest, welches Modell verwendet wurde. Wenn Sie das Modell wechseln, müssen Sie die gespeicherten Texte erneut als Embeddings abbilden.
Vergleichen Sie Suchanfrage-Vektoren mit den Vektoren der Textabschnitte in einem Suchindex, prüfen Sie die Treffer mit der größten Ähnlichkeit und testen Sie mit Fragen, deren richtige Quelltextabschnitte Sie bereits kennen.
Eine hohe Vektorähnlichkeit macht einen Textabschnitt zu einer möglichen Quelle, beweist aber nicht, dass er korrekt oder aktuell ist.
Embeddings können einen plausiblen, aber veralteten Textabschnitt höher einstufen als die derzeit geltende Richtlinie. Sie belegen keine Fakten und lösen keine Widersprüche zwischen Quellen auf.
Was Sie stattdessen tun können
Speichern Sie Datumsangaben und Quellenkennungen zusammen mit den Textabschnitten, filtern Sie gegebenenfalls danach und prüfen Sie das Originaldokument.
Wenn ein ganzes Dokument als einzelnes Element eingebettet wird, kann der Absatz, den Leser benötigen, darin untergehen. Eine zu feine Aufteilung kann den Kontext entfernen, der einem Satz seine Bedeutung gibt.
Was Sie stattdessen tun können
Testen Sie die Größe der Textabschnitte anhand repräsentativer Fragen und behalten Sie zugehörige Überschriften bei.
Vektoren aus verschiedenen Embedding-Modellen können unterschiedliche Dimensionen haben oder Bedeutungen unterschiedlich abbilden. Werden sie vermischt, kann der Vergleich scheitern oder die Rangfolge der Ergebnisse unzuverlässig werden.
Was Sie stattdessen tun können
Halten Sie das Modell für jeden Index fest und erstellen Sie den Index neu, wenn Sie das Modell wechseln.
Durch Embedding werden Namen, vertrauliche Textabschnitte oder personenbezogene Angaben im Quelltext nicht anonymisiert.
Was Sie stattdessen tun können
Entfernen oder maskieren Sie Informationen, die nicht in den Arbeitsablauf gelangen sollen, und prüfen Sie zuvor die geltenden Anforderungen an den Umgang mit Daten.
Derselbe Embedding-Prozess kann unterschiedlichen Lesern dienen, doch die durchsuchbare Einheit und die nützlichen Metadaten hängen von der Quelle ab.
Hilfeartikel
Ein Hilfeartikel kann mehrere voneinander unabhängige Antworten enthalten. Indexieren Sie Passagen so, dass jede nur eine Frage oder Richtlinie behandelt, und behalten Sie dabei den Artikeltitel und einen Quellenverweis bei. So kann ein Agent einen passenden Auszug leichter überprüfen.
Technische Dokumentation
Code-Symbole, Fehlermeldungen und Versionsbezeichnungen sind oft genauso wichtig wie semantische Ähnlichkeit. Behalten Sie exakte Bezeichner im Passagentext bei und erwägen Sie, die Vektorsuche mit einer Stichwortsuche zu kombinieren, wenn diese Bezeichner für die Frage entscheidend sind.
Forschungsnotizen
Eine kurze Erkenntnis ohne Angabe der Studie, des Datums oder des Autors kann irreführend sein. Fügen Sie jedem eingebetteten Auszug eine Quellenangabe oder einen Dokumentverweis hinzu, damit Leser die Belege im Kontext einer vielversprechenden Übereinstimmung prüfen können.
Das nützliche Ergebnis einer Suche ist nicht nur eine Rangliste nach Ähnlichkeit, sondern eine Passage, die sich finden, lesen und beurteilen lässt.
Schritt 1
Ein Textfragment wie „dies gilt nach 30 Tagen“ kann zu einer Suchanfrage passen, ohne erkennen zu lassen, worauf sich „dies“ bezieht. Fügen Sie vor dem Erstellen von Embeddings genügend Kontext aus dem Umfeld hinzu, damit das Thema erkennbar ist. Prüfen Sie Textabschnitte außerhalb ihres ursprünglichen Dokuments, um Fragmente zu finden, die eine Überschrift oder einen zusätzlichen Satz benötigen.
Schritt 2
Stellen Sie eine kleine Auswahl echter Fragen zusammen und notieren Sie, welcher Quelltextabschnitt die jeweilige Frage beantworten sollte. Prüfen Sie nach dem Abruf, ob der erwartete Abschnitt erscheint und ob andere Ergebnisse Leser in die Irre führen könnten. Wiederholen Sie diese Prüfung, wenn sich das Quellmaterial oder das Embedding-Modell ändert.
Wählen Sie einige repräsentative Dokumente aus, unterteilen Sie sie in eigenständig verständliche Textabschnitte und formulieren Sie Fragen, über die sich die jeweiligen Abschnitte finden lassen sollten. So können Sie praktisch beurteilen, ob Embeddings helfen, bevor Sie den Index erweitern.
Sie stellen Text als Vektoren dar, die ein Abrufsystem vergleichen kann. Häufige Anwendungen sind die semantische Suche und das Auffinden relevanter Textabschnitte, die in einem separaten Schritt zur Beantwortung als Kontext dienen. Ein Embedding ist selbst keine ausformulierte Antwort.
Prüfen Sie, welche Modelle für die Sprache und die Art der zu durchsuchenden Texte verfügbar sind, und testen Sie geeignete Modelle anschließend mit Ihren eigenen Fragen und Dokumenten. Vergleichen Sie, ob die richtigen Textabschnitte erscheinen, statt sich nur am Modellnamen zu orientieren. Verwenden Sie für Suchanfragen und indexierte Textabschnitte durchgehend dasselbe Modell.
Ein Vektor für ein ganzes Dokument kann zu allgemein sein, um eine bestimmte Antwort zuverlässig zu finden. Teilen Sie Dokumente in zusammenhängende Textabschnitte auf und bewahren Sie Überschriften und Quellenangaben auf. Testen Sie unterschiedliche Abschnittsgrenzen mit Fragen, die auf bestimmte Abschnitte abzielen.
Nein. Das Embedding-Modell erstellt Vektoren; ein Suchindex speichert und vergleicht sie, sobald eine Suchanfrage eingeht. Ihr Workflow muss außerdem jedes Ergebnis seiner ursprünglichen Textpassage und Quelle zuordnen können.
Gehen Sie nicht davon aus, dass Vektoren des neuen Modells mit den bereits gespeicherten vergleichbar sind. Erstellen Sie neue Embeddings für die Quellpassagen und bauen Sie den betroffenen Index neu auf. Bewerten Sie anschließend die Ergebnisseuche erneut. Halten Sie fest, welches Modell den jeweiligen Index erstellt hat, damit Ergebnisse nicht vermischt werden.