Fundamentos de la búsqueda
Los embeddings de Deepinfra convierten el texto en vectores que pueden ayudar a un sistema de búsqueda a encontrar pasajes relacionados aunque estén redactados de forma distinta. Empieza con textos claros y autónomos; después, comprueba si los resultados recuperados responden a preguntas reales.
Usa embeddings para recuperar texto por su significado y, antes de confiar en una respuesta, revisa los pasajes originales. La preparación adecuada depende de lo que tus lectores necesiten encontrar.
Los lectores describen un problema sin usar la terminología de una guía del producto.
Genera embeddings de secciones breves junto con sus encabezados para que las coincidencias conserven el contexto. La guía de modelos de deepinfra ayuda a los equipos a comparar las opciones de modelos pertinentes para su flujo de trabajo.
Un agente necesita el pasaje de la política que responde a la pregunta de un cliente.
Indexa los pasajes de cada política por separado y devuelve las referencias a sus fuentes. La guía del plan de programación de deepinfra describe una opción distinta para tareas de programación, no para recuperar información de soporte.
Hay hallazgos relacionados en informes que usan vocabulario diferente.
Busca fragmentos con embeddings y luego lee el informe que los rodea antes de sacar conclusiones. La guía de modelos de deepinfra es un punto de partida para comprobar qué modelo se adapta al conjunto de documentos.
Un flujo de recuperación tiene tres tareas distintas: crear pasajes útiles, representarlos de forma coherente y evaluar los resultados obtenidos.
Elimina los elementos de navegación repetidos y divide los documentos en puntos que tengan sentido. Conserva los títulos o encabezados de sección con cada fragmento para que un resultado aislado siga siendo comprensible.
Usa el mismo modelo de embeddings para los fragmentos almacenados y las consultas entrantes. Registra el modelo utilizado para cada índice; si cambias de modelo, tendrás que volver a generar los embeddings del texto almacenado.
Compara los vectores de las consultas con los de los fragmentos en un índice de búsqueda, examina las coincidencias más cercanas y haz pruebas con preguntas cuyos fragmentos de origen correctos ya conozcas.
Una coincidencia vectorial cercana es una posible fuente, no una prueba de que el fragmento sea correcto o esté actualizado.
Los embeddings pueden situar un fragmento plausible pero desactualizado por encima de la política vigente. No demuestran un hecho ni resuelven contradicciones entre fuentes.
Qué hacer en su lugar
Guarda las fechas y los identificadores de origen junto con los fragmentos, aplica filtros cuando corresponda y consulta el documento original.
Generar un único embedding para todo un documento puede ocultar el párrafo específico que necesita el lector. Dividirlo en fragmentos demasiado pequeños puede eliminar el contexto que da sentido a una frase.
Qué hacer en su lugar
Prueba distintos tamaños de fragmento con preguntas representativas y conserva los encabezados cercanos.
Los vectores generados con distintos modelos de embeddings pueden tener dimensiones diferentes o representar el significado de distintas maneras. Mezclarlos puede impedir las comparaciones o hacer que las clasificaciones sean poco fiables.
Qué hacer en su lugar
Registra el modelo de cada índice y vuelve a crear el índice cuando cambies de modelo.
Generar embeddings no anonimiza los nombres, los fragmentos confidenciales ni los datos personales del texto de origen.
Qué hacer en su lugar
Elimina u oculta la información que no deba entrar en el flujo de trabajo y revisa primero los requisitos aplicables de tratamiento de datos.
El mismo proceso de generación de embeddings sirve a distintos lectores, pero la unidad de búsqueda y los metadatos útiles cambian según la fuente.
Artículos de ayuda
Un artículo de ayuda puede contener varias respuestas no relacionadas. Indexa fragmentos que aborden una pregunta o política cada uno, conservando el título del artículo y una referencia a la fuente. Así, a un agente le resultará más fácil verificar el extracto encontrado.
Documentación técnica
Los símbolos de código, los mensajes de error y las etiquetas de versión suelen ser tan importantes como la similitud semántica. Conserva los identificadores exactos en el texto del fragmento y considera combinar la búsqueda vectorial con la búsqueda por palabras clave cuando esos identificadores sean esenciales para la pregunta.
Notas de investigación
Un hallazgo breve sin el estudio, la fecha o el autor puede resultar engañoso. Añade una cita o referencia al documento a cada extracto indexado para que las personas puedan consultar las pruebas que rodean una coincidencia prometedora.
El resultado útil de la búsqueda no es solo una clasificación por similitud, sino un fragmento que una persona pueda localizar, leer y evaluar.
Paso 1
Un fragmento como «esto se aplica después de 30 días» puede coincidir con una consulta y, aun así, ocultar a qué se refiere «esto». Antes de crear embeddings, incluye suficiente contexto cercano para identificar el tema. Prueba los pasajes fuera de su documento original para detectar fragmentos que necesiten un encabezado o una frase adicional.
Paso 2
Crea un pequeño conjunto de preguntas reales y anota qué pasaje de la fuente debería responder a cada una. Después de la recuperación, comprueba si aparece el pasaje esperado y si otros resultados podrían confundir al lector. Repite esta comprobación cuando cambie el material de origen o el modelo de embeddings.
Toma unos cuantos documentos representativos, conviértelos en pasajes autónomos y escribe preguntas que deberían recuperar cada uno. Así tendrás una forma práctica de evaluar si los embeddings ayudan antes de ampliar el índice.
Representan el texto como vectores que un sistema de recuperación puede comparar. Entre sus usos habituales están la búsqueda semántica y la identificación de pasajes relevantes para proporcionar contexto en una etapa de respuesta independiente. Un embedding no es, por sí mismo, una respuesta escrita.
Revisa los modelos disponibles para el idioma y el tipo de texto en el que necesitas buscar; después, prueba los candidatos con tus propias preguntas y documentos. Compara si aparecen los pasajes correctos, en lugar de elegir basándote solo en el nombre del modelo. Usa el mismo modelo para las consultas y los pasajes indexados.
El vector de un documento entero puede ser demasiado general para recuperar una respuesta específica de forma fiable. Divide los documentos en pasajes coherentes y conserva los encabezados y las referencias a las fuentes. Prueba distintos puntos de división con preguntas que apunten a secciones concretas.
No. El modelo de embeddings crea vectores; un índice de búsqueda los almacena y compara cuando llega una consulta. Tu flujo de trabajo también necesita una forma de asociar cada resultado con su fragmento original y su fuente.
No des por hecho que los vectores del nuevo modelo son comparables con los que ya están almacenados. Vuelve a generar los embeddings de los fragmentos originales y reconstruye el índice afectado; después, evalúa de nuevo la recuperación. Registra qué modelo produjo cada índice para evitar mezclar resultados.