Cómo lanzar sistemas RAG que realmente funcionan en producción

La mayoría de las demos de RAG funcionan muy bien con diez documentos cuidadosamente seleccionados. Los sistemas RAG en producción fallan cuando se enfrentan al verdadero desorden del conocimiento empresarial: formato inconsistente, documentos desactualizados e información duplicada entre sistemas.

La inversión con mayor impacto que hemos encontrado no es el algoritmo de recuperación — es el pipeline de ingesta. La estrategia de fragmentación (chunking), el etiquetado de metadatos y un paso de deduplicación antes de que algo llegue al almacén vectorial te ahorrarán más tiempo de depuración que cualquier cambio de modelo de embeddings.

Segundo, la evaluación no puede ser una idea de último momento. Construimos un conjunto de pruebas de referencia con preguntas reales y respuestas verificadas antes de escribir una sola línea de código de recuperación, y lo volvemos a ejecutar en cada cambio del pipeline. Sin esto, estás decidiendo a ciegas si una "corrección" realmente ayudó.

Finalmente, planifica la ruta de escalamiento desde el primer día. Todo sistema RAG en producción que hemos lanzado incluye un umbral de confianza por debajo del cual el sistema delega en un humano — esta única decisión ha evitado más problemas de confianza del cliente que cualquier técnica de ingeniería de prompts.