Livrer des systèmes RAG qui tiennent réellement la route en production

La plupart des démos RAG fonctionnent très bien sur dix documents soigneusement sélectionnés. Les systèmes RAG en production s'effondrent face au véritable désordre des connaissances d'entreprise : formatage incohérent, documents obsolètes et informations dupliquées entre systèmes.

L'investissement le plus rentable que nous ayons identifié n'est pas l'algorithme de récupération — c'est le pipeline d'ingestion. La stratégie de chunking, l'étiquetage des métadonnées et une passe de déduplication avant que quoi que ce soit n'atteigne la base vectorielle vous feront gagner plus de temps de débogage que n'importe quel changement de modèle d'embedding.

Ensuite, l'évaluation ne peut pas être une réflexion secondaire. Nous construisons un jeu de test de référence composé de vraies questions avec des réponses vérifiées avant d'écrire la moindre ligne de code de récupération, et nous le relançons à chaque modification du pipeline. Sans cela, vous naviguez à l'aveugle pour savoir si un « correctif » a réellement aidé.

Enfin, prévoyez le chemin d'escalade dès le premier jour. Chaque système RAG en production que nous avons livré inclut un seuil de confiance en dessous duquel le système délègue à un humain — cette seule décision a évité plus de problèmes de confiance client que n'importe quelle technique de prompt engineering.