RAG : connecter vos données internes à un LLM

Le RAG est une méthode qui permet à une IA de répondre en s'appuyant sur vos propres documents, au lieu de se fier uniquement à ce qu'elle a appris pendant son entraînement. C'est la brique qui transforme un assistant généraliste en assistant qui connaît vos procédures, vos contrats et vos fiches produit.

Cette page explique le RAG en IA à ceux qui vont le décider : ce que change un modèle connecté à vos données, ce que cela exige, et ce que cela ne fera pas. Si les notions de base vous manquent, commencez par notre article sur l'IA générative.

Le RAG, c'est quoi ?

La définition en une phrase

RAG est l'acronyme de retrieval augmented generation, que l'on traduit par « génération augmentée par la recherche ». Le terme vient d'un article de recherche publié en 2020 par une équipe de Facebook AI Research (aujourd'hui Meta) et d'universités partenaires. Trois notions à distinguer :

• Un LLM (grand modèle de langage), c'est le moteur qui rédige les réponses. Notre guide LLM : définition et fonctionnement en détaille le principe.
• La base documentaire, c'est l'ensemble des contenus que l'IA a le droit de consulter : procédures, FAQ, contrats, fiches techniques.
• Le RAG, c'est le mécanisme qui relie les deux : il va chercher dans la base les passages utiles à la question, puis les transmet au LLM pour qu'il rédige sa réponse à partir d'eux.

Le principe : récupérer d'abord, répondre ensuite

Un RAG travaille en deux temps, à chaque question.

1. Récupérer. Le système interroge votre base documentaire et sélectionne les quelques passages les plus pertinents. Cette recherche n'est pas une simple recherche par mots-clés : elle est sémantique, c'est-à-dire qu'elle compare le sens de la question et le sens des textes. Une question sur les « congés » retrouve ainsi un paragraphe sur les « jours de repos ».
2. Répondre. Les passages retenus sont ajoutés à la question, puis l'ensemble est envoyé au LLM avec une consigne du type : « réponds uniquement à partir de ces extraits, et cite-les ». Le modèle rédige alors sa réponse, sources à l'appui.

Pour que cette recherche par le sens fonctionne, les documents sont préparés en amont. Ils sont découpés en morceaux de quelques paragraphes (les chunks), puis chaque morceau est traduit en une suite de nombres qui représente son sens (un embedding). Ces représentations sont rangées dans une base spécialisée, la base vectorielle (ou vector database), qui sait retrouver très vite les morceaux dont le sens est proche d'une question. Vous ne les manipulerez pas, mais vos prestataires en parleront.

Pourquoi un LLM seul ne suffit pas

Un modèle de langage ne connaît que les données vues pendant son entraînement, arrêtées à une date donnée. Il ignore donc vos informations privées (tarifs, process, clients), tout ce qui a changé depuis, et il ne cite pas de source : il produit la suite de texte la plus probable. Quand il ne sait pas, il ne se tait pas, il produit une réponse plausible : c'est une hallucination. Le RAG ne change pas le modèle, il change ce qu'on lui donne à lire au moment de répondre.

Ce que le RAG change concrètement

La différence se voit mieux sur un exemple : la même question, posée à un assistant généraliste puis à un assistant connecté à la documentation interne.

Avant : le LLM invente ou généralise

À la question « sous quel délai mes notes de frais sont-elles remboursées ? », un assistant généraliste répond avec ce qu'il sait du monde : des pratiques courantes, des fourchettes habituelles, une invitation à « vérifier auprès de votre service comptable ». Au mieux la réponse est inutile, au pire elle est fausse et énoncée avec assurance.

Après : le LLM répond à partir de vos documents

Le même assistant, connecté à votre base documentaire, retrouve la procédure de remboursement en vigueur, en extrait la règle (date limite de dépôt, mode de versement, pièces exigées) et indique d'où elle vient. Trois bénéfices en découlent :

• Des réponses propres à votre entreprise, et non à « une entreprise en général ».
• Des réponses à jour : modifier un document suffit, sans rien réentraîner.
• Des réponses vérifiables : la source citée rend la réponse auditable, et c'est ce qui crée la confiance des équipes.

Un point à poser dès maintenant : un RAG bien construit réduit les hallucinations, il ne les supprime pas. Si le bon passage n'est pas retrouvé, ou si le document lui-même est faux, la réponse le sera aussi.

Dans quels cas déployer un RAG ?

Le critère est simple : un RAG est utile dès que des personnes posent régulièrement des questions dont la réponse existe déjà, quelque part, dans vos documents. Trois familles de cas reviennent dans les projets que nous cadrons.

Support client sur une base documentaire interne

Le besoin. Un groupement de cabinets d'expertise sociale reçoit toute l'année les mêmes questions de ses clients : congés payés, journée de solidarité, période d'essai, règles de la convention collective. Les questions sur les conventions collectives, à elles seules, occupent une large part des mails reçus. Un assistant qui piocherait dans des contenus web non maîtrisés serait un risque.

Les données sources. Procédures internes, notes juridiques, extraits de conventions collectives, modèles de réponses validés.

Le résultat visé. Un assistant réservé aux clients de chaque cabinet, borné à cette base validée, qui répond aux questions de premier niveau et renvoie vers un gestionnaire dès qu'un cas individuel apparaît. C'est souvent ainsi qu'un RAG devient la mémoire d'un agent IA : l'agent agit, le RAG lui donne accès à ce qu'il doit savoir.

Aide à la décision sur des données métier

Le besoin. Dans les cabinets de conseil en gestion de patrimoine que nous rencontrons, la production documentaire est lourde et encadrée par la réglementation. Les associés veulent interroger leurs propres analyses et dossiers passés, avec une exigence répétée : chaque action de l'IA traçable, chaque livrable validé par un humain.

Les données sources. Notes d'analyse, fiches produits, documentation réglementaire, dossiers clients archivés (avec des droits d'accès stricts).

Le résultat visé. Un assistant qui retrouve les éléments utiles à une recommandation, en citant chaque document mobilisé. Le conseiller garde la décision. Pour un besoin ponctuel sur un seul fichier, une approche plus légère suffit souvent : notre guide IA et analyse de document aide à choisir.

Onboarding et formation à partir de la documentation existante

Le besoin. Un nouvel arrivant passe ses premières semaines à chercher l'information et à solliciter ses collègues. La documentation existe, mais elle est dispersée entre Notion, des PDF et des dossiers partagés.

Les données sources. Guides internes, procédures, organigrammes, comptes rendus de projets, FAQ RH.

Le résultat visé. Un point d'entrée unique où l'on pose sa question en langage courant et où l'on obtient la réponse avec le lien vers le document d'origine. Effet utile au passage : les manques de la documentation deviennent visibles.

Quand un RAG n'est pas la bonne réponse

Un RAG n'a pas vocation à tout faire. Quatre situations relèvent d'une autre approche :

• La réponse n'est écrite nulle part. Si l'expertise est dans la tête de vos collaborateurs, le chantier prioritaire est la documentation.
• La question est un calcul. « Quel est notre chiffre d'affaires par région ce trimestre ? » relève d'une requête sur une base de données ou d'un outil de reporting, pas d'une recherche dans des textes.
• Le besoin porte sur la forme, pas sur le fond. Adopter un ton, respecter un format de sortie, classer des demandes : c'est le terrain de la consigne ou du réentraînement, pas du RAG.
• Le volume de documents est très faible. Deux ou trois documents tiennent directement dans une conversation avec un assistant.

Ce que le RAG exige

Brancher un modèle sur des documents prend peu de temps. Obtenir des réponses fiables, adoptées par les équipes, demande trois choses.

La qualité des données sources

Un RAG ne vaut que ce que valent les documents qu'il consulte. Trois défauts reviennent presque toujours : des versions concurrentes du même document, des documents obsolètes jamais archivés, et des contenus sans responsable.

Faut-il des données structurées ? Non. Le RAG est justement conçu pour les données non structurées : textes, PDF, pages Notion, comptes rendus. Mais « non structuré » ne veut pas dire « désorganisé » : des titres clairs, un document par sujet et une date de mise à jour visible améliorent nettement la recherche. Un diagnostic data et IA permet de mesurer cet état de préparation avant d'engager un projet.

L'architecture minimale

Un RAG d'entreprise repose sur cinq briques : un connecteur vers vos sources (dossiers partagés, Notion, intranet), une étape de découpage et d'indexation des documents, une base vectorielle qui stocke leur représentation, un LLM appelé par API (une interface qui permet à deux logiciels d'échanger), et une interface où les utilisateurs posent leurs questions : un chat interne, un outil de messagerie, un espace client.

À cela s'ajoute une brique souvent oubliée : la gestion des droits. Un RAG ne doit jamais montrer à un collaborateur un document qu'il n'a pas le droit d'ouvrir.

Peut-on se passer de développeur ? Pour un premier test, oui. Des outils prêts à l'emploi comme Gemini Notebook (renommé ainsi par Google en juillet 2026, anciennement NotebookLM) appliquent déjà ce principe : vous choisissez vos sources, l'assistant répond uniquement à partir d'elles et cite les passages utilisés. La démonstration ci-dessous, tournée sous l'ancien nom de l'outil, montre ce fonctionnement sur des documents réels.

Pour un usage d'équipe, branché sur vos outils et respectant vos droits d'accès, des plateformes d'automatisation comme Make permettent d'assembler les briques sans tout coder. Il faut en revanche quelqu'un capable de diagnostiquer une mauvaise réponse.

La supervision humaine

Un RAG ne se livre pas pour être oublié. Trois pratiques séparent un prototype qui impressionne d'un outil adopté :

• Un jeu de questions de test, rédigé avec les métiers, rejoué à chaque évolution.
• Le suivi des questions sans réponse : c'est la liste des documents à écrire ou à corriger.
• Une règle de validation pour les sujets sensibles : sur un point juridique, financier ou RH individuel, l'assistant oriente vers une personne, il ne tranche pas.

Faire ou faire faire ? Si vos documents sont en ordre et que vous disposez d'une compétence interne en automatisation, un premier RAG est à votre portée. Sinon, l'agence IA d'Alegria.solutions cadre le périmètre, prépare les sources et déploie un assistant connecté à vos données, avec vos équipes. Parlons de votre projet.

RAG, fine-tuning et prompt engineering : lequel choisir ?

Ces trois approches ne répondent pas au même besoin. Le prompt engineering travaille la consigne. Le RAG apporte au modèle des connaissances au moment de la question. Le fine-tuning modifie le modèle lui-même par un entraînement complémentaire.

En pratique, on commence par la consigne, on ajoute le RAG dès que le modèle doit connaître vos informations, et on n'envisage le fine-tuning que si un comportement précis reste hors de portée. Le RAG rend le fine-tuning inutile dans beaucoup de cas, pas dans tous, et les deux se combinent. Pour approfondir chaque levier : notre guide du prompt engineering et notre article sur le fine tuning.

Faire monter vos équipes en compétence sur le RAG

Dans les projets que nous accompagnons, le frein d'un projet de RAG IA est rarement l'outil. Il tient à la compréhension : savoir ce qu'on peut attendre d'une IA connectée à ses données, lire une réponse sourcée, reconnaître une question qui ne relève pas du RAG. Ce sont des compétences d'usage, pas de développement.

Alegria.group accompagne les entreprises avec une approche qui combine conseil, formation et exécution : plus de 600 projets menés et 14 000 personnes formées. Pour que vos collaborateurs sachent tirer parti d'un assistant connecté à vos documents, le programme IA et NoCode d'Alegria.academy part des usages concrets, sans prérequis technique. Pour former une équipe entière autour d'un projet, la formation IA en entreprise s'adapte à vos métiers et à vos données.