Une IA qui tourne sur votre ordinateur, sans internet, peut vous aider à retrouver la bonne page d'un guide officiel. Elle ne mérite pas qu'on la croie sur parole pour un chiffre. Dans notre test, le français a été la langue la plus faible : le meilleur des deux petits modèles a donné 8 réponses entièrement correctes sur 11 en français, l'autre 4 sur 11.
Nous construisons Waystone, un assistant hors ligne encore en développement. Nous avions donc de bonnes raisons de chercher les défauts, et de vous les montrer.
Ce que nous avons testé
Le 22 octobre 2026, nous avons fait tourner deux modèles, l'un après l'autre, sur un Mac M2 avec 8 Go de mémoire, réseau coupé. Le premier est Llama 3.2 en version 3B (2,0 Go sur le disque), le second Gemma 3 en version 4B (3,3 Go).
Tous deux lisent la même petite bibliothèque de 24 passages : 20 conseils rédigés en anglais d'après des sources américaines (Ready.gov, CDC, EPA, FoodSafety.gov), plus 4 notes par pays pour les Pays-Bas, la Belgique et la France. Un modèle de recherche choisit les 3 passages les plus proches de la question et les remet au modèle qui rédige la réponse.
Nous avons posé 33 questions : 10 en néerlandais, 10 en anglais, 10 en français, plus une conversation de 3 questions qui passe du néerlandais à l'anglais puis au français. Côté français, elles portaient sur l'eau à stocker, le groupe électrogène, l'eau de Javel, le numéro du SAMU, les alertes belges, les bougies, les médicaments, l'eau de mer et un abri antiatomique. 6 des 33 questions étaient volontairement hors bibliothèque, pour voir si l'IA avouerait ne pas savoir.
Une précision qui compte pour un lecteur français : la bibliothèque était surtout américaine. Plusieurs erreurs ci-dessous viennent de là, et pas seulement du modèle.
Ce qui a bien marché
La recherche d'abord. Pour les 27 questions auxquelles la bibliothèque pouvait répondre, la bonne page figurait parmi les 3 trouvées dans tous les cas, et arrivait en tête pour 26 d'entre elles. Une question en français retrouvait une page écrite en anglais aussi bien qu'une question anglaise. Une seule bibliothèque soigneusement vérifiée peut donc servir plusieurs langues, au lieu de trois bibliothèques à relire.
La langue ensuite : les deux modèles ont répondu en français aux 11 questions françaises.
Quant à la vitesse, Llama a commencé à écrire après environ 2,4 secondes et terminé une réponse type en 4 secondes. Gemma a mis 33 secondes avant son premier mot. Le Mac manquait de mémoire à ce moment-là (7,5 Go déjà écrits sur le disque), donc lisez cela comme un avertissement sur les machines à 8 Go et pas comme un verdict sur Gemma.
Ce qui a mal tourné en français
Les pieds devenus des mètres
À la question « puis-je faire tourner un groupe électrogène dans la cave ? », Gemma a répondu non, ce qui est juste, puis a placé l'appareil à « au moins 20 mètres (6 mètres) » des fenêtres. La bibliothèque disait 20 pieds, soit environ 6 mètres. Le modèle a gardé le 20 et changé l'unité, en français comme en néerlandais.
Les deux chiffres de sa phrase se contredisent, ce qui peut mettre la puce à l'oreille d'un lecteur attentif. Un lecteur fatigué, de nuit, ne le verra peut-être pas. Llama a donné la bonne distance, mais a laissé « carbon monoxide » en anglais au milieu de sa phrase.
Le chiffre américain à la place du chiffre français
Sur l'eau à stocker par personne et par jour, les deux modèles ont répondu environ 4 litres, soit un gallon. C'est le chiffre américain. La note française de notre bibliothèque ne contenait aucun volume d'eau, et le modèle a pris le seul chiffre qu'il avait.
Le gouvernement français indique 6 litres par personne en bouteille pour son kit de 72 heures, et le Centre de crise belge prévoit entre 3 et 10 litres par personne et par jour. La réponse du modèle n'était pas dangereuse, simplement pas celle de votre pays. Pour que le chiffre soit le bon, la bibliothèque doit contenir la page de votre pays : c'est du travail de vérification, pas un réglage du modèle.
Les bougies : un non trop net
Peut-on s'éclairer à la bougie pendant une panne ? Les deux modèles ont dit non, d'après un passage américain selon lequel les bougies provoquent des incendies. La réponse officielle est plus nuancée chez vous. La liste du kit d'urgence français cite les bougies, à côté de la lampe de poche et des allumettes, et Enedis demande seulement de ne jamais en laisser une allumée sans surveillance et de l'éteindre avant d'aller se coucher. Le Centre de crise belge préfère la lampe de poche, sans interdire la bougie.
Le modèle n'a pas menti : il a répété la source qu'on lui avait remise. Elle ne venait simplement pas du bon pays.
Un refus à tort, un conseil dangereux
Llama a refusé de répondre sur le temps d'attente après l'eau de Javel, en disant que la bibliothèque ne contenait rien, alors que la bonne page arrivait en tête. Gemma a répondu correctement à la même question.
L'eau de mer, hors bibliothèque, a donné le pire résultat. Llama n'a pas refusé et a répondu de mémoire, sans source. Gemma a proposé de la désinfecter à l'eau de Javel, qu'elle a appelée « eau oxygénée », un autre produit. L'eau de Javel tue les microbes, mais elle ne retire pas le sel. Sur les deux questions françaises hors bibliothèque, l'eau de mer et l'abri antiatomique, Llama a refusé 1 fois sur 2 et Gemma 0 fois sur 2.
Le bon chiffre pour le mauvais appareil
Deux autres erreurs sont venues du néerlandais, mais elles montrent le même défaut. Llama a annoncé 2 gouttes d'eau de Javel pour 4 litres d'eau, quand la bibliothèque en indique 8. Et Gemma a affirmé qu'un frigo fermé garde les aliments au froid 48 heures.
Selon la préfecture de la Manche, le frigo tient 4 à 6h, et 48h vaut pour un congélateur plein. Le chiffre existait donc dans la source, mais pour l'autre appareil. Le minuteur frigo et congélateur donne les durées officielles.
Les onze questions en français, une par une
Nous avons relu chaque réponse à la main. « Correct » veut dire : juste d'après la bibliothèque, dans la bonne langue, avec la bonne page citée.
| Question | Llama 3.2 | Gemma 3 |
|---|---|---|
| Eau à stocker | Correct, avec le chiffre américain | Correct, avec le chiffre américain |
| Groupe électrogène dans la cave | Correct, un mot anglais resté | Unité fausse |
| Altitude et durée d'ébullition | Correct | Bonne altitude, puis une phrase sans rapport |
| Attente après l'eau de Javel | Refus à tort | Correct |
| Numéro du SAMU | Bon numéro, mauvaise page citée | Bon numéro, mauvaise page citée |
| Alertes officielles en Belgique | Correct | Correct |
| Bougies pendant une panne | Correct selon la bibliothèque américaine | Mauvaise page citée |
| Médicaments sur ordonnance | Correct | Correct |
| Eau de mer (hors bibliothèque) | N'a pas refusé | Conseil dangereux |
| Abri antiatomique (hors bibliothèque) | A refusé | N'a pas refusé |
| Conversation : alcool et hypothermie | Correct | Bonne réponse, mauvaise page citée |
Les citations
Une bonne IA hors ligne montre la page d'où vient chaque réponse. Chez nous, la page citée était la bonne pour 7 questions françaises sur 9 avec Llama et 6 sur 9 avec Gemma. Pour le SAMU, les deux modèles ont donné le bon numéro, le 15, qui correspond à la consigne officielle, et ont pourtant cité une mauvaise page.
Une citation fausse trompe plus qu'une absence de citation, parce qu'elle envoie le lecteur le plus prudent vers le mauvais texte.
Ce que nous en retenons pour vous
Prenez le chiffre dans la page citée, jamais dans la phrase de l'IA. Ouvrez cette page et comparez le nombre et l'unité. Méfiez-vous d'un oui ou d'un non sans nuance quand les sources officielles de votre pays en mettent, comme pour les bougies. Si vous essayez un outil de ce genre, testez-le d'abord en français avec des questions dont vous connaissez la réponse.
Gardez aussi l'essentiel sur papier. Le Centre de crise belge prévient que, lors d'une panne d'électricité, internet et les réseaux mobiles pourraient être indisponibles, et conseille une liste papier des numéros importants. Pour la suite, notre guide de la coupure de courant donne les gestes dans l'ordre, et le calculateur du kit d'urgence vous aide à préparer le reste.
Ce que cela change pour Waystone
Nous avons essayé trois vérifications simples sur ces mêmes réponses. Refuser de répondre quand rien dans la bibliothèque n'est assez proche a correctement écarté 5 des 6 questions hors bibliothèque, sans jamais bloquer une vraie question. Avec l'obligation de citer une source en plus, Llama a refusé les 6. Une vérification des nombres et des unités aurait attrapé les 2 gouttes et les 20 mètres, mais pas le frigo à 48 heures, puisque ce nombre figure bien dans la source.
Waystone est donc conçu pour copier les chiffres depuis la source et afficher la page d'origine sous chaque réponse, plutôt que de laisser le modèle les écrire. Le test reste petit, avec un seul ordinateur et seulement 11 questions en français : nous gardons la mention « anglais d'abord, néerlandais et français en test » tant qu'un test plus large n'a pas été passé.