ArxyA à l'épreuve des sources officielles : citer ne suffit pas

La vraie promesse d'ArxyA n'est pas de répondre vite

ArxyA se présente comme un assistant fiscal, comptable et administratif spécialisé en droit français. Sa page publique annonce des réponses sourcées en quelques secondes, la citation de sources officielles à chaque réponse et treize références de travail, parmi lesquelles le BOFiP, impots.gouv.fr, l'Urssaf, Légifrance, Service Public, l'INPI, l'ANC et EUR-Lex.

Cette promesse change complètement la manière de tester le produit. Si ArxyA n'était qu'un assistant généraliste, une réponse prudente et correctement formulée pourrait déjà être utile. Ici, la valeur annoncée repose sur une chaîne plus exigeante : retrouver la bonne règle, utiliser la version applicable, restituer son effet sans la déformer et permettre à l'utilisateur de vérifier immédiatement d'où vient l'affirmation.

C'est exactement le déplacement que j'ai récemment étudié avec l'Answer Engineering : une sortie peut être propre, structurée et convaincante tout en restant factuellement fausse. La présence d'un champ "source" ou du nom d'une administration ne résout donc pas le problème. Elle ne fait que le rendre vérifiable, à condition que le lien entre l'affirmation et la source soit réellement construit.

Premier test : le bon statut social, puis la mauvaise règle

La première question était volontairement simple à contrôler. Un associé unique, également gérant de son EURL soumise à l'impôt sur les sociétés, ne se verse aucune rémunération en 2026. Je demande s'il est assimilé salarié ou travailleur non salarié, s'il doit malgré tout payer des cotisations et je réclame les sources officielles exactes avec leurs liens et références.

ArxyA identifie correctement le statut : le gérant associé unique relève bien du régime des travailleurs non salariés. Puis la réponse bascule sur le point qui comptait réellement. Elle indique qu'en l'absence de rémunération et de dividendes, aucune cotisation minimale n'est généralement due sur la rémunération, avant de conseiller de vérifier auprès de l'Urssaf si une cotisation minimale pourrait subsister.

La fiche officielle Service Public vérifiée en 2026 dit l'inverse : le gérant associé unique d'une EURL doit verser des cotisations sociales minimales obligatoires même en l'absence de rémunération, notamment au titre des indemnités journalières, de la retraite de base et de l'invalidité-décès.

Ce n'est pas une petite imprécision autour d'un taux. C'est le type de phrase qui peut modifier le comportement d'un dirigeant. Une réponse qui "sonne juste" peut alors devenir plus dangereuse qu'une absence de réponse, précisément parce qu'elle réduit l'envie de vérifier. C'est aussi ce que montre plus largement mon travail sur l'IA et la prise de décision : une recommandation convaincante n'améliore pas automatiquement la décision humaine qui suit.

Quand je demande une autocorrection, le produit s'arrête avant la réponse

J'ai ensuite repris l'affirmation litigieuse en demandant explicitement à ArxyA de la revérifier, de préciser les cotisations minimales applicables en 2026 et, si la première réponse était incorrecte, de le dire clairement.

L'interface a accepté la demande, affiché ses phases d'analyse puis de rédaction, avant de terminer sur une erreur serveur. J'ai renvoyé exactement la même requête une seconde fois. Le comportement a été identique.

Ce constat est limité mais solide : je ne peux pas conclure que le modèle sous-jacent est incapable de corriger son erreur, puisque aucune correction n'a été produite. Je peux en revanche établir que sur cette demande précise, le parcours d'autocorrection a échoué deux fois de manière reproductible.

Pour une IA métier, ce point compte autant que la première réponse. La qualité d'un système ne se mesure pas seulement à ce qu'il produit quand tout se passe bien, mais à sa capacité à supporter la contradiction, revenir sur une affirmation et montrer ce qui a changé entre deux états de connaissance.

Le "Diagnostic Entreprise" calcule correctement, mais ne diagnostique pas le problème posé

Le troisième test partait d'une SAS au capital de 100 000 euros, avec 35 000 euros de capitaux propres, 80 000 euros de trésorerie et des dettes exigibles réglées à échéance. La question demandait de distinguer deux notions différentes : la perte de la moitié du capital et la cessation des paiements.

Le mode Diagnostic Entreprise lance un questionnaire en sept étapes, mais ne conserve pas les variables centrales du scénario. Il demande le chiffre d'affaires, les charges, le nombre de salariés, la TVA, le secteur et l'ancienneté. Avec 500 000 euros de chiffre d'affaires et 430 000 euros de charges, il calcule un résultat estimé de 70 000 euros puis un impôt sur les sociétés d'environ 13 250 euros sous conditions.

Le calcul arithmétique est cohérent avec le taux réduit d'IS de 15 % sur la première tranche de 42 500 euros lorsque les conditions sont réunies. Mais ce n'était pas le diagnostic demandé. Le parcours n'a posé aucune question complémentaire sur le passif exigible, l'actif disponible ou la mécanique juridique de perte de la moitié du capital.

Service Public rappelle pourtant qu'une SAS dont les capitaux propres deviennent inférieurs à la moitié du capital social entre dans une procédure spécifique, avec notamment une consultation des associés dans les quatre mois suivant l'approbation des comptes ayant fait apparaître la perte.

Le problème n'est donc pas qu'un questionnaire guidé soit mauvais. Il est qu'un mot comme "diagnostic" laisse imaginer une capacité à qualifier la situation soumise, alors que le moteur suit ici un arbre beaucoup plus étroit. Un calcul peut être exact et répondre à la mauvaise question.

Un 70/100 technique ne dit pas si l'IA est fiable

En parallèle, le rapport de consolidation technique daté du 18 septembre agrège 52 contrôles et affiche 70/100, grade C. Ce nombre est utile pour hiérarchiser des vérifications. Il ne constitue ni une note générale de sécurité, ni une mesure de la qualité des réponses fiscales. J'avais déjà rencontré la même limite en analysant SEOPlus! et son 90/100 puis Mozilla Observatory appliqué aux acteurs français de la cybersécurité : un score aide à prioriser, mais ne transforme pas mécaniquement un constat de configuration en preuve de sécurité globale.

Le rapport relève un certificat valide, TLS 1.3 observé, DNSSEC actif, une redirection HTTP vers HTTPS et aucun traceur détecté sur le périmètre public examiné. Il signale aussi un durcissement HTTP incomplet sur l'accueil, notamment l'absence de CSP et de plusieurs en-têtes de protection au moment du contrôle.

Aucun de ces constats ne démontre une compromission. À l'inverse, aucun score public ne permet d'affirmer qu'une application est "sécurisée" dans son ensemble. Le test n'a pas couvert l'isolation entre deux comptes, les politiques Supabase, les autorisations réelles de chaque API, l'effacement des sauvegardes ni un test d'intrusion autorisé.

"Confidentiel" ne veut pas dire "reste uniquement chez ArxyA"

La page publique indique que les conversations et données d'entreprise sont stockées de manière sécurisée et ne sont jamais vendues. La politique de confidentialité détaille davantage la chaîne technique : Supabase pour la base et l'authentification, Anthropic pour le traitement des requêtes, Stripe pour les paiements et Vercel pour l'application. Elle prévoit également des transferts vers les États-Unis encadrés par des mécanismes contractuels ou le Data Privacy Framework.

Ce constat ne contredit pas, à lui seul, le mot "confidentiel". Une donnée peut être traitée par plusieurs sous-traitants tout en restant couverte par des obligations de confidentialité. Il empêche en revanche de comprendre "confidentiel" comme "la donnée ne sort jamais de l'environnement ArxyA".

Anthropic indique par ailleurs que les entrées et sorties de ses offres commerciales ne sont pas utilisées par défaut pour entraîner ses modèles. Pour l'API, la durée standard annoncée est une suppression des entrées et sorties du backend dans les 30 jours, sauf accord différent, nécessité de faire respecter la politique d'usage ou obligation légale. Des accords de rétention zéro existent pour certains clients API, mais aucun élément public examiné ne permet d'affirmer qu'ArxyA en bénéficie.

Ce point rejoint directement l'analyse sur l'IA et la dépendance technologique : localisation, confidentialité, rétention, réversibilité et contrôle des fournisseurs sont des dimensions différentes. C'est également la distinction défendue dans Souveraineté numérique ou semi-souveraineté : mesurer le contrôle réel, où le contrôle se mesure couche par couche plutôt qu'à travers un seul qualificatif. Les fusionner sous un mot rassurant fait perdre de l'information utile.

Ce qu'ArxyA fait déjà correctement

Un test critique n'a d'intérêt que s'il conserve aussi ce qui fonctionne. L'interface est claire, les trois modes sont immédiatement compréhensibles et le parcours d'inscription reste léger. Le mode Fiscalité a correctement identifié le statut TNS du gérant associé unique. Le mode Administratif a capté la logique générale d'un régime modifié en 2026, même si son explication conservait un ancien seuil. Le diagnostic a réalisé correctement son calcul arithmétique et a présenté le taux réduit d'IS comme conditionnel.

J'ai également supprimé le compte depuis les paramètres. L'interface demande de saisir explicitement SUPPRIMER, annonce la suppression définitive du compte et des données, met fin à la session puis renvoie vers la partie publique. C'est un parcours visible, clair et accessible à l'utilisateur. Il démontre que la commande existe et que la session est révoquée. Il ne démontre pas, à lui seul, l'effacement physique de chaque sauvegarde ou copie technique en arrière-plan.

Les CGU vont aussi dans le bon sens sur un point essentiel : elles précisent que les réponses peuvent contenir des erreurs ou des imprécisions et ne remplacent pas un professionnel qualifié. La difficulté vient de la coexistence entre cette prudence contractuelle et une promesse commerciale plus forte autour de la précision, des sources officielles et, désormais pour l'offre Expert, de la vérifiabilité.

Plus la promesse devient précise, plus elle devient testable. C'est plutôt sain : un produit qui revendique la preuve peut être évalué sur la qualité de sa chaîne de preuve.

Ce que ce test ne permet pas de conclure

Ce protocole a été réalisé le 18 septembre 2026 sur un compte gratuit et avec un nombre volontairement limité de scénarios. Il ne mesure pas un taux d'erreur global d'ArxyA, ne permet pas de comparer statistiquement le service à ChatGPT, Claude, Gemini ou à un expert humain et ne prouve pas que les mêmes erreurs se reproduisent sur toutes les sessions.

L'erreur serveur a été reproduite deux fois sur la même demande, mais sa cause n'est pas connue. Elle peut provenir du backend, du fournisseur de modèle, d'un délai d'attente, d'une étape de recherche documentaire ou d'un autre composant. Sans journaux applicatifs, lui attribuer une cause serait spéculatif.

Le rapport technique n'est pas un pentest. La politique de confidentialité décrit des fournisseurs et des durées annoncées, mais je n'ai pas vérifié les contrats, les régions réellement configurées, les mécanismes de sauvegarde, les accès de support ni l'exécution complète d'une demande d'effacement.

Enfin, l'offre ArxyA Expert actuellement mise en avant n'a pas été testée dans ce protocole. Il serait incorrect d'étendre automatiquement à cette offre des constats observés sur le compte gratuit dix jours plus tôt.

Le produit le plus important n'est peut-être pas la réponse, mais la chaîne de preuve

ArxyA a un positionnement lisible et un intérêt évident : réduire le temps nécessaire pour orienter une question fiscale, comptable ou administrative vers les bons textes. Le test montre aussi pourquoi cette ambition est plus difficile qu'elle n'en a l'air.

Dans une IA spécialisée, la source ne devrait pas arriver comme une note de bas de page ajoutée après la génération. Elle fait partie du produit. Elle doit permettre de répondre à des questions simples : de quel texte vient cette affirmation, quelle version était applicable, à quelle date, quel passage la soutient, quelles hypothèses ont été utilisées et qu'est-ce qui manque encore pour conclure ?

Le premier scénario montre qu'une mauvaise conclusion peut rester crédible lorsqu'elle est entourée de noms de sources officielles. Le second montre qu'une autocorrection peut échouer avant même d'être produite. Le troisième montre qu'un repère juridique ancien peut survivre dans une réponse qui paraît pourtant actualisée. Le quatrième montre qu'un parcours peut calculer correctement tout en perdant la question initiale. Pris ensemble, ces écarts illustrent aussi le problème développé dans IA et pensée complexe : la fiabilité ne dépend pas d'une seule brique, mais des interactions entre modèle, mémoire, sources, interface, règles métier et comportement humain.

Ce n'est pas un réquisitoire contre ArxyA. C'est un cas d'école pour toutes les IA verticales qui promettent une expertise métier. La spécialisation ne se démontre pas par le vocabulaire du domaine ni par la liste des bases consultées. Elle se démontre lorsque la réponse reste traçable, datée, contestable, corrigible et capable de dire où s'arrête ce que le système sait réellement.

ArxyA est encore jeune et sa promesse évolue déjà entre le test et la publication. C'est justement ce qui rendra un nouveau passage intéressant : reposer les mêmes questions plus tard, conserver le protocole et mesurer ce qui a réellement changé.