Bornes d'une IA autonome : dix garde-fous infranchissables
Bac à sable, quotas, coupure d'urgence, lignes rouges, périmètre signé, révocation : dix bornes qu'un agent ne peut franchir, et ce qu'elles n'empêchent pas.
- Bac à sable
- Quotas
- Coupure d'urgence
- Lignes rouges
- Révocation
Une IA autonome sans bornes n'est pas autonome : elle est exposée. Dix garde-fous, du bac à sable à la révocation — et ce qu'aucun d'eux n'empêche.
Ouvrir l'AtelierAutonomie et bornes ne sont pas contraires#
La conversation sur l'IA autonome bute presque toujours sur un faux dilemme : plus d'autonomie contre plus de contrôle. En pratique, c'est l'inverse qui se vérifie. On ne délègue vraiment qu'à ce dont on connaît les limites.
Un collaborateur à qui l'on confie une carte bancaire d'entreprise ne travaille pas mieux si le plafond est infini : il travaille mieux si le plafond est connu, écrit, et suffisant. C'est exactement le rôle des garde-fous décrits ici. Ils n'existent pas pour brider une capsule, mais pour rendre son autonomie soutenable — c'est-à-dire acceptable par un dirigeant, un auditeur et un client.
Dix mécanismes, du plus mécanique au plus institutionnel. Chacun ferme une porte précise, et pour chacun je dis ce qu'il n'empêche pas.
Les bornes, en chiffres
1. Le bac à sable : ce qui n'est pas déclaré est refusé#
Le premier garde-fou n'est pas une règle, c'est une architecture. Une capsule s'exécute dans un environnement qui n'applique que ce qu'elle a déclaré : hôtes réseau autorisés, chemins de lecture, chemins d'écriture, droit de lancer un sous-processus, droit d'évaluer du code, variables d'environnement nommées, outils nommés.
Ce sont des listes, pas des interrupteurs. « Accès réseau » n'existe pas ; « accès à ces trois hôtes » existe. La différence est celle qui sépare un pare-feu d'une promesse.
Le niveau d'isolement est lui aussi déclaré, avec quatre degrés : exécution dans le même processus, dans un fil de travail, dans un sous-processus, ou dans un conteneur. Une capsule peut donc exiger de ne jamais tourner dans le même processus que son hôte — autrement dit de ne jamais partager sa mémoire.
Ce que cela n'empêche pas : une capsule qui a légitimement besoin d'un accès et l'utilise mal. Le bac à sable borne la surface, pas la pertinence.
2. Les ressources : combien, au maximum#
Les capacités disent ce qui est permis, les ressources disent jusqu'où : mémoire, part de processeur, durée maximale d'une exécution, stockage, et coût maximal par jour.
Deux de ces bornes méritent une décision consciente. Le coût par jour, parce qu'une capsule qui boucle sur elle-même peut brûler en une nuit ce qu'elle devait économiser en un mois. Et la durée maximale, parce qu'elle transforme un blocage silencieux en échec explicite : sans elle, une exécution qui attend indéfiniment une réponse extérieure paraît « en cours » pendant des heures, et le tableau de bord affiche une activité là où il ne se passe rien.
Ce que cela n'empêche pas : un coût élevé mais légitime. Une borne ne juge pas la valeur de ce qui est produit.
3. Les quotas, et la conduite au dépassement#
Au-dessus des ressources techniques, les quotas d'usage : nombre d'invocations par jour, coût par jour, coût par mois, compétences autorisées, connecteurs autorisés.
Le champ décisif n'est pas le chiffre, c'est la conduite déclarée en cas de dépassement, qui n'a que trois valeurs possibles :
- refuser — l'exécution s'arrête avec une erreur explicite ;
- dégrader — une version réduite du service continue ;
- alerter en continuant — le travail se poursuit, quelqu'un est prévenu.
Ces trois mots décrivent trois cultures du risque, et le format oblige à en choisir une par écrit. Notre règle : refuser par défaut dès qu'il y a de l'argent ou des personnes en jeu ; dégrader pour un service de confort ; alerter en continuant uniquement en interne, sur un usage non critique. Laisser le champ vide, c'est hériter d'un défaut que personne n'a choisi et le découvrir le jour où un quota saute — c'est-à-dire au pire moment pour en débattre.
Ce que cela n'empêche pas : un quota mal calibré. Un plafond très haut ne protège de rien ; il repousse la découverte du problème.
4. La coupure d'urgence#
Chaque capsule — et chaque membre d'une équipe — porte une coupure d'urgence activable. Elle arrête l'artefact sans le modifier : rien n'est effacé, le journal reste lisible, la reprise est possible.
Le point d'architecture est son emplacement. La coupure vit en amont, dans l'artefact scellé et dans le registre qui l'autorise — jamais dans l'application qui consomme le travail. Une application cliente qui réimplémenterait sa propre coupure créerait une seconde source de vérité, et deux sources de vérité en gouvernance signifient qu'aucune n'est fiable : le jour de l'incident, personne ne sait laquelle a agi.
Ce que cela n'empêche pas : le mal déjà fait. Une coupure arrête la suite, elle ne rattrape pas un courriel parti.
5. Les lignes rouges#
Au-delà des quotas, chaque membre d'une équipe peut porter sa loi propre : des lignes rouges, des politiques internes, et sa propre coupure d'urgence. Elles sont scellées avec l'artefact, donc non modifiables en fonctionnement.
La différence avec un quota est de nature. Un quota est une borne quantitative — « pas plus de tant ». Une ligne rouge est une interdiction qualitative — « jamais ceci, quel qu'en soit le contexte ». Un agent commercial peut avoir pour ligne rouge de ne jamais consentir de remise au-delà d'un seuil, un agent de support de ne jamais promettre un délai, un agent financier de ne jamais initier un virement.
C'est la couche où se logent les décisions que l'entreprise a déjà prises et qu'elle refuse de rediscuter à chaque cas. Écrire ses lignes rouges est d'ailleurs l'exercice le plus révélateur de la conception d'une capsule : beaucoup d'organisations découvrent à ce moment qu'elles ne les avaient jamais formulées.
Ce que cela n'empêche pas : une ligne rouge mal formulée. Un interdit trop large bloque le travail utile ; trop étroit, il laisse passer le cas voisin.
Voir les bornes de vos capsules en fonctionnement
L'Atelier montre les quotas, les coupures, les coûts et les décisions arrêtées, capsule par capsule.
Ouvrir l'Atelier6. Le périmètre signé#
Le mandat est la borne la plus intéressante juridiquement : il porte une empreinte du périmètre et une signature.
Le périmètre autorisé n'est donc pas une note d'intention, c'est un objet vérifiable. On ne peut pas l'élargir après coup sans invalider la signature. C'est la différence entre « nous avions convenu que » et une preuve — et cette différence n'apparaît qu'un seul jour, celui où les deux parties ne se souviennent pas de la même chose.
Ce que cela n'empêche pas : de signer un périmètre trop large. La signature garantit l'intégrité de l'accord, pas sa sagesse.
7. Les trois contrôles internes d'une équipe#
Quand la capsule scelle une organisation, trois contrôles sont intégrés dans l'équipe, pas ajoutés autour.
Le contrôleur qualité évalue le livrable et le refuse sous un seuil. Ce n'est pas un avis, c'est une porte : sous le seuil, le travail repart en correction au lieu de sortir.
L'auditeur trace ce qui a été décidé, avec quoi, par qui, dans un journal en ajout seul où rien ne s'efface. C'est lui qui rend une décision explicable trois mois plus tard, quand plus personne ne se souvient du contexte.
Le garde-fou déterministe applique des règles sans modèle de langage dans la boucle : montants bornés, champs obligatoires, formats vérifiés, refus par défaut en cas de doute. Sa règle de conception est constante — en cas d'incertitude, refuser. Un système qui accepte quand il ne sait pas finira par accepter une erreur coûteuse.
À cela s'ajoutent les réglages de coordination : un quorum minimal pour un consensus, et une conduite en cas d'échec d'un membre — abandonner, ignorer, ou réessayer une fois.
Ce que cela n'empêche pas : un seuil de qualité trop bas, ou un consensus de trois avis également médiocres.
8. Le score de confiance, qui bloque#
Un système autonome sans mesure de sa propre fiabilité est un pari. Chaque agent porte donc un score continu, dégradé par les anomalies constatées et relevé par les attestations vérifiées.
Ce score a des conséquences d'exécution, pas seulement d'affichage. Sous cinquante, l'agent est bloqué : il ne s'exécute plus. Entre cinquante et quatre-vingts, il passe en mode revue — chaque exécution exige une validation humaine. Au-delà, il travaille de façon autonome.
L'intérêt n'est pas le chiffre, c'est l'automatisme : une organisation ne peut pas surveiller manuellement des dizaines d'agents, mais elle peut décider une fois pour toutes qu'un agent dégradé repasse sous contrôle humain. Le seuil transforme une politique écrite en comportement effectif.
Ce que cela n'empêche pas : une dérive lente sous le seuil de détection.
9. La barrière humaine#
Le garde-fou le plus important n'est pas technique. Certaines actions ne se délèguent pas : ce qui engage de l'argent, ce qui touche à des personnes, ce qui est publié au nom de l'entreprise. La capsule prépare, un humain arbitre.
Ce n'est pas une limite de la technique, c'est un choix — et c'est ce choix qui rend le reste délégable en confiance. Une organisation qui pose cette frontière nettement délègue davantage, pas moins, parce qu'elle sait exactement ce qu'elle ne délègue pas.
Le point de vigilance est la nature du contrôle. « Un humain valide les cas sensibles » n'est pas un contrôle : c'est une intention. Un contrôle est un point d'arrêt qui empêche l'action de s'exécuter sans validation, et qui laisse une trace de la validation. La différence apparaît le jour où quelqu'un est pressé — c'est-à-dire tous les jours.
Ce que cela n'empêche pas : une validation machinale. Une barrière humaine franchie sans lire est une barrière décorative.
10. La révocation#
Dernier garde-fou, et le seul qui agisse après la distribution : la révocation d'une licence. Les destinataires concernés ne peuvent plus ouvrir l'artefact, y compris sur les copies déjà remises, parce que le droit d'ouvrir était porté par la licence et non par un réglage d'application.
La liste de révocation est publiée et distribuée, pas interrogée à chaque usage. Le compromis est explicite : une révocation prononcée pendant une coupure réseau ne prend effet qu'à la prochaine synchronisation. Le mécanisme inverse — vérifier en ligne à chaque exécution — donnerait une révocation instantanée et un système qui s'arrête dès que le réseau tombe. Pour des environnements isolés, le choix est déjà fait.
Attention à ne pas confondre deux gestes voisins. On retire un agent : il passe en pause, puis en retrait, et son journal reste lisible pour l'audit. On révoque une licence de capsule : c'est l'artefact qui cesse de pouvoir être ouvert. Confondre les deux produit la pire situation possible — un agent arrêté dont l'artefact continue de circuler, ou une licence révoquée pendant qu'un agent travaille encore.
Deux façons de gouverner une IA autonome
Par la consigne
- « L'agent ne doit pas dépasser 500 € » écrit dans un document
- Les droits d'accès sont implicites, larges par commodité
- Un humain « vérifie les cas sensibles » quand il y pense
- La coupure d'urgence est un bouton dans l'application cliente
- Le dépassement se constate dans la facture du mois suivant
Par la déclaration
- Le montant est une borne signée, appliquée avant l'action
- Chaque hôte, chemin et outil est déclaré ou refusé
- Le point d'arrêt empêche l'action et trace la validation
- La coupure vit dans l'artefact et le registre, en amont
- Le dépassement refuse, dégrade ou alerte — selon un choix écrit
La consigne dépend de la mémoire de celui qui l'applique. La déclaration s'applique toute seule, y compris un vendredi soir.
Combien de bornes pour un premier agent ?#
Dix mécanismes peuvent décourager. La bonne nouvelle : pour un premier agent utile, cinq suffisent, et elles se posent en une demi-journée.
Les capacités, au strict nécessaire. Listez les hôtes réseau, les chemins de lecture et d'écriture réellement utilisés pendant vos essais, et rien de plus. C'est la borne la plus rentable : elle coûte dix minutes et supprime la majorité des surfaces d'incident.
Un coût maximal par jour, fixé juste au-dessus du coût observé sur un échantillon réel. Pas « très haut pour être tranquille » : un plafond haut ne protège de rien.
Une conduite au dépassement, choisie explicitement. Pour un premier agent, « refuser » est presque toujours le bon réglage.
Une coupure d'urgence testée. Non pas déclarée : testée. Activez-la une fois, chronométrez l'arrêt, vérifiez que le journal reste lisible.
Une frontière humaine écrite. Trois lignes suffisent : ce qui engage de l'argent, ce qui touche à des personnes, ce qui est publié. Tout le reste part sans validation.
Les cinq autres bornes — périmètre signé, contrôles d'équipe, score bloquant, lignes rouges scellées, révocation — deviennent nécessaires quand l'agent sort de l'organisation, entre dans un périmètre réglementé, ou se met à travailler pour des clients. Les poser trop tôt produit une friction que les équipes finissent par contourner, ce qui est pire que de ne pas les avoir.
Qui décide des seuils ?#
Question rarement posée, et pourtant décisive : un seuil est une décision de direction déguisée en réglage technique.
En pratique, trois rôles se partagent le travail et ne doivent pas se confondre. Celui qui produit l'artefact déclare les capacités et les ressources — c'est un travail d'ingénierie. Celui qui gouverne fixe les quotas, les seuils de qualité et la frontière humaine — c'est un arbitrage de risque, pas un choix technique. Celui qui audite lit les journaux et ne peut rien modifier.
La confusion la plus courante fait de la personne qui produit celle qui décide de ce qui est autorisé. Elle est commode dans une petite structure, et elle vide le dispositif de son sens : on ne peut pas s'accorder à soi-même les droits dont on a besoin et prétendre qu'ils sont bornés.
Quand la même personne tient les trois rôles — cas fréquent — la réponse honnête est de le documenter plutôt que d'afficher une séparation fictive. Un auditeur préfère une organisation qui reconnaît son cumul de rôles à une organisation qui prétend l'avoir résolu.
L'erreur d'architecture la plus fréquente#
Une erreur revient dans presque tous les systèmes que nous auditons, et elle paraît raisonnable : redéclarer les garde-fous dans l'application cliente.
L'intention est bonne — « ceinture et bretelles ». L'effet est l'inverse : deux sources de vérité pour les mêmes bornes. Les quotas de l'application et ceux de l'artefact divergent au premier changement, et le jour d'un incident personne ne sait lequel a agi, ni lequel fait foi.
La règle est donc stricte : ce qui est autorisé se déclare dans l'artefact et son registre ; l'application subit ces bornes, elle ne les redéfinit pas. Une application cliente est une surface d'outils gouvernée, pas un second organe de gouvernance. C'est aussi ce qui permet de changer d'application sans rejouer toute la politique de sécurité.
Un garde-fou qui dépend de la vigilance de quelqu'un finit par être contourné un vendredi soir. Un garde-fou qui refuse de s'exécuter ne se contourne pas.
Ce qu'aucun garde-fou n'empêche#
Il faut nommer les limites, parce qu'un excès de promesse en matière de sécurité se retourne toujours contre celui qui le formule.
Aucun de ces mécanismes ne garantit qu'une décision autorisée est pertinente. Une capsule peut rester scrupuleusement dans son périmètre et se tromper. Les bornes garantissent qu'elle n'a rien fait d'interdit, pas qu'elle a bien fait.
Aucun n'empêche une erreur d'entrée. Si une source consultée est fausse, le raisonnement est faux et le journal enregistre fidèlement une erreur bien gouvernée.
Aucun ne prouve l'absence d'un comportement non journalisé. On peut établir que tout ce qui a été enregistré est intact ; on ne peut pas établir qu'il n'existe aucun chemin non enregistré. La réponse partielle est l'attestation matérielle du binaire exécuté — et elle reste partielle. Ce sujet est traité dans de la trace immuable à la preuve opposable.
Enfin, aucun garde-fou ne remplace une décision d'organisation. Les seuils, les lignes rouges et la liste de ce qui n'est jamais délégué sont des choix de direction. L'outil les applique ; il ne les prend pas.
Questions fréquentes#
Quelle est la différence entre un quota et une ligne rouge ?#
Un quota est quantitatif — « pas plus de tant d'appels, pas plus de tant d'euros par jour » — et se règle. Une ligne rouge est qualitative — « jamais ceci, quel qu'en soit le contexte » — et se scelle avec l'artefact, donc ne se modifie pas en fonctionnement. En pratique, les quotas protègent le budget et la charge, les lignes rouges protègent la réputation et le droit. Une organisation qui n'a que des quotas est protégée financièrement et exposée juridiquement.
Où doit vivre la coupure d'urgence ?#
En amont : dans l'artefact scellé et dans le registre qui l'autorise, jamais dans l'application qui consomme le travail. Une coupure implémentée côté application crée une seconde source de vérité et cesse de fonctionner dès qu'on change d'application. Le test est simple : si vous remplacez l'interface demain, votre coupure survit-elle ? Si la réponse est non, elle n'était pas au bon endroit.
Que se passe-t-il concrètement quand une capsule dépasse une borne ?#
Cela dépend de la conduite déclarée : refuser, dégrader, ou alerter en continuant. Dans les trois cas, la tentative est journalisée — ce qui permet de distinguer une erreur de conception d'un comportement anormal. Un dépassement n'est d'ailleurs pas nécessairement un incident : c'est souvent le signal qu'un périmètre a été sous-dimensionné, et l'information la plus utile qu'un système puisse remonter dans ses premières semaines.
Ces garde-fous ralentissent-ils le travail ?#
Les contrôles déterministes et le bac à sable sont négligeables en temps de calcul. Ce qui ralentit, c'est la barrière humaine — et c'est voulu. La question utile n'est donc pas « combien de temps perd-on ? » mais « quelles actions méritent d'attendre une validation ? ». Une organisation qui place cette frontière au bon endroit constate en général l'inverse d'un ralentissement : ce qui est délégable part sans attendre, parce que plus personne ne craint de le déléguer.
Peut-on ajouter des garde-fous à un système déjà en production ?#
En partie. On peut poser des quotas, un bac à sable et des points d'arrêt humains sur un système existant. Ce qui ne se rattrape pas, c'est le passé : les décisions déjà prises sans journal probant restent invérifiables, et un périmètre non signé au départ ne devient pas signé rétroactivement. La date de mise en place devient donc la date de début de votre capacité à prouver — raison suffisante pour ne pas la reporter.
Comment savoir si nos garde-fous fonctionnent réellement ?#
En les déclenchant volontairement. Fixez un quota très bas sur un usage de test et vérifiez que la conduite déclarée s'applique. Activez la coupure d'urgence et mesurez le temps d'arrêt effectif. Faites tenter une action hors périmètre et cherchez la trace du refus. Un garde-fou qu'on n'a jamais vu refuser est un garde-fou dont on ignore l'état — et l'expérience prend une demi-journée.
À retenir#
Dix bornes, du bac à sable à la révocation. Les cinq premières sont mécaniques et bon marché : capacités déclarées, ressources, quotas, coupure d'urgence, lignes rouges. Les cinq suivantes sont institutionnelles : périmètre signé, contrôles d'équipe, score qui bloque, barrière humaine, révocation.
Le principe commun tient en une phrase : une borne ne vaut que si elle est appliquée par autre chose que la bonne volonté de celui qu'elle borne. C'est ce renversement qui rend une IA autonome soutenable — et c'est aussi ce qui permet de lui confier davantage, pas moins.
Pour comprendre où ces bornes sont écrites, voir le manifeste couche par couche ; pour ce que la réglementation en attend, conformité AI Act.
Des agents autonomes que vous pouvez arrêter
Nous posons les bornes, câblons les points d'arrêt et livrons le poste de pilotage — clé en main.
Découvrir Orchessia