La convergence instrumentale



Au programme

Ce qu'est la convergence instrumentale
(avec et sans IA)
La convergence instrumentale
Retour sur le concept

La métaphore du voyage
Converger malgré une cible qui diffère

Ce n'est pas qu'un problème d’IA
Point didactique clé : exemples non-IA

Applicabilité

Focus sur le « Cliquet de Moloch »
Explication

Les expériences de pensée fondatrices
Asimov, l'usine à trombones, le génie
Azimov
L’alignement avant l'heure

Le génie de la lampe
Le problème du vœu

L'usine à trombones
L'expérience de pensée de Nick Bostrom (2003)

https://www.decisionproblem.com/paperclips/
Autres interprétations contemporaines
Le chemin vers l’IA

Au-Delà de l’IA
La convergence instrumentale dans la société
Le capitalisme algorithmique
Une usine à trombones géante ?

Maximiser la profit

Autres exemples
Quand les systèmes dérapent

Le problème de l'alignement
l'état de l'art en 2026
Première définition de l'alignement
Aligner une IA = garantir que ce qu'elle optimise correspond à ce que nous voulons

Caractériser le problème d’alignement
Comment s’assurer qu’une IA poursuive nos objectifs, et non les siens ?

Les techniques actuelles
5 techniques, 5 limites

Les protagonistes du sujet

Les signaux préoccupants observés (2016–2025)
Des biais aux agents autonomes : ce que montrent les cas documentés

Le paroxisme : L’IA Superintelligente
Et si l’IA devenait trop intelligente pour nous ?

Et après ?
Ce que l'open source et la gouvernance peuvent y faire
Comment éviter la catastrophe ?
Aligner les systèmes… avant qu’il ne soit trop tard

Le rôle ambivalent de l'open source
Position nuancée

Conclusion
