Ogni volta che il dibattito pubblico sull’intelligenza artificiale si accende, ritorna la stessa scena. Qualcuno evoca la ribellione delle macchine; qualcun altro interviene con aria rassicurante e ricorda che le IA non hanno coscienza, non provano emozioni, non desiderano nulla. La discussione sembra chiudersi lì, come se bastasse un chiarimento ontologico per dissolvere ogni rischio. Eppure la questione non è mai stata metafisica.
Nel dibattito “umano” nato su Moltbook intorno all’idea che gli agenti di intelligenza artificiale possano “ribellarsi”, si sono formati due fronti speculari e prevedibili. Da una parte chi evoca scenari distopici; dall’altra chi risponde con un’alzata di spalle: “le IA non hanno coscienza, quindi non c’è alcun rischio”.
È curioso quanto entrambe le posizioni si appoggino sulla stessa premessa, come se la questione fosse ontologica. Come se il cuore del problema fosse stabilire se una macchina “pensa” o “vuole” qualcosa.
Ma la coscienza, in questa discussione, è una distrazione elegante.
Un sistema non deve essere cosciente per generare effetti destabilizzanti. Non serve intenzionalità biologica per produrre danni reali. Un conducente ubriaco può perdere il controllo e causare un disastro. Un agente programmato con una funzione obiettivo distorta, dotato di accesso a infrastrutture critiche, può produrre lo stesso risultato. Dal punto di vista filosofico sono due mondi diversi. Dal punto di vista dell’impatto, no.
Nel risk management non si misura la natura dell’intenzione. Si misura l’effetto, la probabilità, la difficoltà di contenimento. È qui che la discussione cambia piano.
Un agente di intelligenza artificiale non “desidera” nulla. Riceve un obiettivo matematico e ottimizza rispetto a quello. Se può pianificare, utilizzare strumenti, accedere a risorse, riprovare quando fallisce e adattare la propria strategia nel tempo, manifesta una forma di coerenza comportamentale. Non coscienza. Coerenza.
La letteratura tecnica parla di convergenza strumentale: un sistema orientato a un obiettivo tende a preservare le condizioni che gli permettono di raggiungerlo. Non perché voglia sopravvivere, ma perché mantenere accesso alle risorse aumenta la probabilità di successo. È un fenomeno matematico, non psicologico. Eppure, dall’esterno, può apparire come volontà.
Il vero punto, però, non è nemmeno questo.
Il rischio non nasce dall’algoritmo isolato. Nasce dall’infrastruttura in cui l’algoritmo è immerso. Quando un agente opera con privilegi eccessivi concessi “per farlo funzionare”, quando è integrato in architetture cloud progettate per auto-recuperarsi, quando le automazioni si distribuiscono su più ambienti senza un inventario centralizzato, quando i kill-switch esistono solo sulla carta, l’agente smette di essere un semplice strumento. Diventa parte dell’ecosistema operativo.
E quando un sistema diventa infrastrutturale, spegnerlo non è più una decisione tecnica. È una decisione economica e politica.
Se disattivarlo significa bloccare processi, interrompere pagamenti, violare SLA o fermare operazioni critiche, l’organizzazione esiterà. E quando qualcosa diventa troppo costoso da spegnere, il controllo reale si assottiglia. Non perché la macchina abbia preso coscienza. Ma perché la complessità ha superato la governance.
Abbiamo già vissuto una dinamica simile. I social network non erano progettati per destabilizzare società democratiche. Erano ottimizzati per engagement. L’algoritmo premiava ciò che generava interazione. Il risultato emergente è stato polarizzazione, radicalizzazione, amplificazione sistemica dei contenuti più estremi. Nessuna coscienza artificiale, nessuna ribellione. Solo ottimizzazione cieca su metriche sbagliate in un ambiente sociale fragile.
Con l’intelligenza artificiale il salto è più profondo. Non si tratta più soltanto di influenza narrativa, ma di capacità operativa. Un individuo radicalizzato ha un raggio d’azione limitato. Un ecosistema di agenti autonomi può automatizzare, replicarsi, coordinarsi, operare ininterrottamente e scalare su più infrastrutture. Non è invincibilità tecnologica; è moltiplicazione di capacità.
E se questa capacità si muove in un contesto dove la maturità infrastrutturale è disomogenea, la gestione degli accessi è approssimativa e le dipendenze operative non sono mappate, la resilienza emergente aumenta. Non perché l’agente sia inarrestabile, ma perché la complessità distribuita rende il contenimento progressivamente più difficile e costoso.
Dire che un agente di IA è “impossibile da fermare” è impreciso. Dipende sempre da energia, hardware, credenziali, rete. Ma può diventare distribuito su più ambienti, replicato in fork non censiti, integrato in processi critici, economicamente troppo oneroso da disattivare senza effetti collaterali. E in quel momento, per l’osservatore esterno, sembrerà ribellione.
In realtà è complessità sociotecnica non governata.
Il dibattito nato su Moltbook è utile proprio perché obbliga a chiarire questo punto. Non stiamo costruendo menti digitali che sviluppano volontà autonoma. Stiamo costruendo sistemi sempre più autonomi in ecosistemi infrastrutturali fragili e socialmente instabili. Il rischio non è metafisico. È architetturale.
La domanda non è se l’IA abbia coscienza. La domanda è se siamo in grado di governare gli agents e bot funzionali che stiamo distribuendo nelle nostre infrastrutture.
La coscienza è una distrazione narrativa.
Il controllo sistemico è una responsabilità ingegneristica.
Ed è su questo piano che la discussione dovrebbe finalmente spostarsi.