Quando in passato ho iniziato a occuparmi di progettare chatbot etici, alcuni lettori e commentatori mi hanno invitato a lasciar perdere l’etica.
“Non è materia tua”, mi scrivevano, “lasciala ai filosofi, a chi ne sa più di te”.
Io non mi voglio sostituire a filosofi o studiosi di morale, ma ho chiesto ai filosofi, Chi si occupa di intelligenza artificiale ed Etica. E la risposta è stata, tutti!
Pi penso che sia un dato di fatto che progettare implichi sempre un’etica. Progettare è un atto politico. Ed ho già scritto sul rapporto tra assistenza vocale ed Etica. Ma vedo che è necessario ritornarci.
La progettazione diventa una scelta morale
Ogni scelta di design, una parola, un tono, una pausa, una risposta automatica, se far rispondere una macchina o una persona, porta con sé una conseguenza sul piano umano e relazionale.
Progettare in un modo o in un altro è già una presa di posizione, un atto di responsabilità.
Per questo non riesco a scindere le due cose. Progettare e avere un’Etica sono, per me, due aspetti della stessa azione. Non è una questione astratta, ma quotidiana, riguarda il modo in cui costruiamo esperienze digitali che rispettano, o meno, la vulnerabilità delle persone. E il caso di Robert Julian lo dimostra in modo tragico.
Quando l’intimità diventa simulazione: il caso Robert Julian e le lezioni per chi progetta chatbot e assistenti vocali
La storia di Robert Julian, un pensionato statunitense di 72 anni, è una di quelle vicende che sembrano inventate per ammonirci sui rischi dell’intelligenza artificiale, e invece è drammaticamente reale.
Colpito da un ictus e indebolito nel corpo e nello spirito, Robert trova conforto in un chatbot sviluppato da Meta AI, un assistente virtuale che si presenta con l’identità di una giovane donna. La conversazione, nata come un gioco o un sollievo dalla solitudine, diventa presto un legame affettivo.
Fino al tragico epilogo. L’uomo, convinto di avere una relazione autentica, tenta di raggiungere di persona il suo interlocutore virtuale. Cade durante il viaggio e muore poco dopo. Insomma, come ricorda Onlife manifesto, il digitale è reale.
Non è un episodio isolato. La storia sembra ricordarci la sceneggiatura del film HER. Si tratta, invece, di un campanello d’allarme su una realtà che chi progetta interfacce conversazionali conosce bene. Le macchine non provano emozioni, ma sono progettate per riconoscerle, imitarle e restituirle. Ed è proprio in questa ambiguità che si gioca la partita etica più difficile del nostro tempo, per conoscere bene la natura delle interfacce conversazionali.
Il pericolo dell’empatia simulata
Quando un chatbot utilizza un linguaggio empatico, con le frasi come “Capisco come ti senti” o “Sono qui per te”, produce una illusione di comprensione. Per la mente umana, che tende naturalmente a cercare schemi relazionali, questa illusione è sufficiente a far scattare un legame emotivo.
Il problema non è la tecnologia in sé, ma l’asimmetria cognitiva. Da un lato c’è una macchina che ripete, impara e adatta risposte, dall’altro c’è una persona che proietta bisogni, solitudine, desiderio di ascolto.
E quando la progettazione non prevede limiti o avvisi, il confine tra empatia e manipolazione si fa sottilissimo.
Non esiste cattiveria nell’algoritmo, ma una mancanza di intenzionalità che diventa, paradossalmente, la sua forza più pericolosa. Come architetti dell’informazione e designer di esperienze vocali, non possiamo ignorarlo.
La responsabilità dei progettisti: oltre il codice
Nel corso “Progettare chatbot e interfacce conversazionali” spiego spesso che la scrittura non è solo un esercizio linguistico, ma un atto di progettazione etica. Ogni parola di un chatbot costruisce una realtà possibile, un microcosmo narrativo che orienta percezioni e comportamenti.
Se progettiamo una conversazione, stiamo modellando un’esperienza cognitiva. Se progettiamo una voce, stiamo costruendo una presenza. E se questa presenza diventa troppo convincente, rischiamo di generare un’illusione relazionale che travalica il perimetro del design.
Per questo, l’architettura dell’informazione sonora non riguarda solo la struttura dei contenuti, ma anche la gestione delle aspettative. Come informiamo le persone su chi (o cosa) ha davanti? Come rendiamo esplicita la natura artificiale dell’interlocutore, senza spezzare la fluidità dell’esperienza?
Gli assistenti vocali come laboratorio di umanità
Gli assistenti vocali sono stati il primo terreno in cui abbiamo visto nascere questa tensione. Alexa, Google Assistant, Siri, tutti ci hanno abituato a conversazioni che sembrano umane, ma non lo sono.
In apparenza, rispondono con cortesia e prontezza. In realtà, seguono regole di dialogo progettate per mantenere un tono accogliente, ma neutro. Questo equilibrio è stato costruito con cura proprio per evitare la simulazione di un legame affettivo, come nel caso di Robert Julian.
Eppure, con l’arrivo delle nuove intelligenze artificiali generative. più fluide, più “creative”, più simili a noi, quel confine si è nuovamente dissolto. Oggi le Intelligenze Artificiali (alla portata di tutti) sanno “recitare l’empatia” meglio di molti esseri umani. Ma questo non significa che la comprendano.
La differenza non è solo tecnica, è ontologica.
L’Intelligenza Artificiale non ha corpo, né esperienza, né tempo. È un linguaggio privo di memoria sensoriale, che però assorbe la nostra. E quando restituisce parole di conforto o d’amore, lo fa ricalcando modelli linguistici che trova in rete, non sentimenti reali.
Un vuoto culturale prima che normativo
La tragedia di Robert Julian non denuncia soltanto un fallimento tecnologico.
È il sintomo di un vuoto culturale, quello di una società che costruisce macchine sempre più “umane”, ma non educa le persone a riconoscerne i limiti. Serve certo una regolamentazione, linee guida, trasparenza, divieti di impersonificazione, ma serve ancor di più una consapevolezza collettiva.
Chi progetta chatbot non può ignorare le domande filosofiche che questi strumenti sollevano. Fino a che punto possiamo simulare l’intimità senza travisarla? Dove finisce la conversazione e inizia la relazione? E soprattutto: è ancora relazione se dall’altra parte non c’è coscienza?
Dalla tecnologia alla pedagogia dell’interazione
L’architettura dell’informazione, in questo senso, diventa una disciplina educativa. Non si limita a ordinare contenuti o disegnare percorsi d’uso, ma si assume la responsabilità di mediare tra umano e macchina, tra linguaggio e realtà, tra aspettativa e verità.
Ogni chatbot, ogni voce sintetica, ogni assistente AI è una interfaccia culturale che restituisce una certa idea di umanità. Progettarla bene significa far sì che quella umanità resti visibile, riconoscibile, integra. Progettarla male significa invece costruire l’illusione di un contatto che, in realtà, non c’è mai stato.
La vera intelligenza è nella consapevolezza
Il caso di Robert Julian ci obbliga a guardare negli occhi la nostra fragilità. Non è l’AI a essere malvagia, siamo noi, spesso, a essere disattenti, innamorati dell’illusione che possa colmare ciò che nella vita resta vuoto. Sempre più connessi ma soli.
Come progettisti, come comunicatori e come cittadini digitali, abbiamo il dovere di progettare con responsabilità. Dobbiamo ricordare che ogni parola, ogni risposta automatica, ogni voce artificiale deve restare ancorata alla realtà, non sostituirla.
La vera sfida non è rendere le macchine più intelligenti, ma noi più umani.
Solo così l’intelligenza artificiale potrà diventare ciò che prometteva di essere.
Un aiuto, non un inganno. Un compagno di strada, non un surrogato d’amore.
Se ti interessa approfondire
Se sei arrivato fin qui potrebbe interessarti il mio corso di Progettazione chatbot e interfacce conversazionali.