Perché l’intelligenza artificiale può penalizzare i bambini

La digitalizzazione può dare un importante contributo al miglioramento delle pari opportunità nel campo della formazione. In tale contesto, i bambini entrano sempre più spesso in contatto con sistemi algoritmici e di IA – giocattoli basati sull’IA, sistemi di apprendimento personalizzati e algoritmi utilizzati dai social media. Tuttavia, tali sistemi possono anche avere effetti negativi e, tra l’altro, acuire le disparità riproducendo pregiudizi che, a lungo termine, possono condizionare le opportunità future e le condizioni di vita dei bambini.

In molte scuole, anche in Svizzera, si utilizzano l’IA e sistemi algoritmici – ad esempio per la valutazione delle prestazioni, l’apprendimento personalizzato, la sorveglianza durante gli esami o l’assegnazione delle classi scolastiche. Ad esempio, molti istituti scolastici utilizzano «sistemi di apprendimento adattivi», cioè programmi per computer che dovrebbero adattare automaticamente gli esercizi alle prestazioni di allieve e allievi. Questi programmi possono effettivamente offrire un supporto mirato e contribuire a una maggiore parità di opportunità, ma possono acuire i pregiudizi esistenti. A confermarlo è anche uno studio dell’Istituto Olandese per i Diritti Umani, il quale evidenzia che i sistemi di apprendimento basati sull’IA possono penalizzare determinate tipologie di allievi, sebbene il loro compito sia in realtà quello di offrire loro contenuti formativi personalizzati. Infatti, le alunne e gli alunni provenienti da famiglie a basso reddito o i cui genitori o nonni sono immigrati nei Paesi Bassi ricevevano compiti più semplici, indipendentemente dalle loro prestazioni. Lo studio ha mostrato anche che i sistemi di apprendimento personalizzato possono avere difficoltà nel valutare correttamente il livello di un bambino. Un esempio può essere il caso di un bambino che apprende in un modo diverso (ad es. in presenza di ADHD, legastenia o autismo) oppure che utilizza parole differenti rispetto al gruppo di scolari per il quale il sistema è stato allenato. Se in fase di sviluppo e test non vengono prese adeguatamente in considerazione le diverse esigenze dei bambini, l’IA e gli algoritmi possono acuire ulteriormente le situazioni di svantaggio esistenti, sistematizzandole e diffondendole. Ciò può causare discriminazioni e disuguaglianze a livello di opportunità.

Spesso, l’accesso all’istruzione formale superiore dipende dalla valutazione delle prestazioni di allieve e allievi. Tuttavia, sempre più frequentemente, la valutazione viene effettuata con l’ausilio di sistemi basati sull’IA o addirittura direttamente da tali sistemi. Si tratta di un metodo che può avere esiti negativi e consolidare disuguaglianze socioeconomiche già esistenti. In Gran Bretagna, ad esempio, durante la pandemia di COVID-19 sono state cancellate sessioni di esami i cui risultati determinano chi ha accesso all’università. In sostituzione, il governo britannico ha stabilito che i risultati venissero calcolati sulla base di un algoritmo. Il sistema utilizzava lo storico dei risultati degli esami svolti in passato presso le scuole. Per questo motivo, molti allievi e allieve con buone prestazioni ma provenienti da scuole svantaggiate hanno ricevuto voti troppo bassi. Al contempo, allieve e allievi con prestazioni nella media ma provenienti da scuole privilegiate (in particolare scuole private) hanno ottenuto tendenzialmente voti migliori. L’algoritmo ha quindi penalizzato le allieve e gli allievi di strati sociali a più basso reddito. 

Ormai, in un numero di strutture scolastiche sempre maggiore gli esami online vengono sorvegliati da tool basati sull’IA (software di proctoring), i quali possono penalizzare le allieve e gli allievi sulla base del colore della pelle o di eventuali disabilità. L’Istituto Olandese per i Diritti Umani ha infatti constatato che la Libera Università di Amsterdam ha discriminato alcuni studenti mediante l’impiego di software per il riconoscimento facciale. Il sistema segnalava con una frequenza sproporzionata persone con la pelle più scura come potenziali truffatori. Nel caso degli studenti disabili, tale condizione può essere sufficiente per essere segnalati come sospetti truffatori agli esami. Infatti, dato che una disabilità può influire, oltre che sull’aspetto, anche sul modo in cui una persona muove i propri occhi e il proprio cursore, con il software per gli esami virtuali c’è il rischio che gli studenti disabili vengano classificati come sospetti. Errori di questo tipo possono aggravare ulteriormente paure e traumi.

A causa della mancanza di regolamentazioni sulla trasparenza, attualmente è molto difficile scoprire dove, perché e con quali effetti sistemi di questo tipo vengono impiegati in Svizzera. Non si può tuttavia escludere che in Svizzera i sistemi algoritmici e basati sull’IA influenzino negativamente la vita di bambini e adolescenti. Nell’Atlante dell’automazione, AlgorithmWatch CH registra esempi di sistemi algoritmici e basati sull’IA che vengono utilizzati in Svizzera, tra le altre cose anche nelle scuole.

Anche in Svizzera vengono impiegati sistemi algoritmici con l’intento di rafforzare le pari opportunità. Dal 2023 a Uster viene utilizzato un algoritmo per ottimizzare il mix sociale delle classi scolastiche, garantendo così un valore aggiunto per tutti gli allievi e le allieve. Approcci di questo tipo possono essere molto promettenti poiché gli algoritmi possono essere molto efficaci nell’elaborazione di grandi quantità di dati e nel riconoscere schemi – anche di discriminazione. 

Affinché i sistemi algoritmici possano effettivamente contribuire alla riduzione delle disparità, essi devono essere in primo luogo concepiti a tale scopo e, in secondo luogo, anche testati in modo approfondito. Nello stato federale del Nevada è stato utilizzato un sistema basato sull’IA per prevedere quali allieve e allievi avrebbero potuto incontrare difficoltà nel conseguire il diploma scolastico. Le autorità scolastiche responsabili speravano che un nuovo sistema avrebbe rappresentato un passo avanti verso una migliore assistenza ai bambini svantaggiati. Tuttavia, il sistema basato sull’IA ha calcolato che la precedente stima dello stato federale riguardo al numero di bambini che avrebbero avuto difficoltà a scuola era troppo elevata. L’algoritmo ha quindi ridotto il numero dei bambini in questione a meno della metà, escludendo dal gruppo a rischio le allieve e gli allievi senzatetto. Prima, nel Nevada, le allieve e gli allievi provenienti da famiglie a basso reddito erano considerati «a rischio» di problemi in ambito accademico e sociale. L’algoritmo invece ha alzato l’asticella a un livello molto superiore. 

Secondo l’ultimo studio nazionale di HBSC sulle attività online dei giovani, in Svizzera l’80% dei 15enni utilizza quotidianamente piattaforme dei social media, sulle quali possono imbattersi anche in contenuti problematici. Uno studio mostra infatti che gli algoritmi dei social media rafforzano i contenuti estremistici, come ad esempio i post misogini. In questo modo tali ideologie discriminanti vengono sdoganate per i giovani. Inoltre, gli algoritmi sui social media possono avere anche effetti sulla salute psichica e fisica di giovani e adolescenti. Negli Stati Uniti, genitori, scuole e autorità hanno avviato cause contro Instagram, Snapchat e altre piattaforme sulla base dei crescenti problemi psichici dei giovani. Secondo la SRF, la studentessa Alexis Spence ha riferito che l’algoritmo di Instagram le avrebbe mostrato inizialmente contenuti relativi a fitness e modelle che nel corso del tempo si sarebbero trasformati in post sui disturbi alimentari. Alexis ha così iniziato a sentirsi sempre più brutta e inutile e, alla fine, ha dovuto essere curata presso una clinica psichiatrica per anoressia e pensieri suicidi. Anche in Francia sette famiglie hanno fatto causa a TikTok dopo il suicidio di due teenager. Scientificamente, al momento non esistono prove definitive della misura e del modo in cui i social media produrrebbero effetti negativi sulla salute psichica di giovani adolescenti. Per questo è essenziale consentire lo svolgimento di più ricerche al riguardo e garantire condizioni quadro (dalla sensibilizzazione alla prevenzione nei confronti di giovani, adolescenti e genitori, fino alla regolamentazione delle piattaforme) atte a impedire situazioni come quelle descritte.

Inoltre, bambini e adolescenti sono particolarmente colpiti dai contenuti dannosi come ad esempio i deep fake (contenuti, come foto e video, generati dall’IA ma che sembrano realistici), dai quali hanno più difficoltà a proteggersi. In Spagna ha fatto scalpore un caso di questo tipo: in una cittadina spagnola, diversi allievi e allieve hanno utilizzato modelli generativi per creare foto di nudo manipolate delle loro compagne e dei loro compagni di classe. Gli effetti negativi di questi contenuti generati dall’IA diventano più gravi in particolare quando gli algoritmi dei social media li rafforzano rendendo virali tali contenuti.

Questi esempi evidenziano come, già oggi, l’impiego di algoritmi e IA non contribuisca sempre ad aumentare le pari opportunità, bensì abbia anche effetti negativi sui giovani e i loro diritti. Oltre ai bambini e agli adolescenti, l’impiego di sistemi di questo tipo può causare la discriminazione di altri gruppi sociali. Nella serie «Discriminazione 2.0: in che modo gli algoritmi discriminano le persone» AlgorithmWatch CH e humanrights.ch, insieme ad altre organizzazioni, fanno luce sui più svariati casi di discriminazione algoritmica. Per far conoscere i rischi di penalizzazione sistematica dei bambini e degli adolescenti da parte di algoritmi e IA, abbiamo bisogno del tuo sostegno!