So kann Künstliche Intelligenz Kinder benachteiligen

Die Digitalisierung kann einen wichtigen Beitrag dazu leisten, die Chancengerechtigkeit im Bildungsbereich zu erhöhen. Dabei kommen Kinder zunehmend auch mit algorithmischen und KI-Systemen in Berührung – KI-gestützte Spielzeuge, personalisierte Lernsysteme oder Social-Media-Algorithmen. Diese Systeme können jedoch auch negative Auswirkungen haben und unter anderem Ungleichheiten verstärken und Voreingenommenheiten reproduzieren, die langfristige Auswirkungen auf die Zukunftschancen und Lebensumstände von Kindern haben.

In vielen Klassenzimmern, unter anderem in der Schweiz, werden KI und algorithmische Systeme eingesetzt, etwa für Leistungsbewertungen, personalisiertes Lernen, Prüfungsaufsicht oder Schulklassenzuweisungen. Viele Schulen verwenden beispielsweise «adaptive Lernsysteme», also Computer-Programme, die Übungen automatisch an die Leistungen der Schülerinnen und Schüler anpassen sollen. Diese Programme können zwar eine gezielte Unterstützung bieten und zu mehr Chancengerechtigkeit beitragen, sie können aber auch bestehende Vorurteile verstärken. Das bestätigt auch eine Studie des niederländischen Instituts für Menschenrechte. Die Studie weist darauf hin, dass KI-Lernsysteme bestimmte Schülerinnen und Schüler innen benachteiligen können, obwohl sie ihnen eigentlich personalisierteBildungsinhalte bieten sollen: So bekamen Schüler/-innen aus einkommensschwachen Familien oder Schüler/-innen, deren Eltern oder Grosseltern in die Niederlande eingewandert sind, einfachere Aufgaben – unabhängig von ihren Leistungen. Die Studie zeigte auch, dass personalisierte Lernsysteme Schwierigkeiten haben können, das Niveau eines Kindes richtig einzuschätzen. Dies kann beispielsweise der Fall sein, wenn ein Kind auf eine andere Art und Weise lernt (etwa bei ADHS, Legasthenie oder Autismus) oder andere Wörter verwendet als die Gruppe der Lernenden, auf die das System trainiert ist. Wenn bei der Entwicklung und dem Testen von KI und Algorithmen die unterschiedlichen Voraussetzungen von Kindern nicht gebührend berücksichtigt werden, können sie bestehende Benachteiligungen verstärken, indem sie diese systematisieren und verbreiten. Dies kann zu Diskriminierungen und Chancenungleichheit führen.

Der Zugang zu höherer formaler Bildung hängt oft von der Beurteilung der Leistungen der Schülerinnen und Schüler ab. Immer öfter wird dabei die Leistungsbewertung durch KI-Systeme unterstützt oder gar vorgenommen. Das kann schiefgehen und sozioökonomische Ungleichheiten verfestigen. Zum Beispiel fielen in Grossbritannien während der Covid-19-Pandemie die Prüfungen aus, deren Resultate bestimmen, wer Zugang zu Universitäten erhält. Stattdessen liess die britische Regierung die Resultate anhand eines Algorithmus berechnen. Das System bediente sich an historischen Prüfungsresultaten der Schulen. Das führte dazu, dass viele Schülerinnen und Schüler mit guten Leistungen aus schlechter gestellten Schulen zu tiefe Noten erhielten. Gleichzeitig erhielten Schülerinnen und Schüler mit mittelmässigen Leistungen aus privilegierten Schulen (insbesondere Privatschulen) tendenziell bessere Noten. Somit benachteiligte der Algorithmus Schülerinnen und Schüler aus einkommensschwachen Schichten. 

In immer mehr Bildungseinrichtungen werden Online-Prüfungen inzwischen durch KI-Tools (Proctoring-Software) überwacht. Solche Tools können Schülerinnen und Schüler aufgrund ihrer Hautfarbe oder Behinderung benachteiligen. So hat das niederländische Institut für Menschenrechte festgestellt, dass die Freie Universität Amsterdam Studierende durch den Einsatz einer Gesichtserkennungssoftware gegen Betrugsversuche bei Prüfungen diskriminiert hat. Das System meldete überproportional häufig Menschen mit einer dunkleren Hautfarbe als potenzielle Betrüger/-innen. Für Studierende mit einer Behinderung kann allein die Tatsache ihrer Behinderung ausreichen, um bei Prüfungen als betrugsverdächtig eingestuft zu werden. Da sich eine Behinderung auf die Art und Weise auswirken kann, wie eine Person sich, ihre Augen oder ihren Cursor bewegt und wie sie aussieht, besteht bei virtueller Prüfungssoftware ein Risiko, dass Studierende mit einer Behinderung als verdächtig eingestuft werden. Solche Fehler können Ängste und Traumata noch verschlimmern.

Aufgrund fehlender Transparenzregelungen ist es aktuell sehr schwierig herauszufinden, wo, warum und mit welcher Wirkung solche Systeme in der Schweiz eingesetzt werden. Es ist jedoch nicht auszuschliessen, dass sich algorithmische und KI-Systeme negativ auf das Leben von Kindern und Jugendlichen in der Schweiz auswirken. Im Atlas der Automatisierung verzeichnet AlgorithmWatch CH Beispiele von algorithmischen und KI-Systemen, die in der Schweiz verwendet werden, unter anderem auch in Schulen.

Auch in der Schweiz werden algorithmische Systeme mit der Absicht, die Chancengerechtigkeit zu stärken, eingesetzt. Seit 2023 wird in Uster ein Algorithmus verwendet, um die soziale Durchmischung von Schulklassen zu optimieren und so für alle Schülerinnen und Schüler einen Mehrwert zu ermöglichen. Solche Ansätze können vielversprechend sein, denn Algorithmen sind besonders gut darin, viele Daten zu verarbeiten und Muster zu erkennen – auch Diskriminierungsmuster. 

Damit algorithmische Systeme tatsächlich zum Abbau von Ungleichheiten beitragen können, müssen sie erstens spezifisch zu diesem Zweck konzipiert und eingesetzt und zweitens auch ausführlich getestet werden. Im US-Bundesstaat Nevada wurde ein KI-basiertes System eingesetzt, um vorherzusagen, welche Schülerinnen und Schüler Schwierigkeiten haben könnten, ihren Schulabschluss zu machen. Die verantwortlichen Bildungsbehörden hofften, dass ein neues System ein Schritt in Richtung einer besseren Betreuung benachteiligter Kinder sein würde. Das KI-System berechnete allerdings, dass die frühere Schätzung des Bundesstaates über die Anzahl der Kinder, die in der Schule Schwierigkeiten haben würden, zu hoch sei. Der Algorithmus reduzierte die Zahl der betroffenen Schüler/-innen dabei auf weniger als die Hälfte und schloss obdachlose Schüler/-innen aus der Risikogruppe aus. Zuvor galten in Nevada alle Schülerinnen und Schüler aus Familien mit niedrigem Einkommen als «gefährdet», akademische und soziale Probleme zu bekommen. Der Algorithmus legte die Messlatte viel höher. 

Gemäss der letzten nationalen Studie zu Online-Aktivitäten von Jugendlichen HBSC nutzen in der Schweiz über 80 Prozent der 15-Jährigen jeden Tag Social-Media-Plattformen. Auf Social Media können ihnen dabei auch problematische Inhalte begegnen. So zeigt eine Studie, dass Social-Media-Algorithmen extremistische Inhalte, wie etwa frauenfeindliche Beiträge, verstärken. Dadurch werden diskriminierende Ideologien für junge Menschen normalisiert. Social-Media-Algorithmen können ausserdem auch Auswirkungen auf die psychische und körperliche Gesundheit von Kindern und Jugendlichen haben. In den USA haben Eltern, Schulen und Behörden wegen steigenden psychischen Problemen von Jugendlichen gegen Instagram, Snapchat und weitere Plattformen gerichtliche Klagen eingereicht. Gemäss SRF berichtete die Studentin Alexis Spence, dass der Instagram-Algorithmus ihr zunächst Inhalte zu Fitness und Models anzeigte, die sich im Laufe der Zeit zu Beiträgen über Essstörungen entwickelten. Alexis fühlte sich zunehmend wertlos und hässlich. Schliesslich musste Alexis in einer psychiatrischen Klinik behandelt werden – magersüchtig und mit Suizidgedanken. Auch in Frankreich haben vor kurzem sieben Familien nach dem Suizid zweier Teenager gegen TikTok geklagt. In der Wissenschaft gibt es derzeit keine abschliessende Evidenz dazu, inwiefern und auf welche Art Social Media die psychische Gesundheit von Kindern und Jugendlichen beeinträchtigen. Deshalb ist zentral, dass mehr Forschung dazu ermöglicht wird – und Rahmenbedingungen (von Sensibilisierung und Prävention der Kinder und Jugendlichen und der Eltern bis zu Regulierungen der Plattformen) sichergestellt werden, um solche Schicksale zu verhindern. 

Kinder und Jugendliche sind zudem besonders von schädlichen Inhalten, wie etwa Deep Fakes (realistisch wirkende, aber KI-generierte Inhalte wie Fotos und Videos) betroffen und können sich weniger gut dagegen wehren. In Spanien sorgte ein solcher Fall für Schlagzeilen: In einer spanischen Kleinstadt haben mehrere Schülerinnen und Schüler generative Modelle verwendet, um manipulierte Nacktbilder ihrer Mitschüler/-innen zu erstellen. Die negativen Auswirkungen dieser KI-Inhalte verschärfen sich insbesondere dann, wenn genau solche Inhalte durch die Social-Media-Algorithmen verstärkt und massenhaft verbreitet werden.

Diese Beispiele verdeutlichen, wie der Einsatz von Algorithmen und KI bereits heute nicht immer die Chancengerechtigkeit erhöht, sondern auch negative Auswirkungen auf junge Menschen und ihre Rechte haben kann. Neben Kindern und Jugendlichen kann der Einsatz solcher Systeme viele weitere Bevölkerungsgruppen diskriminieren. In der Serie «Diskriminierung 2.0: Wie Algorithmen Menschen diskriminieren» beleuchten AlgorithmWatch CH und humanrights.ch zusammen mit weiteren Organisationen deshalb unterschiedlichste Fälle von algorithmischer Diskriminierung. Um den Risiken für systematische Benachteiligungen von Kindern und Jugendlichen durch Algorithmen und KI ein Gehör zu verschaffen, brauchen wir deine Unterstützung!