Diskriminierung durch künstliche Intelligenz – ein dringendes Thema

Datenbestände sind oft nicht (Vor-)Urteilslos – KI-Systeme, die darauf basieren, daher auch nicht. Die Spannweite von Auswirkungen reicht dabei von scheinbar intelligenten Seifenspendern, die jedoch nur Menschen mit weißer Hautfarbe Seife geben, bis hin zu KI-Systemen, die bei Bewerbungen für Führungspositionen Männer bevorzugen.  Bei einem interaktiven Workshop im Rahmen des World Usability Day (WUD) Stuttgart sowie auf der UIG-Tagung wurden gemeinsam mit Gruppen von ca. 15 Personen erkundet, wo Diskriminierung im Zusammenhang mit KI auftreten kann oder könnte. Wir haben gemeinsam diskutiert, wie sich das vermeiden lässt, und wie NutzerInnen auch in solchen Situationen ein möglichst positives Erleben im Zusammenhang mit KI-Systemen haben können. Der Workshop auf dem WUD wurde durchgeführt von JJ Link und Anne Elisabeth Krüger vom Fraunhofer IAO. Bei der Vorbereitung und Dokumentation des Workshops unterstützte die Studentin Helena Dadakou. Den Workshop auf der UIG Tagung führte JJ Link durch.

Das übergreifende Fazit der Workshops lautet: 

• Diversität beginnt im Bewusstsein
• In der Technik schreiben sich unsere Vorstellungen fort (preexisting-biases)
• Handeln fängt bei dir an!

Hier eine detaillierte Zusammenfassung des Vorgehens und der Ergebnisse der Workshoptage:

Was bedeutet Diskriminierung überhaupt?

Zunächst wollten wir von den TeilnehmerInnen erfahren, was Diskriminierung für sie persönlich bedeutet. Mithilfe eines Warm UPs (Warm UP Set des Fraunhofer IAO) und der Leitfrage “Was bedeutet Diskriminierung für dich?” sollten alle TeilnehmerInnen mithilfe eines Objekts, das sie in ihrer Umgebung finden konnten, diese Frage beantworten.  Dabei dienten schwarze und weiße Kugelschreiber symbolisch für Rassismus, Bügeleisen für unbezahlte Arbeit, Kleidung als Symbol für Herkunft und so weiter. Gleichzeitig wurden aber auch bunte Pralinen für die Vielfalt und ein positives Miteinander und die Inklusion aller, unabhängig von Einschränkungen oder anderen Merkmalen genannt. Dies zeigte auch die Spannweite des Themengebietes auf und leitete über zu den Inhalten des sich anschließenden Impulsvortrages zu den Themen Diskriminierung und Diversität.

Fazit: Am Anfang des Workshops ist es wichtig zu verstehen, was die einzelnen TeilnehmerInnen unter den Begriffen verstehen und welche Haltung sie dazu haben. So kann man sie am besten thematisch abholen und ihre Sichtweisen beachten.

Theoretischer Hintergrund zu Diskriminierung und Diversität

Unter der These „Diversitätsbewusstsein bzw. eine diskriminierungskritische Haltung fördert Diskriminierungsarmut“ wurden im Rahmen eines Impulsvortrages organisationale, äußere wie innere Diversitäts-Dimensionen, sowie Beispiele verschiedener Diskriminierungsarten erläutert. Während offene oder direkte Diskriminierung leicht zu erkennen ist, werden verdeckte oder indirekte, sowie strukturelle und institutionelle Diskriminierung oft nicht bewusst wahrgenommen (vgl. Abbildung). Sie sind somit schwerer zu erfassen und zu beseitigen. Eine intersektionale Betrachtung hilft zu verstehen, dass manche Menschen mehreren Diskriminierungsrisiken gleichzeitig ausgesetzt sind, und diese sich gegenseitig verstärken.

Fazit: Eine Sensibilisierung sowie öffentliche Thematisierung zur Intersektionalität von Diskriminierungen sowie, verschiedenen Formen von Diskriminierung ist sehr wichtig, damit auch Personen, die keine persönliche Erfahrung damit haben, das Thema und dessen Relevanz verstehen können.

Relevanz des Themas für Software-Entwicklung und Design

Häufig fehlt ein Bewusstsein für die Diversität der späteren NutzerInnen und ihren Diskriminierungsrisiken. Leider gehen bei der Entwicklung und dem Design von Software- EntwicklerInnen und GestalterInnen oftmals von ihren eigenen Erfahrungen und Voraussetzungen (“I-Methodology”) aus. Erst, wenn wir es schaffen diese EntwicklerInnen und GestalterInnen von Software für Diversität und Diskriminierung allgemein zu sensibilisieren, können wir es schaffen, die Abbildung dieser diskriminierenden Strukturen in der Software zu vermeiden.

Ein kurzer Blick auf den menschzentrierten Gestaltungsprozess nach DIN EN ISO 9241-210 zeigt, dass hier eigentlich schon viele gute Möglichkeiten für diese Sensibilisierung angelegt sind. Die ausreichende Einbindung der NutzerInnen und damit potenziell diskriminierten Personen, ist ein wesentlicher Faktor, um interaktive Systeme wirklich an ihren Anforderungen und Bedürfnissen auszurichten. Leider müssen bei der Einbindung von NutzerInnen in der Praxis oft Kompromisse gemacht werden: Zeit und Budget sind knapp und schnell kommt das Entwicklungs- und Designteam an die Grenzen dessen, was an Kommunikation, Test und Iterationen mit NutzerInnen empfehlenswert ist. Wenn die Einbindung von NutzerInnen nicht immer optimal möglich ist, kann im ersten Schritt auch eine diverse Zusammensetzung der EntwicklerInnen und GestalterInnen helfen, verschiedene Diskriminierungsarten aufzudecken – hier gilt je mehr Perspektiven, desto besser.

Fazit: Die Sensibilisierung von EntwicklerInnen und GestalterInnen interaktiver Systeme für Diskriminierung und Diversität ist wichtig, damit diskriminierende Strukturen in der Software vermieden werden können. Eine diverse Zusammensetzung des Design- und Entwicklungsteams sowie die aktive Einbindung von NutzerInnen ist hierfür eine wichtige Voraussetzung.

Interaktive Gruppenarbeit zum Aufbau von Empathie zur Sensibilisierung von Diversität und Diskriminierung im Zusammenhang mit Künstlicher Intelligenz

Im Rahmen von Gruppenarbeiten wurden zwei fiktive Szenarien zum Thema Diskriminierung im Zusammenhang mit KI bearbeitet:

• Eine Schwarze Person bekommt keine Seife an einem Seifenspender, welche Seife automatisch aufgrund von Merkmalen der Person ausgibt. Eine Weiße Person bekommt direkt Seife. Hintergrund: Die KI des Seifenspenders wurde vermutlich fast ausschließlich mit weißen Personen trainiert. (Link: twitter.com/nke_ise/status/897756900753891328).
• Eine Frau und ein Mann fahren Auto und nutzen ein Navigationssytem mit Sprachsteuerung. Die Sprachsteuerung erkennt die Spracheingaben der Frau nicht, die des Mannes jedoch sofort. Möglicher Hintergrund: Die KI wurde mit männlichen Stimmen trainiert.

Zunächst wurde eine Persona, der potenziell diskriminierten Person, mithilfe von einer Empathy-Map erstellt. Hierfür sollten sich die TeilnehmerInnen zunächst in die Diskriminierungssituation an sich (akute Dysfunktion des Systems) und anschließend in den Schlüsselmoment der Feststellung, dass es sich um eine systemische Diskriminierung handelt, hineinversetzen. Anschließend erfolgte ein Brainstorming zur diskriminierungsarmen Gestaltung und einem potenziell positiven Erleben für alle NutzerInnen trotz Fehleranfälligkeit von technischen Systemen. Zum Abschluss wurde diskutiert, was die TeilnehmerInnen des Workshops in ihrem Arbeitsalltag (z.B. bei der Entwicklung von Software) selbst tun können, um diese Diskriminierungssituationen zu vermeiden.

Fazit: Es gibt zwei wesentliche Handlungsoptionen für EntwicklerInnen und GestalterInnen, um Diskriminierungen im Zusammenhang mit KI zukünftig zu vermeiden. Einerseits das Einbauen von Feedback-Schleifen und andererseits das Infragestellen der Mitwirkenden bei der Entwicklung von interaktiven Systemen. Die Leitfrage “Wer ist nicht hier?” mit Bezug auf die Arbeitsgruppe als auch auf die NutzerInnen soll helfen, den eigenen Blick zu erweitern und frühzeitig den Ausschluss von NutzerInnen aufgrund bestimmter Merkmale zu erkennen und das damit verbundene softwarebasierte Diskriminierungsrisiko im Optimalfall zu verhindern.