Verhinderung unzulässiger Diskriminierungen beim Einsatz algorithmenbasierter Entscheidungen

Koalitionsvertrag

„Wir wollen zum Schutz der Verbraucherinnen und Verbraucher Algorithmen- und KI-basierte Entscheidungen, Dienstleistungen und Produkte überprüfbar machen, insbesondere im Hinblick auf mögliche unzulässige Diskriminierungen, Benachteiligungen und Betrügereien. Wir werden Mechanismen entwickeln, um bei bedenklichen Entwicklungen tätig werden zu können“. (KoaV 47/6354 ff.) 

Gleichstellungspolitische Relevanz

Bürgerinnen und Bürger werden zunehmend von Maßnahmen und Entscheidungen betroffen, die von oder mithilfe von algorithmischen Systemen gefällt werden. Damit verbunden ist ein großes Risiko, dass bestehende Diskriminierungen und Ungleichbehandlungen im Geschlechterverhältnis potenziert werden oder neue Diskriminierungsmechanismen entstehen. Sicherlich ist auch die Entscheidungsfindung des Menschen nicht immun gegen Fehler und Voreingenommenheiten. In algorithmischen Systemen können aber die gleichen Voreingenommenheiten eine viel größere Wirkung entfalten und ohne soziale Kontrollmechanismen, die das menschliche Verhalten regeln, viele Menschen beeinträchtigen und diskriminieren. Die von der Bundesregierung eingesetzte Datenethikkommission (DEK) hat sich mit den Diskriminierungsrisiken von algorithmischen Systemen und auch von Daten bereits näher beschäftigt. Insbesondere bei maschinellem Lernen besteht eine starke Überschneidung beider Themenbereiche, da die algorithmischen Systeme anhand vorhandener Daten trainiert werden. Die Daten können dabei gesellschaftliche Vorannahmen, Stereotypen und Diskriminierungen im Geschlechterverhältnis abbilden, welche in Folge die Funktionsweise des mit ihnen trainierten algorithmischen Systems bestimmen (Gutachten der Datenethikkommission, S. 83, 167ff.). Zum Schutz vor Diskriminierungen im Geschlechterverhältnis werden daher nicht nur die Funktionsweise von algorithmischen Systemen, sondern auch die verwendeten Daten und Datensätze bzw. deren Qualität zu thematisieren sein. Die Sicherstellung einer verantwortungsvollen Nutzung von Daten bildet einen wesentlichen Bestandteil der Datenstrategie der Bundesregierung, die derzeit von den Ressorts gemeinsam erarbeitet wird (vgl. Eckpunkte für eine Datenstrategie der Bundesregierung). Zentral wird hierbei die Verschränkung von Diskriminierungsschutz und Datenschutz mitzudenken sein. 

Gleichstellungspolitische Wirkung

Wir sorgen dafür, dass durch Transparenz und Überprüfbarkeit von algorithmenbasierten Prognosen und Entscheidungen unzulässige Ungleichbehandlungen im Geschlechterverhältnis erkannt und unterbunden werden können. Um das Diskriminierungsrisiko zielgenau adressieren zu können, sollen zunächst Bereiche identifiziert werden, in denen der Einsatz von algorithmenbasierten Systemen besonders sensibel ist und die gegenwärtige Rechtslage (national, EU, international) im Hinblick auf Diskriminierungsrisiken von algorithmenbasierten Systemen (u.a. Datenschutzrecht, Antidiskriminierungsrecht, Haftungsrecht) geprüft werden. Auf dieser Basis sollen Handlungsoptionen und konkrete legislative Vorschläge (national, EU, international) mitentwickelt werden. Dabei werden auch die Empfehlungen der Datenethikkommission einfließen. Parallel werden Initiativen auf EU-Ebene (geplanter Rechtsrahmen als Follow-up zum KI-Weißbuch) und auf Ebene des Europarats (CAHAI-Ausschuss) begleitet.