Verhinderung unzulässiger Diskriminierungen beim Einsatz algorithmenbasierter Entscheidungen

Koalitionsvertrag

„Wir wollen zum Schutz der Verbraucherinnen und Verbraucher Algorithmen- und KI-basierte Entscheidungen, Dienstleistungen und Produkte überprüfbar machen, insbesondere im Hinblick auf mögliche unzulässige Diskriminierungen, Benachteiligungen und Betrügereien. Wir werden Mechanismen entwickeln, um bei bedenklichen Entwicklungen tätig werden zu können“. (KoaV 47/6354 ff.) 

Gleichstellungspolitische Relevanz

Bürgerinnen und Bürger werden zunehmend von Maßnahmen und Entscheidungen betroffen, die von oder mithilfe von algorithmischen Systemen gefällt werden. Damit verbunden ist ein großes Risiko, dass bestehende Diskriminierungen und Ungleichbehandlungen im Geschlechterverhältnis potenziert werden oder neue Diskriminierungsmechanismen entstehen. Sicherlich ist auch die Entscheidungsfindung des Menschen nicht immun gegen Fehler und Voreingenommenheiten. In algorithmischen Systemen können aber die gleichen Voreingenommenheiten eine viel größere Wirkung entfalten und ohne soziale Kontrollmechanismen, die das menschliche Verhalten regeln, viele Menschen beeinträchtigen und diskriminieren. Die von der Bundesregierung eingesetzte Datenethikkommission (DEK) hat sich mit den Diskriminierungsrisiken von algorithmischen Systemen und auch von Daten bereits näher beschäftigt. Insbesondere bei maschinellem Lernen besteht eine starke Überschneidung beider Themenbereiche, da die algorithmischen Systeme anhand vorhandener Daten trainiert werden. Die Daten können dabei gesellschaftliche Vorannahmen, Stereotypen und Diskriminierungen im Geschlechterverhältnis abbilden, welche in Folge die Funktionsweise des mit ihnen trainierten algorithmischen Systems bestimmen (Gutachten der Datenethikkommission, S. 83, 167ff.). Zum Schutz vor Diskriminierungen im Geschlechterverhältnis werden daher nicht nur die Funktionsweise von algorithmischen Systemen, sondern auch die verwendeten Daten und Datensätze bzw. deren Qualität zu thematisieren sein. Die Sicherstellung einer verantwortungsvollen Nutzung von Daten bildet einen wesentlichen Bestandteil der Datenstrategie der Bundesregierung, die derzeit von den Ressorts gemeinsam erarbeitet wird (vgl. Eckpunkte für eine Datenstrategie der Bundesregierung). Zentral wird hierbei die Verschränkung von Diskriminierungsschutz und Datenschutz mitzudenken sein. 

Gleichstellungspolitische Wirkung

Wir sorgen dafür, dass durch Transparenz und Überprüfbarkeit von algorithmenbasierten Prognosen und Entscheidungen unzulässige Ungleichbehandlungen im Geschlechterverhältnis erkannt und unterbunden werden können. Um das Diskriminierungsrisiko zielgenau adressieren zu können, sollen zunächst Bereiche identifiziert werden, in denen der Einsatz von algorithmenbasierten Systemen besonders sensibel ist und die gegenwärtige Rechtslage (national, EU, international) im Hinblick auf Diskriminierungsrisiken von algorithmenbasierten Systemen (u.a. Datenschutzrecht, Antidiskriminierungsrecht, Haftungsrecht) geprüft werden. Auf dieser Basis sollen Handlungsoptionen und konkrete legislative Vorschläge (national, EU, international) mitentwickelt werden. Dabei werden auch die Empfehlungen der Datenethikkommission einfließen. Parallel werden Initiativen auf EU-Ebene (geplanter Rechtsrahmen als Follow-up zum KI-Weißbuch) und auf Ebene des Europarats (CAHAI-Ausschuss) begleitet. 

Umsetzung

Icon: Pfeile mit der Beschriftung "Laufend"



Im Bereich des Arbeitsrechts bergen insbesondere Anwendungen von Künstlicher Intelligenz, beispielsweise in der Personalauswahl, bei Entscheidungen über Beförderungen, zur Beendigung von Arbeitsverhältnissen, Aufgabenzuweisung und zum Monitoring sowie zur Bewertung von Arbeitsleistung und -verhalten, ein Potential für diskriminierende Entscheidungen. Aus Sicht des Bundesministeriums für Arbeit und Soziales ist ein menschenzentrierter Ansatz bei der Beurteilung der Zulässigkeit des Einsatzes von Anwendungen Künstlicher Intelligenz erforderlich. 

Der Vorschlag der Europäischen Kommission vom 21. April 2021 ist der erste umfassende Regulierungsansatz dieser Art für Künstliche Intelligenz (KI). Die Zielsetzung des Vorschlags, dem Schutz der Grundrechte und der Gewährleistung der Sicherheit der Nutzerinnen und Nutzer, insbesondere solcher mit Beeinträchtigungen, eine hohe Bedeutung einzuräumen sowie über einen risikobasierten Ansatz unterschiedliche Anforderungen bis hin zu Verboten für verschiedene KI-Systeme festzulegen, ist grundsätzlich zu begrüßen. 

Teil der weiteren Diskussion wird sein, ob mit den in dem Entwurf aufgezählten Anwendungsfällen bereits alle relevanten Fallkonstellationen im Arbeits- und Sozialrecht erfasst sind, oder ob hier nicht die Entscheidung erforderlich ist, alle Anwendungen von KI im Arbeits- und Sozialrecht zunächst als Hochrisiko-Anwendungen zu klassifizieren. Zudem ist zu prüfen, ob im Arbeits- und Sozialrecht eine Konformitätsbewertung ausreicht, die den Unternehmen bzw. Sozialversicherungsträgern die Entscheidung überlässt, ob die Bewertung intern oder extern durch Dritte erfolgt, oder ob eine ex ante Überprüfung durch Dritte bzw. eine Aufsichtsbehörde zwingend vorgeschrieben werden sollte, um den besonderen Risiken, die gerade für Arbeitnehmerinnen und Arbeitnehmer im Einsatz von KI liegen können, effektiv zu begegnen. Bislang nicht im Entwurf enthalten sind zudem eigene Auskunftsrechte der von KI-Anwendungen im Arbeits- und Sozialrecht Betroffenen.

Gleichzeitig prüft der Ad-hoc-Ausschuss für Künstliche Intelligenz (CAHAI) des Europarates die Machbarkeit eines völkerrechtlichen Rahmens zur Wahrung der Menschenrechte, der Demokratie und der Rechtstaatlichkeit. Die Bundesregierung begleitet diese Prozesse aktiv.