KI - aber sicher!

Über 60 % der Beschäftigten in Deutschland setzen KI-Tools bereits ein – oft ohne Vorgaben oder eigene vertiefte Kenntnisse der Materie. Das kann gehörig schief gehen, wie aus einem jüngst veröffentlichten Bericht von beck-aktuell zu entnehmen ist (https://rsw.beck.de/aktuell/daily/meldung/detail/ag-koeln-312f13025-ki-schriftsatz-anwalt-halluzinationen-berufsrecht).

Ein Anwalt (!) hatte einen KI generierten Schriftsatz an ein Gericht geschickt.. Darin enthalten: Fundstellen, Aufsätze und Kommentarfundstellen, die es nicht gab und Rechtsprechung zu vollkommen anderen Sachverhalten. Was war da passiert?

Offensichtlich hatte der Anwalt einen KI-generierten Schriftsatz ungeprüft übernommen. Es fehlten ihm wohl Kenntnisse darüber, dass KI-Systeme halluzinieren können. Forschende bezeichnen Halluzinationen als ein statistisches Phänomen oder führen diese auf unzureichende Trainingsdaten zurück. Da große Sprachmodelle kein vollständiges Wissen der Welt besitzen, wird fehlendes Wissen „hinzugedichtet“. Diese Eigenschaft von Sprachmodellen ermöglicht es, Anfragen an das Modell auf eine kreative Weise zu beantworten, anstatt ausschließlich auf vorhandenes Wissen zurückgreifen zu können. Allerdings führt dies auch dazu, dass eine Anfrage, auf die eine objektiv richtige Antwort existiert, dem Modell aber unbekannt ist, auf eine Weise beantwortet wird, die richtig erscheinen kann, jedoch nicht den Tatsachen entspricht.

Anlass genug für uns, erneut auf die gesetzliche Verpflichtung der Unternehmen hinzuweisen, die KI-Kompetenz ihres Personals sicherzustellen.

Die KI-VO verlangt, dass Mitarbeitende, die mit KI-Systemen arbeiten, entsprechend geschult werden müssen. Damit sollen Risiken minimiert, Missbrauch verhindert und ein verantwortungsvoller Umgang mit der neuen Technologie gewährleistet werden. KI-Kompetenz umfasst das Verständnis darüber, wie KI-Systeme funktionieren, welche Chancen und Risiken sie bergen und wie sie verantwortungsvoll eingesetzt werden können:

Allgemein bezieht sich KI-Kompetenz auf die Fähigkeit von Personen, KI-Systeme effektiv zu nutzen und zu verstehen. Dies umfasst technisches Wissen, Erfahrung, Ausbildung und Schulung im Umgang mit KI-Systemen.

Wenn in Ihrem Unternehmen KI eingesetzt wird, muss Ihr Personal über ein ausreichendes Maß an KI-Kompetenz verfügen, um die Systeme sicher und effektiv zu betreiben. Hierzu zählen auch Kenntnisse über den Datenschutz, die rechtlichen Rahmenbedingungen wie insbesondere der KI-Verordnung und ethische Aspekte.

‍Im arbeitsrechtlichen Bereich ist KI-Kompetenz besonders wichtig, um die rechtlichen Anforderungen der KI-Verordnung zu erfüllen. Die Risiken des Einsatzes von KI-Systemen müssen bewertet, geeignete interne Prozesse etabliert werden. Dies gilt insbesondere, wenn im Personalbereich ein Personalinformationssystem mit KI-Unterstützung zum Einsatz kommt, etwa im Recruiting.

Die Schulungspflicht betrifft alle Unternehmen, die KI-Systeme einsetzen oder betreiben, unabhängig von ihrer Größe. Dies schließt auch die Nutzung von Tools Anwendungen wie ChatGPT, Copilot oder anderen generativen KI-Anwendungen ein.

Neben der gesetzlichen Verpflichtung gibt es weitere gute Gründe, sich umgehend dem Thema zu stellen. Denn auch aus anderen Bereichen resultieren erhebliche rechtliche Risiken.

• Diskriminierungen: KI-Systeme können Diskriminierungsrisiken bergen, insbesondere im Rahmen von Bewerbungsverfahren. Hierbei kann die automatisierte Verarbeitung von Daten der Bewerbenden ohne menschliche Überprüfung zu ungewollten Benachteiligungen führen, wenn die Algorithmen auf diskriminierenden Daten basieren oder durch das KI-System Bewerber auf rechtswidrige Weise vom Bewerbungsprozess ausgeschlossen werden. Dann drohen ggf. AGG-Verfahren auf Schadensersatz.

• Datenschutz: Der Einsatz von KI im Arbeitsumfeld wirft erhebliche Datenschutzfragen auf. Die Verarbeitung personenbezogener Daten durch KI-Systeme muss den Anforderungen der DSGV) entsprechen. Insbesondere die Überwachung von Arbeitnehmenden durch KI-Systeme kann problematisch sein. Allerdings kann auch die Verarbeitung und Speicherung von Kundendaten oder Geschäftsgeheimnissen durch die KI zu datenschutzrechtlichen und sicherheitsrelevanten Problemen führen. Bei Datenschutzverletzungen drohen hohe Geldbußen und Schadensersatzforderungen.

• Fehler bei der Betriebsratsbeteiligung: Die Einführung von KI-Systemen im Betrieb kann Mitbestimmungsrechte des Betriebsrats auslösen, sogar dann, wenn in der KI selbst keine personenbezogenen Daten verarbeitet werden. Denn regelmäßig erfolgen Aufzeichnungen über die Nutzung der Tools. Dies führt zum Mitbestimmungsrecht nach § 87 Abs. 1 Nr. 6 BetrVG.

• Datenverlust: Offene KI-Systeme verarbeiten die eingegebenen Daten weiter. Werden etwa Geschäftsgeheimnisse eingegeben, können diese der Allgemeinheit bekannt werden.

• Reputationsverlust: Fehlerhafte oder intransparente KI-Anwendungen können das Vertrauen von Kunden und Partnern dauerhaft erschüttern. Insbesondere ein fehlerhafter Umgang mit Kundendaten kann zu einem großen Ansehensverlust und kostspieligen Rechtstreitigkeiten führen. Ein einmal eingetretener Imageschaden lässt sich nachträglich nur schwer wieder rückgängig machen. Gleiches gilt für die Verwendung von fehlerhaften Ergebnissen.

Falls noch nicht geschehen, empfehlen wir umgehend in folgenden Schritten tätig zu werden:

• Analyse des KI-Einsatzes im Unternehmen
• Entwicklung individueller Schulungskonzepte
• Durchführung von Schulungen
• Dokumentation der Schulungsmaßnahmen
• Regelmäßige Auffrischung und Aktualisierung der Inhalte unter fortlaufender Dokumentation

Zwingend vorangeschaltet werden sollte eine verbindliche schriftliche Anweisung an die Mitarbeitenden über die Nutzung von KI. Darin enthalten sein sollte z.B. das Verbot der Eingabe von personenbezogenen Daten und Geschäftsgeheimnissen, die Verpflichtung, Urhebergesetze zu beachten, die Ergebnisse zu überprüfen und sofern sie verwendet werden, diese zu kennzeichnen.