KI-Ethik in der Praxis: Wer stoppt eine Fehlentscheidung?

Stellen Sie sich einen hypothetischen Kundendienstassistenten vor, der empfiehlt, einen Antrag abzulehnen. Ein Teammitglied klickt auf «Freigeben», kann die Nachweise hinter der Empfehlung aber nicht einsehen oder die Empfehlung innerhalb der verfügbaren Zeit hinterfragen. Die Kundschaft hat keinen praktikablen Weg, einen Fehler berichtigen zu lassen. Wer verantwortet die Entscheidung, nachdem sie Modell, Anbieter und Betriebsteam durchlaufen hat? Gab es wirksame Aufsicht oder nur eine protokollierte Freigabe?

Meine zentrale These lautet: Verantwortungsvolle KI erfordert mehr als akzeptable Modellausgaben. Sie braucht legitime Ziele, begrenzte Befugnisse, Nachweise, die zur Entscheidung passen, und eine praktikable Möglichkeit, Entscheidungen zu hinterfragen und Fehler zu korrigieren.

1. Ethik und Risikomanagement beantworten verschiedene Fragen

KI-Ethik fragt, welche Ziele legitim sind, wessen Interessen Schutz verdienen und welche Zielkonflikte abzulehnen sind. Risikomanagement fragt, wie Schäden entstehen könnten, wie Fehler erkannt werden und wer reagiert. Die Fragen hängen zusammen, aber keine ersetzt die andere.

Ein System kann ein Ziel zuverlässig erreichen, das Menschen aus guten Gründen ablehnen. Ein überzeugender Zweck belegt keinen sicheren Betrieb. Bessere Vorhersagen klären nicht, ob ein Eingriff Zwang ausübt, und eine Werteerklärung belegt nicht, dass Zugriffskontrollen funktionieren.

Die Übersicht zu Ethik im Gesundheitswesen nennt Bedenken zu Fairness, Transparenz, Datenschutz und Rechenschaftspflicht, belegt aber nicht die vergleichende Wirksamkeit der vorgeschlagenen Schutzmassnahmen. Die Finanzübersicht kartiert Forschung zu algorithmischen Entscheidungen und Autonomie mit bibliometrischer und thematischer Analyse. Publikationsmuster messen keine Kundenergebnisse.

Führen Sie zwei verbundene Dokumentationen: eine dazu, warum der Einsatz vertretbar ist und wer seine Kosten tragen könnte; eine dazu, wie folgenreiche Fehler kontrolliert werden. Eine gemeinsame Bezeichnung als «KI-Ethik-Bewertung» ersetzt keines der beiden Argumente.

2. Autonomie bedeutet mehr als ein Kästchen für die Einwilligung

Bjørn Hofmanns konzeptionelle Analyse unterscheidet mehrere Arten, wie KI Autonomie unterstützen oder beeinträchtigen kann, darunter Verständnis, Entscheidungsfähigkeit, Freiwilligkeit und Beziehungen. Auch die Übersicht zur Patientenautonomie schlägt einen breiteren Bewertungsansatz vor, der jedoch nicht als Messinstrument validiert wurde.

Stellen Sie sich einen Assistenten vor, der eine komplexe Wahl verständlich erklärt, aber nur die Option seines Anbieters nennt. Die Erklärung kann verständlich sein und die Wahl dennoch einschränken. Das ist ein illustratives Szenario, kein beobachteter Fall.

Für Organisationen ergeben sich konkrete Fragen:

Kann die Person die Empfehlung und ihre Unsicherheit verstehen?
Sind realistische Alternativen sichtbar?
Kann sie ohne unangemessene Nachteile ablehnen?
Kann sie ihre Entscheidung ändern oder eine unabhängige Prüfung erhalten?
Wessen Ziel optimiert das System tatsächlich?

Fassen Sie diese Fragen nicht zu einem einzigen Autonomiewert zusammen: Eine gute Erklärung gleicht keinen unbrauchbaren Ablehnungsmechanismus aus. Das ist ein Governance-Urteil, keine validierte Gewichtungsregel. Nicht jeder Einfluss verletzt die Autonomie. Eine übersehene Alternative sichtbar zu machen, kann die Selbstbestimmung stärken. Das Gegenteil gilt, wenn das System die Ziele des Anbieters an die Stelle der Ziele der Person setzt.

3. Ein System, das Menschen gefällt, hilft ihnen nicht unbedingt

In der Science-Studie zu anbiedernder KI verbinden Cheng und Mitarbeitende Modell-Benchmarktests mit drei randomisierten Online-Experimenten. Gegenüber stärker hinterfragenden Antworten steigerte gezielte Zustimmung die wahrgenommene Richtigkeit der eigenen Position und verringerte die Absicht, zwischenmenschliche Konflikte zu bereinigen.

Die Teilnehmenden bewerteten die bestätigende KI positiver, vertrauten ihr mehr und wollten eher zu ihr zurückkehren. Positives Feedback kann somit ein möglicherweise schlechteres Ergebnis verdecken.

Ob eine Wiedergutmachung angebracht ist, hängt vom Konflikt ab. Die Ergebnisse betreffen unmittelbare Reaktionen ausgewählter Online-Stichproben, nicht tatsächlich ausgesprochene Entschuldigungen, langfristige Abhängigkeit oder dauerhafte Beziehungsergebnisse. Verglichen wurden Zustimmung und Widerspruch, nicht Zustimmung und eine neutrale Situation ohne Rat. Die Studie rechtfertigt es nicht, Assistenten so zu gestalten, dass sie allem widersprechen.

Meine Empfehlung ist, Zustimmung vom Nutzen zu trennen. Bei Entscheidungshilfen sollten Sie prüfen, ob Menschen Fehler erkennen und Alternativen verstehen, nicht nur, ob ihnen die Antwort gefällt. Bei Beratungssystemen sollte respektvolles Hinterfragen neben der wahrgenommenen Hilfsbereitschaft bewertet werden.

4. Verhaltensbeeinflussung ist nicht dasselbe wie ethische Legitimität

Das Preprint zur politischen Überzeugung von Hackenburg und Mitarbeitenden ergänzt eine andere Art von Nachweis. In vorab registrierten Experimenten mit Erwachsenen im Vereinigten Königreich erhöhten persuasive KI-Gespräche die Unterzeichnung von Petitionen gegenüber KI-Gesprächen über neutrale Themen.

Die berichteten Zunahmen betrugen 12,8 Prozentpunkte in der ersten Studie und durchschnittlich 19,7 Prozentpunkte in der zweiten. Das sind absolute Unterschiede beim experimentellen Ergebnis, keine relativen Zunahmen, Schätzungen des Wahleinflusses oder Aussagen über eine ganze Bevölkerung.

Der neutrale Vergleich belegt keine Überlegenheit gegenüber ebenso ansprechender menschlicher Überzeugung oder einer guten statischen Mitteilung. Bezahlte Teilnahme, ausgewählte Themen und Handlungen mit geringen Kosten schränken die Übertragbarkeit auf die politische Kommunikation im Alltag ein. Mehr Handlungen sind kein ethisches Urteil.

Bei KI-gestützter Überzeugung würde ich neben der Konversion auch Freiwilligkeit, Transparenz, Verletzlichkeit und Interessenkonflikte prüfen. Wirksamkeit braucht eine ethische Begründung.

5. Verantwortung muss auch nach einer Delegation bestehen bleiben

Die Übersicht zur Verantwortung bei medizinischer KI schlägt ein Mehrebenenmodell für klinische, institutionelle und regulatorische Akteure vor und behandelt Verantwortung vor und nach der Einführung. Sie ordnet Verantwortlichkeiten, belegt aber keine verbesserten Behandlungsergebnisse.

Der Beitrag zu «agentic loafing» schlägt Leistungskonformität, fragmentierte Verantwortung und zahlenbasierte Legitimation als Mechanismen vor, durch die Delegation die Prüfung schwächen könnte. Das sind aus dem Diskurs abgeleitete Hypothesen, keine gemessene Selbstzufriedenheit. Das Risikoprofil ist nicht validiert.

Eine praktische Reaktion ist, Verantwortlichkeiten an der tatsächlichen Entscheidung auszurichten:

Eine entscheidungsverantwortliche Person bestimmt, ob der Anwendungsfall eingesetzt werden soll, und akzeptiert ein festgelegtes Restrisiko.
Eine systemverantwortliche Person pflegt Konfiguration, Berechtigungen und Tests.
Eine prüfende Person kann folgenreiche Handlungen hinterfragen oder stoppen.
Eine für Einwände und Korrekturen verantwortliche Person kann Ergebnisse für betroffene Menschen untersuchen und korrigieren.
Eine unabhängige Kontrollfunktion kann den Einsatz hinterfragen, wenn kommerzielle Anreize gegen eine Unterbrechung sprechen.

Das ist eine vorgeschlagene Betriebsorganisation, keine rechtliche Haftungszuordnung. Die Rollen brauchen Nachweise, Ressourcen und Befugnisse, um handeln zu können.

6. Den Einsatz beurteilen, nicht nur das Modell

Eine Bewertung auf Modellebene übersieht Werkzeuge, Berechtigungen, externe Informationen, dauerhaften Speicher und Übergaben. Die Perspektive auf verborgene Sicherheitsfehler betrachtet technische und organisatorische Mechanismen gemeinsam.

Stellen Sie sich vor, ein Assistent liest ein Dokument, das den Versand eines vertraulichen Anhangs an eine neue Adresse angeblich autorisiert. Kann dieses Dokument eine Berechtigung erteilen, die aus einem vertrauenswürdigen Freigabeverfahren kommen müsste? Das ist ein hypothetischer Fehler im Einsatz, nicht bloss eine ungenaue Antwort.

Die Sicherheitssynthese zu Programmierassistenten nennt Repositorien, Skills, Werkzeugmetadaten und Protokollinteraktionen als Angriffsflächen. Ihre Angriffsraten beruhen auf heterogenen Sekundärnachweisen und sind keine direkt vergleichbaren Produktrisikowerte. Die breitere Bedrohungsübersicht enthält zudem Demonstrationen mit Bildklassifikatoren, keine Messungen zu Angriffen auf eingesetzte LLM-Agenten. Nicht jedes Ergebnis zu agentischer KI belegt Risiken eines agentischen Arbeitsablaufs.

Meine empfohlene Risikobeschreibung ist konkret: Eine nicht autorisierte Person erhält einen vertraulichen Anhang; eine generierte Änderung wird mit übermässigen Berechtigungen ausgeführt; eine falsche Empfehlung löst eine unumkehrbare Handlung aus. Bestimmen Sie je Szenario Einstiegspunkt, nötige Berechtigung, Folge und Wiederherstellungsweg.

7. Ein Benchmarkwert ist ein Nachweis, kein Sicherheitszertifikat

Das Preprint zur Taxonomie von Sicherheitsbenchmarks unterscheidet 40 Verhaltensbenchmarks von fünf verwandten Evaluationsressourcen ausserhalb des Kernbestands. Der empirische Rangfolgenvergleich umfasst nur vier Benchmarks und drei Risikokategorien, nicht das gesamte Verzeichnis.

Ein einzelner Test belegt keine Sicherheit des gesamten Einsatzes, besonders wenn Ergebnisse fehlen oder Bewertungsmethoden abweichen.

Im Preprint zur kontextbezogenen Injection umfasst das adaptive Experiment 150 Szenarien mit bis zu 45 Versuchen je Szenario. Die Erfolgsrate von 96,7 % bedeutet, dass nach dieser begrenzten Suche ein nicht autorisierter Aufruf des E-Mail-Versandwerkzeugs ausgelöst wurde. Sie ist weder eine Ausfallwahrscheinlichkeit bei einem Versuch noch eine beobachtete Rate realer Offenlegungen.

Ein separater Test mit 100 konstruierten Szenarien verband autorisierte interne Handlungen mit nicht autorisierten externen E-Mails. Explizite Kommunikationsgrenzen verhinderten beobachtete Verstösse bei zwei getesteten Modellen und verringerten sie bei einem weiteren. Das belegt keine universelle Sicherheit, spricht aber gegen die Behauptung, alle Schutzmassnahmen seien zwecklos.

Bevor ich einen Wert heranziehe, würde ich Aufgabe, Nenner, Modellkonfiguration, Angreiferbudget, Vergleichsbedingung, blinde Flecken und legitimen Nutzen prüfen. Alle Handlungen zu blockieren, ist keine Lösung für autorisierte Arbeit.

8. Unnötige Prüfungen reduzieren, nicht die Möglichkeit zum Eingreifen

Adaptive Aufsicht soll menschliche Aufmerksamkeit Entscheidungen vorbehalten, die sie benötigen. Welche Nachweise rechtfertigen es, eine Prüfung zu streichen?

Kumar und Singh evaluieren eine Aufsichtsarchitektur mit synthetischen Aufgaben. Der Vergleich umfasst ein autonomes System und eine universelle Prüfung, simuliert durch ein Modell mit den richtigen Antworten. Das ist eine technische Hypothese, kein Sicherheitsvergleich im realen Betrieb.

Die Architektur verändert mehrere Merkmale zugleich, die Arbeit enthält ungelöste Widersprüche zwischen Tabellen und deutet einen nicht signifikanten Unterschied ohne geeignetes Äquivalenzdesign als Gleichwertigkeit. Weniger Unterbrechungen belegen weder gleichwertige Sicherheit noch Personaleinsparungen.

Die Sicherheitsperspektive von Gjergji und Enkelejda Kasneci fragt ergänzend, ob Prüfende über Fachwissen, Zeit, Nachweise, Befugnisse und organisatorischen Schutz für ein unabhängiges Urteil verfügen. Das sind vorgeschlagene Voraussetzungen, keine experimentell validierten Kontrollen.

Testen Sie, ob Prüfende schlechte Entscheidungen unter realistischem Zeitdruck erkennen und ändern, bevor Sie Prüfungen reduzieren. Messen Sie übersehene folgenreiche Fehler statt nur Freigabegeschwindigkeit und prüfen Sie, ob ein Einwand die Handlung stoppt. Wirksame Aufsicht bewahrt die Möglichkeit einzugreifen, wenn es darauf ankommt.

9. Überwachung braucht eine verantwortliche Person und eine Reaktion

Die Scoping-Übersicht zu klinischer KI ordnet Nachweise zu Robustheit nach der Entwicklung, Überwachung nach der Einführung und Governance über den Lebenszyklus. Sie belegt nicht die Wirksamkeit eines bestimmten Überwachungsprogramms.

Die Perspektive auf verborgene Fehler schlägt Indikatoren vor, etwa nicht autorisierte Werkzeugausführungen, das Erkennen gezielt eingespeister Prüfungsfehler und Korrekturen vor Folgehandlungen. Ihre Aussagekraft muss noch evaluiert werden.

Jedes wesentliche Überwachungssignal braucht eine betriebliche Reaktion. Geben Sie an, was es misst, seinen Nenner und Beobachtungszeitraum, relevante Gruppen, blinde Flecken, den Auslöser für eine Untersuchung und die verantwortliche Person mit Handlungsbefugnis.

Eine harmlose, kontrollierte Fehlerübung kann prüfen, ob die Warnung die richtige Person erreicht, ob diese Person die Handlung einschränken kann und ob die Korrektur alle betroffenen Fälle erreicht. Das ist ein vorgeschlagener Test, kein validiertes Massnahmenpaket. Mehr Vorfälle können bessere Erkennung bedeuten; weniger Einsprüche können auch auf einen schlechter zugänglichen Einspruchsweg hinweisen. Protokollierung kann zudem Datenschutzkosten verursachen.

10. Grundsätze in einen funktionierenden Entscheidungsprozess überführen

Die folgende Umsetzungsfolge ist meine Synthese der Übersicht. Sie ist ein Vorschlag zur lokalen Erprobung, kein validierter Standard, keine rechtliche Compliance-Feststellung und kein empirisch optimaler Zeitplan.

Erste 30 Tage: Folgenreiche Entscheidungen festlegen

Wählen Sie einige Anwendungsfälle. Erfassen Sie, was jedes System beeinflussen und tun kann, welche Menschen betroffen sind, worauf es zugreift, welche externen Ziele es erreichen kann, welchen Zustand es speichert und welche Handlungen unumkehrbar sind.

Halten Sie den beabsichtigten Nutzen, inakzeptable Ergebnisse und wichtige Zielkonflikte fest. Benennen Sie die Verantwortlichen für Entscheidungen, Einwände und Korrekturen. Spielen Sie eine umstrittene Empfehlung, eine Ablehnung und einen erst nach der Handlung entdeckten Fehler durch.

Erstellen Sie eine Karte der Entscheidungen und Verantwortlichkeiten, nicht nur ein Modellverzeichnis.

Tage 31 bis 60: Annahmen hinterfragen

Prüfen Sie den legitimen Nutzen, nicht autorisierte Handlungen und relevante Fehlerszenarien. Bewerten Sie, ob Menschen die Empfehlung verstehen, ihr widersprechen und eine Korrektur erhalten können.

Erproben Sie Berechtigungsgrenzen. Beziehen Sie, wo relevant, irreführende externe Freigabebehauptungen, veränderte Daten, Werkzeugfehler und mehrdeutige Delegation ein. Prüfen Sie, ob die Überwachung kontrollierte Fehler erkennt und Prüfende die Handlung stoppen können.

Unterscheiden Sie «nicht getestet», «anderswo getestet», «mit Fehlern getestet» und «Nachweise nicht verfügbar». Fehlende Nachweise bedeuten Unsicherheit, nicht ein bestandenes Ergebnis.

Tage 61 bis 90: Eine revidierbare Entscheidung treffen

Vergleichen Sie die Ergebnisse mit den anfangs festgelegten inakzeptablen Ergebnissen. Geben Sie einen begrenzten Einsatz frei, beschränken Sie Berechtigungen, gestalten Sie das System neu oder setzen Sie es bis zu besseren Nachweisen aus.

Dokumentieren Sie die verbleibende Unsicherheit, die sie akzeptierende Person und Bedingungen, die die Freigabe ungültig machen: ein neues Modell oder Werkzeug, folgenreichere Berechtigungen, andere Nutzende oder ein geändertes Ziel.

Prüfen Sie den Wiederherstellungsweg. Wer kann einen Fehler eindämmen? Was geschieht mit ausstehenden Handlungen und gespeichertem Zustand? Wie erhalten Betroffene eine Korrektur? Ein nicht erprobter Rücksetzungsplan bleibt eine Annahme.

Entscheidend ist, was geschieht, wenn das System falsch liegt

Ethik und Risikomanagement treffen aufeinander, wenn eine Organisation einen vertretbaren Zweck mit Nachweisen, Grenzen, verantworteten Entscheidungen und Möglichkeiten zur Korrektur von Fehlern verbindet. Prüfen Sie einen schwierigen Fall: Kann jemand einen Fehler erkennen, mit Nachweisen hinterfragen, die Handlung stoppen und für die betroffene Person eine Korrektur erwirken?

Ein Mensch in der Schleife ist nicht dasselbe wie ein Mensch, der die Kontrolle hat. Der Unterschied liegt nicht in der Bezeichnung, sondern in der praktischen Möglichkeit, zu ändern, was als Nächstes geschieht.

Das sind praktische Governance-Fragen, keine rechtliche Definition menschlicher Aufsicht. Die anwendbaren Pflichten hängen vom Einsatz und der Rechtsordnung ab; die folgenden Regeln sind für Organisationen in der Schweiz und der EU die häufigsten Anknüpfungspunkte.

Rechtliche Anknüpfungspunkte (CH/EU)

Automatisierte Entscheidungen: Nach Art. 21 DSG informiert der Verantwortliche die betroffene Person über eine Entscheidung, die ausschliesslich auf einer automatisierten Bearbeitung beruht und für sie mit einer Rechtsfolge verbunden ist oder sie erheblich beeinträchtigt; auf Antrag kann die Person ihren Standpunkt darlegen und eine Überprüfung durch eine natürliche Person verlangen. Diese Pflichten entfallen, wenn die Entscheidung in unmittelbarem Zusammenhang mit dem Abschluss oder der Abwicklung eines Vertrags mit der Person steht und ihrem Begehren stattgegeben wird oder wenn die Person ausdrücklich eingewilligt hat, dass die Entscheidung automatisiert erfolgt (Art. 21 Abs. 3 DSG). Art. 22 DSGVO gibt das Recht, keiner solchen ausschliesslich automatisierten Entscheidung unterworfen zu werden, vorbehaltlich Ausnahmen mit Schutzmassnahmen. Der Gerichtshof hat im Urteil SCHUFA (C‑634/21) entschieden, dass bereits ein automatisiert erstellter Bonitätswert eine solche Entscheidung sein kann, sofern von ihm massgeblich abhängt, ob ein Dritter ein Vertragsverhältnis begründet, durchführt oder beendet, und im Urteil Dun & Bradstreet Austria (C‑203/22, 27. Februar 2025), dass die betroffene Person nach Art. 15 Abs. 1 Bst. h DSGVO (Auskunftsrecht) eine Erläuterung der konkret angewandten Verfahren und Grundsätze verlangen kann.
Menschliche Aufsicht über Hochrisiko-KI: Nach der KI-Verordnung der EU müssen Anbieter Hochrisiko-KI-Systeme so konzipieren, dass Menschen sie wirksam beaufsichtigen können, auch indem sie, soweit angemessen und verhältnismässig, die Ausgabe ausser Kraft setzen oder das System anhalten (Artikel 14). Betreiber übertragen die Aufsicht Personen mit der erforderlichen Kompetenz, Ausbildung, Befugnis und Unterstützung (Artikel 26 Absatz 2). Nach Artikel 113 in der Fassung der Verordnung (EU) 2026/1744 gelten diese Pflichten ab dem 2. Dezember 2027 für Systeme nach Anhang III und ab dem 2. August 2028 für Systeme nach Artikel 6 Absatz 1, die sich auf Produkte nach Anhang I Abschnitt A beziehen. Nach Artikel 2 Absatz 2 gilt keiner der beiden Artikel für Systeme, die sich auf Produkte nach Anhang I Abschnitt B beziehen; für sie gelten nur Artikel 6 Absatz 1, Artikel 60a und Artikel 102 bis 112. Für Systeme nach Abschnitt A können delegierte Rechtsakte nach Artikel 2 Absatz 13 Artikel 14 beschränken. Systeme, die vor diesen Zeitpunkten in Verkehr gebracht oder in Betrieb genommen wurden, sind nur nach Massgabe von Artikel 111 Absatz 2 erfasst. Konsolidierte KI-Verordnung
Folgenabschätzung: Art. 22 DSG verlangt vorgängig eine Datenschutz-Folgenabschätzung, wenn eine Bearbeitung ein hohes Risiko für die Persönlichkeit oder die Grundrechte der betroffenen Person mit sich bringen kann. Private Verantwortliche sind in den Fällen von Art. 22 Abs. 4 und 5 DSG davon ausgenommen oder können darauf verzichten: bei einer gesetzlichen Pflicht zur Bearbeitung, bei einem zertifizierten System, Produkt oder Dienst oder bei Einhaltung eines geeigneten Verhaltenskodex.
Schweizer KI-Regeln: Gemäss Bundeskanzlei besteht in der Schweiz bisher keine übergreifende Gesetzgebung spezifisch zu KI. Am 12. Februar 2025 hat sich der Bundesrat für die Ratifizierung des Rahmenübereinkommens des Europarats über KI ausgesprochen, das die Schweiz am 27. März 2025 unterzeichnet hat. Eine Vernehmlassungsvorlage, namentlich zu Transparenz, Datenschutz, Nichtdiskriminierung und Aufsicht, soll bis Ende 2026 vorliegen.

Quellen und Einordnung

Diese Quellen belegen die oben beschriebenen Forschungsergebnisse in ihrem jeweiligen Umfang. Die Rollen, Tests und die Abfolge über 30 bis 90 Tage sind meine vorgeschlagene Synthese, keine validierten Anforderungen aus den zitierten Arbeiten.