Menschliche Prüfung braucht eine klar definierte Handlung, zugängliche Nachweise und die Befugnis, den weiteren Ablauf zu verändern. Eine prüfende Person zu benennen ist erst der Anfang. Sie benötigt Zeit, passende Kompetenzen und die praktische Möglichkeit, eine vorgeschlagene Handlung abzulehnen, zu pausieren oder zu eskalieren.
In einem kontrollierten Experiment stellten Buçinca und Mitarbeitende (2021) fest, dass Oberflächen, die bewusstes Nachdenken fördern, die Übernahme falscher KI-Empfehlungen verringerten. Dies ging mit Einbussen bei der wahrgenommenen Benutzerfreundlichkeit einher. Das spricht dafür, die tatsächliche Arbeit der Prüfenden zu testen, auch mit den hier vorgeschlagenen drei Prüfebenen, die die Studie nicht untersucht hat.
Mit der Handlung und ihren Folgen beginnen
Beschreiben Sie den Ablauf von der Eingabe bis zur Nutzung. Wer ist betroffen? Was kann schiefgehen? Lässt sich eine schädliche Handlung rückgängig machen? Richten Sie Tiefe und Zeitpunkt der Prüfung daran aus. Eine flüssig formulierte Antwort belegt weder sachliche Richtigkeit noch Handlungsbefugnis.
Fiktives Beispiel aus dem Kundendienst
Ein KI-Agent darf freigegebene Anleitungen lesen und in einer genehmigten Arbeitsumgebung eine Antwort entwerfen. Antworten zu versenden oder Kundendaten zu ändern benötigt gesonderte Befugnisse und technische Berechtigungen. Die Kundendienstleitung gibt den Umfang frei; die prüfende Person vergleicht den Entwurf mit den Anleitungen. Das Beispiel beschreibt kein Kundenergebnis.
Drei Prüfebenen: Adas Beratungsmuster
Diese Ebenen sind Adas praktisches Gestaltungsmuster, keine gesetzlichen Kategorien. Kombinieren Sie sie passend zur Aufgabe: Ein Routineentwurf braucht vielleicht nur die erste, eine folgenreiche Handlung alle drei.
Ebene 1: Ergebnisprüfung
Prüfen Sie Formulierung, Tatsachenbehauptungen, fehlenden Kontext und Eignung vor der Verwendung. Die prüfende Person kann korrigieren, ablehnen oder neu formulieren. Auch eine Routineaufgabe kann eine vertiefte Prüfung benötigen, wenn sensible Daten oder folgenreiche Entscheidungen betroffen sind.
Ebene 2: Quellenprüfung
Vergleichen Sie wesentliche Aussagen mit den zugrunde liegenden Quellen. Zeigen Sie im Kundendienstbeispiel die passende freigegebene Anleitung, ihre Version und offene Widersprüche. Ein vom Modell genannter Link ist ein Prüfhinweis, kein Beweis. Dokumentieren Sie Abweichungen und eskalieren Sie fehlende oder widersprüchliche Nachweise.
Ebene 3: Entscheidungs- und Handlungsprüfung
Prüfen Sie geplante Handlung, Empfänger, betroffenen Datensatz, anwendbare Regel, Nachweise und erwartete Folgen. Die prüfende Person muss eine Freigabe verweigern und die Handlung vor ihrer Ausführung stoppen können. Ada empfiehlt diese umfassendere Prüfung für folgenreiche Anwendungen. Gesetzliche Pflichten hängen von Rechtsordnung, System, Rolle und Kontext ab.
Ergebnis
Nachweise in diesem Muster: Entwurf und Zielgruppe
Befugnis der prüfenden Person: Vor Nutzung korrigieren oder ablehnen
Quellen
Nachweise in diesem Muster: Freigegebene Quellen, Versionen und Widersprüche
Befugnis der prüfenden Person: Aussagen hinterfragen und fehlende Nachweise eskalieren
Entscheidung und Handlung
Nachweise in diesem Muster: Tatsächliche Handlung, Ziel, Regel und Folgen
Befugnis der prüfenden Person: Freigabe verweigern oder Ausführung stoppen
Freigaben wirksam durchsetzen
Im Kundendienstpiloten bleiben Versand und Änderungen an Kundendaten ausserhalb der Agentenberechtigungen. Beurteilen Sie eine spätere Erweiterung gesondert. Definieren Sie die freigabeberechtigte Person, erlaubte Werkzeuge und Daten, das Freigabeereignis und die Änderungen, die eine erneute Freigabe erfordern. Die Prüfung eines Entwurfs darf nicht unbemerkt eine andere Nachricht oder einen anderen Empfänger autorisieren.
Lassen Sie die technische Fachstelle zeigen, dass verbotene Handlungen blockiert bleiben, Freigaben nicht umgangen werden können, eine Pause neue Handlungen stoppt und entzogene delegierte Zugriffe nicht mehr funktionieren. Bewahren Sie Aktionsprotokolle mit Freigabe, Ergebnis und Ausnahmen nach passenden Zugriffs- und Aufbewahrungsregeln auf. Klären Sie bei bereits laufenden Handlungen den Status vor einem erneuten Versuch, um doppelten Versand oder doppelte Änderungen zu vermeiden. Vereinbaren Sie Wiederherstellung und erneute Autorisierung vor dem Neustart.
Das NIST-Profil für generative KI behandelt Quellenprüfung und die Zusammenarbeit zwischen Menschen und KI. Es ist ein Leitfaden zum Risikomanagement, weder Gesetz noch dieses dreistufige Muster. Leitfaden: NIST Generative AI Profile, Abschnitt 2.7 und MS-2.5-003 (englisch).
Rechtlicher Rahmen in der Schweiz und der EU
Die drei Ebenen sind ein Gestaltungsmuster. Verschiedene Rechtsvorschriften legen für bestimmte Entscheidungen Mindestbedingungen für die Beteiligung von Menschen fest. Prüfen Sie diese für die konkrete Entscheidung, Ihre Rolle und den Ort, an dem die Entscheidung wirkt.
Rechtliche Anknüpfungspunkte (CH/EU)
- Schweiz, Art. 21 DSG: Beruht eine Entscheidung ausschliesslich auf einer automatisierten Bearbeitung und ist sie für die betroffene Person mit einer Rechtsfolge verbunden oder beeinträchtigt sie diese erheblich, muss der Verantwortliche die Person informieren. Auf Antrag kann die Person ihren Standpunkt darlegen und verlangen, dass die Entscheidung von einer natürlichen Person überprüft wird. Art. 21 Abs. 3 DSG regelt Ausnahmen, Abs. 4 besondere Regeln für Bundesorgane. DSG, Art. 21
- EU, Art. 22 DSGVO: Eine Person hat das Recht, keiner ausschliesslich auf automatisierter Verarbeitung beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt, sofern keine Ausnahme greift. Bei den Ausnahmen für Vertrag und ausdrückliche Einwilligung muss der Verantwortliche mindestens das Eingreifen einer Person sowie die Möglichkeit gewährleisten, den eigenen Standpunkt darzulegen und die Entscheidung anzufechten. Im Urteil SCHUFA (C‑634/21, 7. Dezember 2023) hat der Gerichtshof entschieden, dass bereits ein automatisiert erstellter Wahrscheinlichkeitswert zur Zahlungsfähigkeit eine solche Entscheidung ist, sofern von ihm massgeblich abhängt, ob ein Dritter ein Vertragsverhältnis mit der Person begründet, durchführt oder beendet. DSGVO, Art. 22; Urteil C‑634/21
- EU-KI-Verordnung, Hochrisiko-KI-Systeme: Nach Artikel 14 müssen Anbieter Hochrisiko-KI-Systeme so konzipieren, dass natürliche Personen sie wirksam beaufsichtigen können, auch indem sie, soweit angemessen und verhältnismässig, die Ausgabe ausser Acht lassen, ausser Kraft setzen oder rückgängig machen und das System anhalten. Nach Artikel 26 Absatz 2 übertragen Betreiber die menschliche Aufsicht natürlichen Personen mit der erforderlichen Kompetenz, Ausbildung und Befugnis und lassen ihnen die erforderliche Unterstützung zukommen. Nach Artikel 113 in der Fassung der Verordnung (EU) 2026/1744 gelten diese Pflichten ab dem 2. Dezember 2027 für Systeme nach Anhang III und ab dem 2. August 2028 für Systeme nach Artikel 6 Absatz 1, die sich auf Produkte nach Anhang I Abschnitt A beziehen. Nach Artikel 2 Absatz 2 gilt keiner der beiden Artikel für Systeme, die sich auf Produkte nach Anhang I Abschnitt B beziehen; für sie gelten nur Artikel 6 Absatz 1, Artikel 60a und Artikel 102 bis 112. Für Systeme nach Abschnitt A können delegierte Rechtsakte nach Artikel 2 Absatz 13 Artikel 14 beschränken. Systeme, die vor diesen Zeitpunkten in Verkehr gebracht oder in Betrieb genommen wurden, sind nur nach Massgabe von Artikel 111 Absatz 2 erfasst; für Komponenten der IT-Grosssysteme, die mit den in Anhang X aufgeführten Rechtsakten eingerichtet wurden, gilt gesondert Artikel 111 Absatz 1. Konsolidierte KI-Verordnung
Halten Sie in der Praxis fest, was die prüfende Person neben der KI-Ausgabe geprüft und was sie geändert hat. Diese Dokumentation hilft zu zeigen, ob ein Mensch die Entscheidung tatsächlich abgewogen hat.
Soweit die EU-KI-Verordnung anwendbar ist, verpflichtet Artikel 4 in der seit dem 27. Juli 2026 geltenden Fassung der Verordnung (EU) 2026/1744 Anbieter und Betreiber zu Massnahmen, welche die KI-Kompetenz ihres Personals und anderer in ihrem Auftrag mit KI-Systemen befasster Personen unterstützen. Deren Kenntnisse, Erfahrung und Ausbildung, der Nutzungskontext und die betroffenen Personen sind zu berücksichtigen. Die Pflicht verlangt von Anbietern und Betreibern nicht, ein bestimmtes Niveau an KI-Kompetenz einer einzelnen Person zu garantieren, und schreibt diese Prüfebenen nicht vor. Gesetzgebung: konsolidierte KI-Verordnung, Artikel 2 und 4.
Das NIST-NCCoE-Papier zu Agentenidentität und Autorisierung untersucht Delegation und Aktionsnachweise. Das zitierte Dokument vom Februar 2026 ist ein Konzeptentwurf für ein vorgeschlagenes Projekt, kein endgültiger Standard und keine Compliance-Anforderung. Forschungsentwurf: Agentenidentität und Autorisierung (englisch).
Das Muster anwenden
Erfassen Sie Handlungsgrenzen im Anwendungsregister, erproben Sie sie mit dem Pilot-Arbeitsblatt und prüfen Sie Korrekturen und Kontrolltests im Monats-Arbeitsblatt. Prüfen Sie mit dem Anbieter-Arbeitsblatt, ob das Werkzeug die vorgesehene Prüfung unterstützt.
Adas Angebot für Prozessgestaltung und Piloten unterstützt Gestaltung und Bewertung dieser Schritte. Besprechen Sie einen konkreten Ablauf.