Human in the Loop: menschliche Prüfung in KI-Workflows gestalten
Wer einen KI-Entwurf freigibt, braucht klare Abnahmekriterien, Zeit für die Prüfung und die Verantwortung für die Entscheidung. Dieser Leitfaden zeigt Betriebsleitern von KMU, wie sie diesen Prüfschritt gestalten: wo er liegt, was die prüfende Person kontrolliert, wie viel Prüfung jede Art von Ergebnis braucht und was mit den Korrekturen geschieht.
In einem Workflow mit Entwurfsprüfung bereitet das System eine Offerte, eine Antwort, eine Zuordnung oder eine Zusammenfassung vor. Eine Person gibt das Ergebnis frei, bevor es einen Kunden, die Buchhaltung oder eine Entscheidung erreicht. Der Ablauf verbindet automatisch erstellte Entwürfe mit menschlicher Verantwortung. Meist wird er mit dem englischen Begriff Human in the Loop bezeichnet.
Gestalten Sie die Prüfung mit derselben Sorgfalt wie die Automation. Empfindet das Team sie als langsam oder umständlich, kehrt es zum manuellen Prozess zurück oder winkt Entwürfe ungelesen durch.
Was zur menschlichen Prüfung gehört
Der Kreislauf hat drei Schritte und einen Rückweg. Das System erstellt den Entwurf, eine Person prüft ihn, und das freigegebene Ergebnis wird versendet oder gespeichert. Ein abgelehnter Entwurf geht mit einer Begründung zurück in die Überarbeitung. Mit diesen Begründungen wird das System später verbessert.
Die prüfende Person hat drei mögliche Entscheidungen: den Entwurf unverändert freigeben, ihn bearbeiten und dann freigeben oder ihn ablehnen. Jede braucht eine Regel. Ohne Regel schreiben Prüfende entweder alles neu, womit die Zeitersparnis entfällt, oder sie geben alles frei, womit die Kontrolle entfällt.
Warum Prüfschritte scheitern
Prüfschritte scheitern aus wenigen Gründen, und jeder davon lässt sich in einem laufenden Workflow erkennen.
- Kein Standard: Freigegeben wird nach Bauchgefühl, weil niemand die Abnahmekriterien aufgeschrieben hat.
- Falscher Ort: Die Prüfung liegt ausserhalb der Tools, in denen gearbeitet wird, und wird deshalb spät erledigt oder ausgelassen.
- Keine Abstufung: Risikoarme und risikoreiche Ergebnisse werden gleich genau geprüft.
- Keine Zuständigkeit: Niemand ist für die Prüfung eingeteilt, und Entwürfe bleiben in der Warteschlange liegen.
- Keine Rückmeldung: Korrekturen gehen verloren und erreichen nie die Prompts, Daten oder Regeln, die sie verursacht haben.
Die Prüfung als Workflow-Schritt gestalten
Geben Sie der Prüfung eine benannte verantwortliche Person, einen klaren Standard und einen Platz im bestehenden Workflow. Dafür genügen diese sechs Schritte.
- Benennen Sie die prüfende Person. Wählen Sie jemanden, der nah an der Arbeit ist und weiss, wie ein gutes Ergebnis aussieht, etwa eine Teamleitung oder eine erfahrene Fachkraft, und bestimmen Sie eine Stellvertretung für Abwesenheiten.
- Schreiben Sie die Abnahmekriterien auf. Listen Sie auf, was erfüllt sein muss, bevor ein Entwurf freigegeben wird, zum Beispiel dass die Fakten mit dem Quelldatensatz übereinstimmen und die Zahlen korrekt sind.
- Legen Sie die Grenzen der Bearbeitung fest. Halten Sie fest, was die prüfende Person ändern darf und bei welchen Problemen der Entwurf abgelehnt und von Hand bearbeitet werden muss.
- Legen Sie die Prüfung dorthin, wo gearbeitet wird. Entwurf und Freigabe gehören in das Postfach, das CRM oder das Ticketsystem, das die prüfende Person bereits nutzt.
- Planen Sie Zeit dafür ein. Prüfen gehört zur Aufgabe der prüfenden Person und braucht Platz im Arbeitstag.
- Erfassen Sie den Grund für jede Änderung und jede Ablehnung. Eine kurze Auswahlliste mit Gründen genügt.
Halten Sie die Kriterien in einer einseitigen Checkliste fest, die sich während der Prüfung nutzen lässt. Nehmen wir ein Team, das von der KI entworfene Offerten versendet. Seine Checkliste könnte fragen, ob die Preise der aktuellen Preisliste entsprechen, ob die Kundenangaben mit dem CRM übereinstimmen und ob die Werkstatt den Liefertermin einhalten kann. Verlangt eine Anfrage Sonderkonditionen, wäre das ein Grund, den Entwurf abzulehnen und die Offerte von Hand zu schreiben.
Bei Unternehmenswissen & KI-Integration baut Block Consult die Prüfung und einen Weg zu einer Person für unsichere Antworten in die Tools ein, die das Team bereits nutzt.
Die Prüfung am Risiko ausrichten
Ergebnisse unterscheiden sich darin, welchen Schaden sie anrichten können. Sie sollten deshalb nicht alle dieselbe Kontrolle durchlaufen. Teilen Sie sie in drei Stufen ein.
- Geringes Risiko: Bei internen Zusammenfassungen und Notizen genügen Stichproben.
- Mittleres Risiko: Antworten an Kunden werden einzeln freigegeben, bis die Qualität belegt ist, danach in Stichproben geprüft.
- Hohes Risiko: Alles, was Geld, Verträge oder Compliance betrifft, behält eine verpflichtende Prüfung.
Das ist die Einstufung, die wir im Beitrag zur KI-Governance für KMU beschreiben, angewendet auf einen einzelnen Workflow. Halten Sie die Stufe für jede Art von Ergebnis schriftlich fest. Jede Änderung der Stufe ist dann eine Entscheidung, die jemand getroffen hat und begründen kann.
Die Prüfung schrittweise reduzieren
Eine Prüfung lässt sich lockern, wenn Stichproben über einen aussagekräftigen Zeitraum gleichbleibend akzeptable Qualität zeigen und das Ergebnis nur geringe wirtschaftliche und Compliance-Risiken trägt. Gehen Sie schrittweise vor: von der vollständigen Prüfung über Stichproben zur Behandlung von Ausnahmen, bei der die prüfende Person nur noch die Fälle sieht, die aus dem üblichen Muster fallen. Kehren Sie nach einer Änderung an den Prompts, den Quellen oder dem Modell zur engeren Prüfung zurück, bis die Ergebnisse erneut bestätigt sind.
Die Prüfzeit gehört in die Wirtschaftlichkeitsrechnung. Vergleichen Sie die Minuten für die Prüfung eines Entwurfs mit der Zeit, die die Aufgabe von Hand gebraucht hat. Wie das geht, zeigt unser Leitfaden zur Wirtschaftlichkeit eines KI-Workflows.
Korrekturen nutzen, um den Workflow zu verbessern
Erfassen Sie, warum Ergebnisse geändert oder abgelehnt werden. Eine Handvoll Gründe genügt: sachlicher Fehler, fehlende Information, falscher Ton oder ein Fall, den das System gar nicht hätte entwerfen sollen. Gehen Sie die Muster in regelmässigen Abständen mit der Person durch, die den Workflow verantwortet.
Jedes Muster zeigt, wo anzusetzen ist. Sachliche Fehler gehen meist auf die Quelldaten zurück, Probleme im Ton auf den Prompt und Fälle ausserhalb des vorgesehenen Bereichs auf die Geschäftsregeln, die bestimmen, was entworfen wird. Beobachten Sie danach, ob mit der Zeit weniger Korrekturen nötig sind. Der Anteil der Entwürfe, die nach der Prüfung freigegeben werden, ist zugleich eine der Kennzahlen dafür, ob ein KI-Pilot bereit für den Betrieb ist.
Häufige Fragen
- Was bedeutet Human in the Loop?
- Es bedeutet, dass eine Person das Ergebnis eines KI-Systems prüft und freigibt, bevor es wirksam wird, zum Beispiel bevor eine Antwort an einen Kunden geht oder eine Zahl in die Buchhaltung gelangt.
- Hebt die menschliche Prüfung die Zeitersparnis durch KI auf?
- Nur wenn die Prüfung eines Entwurfs so lange dauert wie die Arbeit von Hand. Vergleichen Sie den Prüfaufwand mit dem ursprünglichen Aufwand und nehmen Sie danach die Kosten für Einrichtung, Betrieb und Wartung in die Wirtschaftlichkeitsrechnung auf.
- Wer sollte den Prüfschritt verantworten?
- Jemand, der nah an der Arbeit ist und weiss, wie ein gutes Ergebnis aussieht, etwa eine Teamleitung oder eine erfahrene Fachkraft. Es muss keine Führungskraft sein.
- Wann kann ein Prüfschritt entfallen?
- Wenn Stichproben über einen aussagekräftigen Zeitraum gleichbleibend akzeptable Qualität zeigen und die Ergebniskategorie nur geringe wirtschaftliche und Compliance-Risiken trägt. Reduzieren Sie schrittweise: von der vollständigen Prüfung über Stichproben zur Behandlung von Ausnahmen.
Weiterführende Artikel
Lassen Sie uns etwas Beständiges bauen.
Erzählen Sie uns von Ihrem Projekt. Wir antworten innerhalb von zwei Werktagen.

