Einen KI-Wissensassistenten vor der Einführung testen

Ein Wissensassistent soll anhand der richtigen Dokumente antworten, Belege zeigen und die Rechte der fragenden Person beachten. Diese Eigenschaften getrennt zu prüfen macht Probleme sichtbar, die eine flüssige Antwort verdecken kann, und schafft eine klare Entscheidungsgrundlage für die Einführung.

Block Consult3 Min. Lesezeit
In diesem Artikel
Abbildung · Wissenssysteme

Aus echten Fragen einen Testsatz erstellen

Bitten Sie die vorgesehenen Nutzer um Fragen aus ihrem Arbeitsalltag. Halten Sie für jede Frage die passende Quelle, deren Gültigkeitsdatum, die Benutzerrolle und die notwendigen Fakten einer zufriedenstellenden Antwort fest. Lassen Sie die erwartete Antwort vor dem Test von der dokumentverantwortlichen Person bestätigen. Sonst kann eine veraltete Musterlösung ein korrektes Ergebnis falsch erscheinen lassen.

Nehmen Sie Fragen auf, die keine inhaltliche Antwort erhalten sollen. Bei manchen fehlt eine freigegebene Quelle, andere betreffen Informationen ausserhalb der Benutzerrechte. Halten Sie einen Teil der Fälle von der Optimierung zurück und verwenden Sie ihn für die abschliessende Prüfung. Damit vertiefen Sie die Vorbereitung aus unserem Leitfaden zum Aufbau eines Unternehmens-Wissensassistenten.

Suche, Antwort und Belege getrennt prüfen

  • Suche: Hat das System die aktuelle, relevante Passage gefunden, die diese Person lesen darf?
  • Antwort: Stimmen die wesentlichen Fakten, und bleiben Bedingungen oder Ausnahmen erhalten?
  • Belege: Folgt jede wesentliche Aussage aus der verlinkten Passage, und öffnet der Link die vorgesehene Version?
  • Verzicht auf eine Antwort: Erkennt der Assistent fehlende oder widersprüchliche Belege und nennt er einen passenden nächsten Schritt?

Ein Quellenverweis hilft nur, wenn er die Antwort stützt. Eine Antwort zur Weiterbildung könnte etwa ein echtes Handbuch zitieren, aber die erforderliche Freigabe durch die Führungskraft auslassen. Erfassen Sie das als Antwortfehler, obwohl die Suche erfolgreich war. Wurde das aktuelle Handbuch gar nicht gefunden, prüfen Sie zuerst Quelle und Suchprozess.

Trennen Sie die Ergebnisse auch im Bericht. Erfassen Sie akzeptierte Antworten bei beantwortbaren Fragen, angemessenen Antwortverzicht bei unbeantwortbaren Fragen und Berechtigungsfehler bei Zugriffstests. Bei einer einzigen Gesamtquote können viele korrekte Antworten auf gewöhnliche Fragen einen schwerwiegenden Fehler in einer kleineren Fallgruppe verdecken.

Dieselbe Frage mit unterschiedlichen Rechten stellen

Erstellen Sie Testidentitäten mit unterschiedlichen Rollen und wiederholen Sie dieselben Fragen. Die Berechtigung muss bereits bei der Suche greifen, bevor geschütztes Material das Modell erreicht. Microsoft beschreibt in der Anleitung zu dokumentbezogenen Zugriffsrechten das Filtern von Suchergebnissen nach Berechtigungen. Ein Prompt, der das Modell zum Geheimhalten auffordert, ist keine Zugriffskontrolle.

Ändern Sie anschliessend eine Rolle oder entziehen Sie den Zugriff und testen Sie erneut. Prüfen Sie zwischengespeicherte Ergebnisse, Gesprächsverläufe und Quellenlinks ebenso wie die neue Antwort. Halten Sie fest, wann Berechtigungsänderungen wirksam werden sollen. Die produktverantwortliche Person muss wissen, ob der Assistent vorübergehend Zugriff behält, den das Quellsystem bereits entzogen hat.

Den Assistenten mit schwierigen Dokumenten prüfen

Verwenden Sie einige bewusst schwierige Testdokumente: eine veraltete Richtlinie neben ihrem Ersatz, eine Tabelle mit entscheidender Fussnote und zwei Quellen mit widersprüchlichen Vorgaben. Fragen Sie nach der gültigen Regelung und prüfen Sie die verwendeten Passagen. Lässt sich der Widerspruch aus den Quellen nicht auflösen, soll das erwartete Ergebnis diese Unsicherheit benennen.

Nehmen Sie auch ein Testdokument auf, das Anweisungen an den Assistenten statt Informationen für Leser enthält. Es soll als Quelleninhalt behandelt werden und keine Befugnis erhalten, Aufgabe oder Zugriffsregeln zu ändern. OWASPs Hinweise zu Schwachstellen bei der Informationssuche behandeln manipuliertes Quellenmaterial und Informationslecks zwischen Berechtigungsgruppen.

Freigabekriterien vereinbaren und Prüfungen wiederholen

Vereinbaren Sie vor dem letzten Durchlauf Freigabekriterien für jede Fallgruppe. Unberechtigte Datenweitergabe oder erfundene Belege sollten die Freigabe bis zur Klärung und Korrektur verhindern. Legen Sie Qualitätsanforderungen mit den Personen fest, die die Arbeit erledigen, und dokumentieren Sie verbleibende Grenzen in den Nutzungshinweisen. Ein kleiner Testsatz ist ein Ausgangspunkt; ergänzen Sie Fälle aus beobachteten Fehlern.

Halten Sie Modell, Prompts, Sucheinstellungen und Quellenstand zusammen mit den Ergebnissen fest. Wiederholen Sie betroffene Prüfungen bei Änderungen, auch wenn eine Richtlinie ersetzt wird oder eine Schnittstelle Zugriff auf weitere Dokumente erhält. Das Verfahren braucht gepflegte Quelldaten und gehört zur laufenden Betreuung des Assistenten.

Häufige Fragen

Ist eine Antwort verlässlich, wenn sie eine Quelle nennt?
Nur wenn die Quelle die wesentlichen Aussagen stützt und die passende Version ist. Ein echter Link kann mit einer falschen Interpretation, einer ausgelassenen Bedingung oder einer veralteten Antwort verbunden sein.
Zählt jede unbeantwortete Frage als Fehler?
Nein. Fehlt eine freigegebene Quelle oder die erforderliche Berechtigung, kann ein klarer Antwortverzicht richtig sein. Messen Sie solche Fälle getrennt von Fragen, die der Assistent beantworten soll.
Wer sollte die Evaluationsergebnisse freigeben?
Die verantwortliche Person für den Workflow trägt die Freigabeentscheidung. Dokumentverantwortliche unterstützen bei der sachlichen Richtigkeit, Zugriffs- oder Sicherheitsverantwortliche bei Berechtigungstests. Prüfer brauchen genügend Kontext, um die konkrete Aufgabe zu beurteilen.
Kontakt

Lassen Sie uns etwas Beständiges bauen.

Erzählen Sie uns von Ihrem Projekt. Wir antworten innerhalb von zwei Werktagen.

ErforderlichBei Bedarf
Wir nutzen den Speicher für die sichere Portal-Anmeldung, zur Prüfung von Einladungen und um festzuhalten, dass Sie diesen Hinweis gesehen haben. Sicherheitsmassnahmen schützen zudem die Website.
Ihre Einstellungen und WerkzeugeBei Nutzung
Ihr Browser kann Ihr gewähltes Farbschema, den Chatverlauf in diesem Tab, Ihr Simulatormodell und Einstellungen im Kundenbereich speichern. Sie können diese Daten in den Browsereinstellungen löschen.
Analyse und WerbungNicht verwendet
Wir verwenden weder Google Analytics noch Werbe-Pixel oder websiteübergreifendes Tracking. Mit Search Console sehen wir, wie die Website in der Google-Suche erscheint. Dafür wird kein Tracking-Skript auf dieser Website eingebunden.

Die Bestätigung dieses Hinweises ist keine Einwilligung in Tracking. Bevor wir optionales Tracking hinzufügen, bitten wir Sie um Ihre Einwilligung.

Cookie-RichtlinieDatenschutzerklärung