KI-Tools auswählen: ein Bewertungsraster für KMU

Zwei KI-Tools können in einer Vorführung gleichermassen überzeugen und sich im Alltag ganz unterschiedlich verhalten. Eine brauchbare Evaluation stellt beiden dieselbe Aufgabe, dieselben schwierigen Fälle und dieselben betrieblichen Anforderungen, bevor Sie ein Abonnement abschliessen oder eine Entwicklung beauftragen.

Block Consult3 Min. Lesezeit
In diesem Artikel
Abbildung · KI-Strategie

Die Aufgabe vor dem Produktvergleich festhalten

Beginnen Sie mit einem Satz, der Eingabe, erwartetes Ergebnis und prüfende Person benennt. Zum Beispiel: Aus einer eingehenden Serviceanfrage und freigegebenen Hilfedokumenten entsteht ein Antwortentwurf, den eine Person im Support prüft. Halten Sie fest, wie das Team diese Arbeit heute erledigt, einschliesslich der Zeit für Fehlerkorrekturen.

Vereinbaren Sie, welche Fälle das Tool einem Menschen überlassen soll. Ein Antwortassistent könnte gewöhnliche Lieferfragen bearbeiten und Vertragsstreitigkeiten an die Kundenverantwortlichen weitergeben. Diese Grenze macht die Bewertung wiederholbar und verbindet sie mit den Prioritäten aus einem KI-Readiness-Audit.

Bedingungen festlegen, die jeder Anbieter erfüllen muss

Halten Sie vor der Punktevergabe fest, ohne welche Bedingungen das Tool nicht eingesetzt werden kann. Diese hängen vom Workflow und den betroffenen Informationen ab. Lassen Sie sich die Bedingungen im vorgeschlagenen Produkt und Tarif vorführen und bewahren Sie die Nachweise zusammen mit der Entscheidung auf.

  • Umgang mit Daten: Welche Informationen verlassen Ihre Systeme? Wo werden sie verarbeitet, wie lange werden sie gespeichert und werden sie für Modelltraining genutzt?
  • Zugriff: Wie berücksichtigt das Tool Benutzerrechte, entzieht ausscheidenden Mitarbeitenden den Zugriff und trennt Kundendatensätze?
  • Kontrolle: Wer darf Aktionen freigeben, Aktivitäten einsehen und den Workflow anhalten?
  • Ausstieg: Wie exportieren Sie Informationen und Konfiguration, beenden den Dienst und überprüfen die vereinbarte Löschung?

Prüfen Sie den anwendbaren Vertrag und die Konfiguration: Eine Zusage auf der Marketingseite kann sich auf einen anderen Tarif beziehen. Das NIST Generative AI Profile bietet einen freiwilligen Rahmen, um Vertrauenswürdigkeit bei Gestaltung, Nutzung und Evaluation zu berücksichtigen. Das folgende Bewertungsraster bietet einen praktischen Ausgangspunkt für Ihre Beschaffungsentscheidung.

Die verbleibenden Optionen mit einem Raster vergleichen

Verwenden Sie wenige Kriterien und vereinbaren Sie deren Gewichtung vor den Vorführungen. Ein mögliches Beispiel: 40% Aufgabenqualität, 25% Einbindung in den bestehenden Workflow, 20% gesamte Betriebskosten und 15% Support und Übertragbarkeit. Passen Sie diese Gewichte Ihrer Situation an; bei einer schwierigen Integration kann die Einbindung stärker zählen.

Bewerten Sie jedes Kriterium mit einem bis fünf Punkten und fügen Sie Nachweise hinzu. Fünf Punkte für Aufgabenqualität sollten bedeuten, dass ein vereinbarter Standard an Ihren Fällen erreicht wurde. Fünf Punkte für Integration sollten bedeuten, dass die Übergabe in Ihrer Testumgebung funktioniert hat. Kennzeichnen Sie ungeprüfte Angaben als offen und planen Sie die Prüfung vor der Auswahl ein.

Jeden Kandidaten mit denselben Aufgaben prüfen

Erstellen Sie einen Testsatz aus repräsentativen Fällen, die Sie verwenden dürfen. Nehmen Sie gewöhnliche Aufgaben, unvollständige Eingaben, mehrdeutige Anfragen und Fälle ausserhalb des vereinbarten Umfangs auf. Entfernen Sie unnötige Personendaten. Halten Sie einen separaten Satz für den abschliessenden Vergleich zurück, damit wiederholtes Nachjustieren die Evaluation nicht zur Vorführung eingeübter Beispiele macht.

Lassen Sie die späteren Nutzer die Ergebnisse beurteilen, wenn möglich ohne den Anbieternamen zu kennen. Erfassen Sie, ob ein Ergebnis akzeptiert wurde, wie viel Korrektur es brauchte und ob ein schwerwiegender Fehler auftrat. Bei einem Antwortentwurf endet die Zeitmessung erst mit der versandfertigen Antwort. Prüfung und Überarbeitung gehören damit zum Aufwand.

Den Workflow kalkulieren und die nächste Entscheidung festlegen

Berücksichtigen Sie Einrichtung, Schnittstellen, Nutzungsgebühren, Prüfzeit, Unterhalt und Ausstiegskosten. Teilen Sie diese Summe durch die erledigten Aufgaben, die Ihren Qualitätsstandard erfüllen. Ein günstigeres Abonnement kann teurer sein, wenn jedes Ergebnis aufwendig korrigiert werden muss. Verwenden Sie für jeden Kandidaten dieselben Annahmen, wie im Leitfaden zum Automation-ROI.

Schliessen Sie mit einem kurzen Entscheidungsprotokoll ab: bevorzugte Option, Nachweise, offene Fragen, Pilotbudget und verantwortliche Person. Legen Sie einen Prüfungstermin und eine Abbruchbedingung fest. Erfüllt kein Kandidat die Anforderungen, überprüfen Sie den Workflow oder die Build-versus-Buy-Entscheidung, bevor Sie weitere Anbieter aufnehmen.

Häufige Fragen

Braucht ein kleines Unternehmen einen formellen KI-Beschaffungsprozess?
Der Prozess kann kurz sein. Eine schriftliche Aufgabe, Pflichtbedingungen, ein gemeinsamer Testsatz und ein Entscheidungsprotokoll schaffen eine brauchbare Grundlage ohne grosse Beschaffungsabteilung.
Kann ein öffentlicher Modellbenchmark die Prüfung unseres Workflows ersetzen?
Er kann bei der Vorauswahl helfen, prüft aber weder Ihre Dokumente und Berechtigungen noch Ihre Integrationen oder den Prüfaufwand. Nutzen Sie ihn als Hintergrund und vergleichen Sie die Tools anhand der Aufgaben Ihres Teams.
Was tun, wenn das Tool mit den meisten Punkten eine Pflichtbedingung nicht erfüllt?
Geben Sie es für diesen Workflow erst frei, wenn die Bedingung erfüllt und überprüft ist. Dokumentieren Sie, ob eine andere Konfiguration, ein engerer Anwendungsfall oder ein anderer Anbieter die Anforderung erfüllen kann.
Kontakt

Lassen Sie uns etwas Beständiges bauen.

Erzählen Sie uns von Ihrem Projekt. Wir antworten innerhalb von zwei Werktagen.

ErforderlichBei Bedarf
Wir nutzen den Speicher für die sichere Portal-Anmeldung, zur Prüfung von Einladungen und um festzuhalten, dass Sie diesen Hinweis gesehen haben. Sicherheitsmassnahmen schützen zudem die Website.
Ihre Einstellungen und WerkzeugeBei Nutzung
Ihr Browser kann Ihr gewähltes Farbschema, den Chatverlauf in diesem Tab, Ihr Simulatormodell und Einstellungen im Kundenbereich speichern. Sie können diese Daten in den Browsereinstellungen löschen.
Analyse und WerbungNicht verwendet
Wir verwenden weder Google Analytics noch Werbe-Pixel oder websiteübergreifendes Tracking. Mit Search Console sehen wir, wie die Website in der Google-Suche erscheint. Dafür wird kein Tracking-Skript auf dieser Website eingebunden.

Die Bestätigung dieses Hinweises ist keine Einwilligung in Tracking. Bevor wir optionales Tracking hinzufügen, bitten wir Sie um Ihre Einwilligung.

Cookie-RichtlinieDatenschutzerklärung