Verwenden Sie diesen Artikel, um Operator zu bitten, Evals zu erstellen, auszuführen und zu analysieren, die vorgeschlagenen Änderungen zu überprüfen und wiederkehrende Ausführungen zu planen. Operator kann auch Verbesserungen für Ihre Evals und Simulationen oder für Fin's Konfiguration empfehlen. Für die Grundlagen, einschließlich was Evals und Simulationen sind, siehe Evals für Fin.

Hinweis: Um Evals mit Operator zu verwenden, benötigt Ihr Workspace das Pro Add-on und Sie benötigen Zugriff auf Operator.

So erstellen Sie ein Eval mit Operator

Um ein Eval mit Operator zu erstellen, gehen Sie zu Fin AI Agent > Operator und bitten Sie es, ein Eval für Ihren Anwendungsfall zu erstellen.

Der neue Chat-Bildschirm von Operator. Die Seitenleiste listet Neuer Chat, Routinen, Artefakte und Anpassen auf. Das Nachrichtenfeld enthält eine Eingabeaufforderung mit dem Text: Erstelle ein neues Eval namens Refund requests mit 5 Simulationen, die eine einfache Rückerstattungsanfrage, eine Rückerstattung außerhalb des Rückerstattungszeitraums, einen Kunden, der doppelt belastet wurde, einen Kunden, der auf Spanisch fragt, und eine Übergabe an das Abrechnungsteam abdecken.

Zum Beispiel könnten Sie es bitten, Folgendes zu testen:

Das Release, an dem Sie arbeiten: die Änderungen an Fin's Konfiguration in Ihrem aktuellen Release, bevor sie live gehen.
Bestimmte Gespräche: Teilen Sie eine oder mehrere Gesprächs-IDs, und Operator erstellt Simulationen, die diese nachbilden.
Randfälle, die Sie noch nicht abgedeckt haben: Bitten Sie Operator, nach Lücken in Ihren bestehenden Simulationen zu suchen und neue vorzuschlagen.
Ein neues oder aktualisiertes Verfahren: Überprüfen Sie, ob Fin jeden Schritt befolgt, einschließlich der Punkte, an denen es übergeben soll.
Ein Thema: Nennen Sie ein Thema, wie Rückerstattungen, und Operator erstellt Simulationen, die die Bandbreite der Szenarien abdecken, zu denen Kunden Sie wahrscheinlich kontaktieren.
Mehr Variationen eines bestehenden Evals: Bitten Sie Operator, Simulationen mit unterschiedlichen Kunden, Tonfällen oder Sprachen hinzuzufügen.

Sie können Operator mitteilen, wie die Simulationen, Simulationsprüfungen und Übergabeprüfungen sein sollen, oder es selbst herausfinden lassen. Wenn etwas unklar ist, z. B. ob Simulationen zu einem bestehenden Eval hinzugefügt werden sollen oder an welches Team eine Übergabe gehen soll, fragt Operator Sie zuerst. Wählen Sie eine Option, geben Sie Ihre eigene Antwort unter Etwas anderes ein oder klicken Sie auf Überspringen, damit Operator entscheidet.

Tipp: Je spezifischer Ihre Anfrage, desto weniger Fragen muss Operator stellen.

Beispielaufforderung: Erstellen Sie ein neues Eval namens „Refund requests“ mit 5 Simulationen: eine einfache Rückerstattungsanfrage, ein Kunde, der eine Rückerstattung außerhalb des Rückerstattungszeitraums anfragt, ein frustrierter Kunde, der doppelt belastet wurde, ein Kunde, der auf Spanisch fragt, und eine, bei der Fin an das Abrechnungsteam übergeben soll. Um es anzupassen, ersetzen Sie den Eval-Namen und die Szenarien durch Ihr eigenes Thema und Ihre Fälle.

So überprüfen und speichern Sie, was Operator erstellt

Operator speichert nichts, bis Sie es überprüfen. Neue Evals und Simulationen erscheinen im Panel „Änderungen ausstehend“ über dem Nachrichtenfeld, jeweils mit „Neu“ markiert. Klicken Sie auf einen Eintrag, um ihn vor dem Speichern zu überprüfen.

Ein Operator-Chat namens Eval-Erstellung Setup, mit einer neuen Simulation, die in einem Panel rechts geöffnet ist. Über dem Nachrichtenfeld listet ein 5-Änderungen-ausstehend-Panel fünf neue Simulationen auf, jeweils mit Neu markiert, mit einem Button „In Hauptzweig veröffentlichen“. Das Simulationspanel zeigt Einrichtung, Konfiguration, erste Nachricht des Kunden, Folgeanweisungen und Simulationsprüfungen.

Wenn Sie bereit sind, wählen Sie, wo Sie die Änderungen speichern möchten:

In Hauptzweig veröffentlichen: Speichert alle ausstehenden Änderungen sofort in Ihren Live-Evals.
In Release-Entwurf speichern: Speichert die Änderungen in einem bestehenden Release-Entwurf, damit Sie sie zusammen mit anderen Änderungen testen können, bevor sie live gehen. Wählen Sie einen Entwurf aus der Liste oder klicken Sie auf Neuer Release-Entwurf, um einen zu erstellen.

Um die Änderungen stattdessen zu verwerfen, klicken Sie auf das Löschsymbol.

Der Kopf eines neuen Simulationspanels, mit dem Mauszeiger über dem Löschsymbol neben dem Button „In Hauptzweig veröffentlichen“. Ein Tooltip zeigt „Änderung verwerfen“ an.

So führen Sie ein Eval mit Operator aus

Um ein Eval mit Operator auszuführen, bitten Sie es, das Eval auszuführen, zum Beispiel: Führe das Eval Refund requests aus. Operator zeigt Ihnen die Ergebnisse, während jede Simulation läuft.

Ein Operator-Chat, nachdem die Änderungen angewendet wurden. Der Chat zeigt „Sie haben 5 Änderungen angewendet“ und eine Nachricht „Führen Sie sie aus“, gefolgt von einer Karte „5 Simulationen laufen“, die die Eröffnungsnachricht jeder Simulation auflistet.

Sie benötigen Operator nicht, um ein Eval auszuführen. Gehen Sie zu Fin AI Agent > Test > Evals und führen Sie es selbst aus. Von Operator gestartete Ausführungen erscheinen dort ebenfalls, sodass Sie jedes Ergebnis an einem Ort überprüfen können.

So lesen Sie die Ergebnisse, die Operator Ihnen gibt

Sobald jede Simulation gelaufen ist, legt Operator die Ergebnisse dar und erklärt sie:

Eine Ergebnistabelle: Das Gesamtergebnis jeder Simulation (Bestanden, Nicht bestanden oder Fehler) und die einzelnen Prüfungen dahinter, damit Sie sehen können, warum es so bewertet wurde. Zum Beispiel kann eine Simulation namens „Bulk workspace export“ fehlschlagen, weil die Übergabeprüfung fehlgeschlagen ist (Fin eskalierte, obwohl es nicht sollte), obwohl die Fin-Antwortprüfung bestanden wurde.
Eine Zusammenfassung: Die Überschriftenzahlen (3 bestanden, 1 nicht bestanden, 2 Fehler), gefolgt von einer verständlichen Aufschlüsselung, was schiefgelaufen ist und warum. Zum Beispiel kann Operator einen fehlgeschlagenen Export auf eine Richtlinienregel zurückverfolgen, die an einen Teamkollegen übergibt, wann immer das Wort „failure“ erscheint.

So beheben Sie Probleme mit Operator

Nach der Analyse der Ergebnisse kann Operator Verbesserungen empfehlen, entweder für Ihre Evals und Simulationen oder für Fin's Konfiguration, und diese Änderungen für Sie vornehmen. Zum Beispiel, wenn eine Simulation wegen einer Richtlinienregel fehlschlägt, verfolgt Operator den Fehler bis zu dieser Regel zurück, damit Sie sehen, was zu beheben ist. Operator wendet Korrekturen nicht eigenständig an. Jede vorgeschlagene Änderung erscheint im Panel „Änderungen ausstehend“, damit Sie sie vor dem Speichern überprüfen können, wie unter So überprüfen und speichern Sie, was Operator erstellt beschrieben.

So planen Sie Evals mit Operator und Routinen

Um Evals regelmäßig auszuführen, z. B. jeden Montagmorgen, richten Sie eine Routine in Operator ein. Sie können Evals nicht von der Evals-Seite aus planen.

So planen Sie ein Eval:

Gehen Sie zu Fin AI Agent > Operator und klicken Sie auf Routinen.
Unter Routinen einrichten beschreiben Sie, was Sie ausführen möchten und wann. Zum Beispiel: „Führe das Eval Refund requests jeden Montag um 9 Uhr aus und fasse die Ergebnisse zusammen.“
Operator entwirft die Routine und zeigt sie in einem Panel rechts mit Auslöser, Zeitplan und Anweisungen an. Wenn etwas fehlt, z. B. die Uhrzeit oder Zeitzone, schlägt Operator einen Standardwert vor und bittet Sie, diesen zu bestätigen oder zu ändern.
Überprüfen Sie die Details der Routine und klicken Sie dann auf Akzeptieren, um sie zu aktivieren, oder auf Verwerfen, um sie abzubrechen.

Jedes Mal, wenn die Routine ausgeführt wird, berichtet sie, wie viele Simulationen bestanden und nicht bestanden wurden, welche fehlgeschlagen sind und warum, sowie empfohlene Korrekturen für Fin's Inhalte, Richtlinien oder Verfahren.

Evals mit Operator erstellen und ausführen