Verwenden Sie Evals, um realistische Testgespräche zu erstellen, diese gegen Ihre Fin-Konfiguration auszuführen und automatische Bestehen/Nicht-Bestehen-Ergebnisse zu erhalten, bevor eine Änderung einen echten Kunden erreicht. Führen Sie dieselben Tests erneut durch, wann immer Sie eine Änderung vornehmen, um zu überprüfen, ob Fin sich weiterhin wie erwartet verhält.
Evals basieren auf zwei Konzepten:
Evals sind thematische Testgruppen, wie „Rückerstattungsanfragen“, „Eskalationsszenarien“ oder „Ton und Freundlichkeit“.
Simulations sind die einzelnen Tests innerhalb eines Evals. Jede ist ein realistisches, mehrstufiges Gespräch zwischen einem simulierten Kunden und Fin, zusammen mit den Prüfungen, anhand derer Fins Verhalten bewertet wird.
Wenn Sie ein Eval ausführen, wird jede Simulation darin automatisch ausgeführt und erhält ein Bestehen/Nicht-Bestehen-Ergebnis. Ein LLM (Large Language Model) bewertet jede Simulation anhand der von Ihnen festgelegten Prüfungen.
Hinweis: Um Evals zu erstellen, zu bearbeiten oder auszuführen, benötigen Sie Can view configuration and propose changes in a draft release oder Can view configuration and publish changes directly to main (individually or in a release) unter Fin AI Agent & Automation. Teammitglieder mit Can view configuration können Evals und deren Ergebnisse sehen.
Erste Schritte mit Evals:
So verwalten Sie Ihre Evals: Finden, filtern, taggen und erstellen Sie Evals und importieren Sie Simulations aus einer CSV-Datei.
Simulations für Evals einrichten: Wählen Sie den simulierten Kunden, die Daten, die Fin sieht, und die Prüfungen, nach denen Fin bewertet wird, oder erstellen Sie eine Simulation aus einem echten Gespräch.
So führen Sie Evals aus und lesen die Ergebnisse: Führen Sie Simulations aus, verstehen Sie jedes Ergebnis und testen Sie in anderen Sprachen.
So fügen Sie einem Eval eine Scorecard hinzu: Bewerten Sie die Qualität von Fins Antworten sowie Bestehen oder Nicht-Bestehen.
Erstellen und führen Sie Evals mit Operator aus: Lassen Sie Operator Evals für Sie erstellen, ausführen, analysieren und planen.
Wann sollten Sie Evals verwenden?
Verwenden Sie ein Eval, wann immer Sie Vertrauen in das Verhalten von Fin haben möchten:
Vor dem Versand einer Änderung: an Inhalten, Anleitungen, Procedures oder allem anderen in Fins Konfiguration.
Während der Arbeit an einem Release: um die Änderungen in Ihrem Release gemeinsam zu testen, bevor sie live gehen.
Nach einer Fehlerbehebung: um zu bestätigen, dass Sie das Problem gelöst haben, das Sie beheben wollten.
Laufend: um Ihre wichtigsten Evals als Regressionstest erneut auszuführen und unerwartete Änderungen zu erkennen, bevor Kunden sie bemerken.
Bevor Fin live geht: um zu überprüfen, dass Ihre Konfiguration wie erwartet funktioniert, bevor Kunden zum ersten Mal mit Fin sprechen.
Testen eines Releases mit Evals
Wenn Sie an Änderungen für Fin in einem Release arbeiten, führen Sie Ihre Evals gegen diese Änderungen aus, bevor sie live gehen. Fin antwortet mit der Version Ihres Inhalts, Ihrer Anleitungen, Procedures und Skills aus dem Release, sodass Sie sehen können, wie Ihre Änderungen funktionieren, ohne Kunden zu beeinflussen.
Öffnen Sie Ihr Release und gehen Sie zum Evals-Tab.
Um ein Eval nur für dieses Release zu erstellen, klicken Sie auf Add an Eval und dann auf New eval. Es erscheint unter Added in this release.
Um nach Regressionen zu suchen, klicken Sie bei einem Ihrer vorhandenen Evals auf Run eval. Der Tab zeigt, wie viele Ihrer Evals gegen das Release ausgeführt wurden (z. B. 3/5 run).
Hinweis:
Neue Evals und Simulations, die Sie innerhalb eines Releases erstellen, erscheinen nicht in Ihren Live-Evals, bis das Release zusammengeführt wird.
Ergebnisse werden für jedes Release separat gespeichert. Ausführungen innerhalb eines Releases ändern nicht die Ergebnisse, die Sie in Main Fin sehen.
Wenn Sie das Release nach dem Ausführen eines Evals ändern, werden die Ergebnisse als veraltet markiert. Führen Sie das Eval erneut aus.
Innerhalb eines Releases können Sie vorhandene Evals nicht umbenennen oder löschen oder eine Scorecard bearbeiten.
Tags werden nicht in einem Release gespeichert. Tag-Änderungen, die Sie innerhalb eines Releases vornehmen, gelten sofort für Ihre Live-Evals.
Das Ausführen von Evals ist nicht erforderlich, um ein Release zusammenzuführen, wird aber dringend empfohlen.
Weitere Informationen zu Releases finden Sie unter Releases für Fin.
Welches Testwerkzeug sollte ich verwenden?
| Evals | Procedure Simulations | Batch Test |
Tests | Fins gesamte Konfiguration, von Anfang bis Ende | Eine einzelne Procedure | Einzelne Fragen |
Gesprächstyp | Mehrstufig | Mehrstufig, innerhalb einer Procedure | Einzelstufig |
Bewertung | Automatisch, durch den LLM-Juror, plus optionale Scorecards | Automatisch, anhand von Erfolgs- und Ergebnis-Kriterien | Manuell (Gut, Akzeptabel oder Schlecht) |
Am besten geeignet für | Regressionstests und vollständige Kundenreisen | Erstellung und Überprüfung einer Procedure | Schnelle Informationsprüfungen |
Verwenden Sie Procedure Simulations, während Sie eine Procedure erstellen, um zu überprüfen, dass sie eigenständig korrekt funktioniert. Siehe Simulations für Fin Procedures ausführen.
Verwenden Sie Evals, sobald diese Procedure live ist, um das gesamte Gespräch zu testen, einschließlich wie sie mit Ihren Inhalten, Anleitungen, Datenverbindungen und Übergaben funktioniert.
Wenn Sie heute Batch Test verwenden, beginnen Sie damit, äquivalente Szenarien als Evals zu erstellen. Sie können Ihre Batch Test-Fragen in eine CSV-Datei exportieren und als Simulations importieren.
Hinweis: Ab dem 5. November 2026 werden neue Arbeitsbereiche Batch Test nicht mehr in der linken Navigation sehen. Wenn Sie Batch Test bereits verwenden, ist es weiterhin verfügbar.
Nutzungsgrenzen für Simulationen
Es gibt ein monatliches Limit für die Anzahl der Simulations, die Sie in Evals ausführen können. Das Limit gilt für Ihren gesamten Arbeitsbereich und wird am ersten Tag jedes Kalendermonats zurückgesetzt. Ihr Kontingent basiert auf den Gesprächen Ihres Arbeitsbereichs in den letzten 30 Tagen und wird jeden Monat neu überprüft.
Gesprächsvolumen | Simulations pro Monat |
Unter 1K | 250 |
1K–15K | 1.000 |
15K–100K | 1.750 |
100K–1M | 5.000 |
1M+ | 12.500 |
Jeder Simulationslauf zählt, sobald er startet, einschließlich Läufen, die Sie vorzeitig abbrechen. Wenn Sie Ihr Limit erreichen, sehen Sie „You have reached your monthly simulation limit“ und können keine weiteren Simulations bis zum nächsten Monat ausführen. Wenn Sie Run all nahe Ihrem Limit klicken, werden die Simulations ausgeführt, die in Ihr Kontingent passen, und der Rest startet nicht.
Aktuelle Einschränkungen
Bis zu 50 Simulations pro Eval und bis zu 50 Zeilen pro CSV-Import.
Tags gelten nur für Evals. Sie können einzelne Simulations nicht taggen oder alle Evals mit einem Tag auf einmal ausführen.
Keine Benachrichtigungen. Sie werden nicht benachrichtigt, wenn ein Lauf beendet ist.
Noch keine Reviewer-Anmerkungen. Es gibt keine Möglichkeit zu vermerken, ob ein Prüfer einem Ergebnis zustimmt oder nicht.
Noch keine vorgefertigten Vorlagen. Häufige Testkategorien wie Prompt Injection haben keinen fertigen Ausgangspunkt.
Workflows werden nicht simuliert. Eine Handoff-Prüfung kann bestätigen, dass Fin ein Gespräch an einen Workflow übergibt, aber Evals simulieren nicht, was der Workflow danach macht.
FAQs
Brauche ich Operator, um Evals zu verwenden?
Brauche ich Operator, um Evals zu verwenden?
Nein, jeder Fin-Kunde kann Evals unter Fin AI Agent > Test > Evals erstellen und ausführen. Operator ist Teil des Pro-Add-ons und kann Evals für Sie erstellen, ausführen, analysieren und planen.
Wie lange dauert ein Eval?
Wie lange dauert ein Eval?
Rechnen Sie mit Minuten statt Sekunden, da jede Simulation ein vollständiges mehrstufiges Gespräch mit anschließender Bewertung ist. Läufe laufen im Hintergrund weiter, sodass Sie die Seite verlassen und später die Ergebnisse ansehen können.
Warum ist meine Simulation fehlgeschlagen, obwohl Fins Antwort richtig aussah?
Warum ist meine Simulation fehlgeschlagen, obwohl Fins Antwort richtig aussah?
Wenn Sie keine Handoff-Prüfung festgelegt haben, wird die Simulation gegen eine Standard-No handoff-Prüfung bewertet und schlägt fehl, wenn Fin übergibt. Siehe So führen Sie Evals aus und lesen die Ergebnisse.
Kann ich Evals automatisch planen?
Kann ich Evals automatisch planen?
Ja, mit einer Operator-Routine. Siehe Erstellen und Ausführen von Evals mit Operator.