Verwenden Sie diesen Artikel, um Ihre Evals zu finden, zu filtern und zu taggen, ein neues Eval zu erstellen, Ihre Evals zu organisieren, Simulationen aus einer CSV (comma-separated values)-Datei zu importieren, eine Scorecard hinzuzufügen und zu sehen, wie Fin bei Ihren Evals abschneidet.

Die Evals-Seite listet jedes Eval in Ihrem Arbeitsbereich auf, sodass Sie sehen können, wie jede Testgruppe abgeschnitten hat und sie erneut ausführen können. Ein Eval ist eine thematische Gruppe von Tests, und jeder Test darin wird Simulation genannt. Um die Seite zu öffnen, gehen Sie zu Fin AI Agent > Test > Evals.

Die Evals-Tabelle hat diese Spalten:

Um Ihre Evals zu organisieren, gruppieren Sie Simulationen in Evals nach einem Thema, das für Ihr Unternehmen sinnvoll ist. Viele Teams beginnen mit dem, was noch nicht funktioniert, und bauen darauf auf. Häufige Ausgangspunkte sind:

Im Laufe der Zeit bauen Sie ein oder mehrere Evals als „goldenes Set“ auf, das die für Sie wichtigsten Gespräche abdeckt. Führen Sie das goldene Set regelmäßig erneut aus, zum Beispiel wöchentlich oder immer dann, wenn Sie die Konfiguration von Fin ändern, um sicherzustellen, dass Ihre wichtigsten Szenarien weiterhin funktionieren.

Um ein Eval nach Name zu finden, geben Sie im Feld Evals durchsuchen oben auf der Evals-Seite ein. Um die Liste einzuschränken, klicken Sie auf Filter hinzufügen und wählen Ergebnis oder Tag.

Um ein Eval zu erstellen, wählen Sie, ob Sie es manuell erstellen oder eine Liste von Kundenszenarien aus einer CSV (comma-separated values)-Datei importieren möchten.

Jedes Eval kann bis zu 50 Simulationen enthalten. Um aus einer CSV-Datei zu importieren, siehe Wie man Simulationen aus einer CSV-Datei importiert. Um die Simulationen innerhalb eines Evals einzurichten, siehe Simulationen für Evals einrichten.

Um Simulationen aus einer CSV-Datei zu importieren, laden Sie diese von der Evals-Seite oder innerhalb eines Evals hoch. Jede Zeile wird zu einer Simulation, und Sie überprüfen jede Spaltenzuordnung, bevor etwas gespeichert wird. Zum Importieren benötigen Sie Kann Konfiguration ansehen und Änderungen in einem Entwurfsversion vorschlagen oder Kann Konfiguration ansehen und Änderungen direkt im Hauptzweig veröffentlichen (einzeln oder in einer Version) unter Fin AI Agent & Automation.

Um in ein neues Eval zu importieren, gehen Sie zu Fin AI Agent > Test > Evals, klicken Sie auf Neues Eval und wählen Sie CSV hochladen. Um Simulationen zu einem bereits vorhandenen Eval hinzuzufügen, öffnen Sie es, wählen Sie CSV importieren im Optionsmenü (...) und wählen Sie dann dieses Eval unter Importieren nach.

Ein CSV-Import kann 5 Simulationsfelder ausfüllen. Nur die Eröffnungsnachricht ist erforderlich.

Um mit einer fertigen Datei zu starten, klicken Sie im Dialog Upload a CSV file auf Download template. Die Vorlage hat eine Spalte für jedes der 5 Felder.

Spaltenüberschriften müssen nicht genau mit der Vorlage übereinstimmen. Gängige Namen wie question, prompt, persona, outcome oder ground truth werden automatisch erkannt. Dateien mit Komma-, Semikolon- oder Tabulatortrennung funktionieren alle.

Jedes Simulationsfeld ist einer Spalte zugeordnet, und nicht verwendete Spalten werden unter Not used aufgeführt und ignoriert. Wenn eine erwartete Antwort mehr als 1.000 Zeichen hat, werden Sie gefragt, was damit geschehen soll: Leave them out (Standard) importiert die Zeile ohne diese Antwort, Cut to 1,000 characters behält den Anfang der Antwort, und Skip these rows lässt die ganze Zeile weg.

Wenn ein Channel- oder Handoff-Wert von Fin nicht erkannt wird, z. B. WhatsApp oder Yes, erscheint eine Warnung bei diesem Feld.

Sie können auch Skip rows wählen, um diese Zeilen vom Import auszuschließen. Jeder unbehandelte Wert wird standardmäßig für Channel auf Messenger und für Handoff auf No handoff gesetzt.

Nach dem Import zeigt eine Bestätigung, wie viele Simulationen erstellt wurden. Jede Zeile erscheint in der Eval als Simulation, benannt nach ihrer Eröffnungsnachricht, bereit zum Klicken auf Run all. Importierte Simulationen verwenden den Test customer und alle Marken, öffnen Sie eine Simulation, um einen bestimmten Kunden auszuwählen. Tags werden der Eval hinzugefügt, nicht in der CSV-Datei. Beim Import innerhalb eines Release werden die Simulationen diesem Release hinzugefügt.

Wenn Ihre Zeilen eine bestehende Eval über 50 Simulationen bringen würden, sehen Sie, wie viele noch passen, und können Import first [number] wählen, um nur diese zu importieren. Werden beim Import Zeilen abgelehnt, wird nichts gespeichert. Jede problematische Zeile wird mit Grund aufgelistet, und Sie können Import without these rows wählen, um den Rest zu importieren.

Tags gruppieren verwandte Evals, damit Sie sie schnell finden, wenn Ihre Suite wächst. Zum Beispiel taggen nach Thema (Refunds), Team oder Besitzer (Billing team), Testtyp (Regression, Escalation) oder Sprache (French). Eine Eval kann beliebig viele Tags haben.

Um Tags zu sehen und zu erstellen, klicken Sie oben rechts auf der Evals-Seite auf Tags. Das Tags-Panel listet jeden Tag und wie viele Evals ihn verwenden, und Sie können mit dem Search tags-Feld einen Tag finden.

Um einen Tag umzubenennen oder zu löschen, klicken Sie oben auf der Evals-Seite auf Tags oder wählen Sie Tags verwalten im Tag-Auswahlmenü. Das Panel zeigt, wie viele Evals jeden Tag verwenden. Das Löschen eines Tags entfernt ihn aus jedem Eval, einschließlich Evals in Releases.

Eine Scorecard fügt einem Eval eine Qualitätsbewertung hinzu, wie z. B. Klärung oder Effizienz, zusätzlich zu den Bestehen/Nicht-Bestehen-Prüfungen. Um eine hinzuzufügen, öffnen Sie das Eval und klicken Sie oben rechts neben Neue Simulation auf Scorecard hinzufügen. Nach dem Hinzufügen erscheint neben Simulationsergebnisse ein Abschnitt Qualitätsbewertung.

Um eine Scorecard zu erstellen, Kriterien hinzuzufügen und die Gewichtung sowie die Kritikalität jedes Kriteriums festzulegen, siehe Wie man einem Eval eine Scorecard hinzufügt.

Um zu sehen, wie Fin bei all Ihren Evals abgeschnitten hat, sehen Sie sich die Zusammenfassung oben unter Fin AI Agent > Test > Evals an. Sie spiegelt das letzte Mal wider, als jede Simulation ausgeführt wurde, und besteht aus zwei Teilen:

Die Zusammenfassung aktualisiert sich mit Ihrer Suche und Ihren Filtern, sodass das Filtern nach einem Tag nur Ergebnisse für diese Evals anzeigt.

Um frühere Durchläufe zu vergleichen, öffnen Sie eine Simulation und klicken Sie auf das Dropdown-Menü der Ausführungshistorie neben ihrem Ergebnis. Es listet jeden Durchlauf nach Datum mit seinem Ergebnis auf.