Evals befindet sich derzeit in geschlossener Beta. Wenn Sie an einem frühen Zugang interessiert sind, füllen Sie bitte dieses Beta-Anfrageformular aus. Um Evals über Operator zu nutzen, benötigen Sie außerdem Zugang zu Operator.
Was ist Fin Evals?
Verwenden Sie Fin Evals, um realistische Testgespräche zu erstellen, diese gegen Ihre Fin-Konfiguration laufen zu lassen und automatische Bestehen/Nicht-Bestehen-Ergebnisse zu erhalten – bevor eine Änderung einen echten Kunden erreicht. Dieser Artikel erklärt, wie man Evals und Simulationen erstellt, sie manuell oder über Operator ausführt, Ergebnisse mit Scorecards liest und Regressionssuiten erstellt, die Probleme im Laufe der Zeit erkennen.
Anstatt zu raten, wie Fin mit einer kniffligen Rückerstattungsanfrage, einem verärgerten Kunden oder einer gerade vorgenommenen Änderung an einer Procedure umgeht, können Sie realistische Testgespräche erstellen, diese gegen Fin laufen lassen und ein automatisches Bestehen/Nicht-Bestehen-Ergebnis erhalten. Führen Sie denselben Testsatz jederzeit erneut aus, wenn Sie eine Änderung vornehmen, und Sie wissen in Minuten, ob Fin sich weiterhin wie erwartet verhält.
Fin Evals basiert auf zwei einfachen Konzepten:
Evals sind ein Container (eine thematische Gruppe von Tests). Denken Sie an „Rückerstattungsanfragen“, „Eskalationsszenarien“ oder „Ton und Freundlichkeit“.
Simulationen sind die einzelnen Tests innerhalb eines Evals. Jede Simulation ist ein realistisches, mehrstufiges Gespräch zwischen einem simulierten Kunden und Fin sowie den Kriterien, nach denen das Verhalten von Fin bewertet wird.
Wenn Sie ein Eval ausführen, wird jede Simulation darin automatisch ausgeführt, und Sie erhalten für jede ein Bestehen/Nicht-Bestehen-Ergebnis, bewertet durch eine Kombination aus deterministischen Prüfungen und einem KI-Richter, basierend auf den von Ihnen festgelegten Kriterien.
Warum, wann und wie Sie Evals verwenden sollten
Warum Evals verwenden?
Das Verhalten von Fin ist nicht festgelegt, es hängt von Ihrem Inhalt, Ihren Procedures, Ihrer Anleitung und den Daten ab, auf die es zum Zeitpunkt der Antwort Zugriff hat. Jedes Mal, wenn Sie eine Änderung an einem dieser Punkte vornehmen, besteht die Möglichkeit, dass sich das Verhalten von Fin an anderer Stelle ändert – auf eine Weise, die leicht übersehen wird, bis ein echter Kunde auf das Problem stößt.
Evals bieten Ihnen eine wiederholbare Möglichkeit, das Verhalten von Fin über realistische, mehrstufige Gespräche zu überprüfen und Probleme zu erkennen, bevor sie in einem Live-Gespräch auftreten.
Wann sollten Sie Evals verwenden?
Greifen Sie zu einem Eval, wann immer Sie Vertrauen in das Verhalten von Fin haben möchten:
Vor dem Versand einer Änderung: an Inhalten, Anleitungen, Procedures oder sonstigen Konfigurationen von Fin.
Nach einer Fehlerbehebung: um zu bestätigen, dass Sie das Problem tatsächlich gelöst haben.
Laufend: Führen Sie bestehende Evals regelmäßig als Regressionssuite erneut aus, um unerwartete Abweichungen zu erkennen, bevor Kunden sie bemerken.
Vor dem Live-Gang mit Fin: um zu überprüfen, ob Ihre Konfiguration wie erwartet funktioniert, bevor Ihre Kunden zum ersten Mal mit Fin interagieren.
Wie Sie Ihre Evals organisieren
Gruppieren Sie Simulationen in einem Eval nach einem Thema, das für Ihr Unternehmen sinnvoll ist. Übliche Ausgangspunkte, die Beta-Kunden verwendet haben:
Eskalationsszenarien: Situationen, in denen Fin an einen Menschen übergeben sollte (oder nicht).
Themenszenarien: Ein bestimmtes Thema wie Rückerstattungsanfragen, getestet über verschiedene Variationen hinweg.
Verhaltensszenarien: Überprüfung, dass Fin in verschiedenen Situationen den Ton und die Marke beibehält, unabhängig vom Thema.
Erstellung und Analyse von Evals mit Operator
Wenn Sie Zugang zu Operator haben, kann dieser Ihre Evals und Simulationen für Sie erstellen und die Ergebnisse nach deren Ausführung analysieren.
Wie man ein Eval mit Operator erstellt
Gehen Sie zu Operator und bitten Sie ihn, ein Eval für Ihren Anwendungsfall zu erstellen.
Sie können ihm Anweisungen geben, welche Simulationen, Simulationsprüfungen und Übergabeprüfungen enthalten sein sollen, oder Operator die Ableitung überlassen. Sobald Ihr Eval und die Simulationen erstellt sind, erscheinen sie zur Überprüfung und Genehmigung.
Wie man ein Eval mit Operator ausführt
Wenn Sie bereit sind, bitten Sie Operator, das Eval für Sie auszuführen.
Er zeigt Ihnen die Ergebnisse an, sobald jede Simulation ausgeführt wird.
Sobald alle Simulationen ausgeführt wurden, legt Operator die Ergebnisse dar und erklärt sie für Sie:
Eine Ergebnistabelle – jede Simulation mit ihrem Gesamtergebnis (Bestanden, Nicht Bestanden oder Fehler) und den einzelnen Prüfungen dahinter, damit Sie sehen können, warum sie so bewertet wurde. Im obigen Beispiel schlug „Bulk workspace export“ fehl, weil die Übergabeprüfung fehlschlug (Fin eskalierte, obwohl es nicht sollte), obwohl die Fin-Antwortprüfung bestanden wurde.
Eine Zusammenfassung – die Überschriftenanzahlen (3 bestanden, 1 nicht bestanden, 2 Fehler) gefolgt von einer verständlichen Aufschlüsselung, was schiefgelaufen ist und warum. Hier verfolgt Operator den fehlgeschlagenen Export zurück zu einer Anleitungsregel, die immer dann an einen Menschen weiterleitet, wenn das Wort „failure“ erscheint.
Operator berichtet nicht nur die Ergebnisse – er schlägt die nächsten Schritte vor und bietet an, diese für Sie durchzuführen.
Sie benötigen Operator nicht, um ein Eval auszuführen. Gehen Sie zu Fin AI Agent > Test > Evals und führen Sie es selbst aus.
Schritt für Schritt: Ein Eval erstellen und ausführen
1. Erstellen Sie Ihr Eval
Gehen Sie zu Fin AI Agent > Test > Evals und klicken Sie auf Neues Eval. Geben Sie ihm einen klaren, beschreibenden Namen (bis zu 250 Zeichen). Sie und Ihre Kollegen werden dieses Eval später erneut ausführen, daher sollte auf den ersten Blick ersichtlich sein, was es abdeckt (z. B. „Rückerstattungsanfragen – Standard- und Grenzfälle“).
Optional können Sie in diesem Schritt auch eine Scorecard anhängen, um die Qualität von Fins Antworten anhand von von Ihnen definierten Kriterien zusätzlich zum Bestehen/Nicht-Bestehen-Test zu messen. Siehe Qualitätsbewertung mit Scorecards.
2. Fügen Sie Simulationen zu Ihrem Eval hinzu
Wählen Sie in Ihrem Eval Neue Simulation aus. Für jede Simulation füllen Sie aus:
Wenn Sie keinen Titel hinzufügen, wird die Simulation automatisch nach der ersten Kundenmeldung im Gespräch benannt.
Was der simulierte Kunde sagt: das Gespräch, das der simulierte Kunde mit Fin führt. Fügen Sie Folgeanweisungen hinzu, wenn das Gespräch mehrstufig sein soll, damit genügend Kontext vorhanden ist, um die Kundenseite des Gesprächs zu generieren.
Jeder Kontext, den Fin haben sollte: zum Beispiel Kundenattribute oder der Zustand eines Datenconnectors, damit der Test ein realistisches Szenario aus der Praxis widerspiegelt.
Wie Fins Verhalten bewertet werden soll:
Simulationsprüfungen — was Fin sagen oder tun soll, um zu bestehen.
Fügen Sie eine oder mehrere der folgenden Optionen hinzu:
Fin-Antwort — Fins Antwort erfüllt eine von Ihnen beschriebene Bedingung.
Ausgelöste Prozedur — Fin hat eine bestimmte Prozedur gestartet.
Prozedur gewechselt — Fin wechselte während des Gesprächs von einer Prozedur zu einer anderen.
Datenconnector — Fin hat einen bestimmten Datenconnector aufgerufen.
Handoff-Prüfungen — was am Ende des Gesprächs über die Übergabe wahr sein soll. Wählen Sie eine Option:
Keine Übergabe — Fin hat das Problem gelöst, ohne an ein Team oder Workflows zu übergeben.
An Team oder Teammitglied übergeben — Fin konnte nicht antworten oder Ihre Übergaberichtlinien wurden angewendet.
An einen Workflow übergeben — Fin hat das Gespräch an einen Workflow weitergeleitet. (Hinweis: Das Gespräch wird nach der Übergabe nicht simuliert.)
Hinweis:
Jedes Eval unterstützt derzeit bis zu 50 Simulationen. Sie können keine weiteren hinzufügen, bis Sie bestehende löschen.
Sie können auch eine Simulation aus einem echten inbox-Gespräch erstellen – siehe den Abschnitt Simulation aus einem echten Gespräch erstellen weiter unten.
Demnächst verfügbar:
Massenimport aus einer CSV, damit Sie nicht jede Simulation manuell einzeln erstellen müssen.
3. Führen Sie das Eval aus
Sobald Ihre Simulationen eingerichtet sind, führen Sie das Eval aus. Fin arbeitet jede Simulation in der Gruppe durch, und Sie erhalten:
Ein Bestanden/Nicht bestanden-Ergebnis für jede Simulation, geprüft anhand der von Ihnen definierten Simulationsprüfungen und Handoff-Prüfungen.
Das vollständige Gesprächstranskript für jeden Simulationslauf.
Das Ereignisprotokoll, das FIns Denkprozess und die verwendeten Werkzeuge und Informationen bei jedem Schritt zeigt.
Das Ergebnis der Handoff-Prüfung für jede Simulation: ob Fin die Anfrage bearbeitet oder an Ihr Team oder einen Workflow übergeben hat. Daneben bestätigen Ihre Simulationsprüfungen die von Ihnen festgelegten Details, z. B. ob eine Prozedur ausgelöst oder ein Datenconnector aufgerufen wurde.
Wenn ein einzelnes Gespräch erfordert, dass Fin mehrere Prozeduren durchläuft, können Evals das ebenfalls abbilden. Sie können sehen, wie Fin während des simulierten Gesprächs zwischen Prozeduren wechselt, genau wie bei einem echten Kunden.
Wenn eine Simulation Fehler anzeigt statt Bestanden oder Nicht bestanden, konnte das Gespräch nicht abgeschlossen werden – überprüfen Sie die Einrichtung der Simulation (Kundenmeldung, Kontext oder Prüfungen) auf Fehlkonfigurationen. Wenn sie Nicht bestanden ist, öffnen Sie das Transkript und das Ereignisprotokoll, um zu sehen, wo FIns Verhalten von den Prüfungen abwich.
4. Bei Bedarf erneut ausführen
Nachdem Sie Änderungen an Fins Inhalten, Prozeduren oder Anweisungen vorgenommen haben, führen Sie Ihre bestehenden Evals erneut aus, um Rückschritte zu erkennen. Da jede Simulation gespeichert und wiederverwendbar ist, dauert dies nur Sekunden, anstatt dass Sie Ihre Testszenarien von Grund auf neu erstellen müssen. So können Sie im Laufe der Zeit echte Regressionstests aufbauen.
Erstellen einer Simulation aus einem echten Gespräch
Einige der wertvollsten Tests stammen aus bereits geführten Gesprächen. Wenn Sie ein echtes Gespräch finden, bei dem Fins Antwort nicht gut genug war, können Sie genau diesen Moment in eine Wiedergabe verwandeln – und sie immer wieder ausführen, während Sie Fin verbessern, bis die Antwort stimmt.
Eine Wiedergabe erfasst einen Schnappschuss des Gesprächs bis zu der von Ihnen ausgewählten Fin-Antwort und friert die vorherigen Gesprächsbeiträge ein. Fin wird dann gegen diesen eingefrorenen Startpunkt erneut ausgeführt, sodass Sie sehen können, wie es jetzt antwortet. Ändern Sie Fins Konfiguration, führen Sie es erneut aus und vergleichen Sie – da alles vor dieser Antwort fest bleibt, testen Sie genau die eine Antwort, die Ihnen wichtig ist, und nicht ein sich bewegendes Ziel.
So erstellen Sie eine Wiedergabe
Öffnen Sie im inbox das Gespräch und finden Sie die Fin-Antwort, die Sie testen möchten.
Öffnen Sie das Überlaufmenü (...) bei dieser Fin-Antwort und wählen Sie Fin-Antwort zur Evaluation hinzufügen. (Diese Aktion erscheint nur bei Fin-Antworten, die wiedergegeben werden können.)
Wählen Sie ein bestehendes Eval aus, dem Sie es hinzufügen möchten, oder erstellen Sie ein neues, indem Sie ihm einen Namen geben.
Die Wiedergabe wird als Simulation in diesem Eval gespeichert, betitelt mit der Eröffnungsnachricht des Kunden. Führen Sie sie sofort aus oder später als Teil des gesamten Evals. Um sie später auszuführen, gehen Sie zu Fin AI Agent > Test > Evals, öffnen Sie das Eval und klicken Sie auf Ausführen.
So verwenden Sie eine Wiedergabe, um Fins Antworten zu korrigieren und erneut zu testen
Nachdem Sie eine Wiedergabe-Simulation aus einem echten Gespräch gespeichert haben, verwenden Sie diesen Workflow, um das Problem zu diagnostizieren und zu beheben:
Führen Sie sie aus, um zu sehen, wie Fin die eingefrorene Unterhaltung mit Ihrer aktuellen Konfiguration beantwortet.
Nehmen Sie eine Änderung vor – aktualisieren Sie Inhalte, eine Prozedur oder Anweisungen – und führen Sie sie erneut aus, um zu sehen, ob sich die Antwort verbessert hat.
Fügen Sie Simulationsprüfungen, Handoff-Prüfungen oder eine Bewertungskarte hinzu, um zu definieren, wie „behoben“ aussieht, damit Sie ein klares Bestanden/Nicht bestanden erhalten und keine subjektive Einschätzung.
Behalte die Simulation, sobald sie bestanden ist. Sie dient jetzt auch als Regressionstest: Führe sie nach zukünftigen Änderungen erneut aus, um sicherzustellen, dass die Korrektur hält.
Dies ist der schnellste Weg, einen realen Fehler in einen dauerhaften Test zu verwandeln – anstatt ein Szenario von Grund auf neu zu schreiben, startest du mit etwas, das tatsächlich passiert ist.
Hinweis: Ein Replay führt die einzelne Fin-Antwort erneut aus, die du ausgewählt hast, wobei die vorherigen Gesprächsrunden eingefroren bleiben. Wenn du simulieren möchtest, was als Nächstes im Gespräch passiert, füge im Simulation-Editor „Follow-up instructions“ hinzu – diese sagen dem System, was der Kunde als Nächstes sagen würde, damit Fin darauf reagieren kann.
Bewertung der Qualität mit Scorecards
Handoff-Prüfungen und Simulationsprüfungen zeigen dir, ob Fin das Richtige getan hat. Eine Scorecard zeigt dir, wie gut es das getan hat.
Standardmäßig wird jede Simulation anhand ihrer Handoff-Prüfungen bewertet (hat Fin geantwortet oder an dein Team oder einen Workflow übergeben) und aller von dir festgelegten Simulationsprüfungen (z. B. ob eine bestimmte Procedure ausgelöst oder ein Datenconnector aufgerufen wurde). Das ist eine Bestehen/Nicht-Bestehen-Bewertung von Fins Verhalten.
Eine Scorecard fügt eine qualitative Bewertungsebene über die Bestehen/Nicht-Bestehen-Prüfungen deiner Eval hinzu – sie misst Dimensionen wie Tonfall, Markensicherheit oder Effizienz, die sich nicht klar in ein binäres Ergebnis übersetzen lassen. Scorecards werden mit Monitoren geteilt, sodass du vor einer Änderung, die live geht, gegen dieselbe Qualitätsrichtlinie testest, die deine Monitore danach durchsetzen.
Was eine Scorecard enthält
Eine Scorecard besteht aus einem oder mehreren Kriterien – den Dimensionen, die dir wichtig sind (z. B. „Effizienz“, „Klarstellung“, „Eskalationsfreundlichkeit“). Jedes Kriterium hat:
Einen Namen: ein kurzes Label, das in deinen Ergebnissen erscheint.
Eine Beschreibung: was du bewertest und wie es beurteilt werden soll. Dies ist die Anweisung, der der KI-Richter folgt – verwende eine der vorgegebenen Optionen oder sei spezifisch, wenn du eigene erstellst.
Bewertungsoptionen: die möglichen Bewertungen (mindestens zwei), jeweils mit einem Namen (z. B. „Gut“, „Okay“, „Schlecht“) und einem numerischen Wert (z. B. 100 %, 50 %, 0 %).
In einer Eval werden Kriterien automatisch von einem KI-Richter bewertet, zusammen mit dem Rest der Simulation.
So konfigurierst du die Scorecard-Bewertung
Wenn du eine Scorecard an eine Eval anhängst, kannst du konfigurieren, wie jedes Kriterium zur Gesamtbewertung beiträgt:
Gewichtung: Gib jedem Kriterium eine Gewichtung, die widerspiegelt, wie wichtig es ist. Die Gewichte sind proportional, sodass ein Kriterium mit Gewicht 2 doppelt so viel zählt wie eines mit Gewicht 1.
Kritische Kriterien: Markiere ein Kriterium als kritisch, wenn es unverhandelbar ist (z. B. für Compliance oder Sicherheit). Eine schlechte Bewertung bei einem kritischen Kriterium führt zum Durchfallen der gesamten qualitativen Bewertung, egal wie die anderen Bewertungen ausfallen.
Bestehensgrenze: Lege die minimale Gesamtpunktzahl fest, die eine Simulation für das Bestehen in der Qualität erreichen muss.
So liest du Scorecard-Ergebnisse
Wenn eine Eval ausgeführt wird, zeigt jede Simulation wie bisher ihre Handoff- und Simulationsprüfungsergebnisse sowie ihre Scorecard-Punktzahl und die Bewertung und Begründung, die der Richter für jedes Kriterium abgegeben hat. Da der Richter seine Begründung zeigt, kannst du sehen, warum eine Antwort so bewertet wurde, und das direkt in eine Korrektur umsetzen.
Tipp: Vage Kriterien führen zu vagen Bewertungen. Formuliere jedes Kriterium so, wie du es einem neuen Prüfer erklären würdest – beschreibe, wie „gut“ aussieht und was die Bewertung verschlechtern sollte. Siehe wie man effektive Monitor- & Scorecard-Kriterien schreibt.
Wie Evals Procedure Simulations ergänzen
Procedure Simulations bleiben erhalten und sind weiterhin das richtige Werkzeug für eine bestimmte Aufgabe: eine einzelne Procedure isoliert zu testen. Du musst Erfolgskriterien und Ergebnisbedingungen für jeden Test definieren, und sie sind ideal, um zu validieren, dass eine einzelne Procedure korrekt funktioniert.
Evals setzen dort an, wo Procedure Simulations enden. Während eine Procedure Simulation auf eine einzelne Procedure beschränkt ist, kann eine Eval Simulation Fins gesamte Konfiguration von Anfang bis Ende testen: Sie bewegt sich über mehrere Procedures, Inhalte, Anleitungen und Datenconnectoren innerhalb eines einzigen realistischen Gesprächs, genau wie ein echtes Kundengespräch.
Verwende sie zusammen:
Verwende Procedure Simulations, um eine einzelne Procedure zu erstellen und zu validieren, während du daran arbeitest.
Verwende Evals, um die gesamte Customer Journey zu validieren, sobald diese Procedure live ist, einschließlich der Interaktion mit allem anderen in Fins Konfiguration.
Evals statt Batch Test verwenden
Heute verwenden viele Teams Batch Test, um Fin zu validieren. Dabei werden mehrere einzelne, informationsbasierte Fragen gestellt und jede Antwort manuell als Gut, Akzeptabel oder Schlecht bewertet.
Fin Evals ist so konzipiert, dass es alles kann, was Batch Test kann, und noch viel mehr:
Die folgende Tabelle vergleicht Batch Test und Fin Evals in vier Dimensionen: Gesprächstyp, Bewertung, Regressionstests und Gruppierung.
| Batch Test | Fin Evals |
Gesprächstyp | Nur einzelne, informationsbasierte Fragen | Volle Mehrfachrunden-Gespräche |
Bewertung | Manuelle Bewertung (Gut/Akzeptabel/Schlecht) | Automatisch – deterministische Prüfungen plus KI-als-Richter anhand deiner Kriterien |
Regressionstests | Manuelles erneutes Ausführen | Erneutes Ausführen auf Abruf als Regressionstest-Suite |
Gruppierung | Gruppiert, bis zu 50 Fragen | Gruppiert in Evals mit bis zu 50 Simulationen, organisiert wie es dir passt |
Wenn du derzeit Batch Test verwendest, empfehlen wir dir, während der Beta-Phase äquivalente Testszenarien als Evals zu erstellen. Evals bieten dir eine schnellere, automatisiertere und realistischere Möglichkeit, das gleiche Vertrauen und noch mehr zu gewinnen.
Nutzungsgrenzen für Simulationen
Es gibt eine Begrenzung für die Anzahl der Simulationen, die du innerhalb von Evals pro Monat ausführen kannst. Diese Begrenzung gilt auf Workspace-Ebene und wird am ersten Tag jedes Kalendermonats zurückgesetzt.
Jeder Workspace erhält ein monatliches Kontingent an Simulationsläufen. Das Kontingent basiert auf dem Gesprächsvolumen-Segment deines Workspaces, wobei größere Kunden höhere Kontingente erhalten.
Die Simulationszulage basiert auf dem Gesprächsvolumen Ihres Workspaces in Intercom.
Wir ordnen Ihren Workspace einem Segment zu, basierend auf der Anzahl der Gespräche im letzten Kalendermonat.
Ihr Segment wird monatlich neu bewertet und Ihre Zulage spiegelt das Gesprächsvolumen des letzten Monats wider.
Wenn Ihr Gesprächsvolumen steigt oder sinkt, kann sich Ihre Zulage im nächsten Monatszyklus ändern.
Die folgende Tabelle zeigt die monatliche Simulationslauf-Zulage nach Workspace-Gesprächsvolumen-Segment.
Gesprächsvolumen-Segment | Simulationslimit pro Monat |
Unter 1K | 250 |
1K–15K | 1.000 |
15K–100K | 1.750 |
100K–1M | 5.000 |
1M+ | 12.500 |
Überwachung Ihrer Nutzung
Um Ihnen bei der Verwaltung Ihrer Tests zu helfen, sehen Sie visuelle Indikatoren im Evaluations-Tab:
Nutzungswarnung
Wenn Ihr Workspace 80 % seines monatlichen Limits erreicht, erscheint ein gelbes Warnbanner. Es zeigt Ihre aktuelle Nutzung (z. B. „850/1000“) und erinnert Sie daran, wann das Limit zurückgesetzt wird.
Limit erreicht
Sobald Sie 100 % Ihres monatlichen Limits erreicht haben, erscheint eine rote Fehlermeldung. Sie können keine weiteren Simulationen innerhalb von Evaluations ausführen, bis der nächste Monat beginnt.
Wichtige Informationen zur Beta
Fin Evals befindet sich in der Closed Beta und wird aktiv weiterentwickelt. Hier ist, was Sie derzeit beachten sollten:
Eine Organisation über eine Eval hinaus ist noch nicht verfügbar. Es gibt derzeit keine Ordnerstruktur, um Evals nach Team oder Eigentum zu gruppieren.
In-Produkt-Anmerkungen kommen bald. Sie können bald einfache Notizen zu einer Simulation hinzufügen, aber es gibt noch keine Möglichkeit, festzuhalten, ob ein Prüfer einem Ergebnis zustimmt oder nicht.
Vorlagen sind noch nicht vorgefertigt. Häufige Testkategorien wie Prompt Injection oder generische Randfallfragen haben noch keinen fertigen Ausgangspunkt – Sie müssen diese vorerst selbst erstellen.
Workflows sind vorerst nicht enthalten. Evals decken derzeit die Antwortkonfiguration von Fin ab – Inhalte, Verfahren, Anleitungen, Zielgruppen und Datenanschlüsse – aber nicht Workflows.
Bis zu 50 Simulationen pro Eval und bis zu 50 Zeilen pro CSV-Import.
Verstehen von Bestehen/Nichtbestehen: das Standardverhalten „kein Handoff“
Wenn Sie eine Simulation ohne explizite Handoff-Prüfung und ohne Simulationsprüfungen hinzufügen, bewertet Evals diese standardmäßig nach dem Kriterium „Kein Handoff“ – das bedeutet, die Simulation besteht nur, wenn Fin das Gespräch ohne Übergabe an ein Team oder Workflow gelöst hat.
Diese Standardeinstellung wird in der Simulations-Setup-Benutzeroberfläche nicht angezeigt, was bedeutet, dass Simulationen auf unerwartete Weise fehlschlagen können, wenn Fin eskaliert hat und Sie das nicht testen wollten. Wenn eine Simulation fehlschlägt und Sie nicht wissen warum, prüfen Sie, ob eine Handoff-Prüfung eingestellt war – wenn nicht, ist die Standardregel „kein Handoff“ der Grund.
Tipp: Fügen Sie jeder Simulation immer eine explizite Handoff-Prüfung hinzu, damit das Bestehen/Nichtbestehen-Ergebnis Ihre Absicht widerspiegelt und nicht die Standardeinstellung.
Haben Sie Feedback zu Fin Evals? Wir würden uns freuen, von Ihnen zu hören. Bitte wenden Sie sich an Ihren Account Manager.