Verwenden Sie diesen Artikel, um die Simulationen in einem Eval auszuführen, die Ergebnisse auf einer Eval-Seite zu lesen und zu überprüfen, wie Fin bei einer einzelnen Simulation abgeschnitten hat.
Wie man die Simulationen in einem Eval ausführt
Um alle Simulationen in einem Eval auf einmal auszuführen, öffnen Sie das Eval und klicken Sie auf Alle ausführen. Um eine einzelne Simulation auszuführen, klicken Sie auf die Ausführen-Schaltfläche in der jeweiligen Zeile. Während eine Simulation läuft, zeigt die Spalte Letzter Lauf Gerade eben und die Spalte Ergebnis Läuft an. Wenn sie beendet ist, ändert sich das Ergebnis zu Bestanden, Nicht bestanden oder Fehler.
Was passiert, wenn Sie ein Eval ausführen?
Wenn Sie ein Eval ausführen, sind die Ergebnisse nicht sofort verfügbar, da jede Simulation ein vollständiges mehrstufiges Gespräch ist. Fin antwortet, der simulierte Kunde reagiert, und das Gespräch geht weiter, bis es endet. Danach werden die Prüfungen und jede Scorecard bewertet. Eine Simulation kann einige Minuten dauern, ein vollständiges Eval kann länger dauern.
Simulationen werden in einer Warteschlange ausgeführt und laufen jeweils einige gleichzeitig, nicht alle auf einmal. Während sie warten, werden sie als In Warteschlange angezeigt. Sobald sie starten, werden sie als Läuft angezeigt.
Das Ergebnis des Evals wird aktualisiert, sobald jede Simulation abgeschlossen ist, zum Beispiel 3/10 Läuft. Scorecard-Ergebnisse erscheinen kurz nach Abschluss des Gesprächs.
Die Läufe erfolgen im Hintergrund. Sie können die Seite verlassen und später zurückkehren, um die Ergebnisse zu sehen. Sie erhalten keine Benachrichtigung, wenn ein Lauf beendet ist.
Wenn Sie mehrere Evals gleichzeitig ausführen, werden sie nacheinander in eine Warteschlange gestellt, sodass jeder länger zur Fertigstellung braucht.
Um einen Lauf zu stoppen, klicken Sie auf die Stopp-Schaltfläche beim Eval oder der Simulation. Gestoppte Simulationen zählen weiterhin zu Ihrem monatlichen Simulationskontingent.
Um nur einige Simulationen auszuführen, wählen Sie diese aus und klicken Sie auf Ausführen, oder suchen bzw. filtern Sie die Liste und klicken Sie auf Gefilterte ausführen.
Tipp: Während Sie an einer Korrektur arbeiten, führen Sie nur die Simulationen aus, die Ihnen wichtig sind, anstatt das gesamte Eval. Speichern Sie Alle ausführen für Regressionstests, bevor Sie eine Änderung veröffentlichen.
Wie viele Simulationen können Sie jeden Monat ausführen?
Ihr Arbeitsbereich kann jeden Monat eine festgelegte Anzahl von Simulationen in Evals ausführen. Das Limit gilt für den gesamten Arbeitsbereich und wird am ersten Tag jedes Kalendermonats zurückgesetzt.
Ihr monatliches Simulationskontingent basiert auf dem Gesprächsvolumen Ihres Arbeitsbereichs in Intercom, und größere Arbeitsbereiche erhalten höhere Kontingente.
Ihr Arbeitsbereich wird einem Segment zugewiesen, basierend auf der Anzahl der Gespräche in den letzten 30 Tagen.
Ihr Segment wird monatlich neu bewertet, sodass Ihr Kontingent Ihr aktuelles Gesprächsvolumen widerspiegelt.
Wenn Ihr Gesprächsvolumen steigt oder sinkt, kann sich Ihr Kontingent im nächsten Monatszyklus ändern.
Die folgende Tabelle zeigt das monatliche Simulationskontingent für jedes Gesprächsvolumensegment.
Gesprächsvolumensegment | Simulationslimit pro Monat |
Unter 1K | 250 |
1K–15K | 1.000 |
15K–100K | 1.750 |
100K–1M | 5.000 |
1M+ | 12.500 |
Was passiert, wenn Sie Ihr monatliches Simulationslimit erreichen?
Wenn Ihr Arbeitsbereich 80 % seines monatlichen Simulationslimits erreicht, wird ein gelbes Banner mit Ihrer aktuellen Nutzung angezeigt (zum Beispiel 850/1000) und wann das Limit zurückgesetzt wird.
Bei 100 % erscheint eine rote Meldung, und Sie können keine weiteren Simulationen ausführen, bis der nächste Monat beginnt.
Was sehen Sie auf einer Eval-Seite?
Eine Eval-Seite zeigt die Ergebnisse eines Evals und listet die darin enthaltenen Simulationen auf. Um sie zu öffnen, klicken Sie auf den Namen eines Evals auf der Evals-Seite. Der Name des Evals erscheint im Seitentitel, nach dem Evals-Breadcrumb.
Schaltflächen oben: Operator, ein ⋯-Menü, Scorecard hinzufügen und Neue Simulation.
Filter: ein Simulationen durchsuchen-Feld, ein Ergebnis-Filter, die dem Eval zugeordneten Tags und eine + Tag-Schaltfläche.
Simulationsergebnisse: die Anzahl der Simulationen, die bestanden haben, zum Beispiel 4/6 bestanden, mit einer Fortschrittsanzeige.
Simulierte Gespräche: eine Tabelle mit dem Simulierten Gespräch (die Eröffnungsnachricht des Kunden), Notizen, Letzter Lauf und Ergebnis (Bestanden oder Nicht bestanden) für jede Simulation sowie einer Ausführen-Schaltfläche in jeder Zeile.
Alle ausführen: führt jede Simulation im Eval aus.
Die Anzahl der Simulationsergebnisse umfasst die Anzahl der Simulationen im Eval, die bei ihrem letzten Lauf alle Simulationsprüfungen und Übergabekriterien bestanden haben. Um diese Definition zu sehen, fahren Sie mit der Maus über das Fragezeichen neben Simulationsergebnisse.
Was können Sie im Eval-Menü tun?
Klicken Sie auf das ⋯-Menü oben auf einer Eval-Seite, um eine dieser Optionen auszuwählen: Eval bearbeiten, CSV importieren oder Eval löschen.
Was sehen Sie auf einer Simulationsseite?
Eine Simulationsseite zeigt ein simuliertes Gespräch, die Prüfungen, auf denen es bewertet wurde, und wie Fin abgeschnitten hat. Um sie zu öffnen, klicken Sie auf die Zeile einer Simulation auf der Eval-Seite. Der Seitentitel zeigt den Pfad Evals, dann den Namen des Evals und dann Simulation.
Schaltflächen oben: Operator, Bearbeiten, ein ⋯-Menü, Ausführen und eine Schließen-Schaltfläche.
Ergebniszusammenfassung: die Eröffnungsnachricht des Kunden, ein Bestanden- oder Nicht bestanden-Label und wann die Simulation zuletzt ausgeführt wurde.
Simulationslauf-ID: eine ID für den Lauf mit einer Kopieren-Schaltfläche.
Gespräch: was der Testkunde gesagt hat und wie Fin AI Agent geantwortet hat, einschließlich Ereignissen, die Fin unterwegs aufgezeichnet hat, wie das Einstellen der Sprache.
Übergabe: ein Bestanden- oder Nicht bestanden-Label und die erwartete Übergabe, zum Beispiel Erwartet: Keine Übergabe.
Simulationsprüfungen: ein Bestanden- oder Nicht bestanden-Label für jede Prüfung. Eine Fin-Antwort-Prüfung zeigt die von Ihnen festgelegten Kriterien und den Grund, warum sie bestanden oder nicht bestanden wurde.
Notizen: ein Ort, um eine Notiz zur Simulation hinzuzufügen, indem Sie auf Notiz hinzufügen klicken.
Scorecard (falls das Eval eine hat): die Bewertungsnote und die Bewertung für jedes Kriterium.
Um zu ändern, was eine Simulation prüft, siehe Simulationen für Evals einrichten.
Wie man das Ergebnis einer Simulation liest
Wenn eine Simulation beendet ist, zeigt sie Bestanden, Nicht bestanden oder Fehler an. Eine Simulation besteht nur, wenn jede Simulationsprüfung und jede Übergabeprüfung bestanden wird. Ein einzelner nicht bestandener Test bedeutet, dass die Simulation nicht bestanden ist. Für jede Simulation erhalten Sie das Gesamtergebnis, das vollständige Gesprächstranskript und das Ereignisprotokoll, das Fin's Überlegungen sowie die verwendeten Werkzeuge und Informationen bei jedem Schritt zeigt.
Nicht bestanden: Das Gespräch wurde beendet, aber Fin hat eine Ihrer Prüfungen nicht erfüllt. Öffnen Sie das Transkript und das Ereignisprotokoll, um zu sehen, wo Fin's Verhalten von den festgelegten Prüfungen abwich.
Fehler: Das Gespräch konnte nicht abgeschlossen werden. Führen Sie es erneut aus und überprüfen Sie dann die Einrichtung der Simulation (Kundenmeldung, Daten oder Prüfungen) auf Fehlkonfigurationen.
Wenn ein einzelnes Gespräch erfordert, dass Fin mehrere Verfahren durchläuft, sehen Sie, wie Fin während des simulierten Gesprächs zwischen den Verfahren wechselt, genau wie bei einem echten Kunden. Jede Simulation speichert die letzten 15 Läufe, und Sie können mit dem Dropdown für die Laufhistorie einer Simulation frühere Ergebnisse ansehen.
Was bedeuten die Eval-Ergebnisse in der Evals-Liste?
Jedes Eval in der Evals-Liste zeigt ein Gesamtergebnis. Dies sind auch die Optionen im Ergebnis-Filter:
Nicht ausgeführt: Keine der Simulationen des Evals wurde bisher ausgeführt.
In Warteschlange: Der Lauf wartet darauf, gestartet zu werden.
Läuft: Simulationen laufen gerade, mit einer Anzahl, wie zum Beispiel 3/10 Läuft.
Bestanden: Jede Simulation wurde bestanden.
Teilweise bestanden: Einige Simulationen wurden bestanden, andere sind fehlgeschlagen oder haben Fehler.
Nicht bestanden: Keine Simulation wurde bestanden.
Abgebrochen: Der Lauf wurde abgebrochen, bevor eine Simulation ein Ergebnis erhielt.
Nicht verarbeitbar: Keine Simulation erhielt ein Ergebnis, da sie gelöscht wurden, bevor sie ausgeführt werden konnten.
Bestanden, Teilweise bestanden und Nicht bestanden Evals zeigen eine Anzahl an, wie 8/10 Bestanden. Das Abzeichen ist grün, wenn jede Simulation bestanden wurde, und rot, wenn weniger als die Hälfte bestanden hat.
Warum ist meine Simulation fehlgeschlagen, obwohl Fin's Antwort richtig aussah?
Eine Simulation kann beim Standard-Check Keine Übergabe fehlschlagen, auch wenn Fin's Antwort richtig aussah. Wenn Sie eine Simulation ohne expliziten Übergabe-Check und ohne Simulationsprüfungen hinzufügen, besteht die Simulation nur, wenn Fin das Gespräch ohne Übergabe an ein Team oder einen Workflow gelöst hat. Dieser Standard wird in der Simulationseinrichtung nicht angezeigt, prüfen Sie also, ob ein Übergabe-Check gesetzt wurde, wenn eine Simulation fehlschlägt und Sie den Grund nicht sehen können.
Tipp: Fügen Sie jeder Simulation einen expliziten Übergabe-Check hinzu, damit das Bestehen/Nichtbestehen-Ergebnis Ihre Absicht widerspiegelt und nicht den Standard.
Wie man Fin in anderen Sprachen als Englisch testet
Um Fin in einer anderen Sprache zu testen, schreiben Sie die erste Nachricht des Kunden in dieser Sprache. Simulationen unterstützen dieselben Sprachen wie Fin, und Sie müssen keine Sprache einstellen. Wenn eine Simulation startet, erkennt Fin die Sprache der ersten Nachricht mit derselben Spracherkennung wie bei Live-Gesprächen und verwendet sie für die gesamte Simulation. Fin antwortet in dieser Sprache, der simulierte Kunde schreibt seine Folge-Nachrichten ebenfalls in dieser Sprache, und Scorecards werden in dieser Sprache bewertet.
Wenn der simulierte Kunde eine Sprachüberschreibung eingestellt hat, verwendet Fin diese stattdessen, genau wie bei einem echten Kunden.
Fin respektiert die mehrsprachigen Einstellungen Ihres Arbeitsbereichs. Wenn die erkannte Sprache nicht eine der von Ihnen für Fin aktivierten Sprachen ist oder Fin sie nicht mit ausreichender Sicherheit erkennen kann (zum Beispiel bei einer sehr kurzen Nachricht wie „Hi“), fällt Fin auf die Messenger-Sprache des Kunden zurück und dann auf die Standardsprache Ihres Arbeitsbereichs.
Sie können sehen, welche Sprache in der Simulation verwendet wurde, zum Beispiel Fin hat die Sprache auf Spanisch eingestellt.
Um dasselbe Szenario in mehreren Sprachen zu testen, erstellen Sie eine Simulation pro Sprache und verwenden Sie Tags bei den Evals, um sie zu gruppieren. Schreiben Sie Eröffnungsnachrichten mit mindestens einem vollständigen Satz, damit die Spracherkennung zuverlässig ist. Die Sprache wird einmal zu Beginn festgelegt und ändert sich nicht, wenn der Kunde während des Gesprächs die Sprache wechselt.
Für die vollständige Liste der unterstützten Sprachen siehe Fin's unterstützte Sprachen.
Wie man Evals nach einer Änderung und nach Zeitplan erneut ausführt
Nachdem Sie Fin's Inhalte, Anleitungen, Verfahren oder Fähigkeiten geändert haben, führen Sie Ihre bestehenden Evals erneut aus, um Rückschritte zu überprüfen. Jede Simulation wird gespeichert und ist wiederverwendbar, sodass das erneute Ausführen mit einem Klick erfolgt, anstatt Ihre Testszenarien neu zu erstellen. Um Evals regelmäßig auszuführen, zum Beispiel jeden Montagmorgen, richten Sie eine Routine in Operator ein (siehe Evals mit Operator erstellen und ausführen), die Ihre ausgewählten Evals zu den von Ihnen gewählten Zeiten ausführt. Eine Zeitplanung ist auf der Evals-Seite nicht verfügbar.