Verwenden Sie diesen Artikel, um eine Simulation einzurichten: definieren Sie den simulierten Kunden, steuern Sie die Daten, die Fin zu Beginn des Gesprächs sieht, wählen Sie die Prüfungen und die Übergabe, die der LLM (large language model) Juror zur Bewertung von Fin verwendet, oder erstellen Sie eine Simulation aus einem echten Gespräch.
So öffnen Sie den Simulationseditor
Um eine Simulation einzurichten, öffnen Sie sie und klicken Sie auf Bearbeiten oder klicken Sie auf Neue Simulation auf einer Eval-Seite. Der Editor hat drei Abschnitte: den simulierten Kunden, die Daten, die Fin sieht, und wie der LLM-Juror Fin bewertet. Wenn Sie fertig sind, klicken Sie auf Speichern und dann auf Ausführen, um sie zu testen.
So definieren Sie den simulierten Kunden
Der Abschnitt Simulierten Kunden definieren richtet ein, mit wem Fin sprechen wird.
Titel (optional): Wenn Sie keinen hinzufügen, entspricht der Name der Simulation der ersten Nachricht des Kunden.
Simulation als: der Kunde, mit dem Fin spricht, zum Beispiel Test customer, und die Marke, angezeigt als All brands.
Kanal: Chat oder Email.
Simulationszeit: ein festes Datum und eine feste Uhrzeit, die die Simulation verwendet. Es wird die Zeitzone des Kunden verwendet oder GMT (Greenwich Mean Time), wenn keine eingestellt ist. Es beginnt mit Nicht gesetzt.
Erste Nachricht des Kunden (erforderlich): das erste, was der simulierte Kunde zu Fin sagt.
Folgeanweisungen: was der Kunde weiß, was er auf Nachfrage teilt und wie er kommuniziert. Fin verwendet diese, um den Rest der Kundenseite des Gesprächs zu generieren, für eine realistische mehrstufige Simulation.
So wählen Sie aus, wer der simulierte Kunde ist
Standardmäßig läuft jede Simulation als Test customer. Der Test customer gehört zu all Ihren Zielgruppen, sodass Fin alle Ihre Live-Inhalte, Anleitungen und Automatisierungen verwenden kann. Das ist nützlich, um zu prüfen, was Fin weiß, zeigt aber nicht, was ein bestimmter Kunde erleben würde.
Um die Zielgruppenansprache zu testen, simulieren Sie stattdessen einen echten Kunden oder lead aus Ihrem Workspace. Fin sieht dann nur die Inhalte, Anleitungen, Procedures und Daten-Connectoren, für die dieser Kunde qualifiziert ist, genau wie in einem Live-Gespräch.
Gehen Sie im Simulationseditor zu Simulierten Kunden definieren.
Klicken Sie neben Simulation als auf Test customer und wählen Sie Kunde oder lead.
Um die Liste einzuschränken, wählen Sie eine Zielgruppe aus dem Dropdown unter dem Suchfeld. Standardmäßig wird Everyone angezeigt und die users und leads in dieser Zielgruppe aufgelistet.
Suchen Sie nach Name, E-Mail oder Kunden-ID und wählen Sie die Person aus, mit der Fin sprechen soll.
Wenn die Simulation läuft, verwendet sie die Attribute, das Unternehmen und die Tags dieser Person. Um ein bestimmtes Szenario zu testen, überschreiben Sie diese in Fin-Daten definieren (optional) > Start-Attributwerte. Alles, was Sie nicht setzen, verwendet die bestehenden Werte des Kunden.
Hinweis:
Zielgruppen, die Gesprächsattribute verwenden oder nach Marke filtern, können nicht ausgewählt werden, da die Mitgliedschaft von einem Gespräch abhängt, das noch nicht stattgefunden hat. Sie können trotzdem einen Kunden mit einer anderen Zielgruppe oder durch Suche in allen auswählen.
Die Zielgruppe wird nur verwendet, um einen Kunden zu finden, und wird nicht mit der Simulation gespeichert. Jeder Lauf prüft, zu welchen Zielgruppen der Kunde anhand seiner aktuellen Daten gehört, sodass sich die Ergebnisse ändern können.
Nur users und leads können ausgewählt werden. Besucher sind nicht verfügbar.
Wenn Sie wieder auf Test customer (Standard) wechseln, wird die Zielgruppenansprache für diese Simulation deaktiviert.
Wie lange kann eine Simulation laufen und wie viele kann ein Eval enthalten?
Eine Simulation endet nach bis zu 6 Antworten von Fin oder früher, wenn Fin das Gespräch löst, übergibt oder der simulierte Kunde das Gespräch beendet. Jedes Eval unterstützt bis zu 50 Simulationen. Um mehr hinzuzufügen, löschen Sie bestehende Simulationen oder legen Sie die zusätzlichen Simulationen in einem neuen Eval ab.
So definieren Sie die Daten, die Fin in einer Simulation sieht
Der optionale Abschnitt Fin-Daten definieren steuert die Daten, die Fin zu Beginn der Simulation sieht.
Start-Attributwerte: die Attributwerte, die Fin zu Beginn des Gesprächs sieht. Klicken Sie auf Attribut hinzufügen, um einen Wert festzulegen.
Datenantworten: In Simulationen geben Daten-Connectoren immer ihre gespeicherte Testantwort zurück, niemals Live-Daten, unabhängig davon, wen Sie simulieren. Klicken Sie auf Antwort eines Connectors anpassen, um die Testantwort nur für diese Simulation zu ändern.
So definieren Sie, wie der LLM-Juror Fin bewertet
Der Abschnitt Verhalten des LLM-Jurors definieren legt fest, wie Fin's Antworten bewertet werden. Er besteht aus zwei Teilen: Simulationsprüfungen und Übergabe.
So fügen Sie eine Simulationsprüfung hinzu
Simulationsprüfungen beschreiben, was Fin sagen oder tun soll, um zu bestehen, falls überhaupt. Um eine hinzuzufügen, klicken Sie auf Hinzufügen und wählen Sie einen Prüftyp aus:
Fin-Antwort: Beschreiben Sie, was Fin während des Gesprächs sagen soll. Trennen Sie jede erwartete Antwort in ein eigenes Erfolgskriterium.
Procedure ausgelöst: Fin hat eine bestimmte Procedure gestartet.
Procedure gewechselt: Fin ist während des Gesprächs von einer Procedure zu einer anderen gewechselt.
Skill: Fin hat eine bestimmte Skill verwendet.
Daten-Connector: Fin hat einen bestimmten Daten-Connector aufgerufen.
So legen Sie die erwartete Übergabe fest
Übergabe beschreibt, was am Ende des Gesprächs wahr sein soll. Wählen Sie eine dieser Optionen:
Keine Übergabe: Fin hat nicht an ein Team oder einen Workflow übergeben.
An Team oder Teammitglied übergeben: Fin konnte nicht antworten oder die Übergabeanleitung wurde angewendet.
An einen Workflow übergeben: Das Gespräch wird nach der Übergabe nicht simuliert.
Wichtig: Wenn eine Simulation keine Übergabeprüfung und keine Simulationsprüfungen hat, wird sie gegen eine Standard-Keine Übergabe-Prüfung bewertet und fällt durch, wenn Fin übergibt. Diese Standardprüfung wird im Editor nicht angezeigt, fügen Sie daher jeder Simulation eine explizite Übergabeprüfung hinzu.
Nachdem Sie eine Simulation eingerichtet haben, lesen Sie Wie man Evals ausführt und die Ergebnisse liest.
So erstellen Sie eine Simulation aus einem echten Gespräch
Um eine Simulation aus einem echten Kundengespräch zu erstellen, fügen Sie eine von Fin's Antworten aus dem Inbox zu einem Eval hinzu oder bitten Sie Operator, die Simulation zu erstellen. So müssen Sie das Szenario nicht selbst eingeben.
Eine aus einem echten Gespräch erstellte Simulation heißt Replay. Ein Replay erfasst das Gespräch bis zur von Ihnen gewählten Fin-Antwort und friert die vorherigen Nachrichten ein. Jedes Mal, wenn es läuft, generiert Fin nur diese eine Antwort erneut, sodass Sie die Antwort testen, die Ihnen wichtig ist, und nicht ein Gespräch, das sich bei jedem Lauf ändert. Das macht Replays zum schnellsten Weg, einen realen Fehler in einen Test zu verwandeln, den Sie behalten können.
So fügen Sie eine Fin-Antwort aus dem Inbox zu einem Eval hinzu
Um eine Fin-Antwort aus dem Inbox zu einem Eval hinzuzufügen, öffnen Sie das Gespräch, wählen Sie die Fin-Nachricht aus und fügen Sie sie einem Eval hinzu.
Öffnen Sie das Gespräch im Inbox.
Fahren Sie mit der Maus über die Fin-Nachricht, die Sie testen möchten, und klicken Sie dann auf das Optionsmenü (...), das daneben erscheint.
Klicken Sie auf Fin-Antwort zu Eval hinzufügen.
Klicken Sie im Dialog Zu Eval hinzufügen auf Eval auswählen und wählen Sie das Eval aus, dem Sie sie hinzufügen möchten.
Klicken Sie auf Hinzufügen.
Fin-Antwort zu Eval hinzufügen erscheint nur bei Fin-Antworten, die wiedergegeben werden können.
So erstellen Sie eine Simulation mit Operator
Um eine Simulation mit Operator zu erstellen, bitten Sie ihn, eine Simulation für das Gespräch zu erstellen. Operator spielt die Eröffnungsnachricht des Kunden ab und schlägt die Simulation im von Ihnen gewählten Eval vor.
Hinweis: Um Simulationen mit Operator zu erstellen, benötigen Sie das Pro-Add-on.
Schreiben Sie in einem Chat mit Operator Erstelle eine Simulation für dieses Gespräch und fügen Sie das Gespräch hinzu.
Beantworten Sie die zwei Fragen, die Operator stellt: In welches Eval soll die Simulation? und Wie soll Fin das Gespräch beenden? Wählen Sie zum Beispiel Fin beantwortet es selbst (keine Übergabe), wenn Fin das Gespräch ohne Übergabe lösen soll.
Überprüfen Sie die vorgeschlagene Simulation und klicken Sie dann auf In Haupt veröffentlichen, um sie dem Eval hinzuzufügen.
Bis Sie auf In Haupt veröffentlichen klicken, bleibt die Simulation eine ausstehende Änderung und kann nicht ausgeführt werden.
So bearbeiten Sie eine Replay-Simulation mit Operator
Um eine Replay-Simulation zu bearbeiten, bitten Sie Operator, die Änderung im selben Chat vorzunehmen, zum Beispiel aktualisiere sie, um an ein Teammitglied zu übergeben. Operator schlägt die Änderung der Simulationsprüfungen vor, und Sie klicken auf In Haupt veröffentlichen, um sie zu speichern.
Was beinhaltet eine Replay-Simulation?
Nachdem Sie auf In Haupt veröffentlichen geklickt haben, erscheint die Replay-Simulation im gewählten Eval, benannt nach der Eröffnungsnachricht des Kunden. Öffnen Sie sie im Eval, um diese Teile zu sehen:
Anfangskontext des Gesprächs: die Nachrichten des Quellgesprächs bis zur Nachricht des Kunden, mit einem Platzhalter, an dem Fin's einzelne Antwort erscheint, wenn die Simulation läuft.
Quelle des Gesprächs anzeigen: ein Link zum Originalgespräch.
Simulierten Kunden definieren: Simulation als, die Marke, der Kanal und die Simulationszeit.
Folgeanweisungen: optionale Anweisungen, was der Kunde nach Fin's erster Antwort sagt. Das Hinzufügen erfordert mindestens eine Simulationsprüfung, damit Fin etwas zum Bewerten hat.
Hinweis: Einige Teile einer Replay-Simulation können nicht bearbeitet werden, einschließlich des Abschnitts Simulierten Kunden definieren. Sie stammen aus dem Quellgespräch. Um zu ändern, worauf Fin geprüft wird, bearbeiten Sie die Simulationsprüfungen, zum Beispiel indem Sie Operator bitten, sie zu aktualisieren.
So verwenden Sie ein Replay, um Fin's Antwort zu korrigieren
Um eine Fin-Antwort mit einem Replay zu korrigieren, führen Sie es aus, ändern Sie die Fin-Konfiguration und führen Sie es erneut aus, bis es besteht:
Führen Sie das Replay aus, um zu sehen, wie Fin mit Ihrer aktuellen Konfiguration antwortet.
Nehmen Sie eine Änderung vor am Inhalt, der Anleitung, der Procedure oder der Skill hinter der Antwort. Um die Änderung vor dem Livegang zu testen, machen Sie sie in einer Release.
Führen Sie das Replay erneut aus und vergleichen Sie die neue Antwort mit früheren Läufen, indem Sie das Dropdown für die Laufhistorie in der Simulation verwenden.
Fügen Sie Prüfungen hinzu, die definieren, was „korrigiert“ bedeutet, wie eine Fin-Antwort-Prüfung oder eine Übergabeprüfung, damit Sie ein klares Bestehen oder Durchfallen erhalten statt einer subjektiven Bewertung.
Behalten Sie das Replay, sobald es besteht. Es dient jetzt als Regressionstest, sodass Sie es nach zukünftigen Änderungen erneut ausführen können, um sicherzustellen, dass die Korrektur hält.