Verwenden Sie diesen Artikel, um die richtige Testmethode für Fin auszuwählen: Evals für End-to-End-Gespräche und Regressionstests, Procedure Simulations für eine einzelne Procedure, Batch tests für Sets von Einzel-Fragen und Previews für schnelle manuelle Prüfungen während des Aufbaus.

Kurzübersicht: Welches Tool macht was

Die folgende Tabelle vergleicht die vier Testmethoden für Fin. Evals testen Fin End-to-End, während Procedure Simulations jeweils eine Procedure testen. Siehe Evals for Fin.

	Evals	Procedure Simulations	Batch tests	Previews
Was es ist	Automatisierte End-to-End-Tests der gesamten Fin-Konfiguration. Jede Simulation in einem Eval ist ein mehrstufiges Gespräch zwischen einem simulierten Kunden und Fin, bewertet anhand von von Ihnen festgelegten Prüfungen.	Automatisierte, KI-gestützte End-to-End-Tests einer einzelnen Procedure. Die KI agiert als simulierte Kundin und bewertet das Ergebnis anhand von von Ihnen definierten Erfolgskriterien.	Ein Frage-Antwort-Testtool zur Validierung von Fin's Antworten über bis zu 50 Fragen gleichzeitig. Testet, wie Fin auf Inhalte, Guidance, users, Sprachen und Automatisierungen antwortet.	Ein manuelles, interaktives Testpanel, das in allen Trainingsbereichen von Fin verfügbar ist. Sie tippen Nachrichten ein und sehen Fin's Antwort und Ereignisprotokoll in Echtzeit.
Am besten geeignet für	Regressionstests nach jeder Änderung an Fin. Testen kompletter Kundenreisen, einschließlich was passiert, bevor eine Procedure ausgelöst wird und nachdem sie übergeben wurde. Testen der Änderungen in einem Release vor dem Livegang.	Validierung komplexer Procedure-Logik End-to-End vor dem Livegang. Erkennen von Regressionen nach Procedure-Updates. Testen von Randfällen und Verzweigungen.	Überprüfung der Inhaltsabdeckung über viele Fragen gleichzeitig. Diagnose von Wissens-, Guidance- oder Automatisierungslücken. QA vor dem Start über Zielgruppen, Marken und Sprachen hinweg.	Schnelle manuelle Stichprobenprüfungen während des Aufbaus. Überprüfung, wie sich eine spezifische Änderung — an Inhalten, Guidance, Attributen, Eskalation oder einer Procedure — in dem Moment auf Fin's Antwort auswirkt.
Funktioniert mit	Alles, was Fin zur Beantwortung nutzt: Inhalte, Guidance, Eskalations-Guidance, Skills und Procedures.	Eine einzelne Procedure. Für Simulations über die gesamte Fin-Konfiguration verwenden Sie Eval Simulations. Fin for Sales hat eigene Simulations.	Alle Kunden, die Fin nutzen — egal ob mit Procedures, Tasks oder nur Wissensinhalten.	Alle Trainingsbereiche von Fin: Content, Guidance, Attributes, Escalation, Procedures und Deploy.
Testmodus	Automatisiert — KI generiert die Kundenseite des Gesprächs und ein LLM-Juror bewertet das Ergebnis. Optionale Scorecards bewerten auch die Antwortqualität.	Automatisiert — KI generiert die Kundenseite des Gesprächs und bewertet das Ergebnis mit einer Bestanden/Nicht Bestanden-Entscheidung.	Automatisiert — Fin generiert eine Antwort auf jede Frage. Sie überprüfen und bewerten die Antworten manuell (Gut / Akzeptabel / Schlecht).	Manuell — Sie tippen die Nachrichten selbst ein und beobachten Fin's Antwort und Ereignisprotokoll.
Erzeugt ein echtes Gespräch?	Nein — Simulations laufen innerhalb von Evals und erreichen niemals einen Kunden.	Nein — läuft vollständig im Hintergrund. Es wird kein inbox-Gespräch erstellt.	Nein — nur Simulation. Erzeugt keine inbox-Gespräche und beeinflusst keine Kundendaten.	Ja — Preview-Gespräche erscheinen in Ihrem inbox, werden aber von der Berichterstattung ausgeschlossen.
Greift auf live APIs zu?	Nein — Daten-Connectoren liefern immer ihre gespeicherte Testantwort, niemals Live-Daten.	Nein — ruft keine live externen APIs auf (z. B. Shopify, Stripe). Testet nur Logik.	Nein — Daten-Connectoren verwenden konfigurierte Test-/Beispiel-Payloads. Keine Live-API-Aufrufe.	Ja — kann auf echte Benutzerdaten und Live-Integrationen zugreifen, wenn als spezifischer user oder Lead getestet wird.
Speichert & führt erneut aus	Ja — Evals werden gespeichert und können als Regressionstest-Suite erneut ausgeführt oder mit einer Operator-Routine geplant werden. Bis zu 50 Simulations pro Eval.	Ja — Simulations werden gespeichert und können bei jeder Aktualisierung der Procedure erneut ausgeführt werden. Unterstützt "Alle ausführen".	Ja — Testgruppen (bis zu 50 Fragen pro Gruppe) können gespeichert, erneut ausgeführt und mit Teammitgliedern geteilt werden.	Nein — einmalige manuelle Gespräche. Nicht gespeichert oder erneut ausführbar.
Bestanden/Nicht bestanden-Urteil	Ja — der LLM-Juror gibt jeder Simulation automatisch ein Bestanden oder Nicht bestanden.	Ja — KI bewertet das Gespräch anhand von Erfolgskriterien und vergibt mit vollständiger Begründung Bestanden oder Nicht bestanden.	Nein — Sie bewerten jede Antwort manuell als Gut, Akzeptabel oder Schlecht und wählen eine Ursache aus.	Nein — keine automatisierte Bewertung. Sie beurteilen das Ergebnis selbst.
Nutzungsgrenzen	Ja – monatliches Simulationslimit basierend auf dem Gesprächsvolumen des Workspaces (250–12.500/Monat), wird am ersten Tag jedes Monats zurückgesetzt.	Ja – monatliches Ausführungslimit basierend auf dem Gesprächsvolumen des Workspaces (250–12.500/Monat). In Procedures ohne zusätzliche Kosten enthalten.	Keine Gebühr. Bis zu 50 Fragen pro Testgruppe.	Keine Limits.
Verfügbarkeit	Für jeden Fin-Kunden verfügbar. Kein Beta- oder Zugriffsantrag erforderlich.	Im Allgemeinen für alle Kunden mit Procedures verfügbar.	Für bestehende Fin-Kunden mit vollem Sitzplatz und Berechtigung für Alle Gespräche verfügbar. Ab dem 5. November 2026 werden neue Workspaces keine Batch-Tests mehr sehen und stattdessen Evals verwenden.	Im Allgemeinen für alle Fin-Kunden verfügbar.

Wann welches Tool verwenden

Verwenden Sie Evals, wenn

Sie eine vollständige, mehrstufige Kundenkonversation über alles testen möchten, was Fin zur Beantwortung verwendet: Inhalte, Anleitungen, Eskalationsanleitungen, Fähigkeiten und Procedures.
Sie automatische Bestehen/Nicht-Bestehen-Ergebnisse aus von Ihnen definierten Prüfungen wünschen (Fin-Antwort, ausgelöste Procedure, aufgerufener Datenconnector, Übergabe) sowie optional eine Qualitätsbewertung mit einer Scorecard.
Sie eine Regressionstest-Suite möchten, die Sie nach jeder Änderung an Fin erneut ausführen oder mit einer Operator Routine planen können.
Sie die Änderungen in einem Release testen möchten, bevor sie live gehen.
Sie eine reale Konversation nachstellen möchten, bei der die Antwort von Fin nicht gut genug war, und diese so lange erneut testen, bis sie behoben ist.

Erfahren Sie, wie Sie Evals in Evals for Fin einrichten.

Verwenden Sie Procedure Simulations, wenn

Sie eine Procedure von Anfang bis Ende validieren müssen, bevor Sie sie live schalten.
Sie automatisierte, wiederholbare Tests wünschen, die nach jedem Update Regressionen erkennen.
Ihre Procedure Verzweigungslogik, Bedingungen oder Unterprocedures enthält – und Sie für jeden Pfad einen separaten Testfall benötigen.
Sie möchten, dass KI das Ergebnis anhand definierter Erfolgskriterien beurteilt (Fin-Antwort, Attributwerte, Datenconnector-Aufrufe, Anweisungsergebnis).
Sie zeitkritische Logik testen müssen (z. B. Rückerstattungsfristen), indem Sie die Simulationszeit und Datenwerte steuern.

Hinweis: Die Simulationszeit steuert nur das Datum, das Fin für die einfache Datumslogik in Klartext verwendet. Sie ändert nicht, was eine Python-Code-Bedingung sieht – Code, der datetime.datetime.now() aufruft, liest immer das tatsächliche Systemdatum, unabhängig von der eingestellten Simulationszeit. Um einen codebasierten Datumszweig zu testen, führen Sie die Simulation am tatsächlichen Kalendertag aus oder schreiben Sie die Bedingung in Klartext statt in Code um.

Verwenden Sie Batch-Tests, wenn

Sie die Antworten von Fin über eine breite Fragenauswahl validieren möchten – nicht nur ein Szenario.
Sie eine Vorab-QA über Inhalte, Anleitungen, Zielgruppen, Sprachen oder Marken durchführen.
Sie Inhaltslücken diagnostizieren möchten, indem Sie sehen, aus welchen Quellen Fin für jede Antwort zieht.
Sie Fragen testen möchten, die aus echten vergangenen Gesprächen oder AI-Themen generiert wurden.
Sie einen herunterladbaren CSV-Bericht benötigen, um Ergebnisse mit Ihrem Team oder Führungskräften zu teilen.

Verwenden Sie Previews, wenn

Sie aktiv entwickeln und eine Änderung sofort überprüfen möchten – an Inhalten, Anleitungen, einem Attribut, einer Eskalationsregel oder einer Procedure.
Sie manuell eine Konversation als bestimmter user, Zielgruppe oder in einer bestimmten Sprache durchspielen möchten.
Sie das Ereignisprotokoll von Fin sehen müssen, um genau zu verstehen, was angewendet wurde (Persönlichkeit, Anleitung, Aufgaben, Inhaltsquellen).
Sie Fin Vision testen möchten, indem Sie ein Bild oder einen Screenshot senden.
Sie einen Procedure-Ablauf validieren und die vollständige Kunden- und teammate inbox-Erfahrung sehen möchten (einschließlich nachgelagerter Automatisierungen).

FAQs

Was ist der Unterschied zwischen Simulations und Previews?

Previews sind manuell und interaktiv: Sie tippen Nachrichten selbst und sehen Fin in Echtzeit antworten. Sie eignen sich hervorragend für schnelle Stichproben während der Entwicklung.
Simulations sind automatisiert: KI agiert als Kunde, führt die vollständige Konversation durch und bewertet das Ergebnis anhand der von Ihnen festgelegten Erfolgskriterien.
Simulations erzeugen keine inbox-Konversationen; Preview schon. Verwenden Sie Simulations, wenn Sie die Procedure-Logik in großem Maßstab validieren müssen. Verwenden Sie Preview für manuelle Tests im Kontext.

Was ist der Unterschied zwischen Simulations und Batch-Tests?

Batch-Tests prüfen, wie Fin eine breite Fragenauswahl beantwortet – testen Inhaltsabdeckung, Anleitungen und Automatisierungen über viele Szenarien gleichzeitig. Sie bewerten Antworten manuell.
Simulations testen eine einzelne Procedure von Anfang bis Ende mit automatisierter KI-Bewertung.
Batch-Tests funktionieren mit allen Fin-Konfigurationen. Procedure Simulations sind exklusiv für Procedures.

Was ist der Unterschied zwischen Batch-Tests und Previews?

Batch-Tests sind strukturierte, wiederholbare QA-Durchläufe mit bis zu 50 Fragen – nützlich für Vorabprüfungen und zur Diagnose von Inhaltslücken.
Previews sind unstrukturiert und manuell – eine Konversation nach der anderen, nützlich für sofortiges Feedback während der Entwicklung.
Batch-Test-Ergebnisse werden gespeichert und können als CSV exportiert werden. Preview-Konversationen erscheinen in Ihrem inbox, werden aber nicht als Testläufe gespeichert.

Rufen Simulations Live-APIs auf oder beeinflussen sie echte Daten?

Nein. Simulationen rufen keine live externen APIs (wie Shopify oder Stripe) auf und beeinflussen keine echten Daten. Sie testen nur die Logik. Wenn Sie mit echten API-Aufrufen testen müssen, verwenden Sie Preview und wählen Sie einen bestimmten Benutzer mit echten Daten in seinem externen System aus.

Werde ich für Simulationen oder Batch-Tests belastet?

Simulationen sind bei Procedures ohne zusätzliche Kosten enthalten. Batch-Tests sind ebenfalls kostenlos nutzbar (für Antworten, die durch Batch-Tests generiert werden, fallen keine Gebühren an).

Hinweis: Simulationen haben ein monatliches Ausführungslimit (250–12.500 pro Monat, abhängig vom Gesprächsvolumen), das am ersten Tag jedes Monats zurückgesetzt wird.

Kann ich Batch-Tests verwenden, um eine Procedure zu testen?

Batch-Tests zeigen, ob eine Procedure für eine bestimmte Frage ausgelöst worden wäre, führen die Procedure jedoch nicht aus und bewerten deren End-to-End-Logik nicht. Für eine vollständige Procedure-Validierung (einschließlich Verzweigungen, Datenconnector-Aufrufen und Anweisungsergebnissen) verwenden Sie Simulationen.

Welches Testwerkzeug sollte ich vor dem Livegang verwenden?

Verwenden Sie die Werkzeuge in Kombination vor dem Livegang: Preview für schnelle manuelle Prüfungen während des Aufbaus, Procedure Simulations zur Validierung der Logik jeder Procedure mit automatischen Bestehen/Nicht-Bestehen-Ergebnissen und Evals, um die vollständige Konfiguration von Fin für Ihre wichtigsten Kundengespräche von Anfang bis Ende zu bestätigen. Batch-Tests bleiben für Einzel-Fragen-Prüfungen verfügbar.

Es wird dringend empfohlen, Simulationen vor jedem Procedure-Start durchzuführen.

Was ist der Unterschied zwischen Evals und Simulationen?

Simulationen testen eine Procedure. Jede Procedure-Simulation läuft innerhalb der Grenzen dieser Procedure, daher ist sie das richtige Werkzeug während des Aufbaus einer Procedure und zur Überprüfung, ob sie nach Änderungen noch funktioniert.
Evals testen Fin end to end. Eine Eval-Simulation führt ein vollständiges Gespräch über alles, was Fin zur Beantwortung nutzt, einschließlich dessen, was vor dem Auslösen einer Procedure und nach deren Übergabe passiert. Evals spielen auch echte Gespräche erneut ab und laufen als Regressionstest-Suite nach jeder Änderung an Fin.
Verwenden Sie beide: Procedure Simulations beim Aufbau einer Procedure und dann eine Eval, um die gesamte Kundenreise abzudecken, sobald sie live ist. Siehe Evals for Fin.

Sollte ich Evals oder Batch-Tests verwenden?

Evals können alles, was Batch-Tests tun, und mehr. Batch-Tests prüfen Einzel-Fragen, die Sie manuell bewerten. Evals führen vollständige Mehrfach-Gespräche durch, bewerten sie automatisch anhand von von Ihnen definierten Prüfungen und können als Regressionstest-Suite erneut ausgeführt werden. Wenn Sie heute Batch-Tests verwenden, importieren Sie Ihre Fragen per CSV-Import in eine Eval oder bitten Sie Operator, die Eval für Sie zu erstellen.

Wichtige Fakten zum Merken

Procedure Simulations sind exklusiv für Procedures. Sie können nicht mit Tasks, Workflows oder allgemeinen Inhaltstests verwendet werden. Um vollständige Gespräche über die gesamte Fin-Konfiguration zu simulieren, verwenden Sie Eval Simulations. Fin for Sales hat eigene Simulationen.
Batch-Tests sind für bestehende Fin-Kunden verfügbar – egal ob sie Procedures, Tasks oder nur Wissensinhalte verwenden.
Preview-Gespräche erscheinen im inbox, werden aber von der Berichterstattung ausgeschlossen.
Nur Preview kann live APIs ansprechen. Simulationen und Batch-Tests sind sichere, sandboxed Umgebungen.
Simulation-Ausführungslimits gelten pro Workspace, nicht pro Teammitglied, und werden monatlich zurückgesetzt.
Antwortbewertungen in Batch-Tests trainieren Fin nicht – sie dienen nur der menschlichen Überprüfung und Ursachenanalyse.
In Simulationen kann ein Test trotz Bestehen fehlschlagen, wenn die Erfolgskriterien zu starr sind (z. B. wenn eine bestimmte Frage, die Fin selbst gefunden hat, verlangt wird). Konzentrieren Sie Erfolgskriterien auf Ergebnisse, nicht auf Zwischenschritte.
Evals testen die gesamte Fin-Konfiguration in einem einzigen Mehrfach-Gespräch, einschließlich Procedures, Inhalt, Anleitung, Eskalationsanleitung und Fähigkeiten. Verwenden Sie sie als Regressionstest-Suite nach jeder Änderung an Fin.

Evals vs. Simulations vs. Batch tests vs. Previews