Eine benutzerdefinierte Scorecard definiert, wie gute Leistung für Ihr Team aussieht, indem sie explizit die Kriterien festlegt, die Ihnen wichtig sind – wie Genauigkeit, Tonfall oder Einhaltung von Richtlinien. Scorecards arbeiten zusammen mit Monitoren: Ein Monitor legt fest, welche Gespräche überprüft werden, und eine Scorecard definiert, wie jedes einzelne bewertet wird. Monitore können sowohl Fin AI Agent-Gespräche als auch Gespräche von menschlichen Teammitgliedern bewerten.

Sie können mehrere Scorecards für verschiedene Monitore haben. Wählen Sie im Monitor-Einrichtungsbildschirm aus, welche Scorecard mit einem Monitor verknüpft werden soll:

Gehen Sie zu Fin AI Agent > Analyse > Monitore und klicken Sie auf Scorecards. Sie können die vorgefertigte Fin Quality Scorecard verwenden oder Ihre eigene erstellen, indem Sie auf + Neue Scorecard klicken:

Beginnen Sie mit dem Hinzufügen von Scorecard-Kriterien. Klicken Sie zuerst auf Neue Scorecard > + Kriterien > Neu erstellen.

Beim Erstellen eines neuen Attributs gehen Sie wie folgt vor:

Geben Sie dem Kriterium einen kurzen, klaren Namen (z. B. Sentiment oder Antwortgenauigkeit). Dieser Name erscheint in Berichten und wird als Referenz verwendet.

Fügen Sie eine klare Beschreibung hinzu, die erklärt, was das Kriterium überprüft und wie es bewertet werden soll. Die Beschreibung ist die Vorgabe, die die KI zur Bewertung dieses Kriteriums verwendet. Je präziser sie ist, desto genauer bewertet die KI die Gespräche. Sie hilft auch menschlichen Prüfern, die gleichen Kriterien konsequent anzuwenden.

Entscheiden Sie, ob das Kriterium automatisch von der KI oder manuell von menschlichen Prüfern bewertet werden soll. Sie können KI-bewertete und manuell bewertete Attribute in derselben Scorecard mischen.

Fügen Sie die möglichen Bewertungswerte hinzu, die ein Prüfer oder die KI auswählen kann (z. B.: Gut, Okay, Schlecht). Jedes Attribut muss mindestens zwei Bewertungsoptionen haben. Für jede Bewertungsoption:

Die zugewiesene Punktzahl bestimmt, wie diese Bewertung zum Gesamtergebnis beiträgt.

Für jede Bewertungsoption können Sie eine Liste von Bewertungsgründen definieren, das sind vordefinierte Labels, die erklären, warum eine bestimmte Punktzahl vergeben wurde. Bewertungsgründe helfen Prüfern und der KI, Bewertungen konsistent zu kategorisieren, was die Erkennung von Mustern in Gesprächen erleichtert.

Wenn die KI ein Kriterium bewertet, wählt sie automatisch den relevantesten vordefinierten Grund aus, falls einer zutrifft. Passt kein vordefinierter Grund, generiert die KI eine klare Erklärung, sodass jede Bewertung einen sinnvollen Kontext hat.

Sie können den gesamten QA-Prozess für eine Scorecard automatisieren, indem Sie Auto-review scorecard aktivieren.

Wenn aktiviert:

Nachdem Sie Scorecard-Kriterien hinzugefügt haben, konfigurieren Sie, wie sie das Gesamtergebnis der Bewertung beeinflussen.

Sie können ein Kriterium als Kritisch markieren. Wenn ein kritisches Kriterium eine nicht bestandene Bewertung erhält, schlägt die gesamte Bewertung fehl:

Kritische Kriterien sind nützlich für unverhandelbare Standards wie Compliance-Anforderungen, Sicherheit oder Richtlinieneinhaltung und Eskalationsmanagement.

Jedem Kriterium kann ein Gewicht zugewiesen werden, um seine relative Bedeutung zu definieren.

Verwenden Sie Gewichte, um widerzuspiegeln, was am wichtigsten ist – zum Beispiel ein höheres Gewicht für Genauigkeit als für Effizienz, wenn Korrektheit wichtiger als Geschwindigkeit ist.

Sie können eine Bestehensgrenze definieren – die minimale Gesamtpunktzahl, die erforderlich ist, damit eine Bewertung als bestanden gilt. Zum Beispiel wird bei einer Bestehensgrenze von 80 % jede Bewertung unter 80 % als nicht bestanden markiert.

Dies wird nach der gewichteten Bewertung ausgewertet, sofern kein kritisches Kriterium die Bewertung bereits als nicht bestanden markiert hat.

Hier ist ein Beispiel, wie drei Kriterien zu einer Endpunktzahl kombiniert werden:

Gesamtpunktzahl = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%

Sobald Bewertungen abgeschlossen sind, sind die Punktzahlen sowohl in der Gesprächsliste als auch innerhalb jedes Gesprächs sichtbar.

In Monitor zeigt die Gesprächsliste die Gesamtbewertung (Prozentsatz oder Nicht bestanden) neben den einzelnen Kriterienbewertungen als Spalten an. So lässt sich die Leistung über Gespräche hinweg leicht überblicken und Fehler oder niedrige Punktzahlen erkennen.

Wenn Sie ein Gespräch öffnen und zum Review-Tab wechseln, sehen Sie die zugewiesene Bewertungsübersicht, den Bewertungsstatus, die Gesamtpunktzahl und die ausgewählte Bewertung für jedes Kriterium. Diese Ansicht zeigt genau, wie die Endpunktzahl ermittelt wurde.

Wenn Fin ein Kriterium mit KI bewertet, können Sie im Review-Tab über die Bewertung hovern, um ein Tooltip mit der ausgewählten Bewertung, der Kriterienbeschreibung und Fin's Begründung für diese Punktzahl an einem Ort zu sehen.

Teammitglieder können Bewertungen zu ihren eigenen Gesprächen sehen, indem sie zu ihrem Inbox gehen und im linken Seitenmenü Review queue > Reviews received anklicken.

Diese Ansicht zeigt alle abgeschlossenen Bewertungen, einschließlich:

Teammitglieder können jede Bewertung anklicken, um die vollständige Bewertungsübersicht einzusehen.