Monitors zur QA von menschlichen Teampartnern ermöglichen es Ihnen, die Qualität der Gespräche Ihrer Teampartner in großem Umfang zu bewerten und zu verbessern. Sie legen fest, welche Gespräche überprüft werden, hängen eine benutzerdefinierte Scorecard zur Bewertung an und weisen Prüfer zu – alles automatisch.

Ein Monitor wählt aus, welche Gespräche überprüft werden. Eine Scorecard definiert, wie jedes Gespräch bewertet wird – die spezifischen Kriterien, die Ihnen wichtig sind, wie Genauigkeit, Ton oder Einhaltung von Richtlinien. Zusammen bieten sie Ihnen eine konsistente, skalierbare Methode, um die Gesprächsqualität in Ihrem Team zu messen und zu verbessern.

Die Einrichtung der QA für menschliche Agenten erfolgt in zwei Schritten:

Erstellen Sie eine Scorecard, die Ihre Qualitätskriterien definiert.
Richten Sie einen Monitor ein, um auszuwählen, welche Gespräche überprüft werden, wer sie überprüft und wie die Bewertungen an Ihr Team weitergeleitet werden.

Hinweis: Dieser Artikel behandelt Monitors für die QA von menschlichen Agenten. Für Monitors, die Fin AI Agent-Gespräche bewerten, siehe Monitors and Custom Scorecards. Monitors für menschliche Agenten-QA sind als Teil des Pro Add-ons verfügbar.

So erstellen Sie eine Scorecard

Gehen Sie zu Fin AI Agent > Analyze > Monitors und klicken Sie auf Scorecards.

Erstellen Sie Ihre eigene, indem Sie auf + Neue Scorecard klicken:

Beginnen Sie damit, auszuwählen, wer bewertet wird. Klicken Sie auf Human teammates assigned und wählen Sie entweder Teampartner in bestimmten Teams oder einzelne Teampartner aus.

Fügen Sie als Nächstes Ihre Scorecard-Kriterien hinzu. Klicken Sie zuerst auf + Kriterien > Neu erstellen.

Beim Erstellen eines neuen Kriteriums gehen Sie wie folgt vor:

1. Benennen Sie das Kriterium

Geben Sie dem Kriterium einen kurzen, klaren Namen (zum Beispiel Sentiment oder Antwortgenauigkeit). Dieser Name erscheint in Berichten und wird als Referenz verwendet.

2. Beschreiben Sie, was bewertet wird

Fügen Sie eine klare Beschreibung hinzu, die erklärt, was das Kriterium überprüft und wie es bewertet werden soll. Die Beschreibung ist die Aufforderung, die die KI zur Bewertung dieses Kriteriums verwendet, und je präziser sie ist, desto genauer bewertet die KI die Gespräche. Sie hilft auch menschlichen Prüfern, dieselben Kriterien konsequent anzuwenden.

Tipp: Für Hilfe beim Verfassen effektiver Beschreibungen siehe Wie man effektive Monitor- und Scorecard-Kriterien schreibt.

3. Wählen Sie, wie das Kriterium bewertet wird

Entscheiden Sie, ob das Kriterium automatisch von der KI oder manuell von menschlichen Prüfern bewertet werden soll. Sie können KI-bewertete und menschlich bewertete Kriterien innerhalb derselben Scorecard mischen.

Hinweis: Titel und Beschreibungen von Scorecard-Kriterien sind wiederverwendbar. Sobald Sie ein Kriterium erstellt haben, können Sie es mehreren Scorecards hinzufügen. Frühere Bewertungsergebnisse können nicht wiederverwendet werden und müssen in jeder Scorecard neu festgelegt werden.

4. Definieren Sie Bewertungsoptionen

Fügen Sie die möglichen Bewertungswerte hinzu, die ein Prüfer oder die KI auswählen kann (zum Beispiel: Gut, Okay, Schlecht). Jedes Kriterium muss mindestens zwei Bewertungsoptionen haben. Für jede Bewertungsoption werden Sie:

Den Bewertungstitel benennen (kurz und klar)
Beschreiben, wann sie ausgewählt werden soll
Einen Wert zuweisen (zum Beispiel 100 %, 50 %, 0 %) oder als Nicht bewertet markieren

Der zugewiesene Wert bestimmt, wie diese Bewertung zum Gesamtergebnis beiträgt.

5. Definieren Sie Bewertungsgründe (optional)

Für jede Bewertungsoption können Sie eine Liste von Bewertungsgründen definieren, das sind vordefinierte Labels, die erklären, warum eine bestimmte Bewertung vergeben wurde. Bewertungsgründe helfen Prüfern und der KI, Bewertungen konsistent zu kategorisieren, was die Erkennung von Mustern in Gesprächen erleichtert.

Wenn die KI ein Kriterium bewertet, wählt sie automatisch den relevantesten vordefinierten Grund aus, falls einer zutrifft. Passt kein vordefinierter Grund, generiert die KI eine klare Erklärung, sodass jede Bewertung einen sinnvollen Kontext hat.

6. Aktivieren Sie die Auto-Review (optional)

Sie können den gesamten QA-Prozess für eine Scorecard automatisieren, indem Sie Auto-review scorecard aktivieren.

Wenn aktiviert:

Wenn die KI alle Kriterien in der Scorecard bewertet, wird der manuelle Überprüfungsschritt vollständig übersprungen.
Teampartner können jede KI-Bewertung manuell überschreiben, wenn sie eine Abweichung feststellen.

Tipp: Auto-Review funktioniert am besten bei Scorecards, bei denen alle Kriterien von der KI bewertet werden. Wenn ein Kriterium einen Menschen erfordert, erscheinen diese Gespräche weiterhin in der Unreviewed-Warteschlange.

Konfigurieren Sie Ihre Scorecard

Nachdem Sie Scorecard-Kriterien hinzugefügt haben, konfigurieren Sie, wie sie das Gesamtergebnis der Bewertung beeinflussen.

Ein Scorecard-Kriterium als kritisch markieren

Sie können Kriterien als Kritisch markieren. Wenn ein kritisches Kriterium eine nicht bestandene Bewertung erhält, wird die gesamte Bewertung als nicht bestanden markiert – unabhängig davon, wie die anderen Kriterien bewertet wurden:

Die Bewertung wird in Scorecard-Ansichten als Fail angezeigt, selbst wenn die gewichtete Punktzahl sonst die Bestehensgrenze erreicht hätte.
Dies überschreibt die Bestehensgrenze und alle Gewichtungen.
Nicht bewertet-Bewertungen schließen das Kriterium von der Gesamtbewertung aus und führen nicht zu einem Nichtbestehen.

Kritische Kriterien sind nützlich für unverhandelbare Standards wie Compliance-Anforderungen, Sicherheit oder Richtlinieneinhaltung und Eskalationsmanagement.

Gewichtung von Scorecard-Kriterien

Jedem Kriterium kann ein Gewicht zugewiesen werden, um seine relative Wichtigkeit zu definieren.

Das Gewicht muss eine ganze Zahl zwischen 0 und 100 sein.
Höhere Gewichte erhöhen den Einfluss dieses Kriteriums auf die Gesamtbewertung.

Gewichte gelten nur für Kriterien, die in die Bewertung einfließen. Verwenden Sie Gewichte, um das Wichtigste widerzuspiegeln – zum Beispiel ein höheres Gewicht für Genauigkeit als für Effizienz, wenn Korrektheit wichtiger ist als Geschwindigkeit.

Hinweis: Gewichte sind relativ zueinander, nicht fest auf einer Skala von 100. Die Summe kann jede Zahl erreichen – entscheidend ist der Anteil, den jedes Kriterium beiträgt. Ein Kriterium mit einem Gewicht von 25 bei insgesamt 50 trägt genauso bei wie eines mit 50 bei 100.

Hinzufügen einer Bestehensgrenze

Sie können eine Bestehensgrenze definieren – die minimale Gesamtpunktzahl, die erforderlich ist, damit eine Bewertung als bestanden gilt. Zum Beispiel wird jede Bewertung unter 80 % als nicht bestanden markiert, wenn die Bestehensgrenze 80 % beträgt.

Dies wird nach der gewichteten Bewertung ausgewertet, vorausgesetzt, kein kritisches Kriterium hat die Bewertung bereits durchfallen lassen.

Wie die Gesamtbewertung funktioniert

Jedes Kriterium wird mit seinen definierten Bewertungsoptionen bewertet.
Bewertungen tragen ihre zugewiesene Punktzahl bei (oder werden ausgeschlossen, wenn sie als Nicht bewertet markiert sind).
Eingeschlossene Kriterien werden unter Verwendung ihrer zugewiesenen Gewichte kombiniert.
Wenn ein kritisches Kriterium eine nicht bestandene Bewertung erhält, wird die Gesamtbewertung 0 %.
Die Endpunktzahl wird mit der Bestehensgrenze verglichen, um zu bestimmen, ob die Bewertung bestanden oder nicht bestanden ist.

Hier ein Beispiel, wie drei Kriterien zu einer Endpunktzahl kombiniert werden:

Kriterien	Ausgewählte Bewertung	Bewertungspunktzahl	Gewicht
Genauigkeit	Gut	100 %	60
Ton	Okay	50 %	30
Effizienz	Gut	100 %	10

Gesamtpunktzahl = (100x60 + 50x30 + 100x10) / (60+30+10) = 85 %

Wie man einen Monitor erstellt

Monitore definieren, welche Gespräche überprüft werden. Sie legen die Kriterien fest, wählen den Prüfer aus und hängen eine Scorecard zur Qualitätsbewertung an. Sobald aktiv, laufen Monitore automatisch und zeigen passende Gespräche für Ihr Team zur Bearbeitung an.

Sie benötigen mindestens eine Scorecard, um das volle Potenzial eines Monitors zur Bewertung menschlicher Gespräche auszuschöpfen.

Um auf Monitore zuzugreifen, gehen Sie zu Fin AI Agent > Analyse > Monitore. Klicken Sie auf + Monitor, um zu starten. Sie können auch eine Vorlage für Fin Monitore, Teammate Monitore oder Allgemeine Monitore wählen.

Schritt 1: Wählen Sie, wie Gespräche bewertet werden

Geben Sie Ihrem Monitor einen Namen und wählen Sie, wie Gespräche bewertet werden. Hier können Sie die erstellte Scorecard verknüpfen, um menschliche Agenten zu bewerten:

Verknüpfen Sie eine Scorecard mit dem Monitor, um jedes passende Gespräch automatisch anhand definierter Kriterien zu bewerten. Nach Auswahl läuft die Scorecard, sobald ein Gespräch dem Monitor hinzugefügt wird, und die Ergebnisse erscheinen im Monitor zur Berichterstattung und Überprüfung.

Tipp: Das Anhängen einer Scorecard macht einen Monitor wirklich nützlich – ohne diese werden Gespräche zwar markiert, aber nicht bewertet.

Hier können Sie auch Ihre Prüfer auswählen. Alle Gespräche, die dem Monitor entsprechen, werden automatisch den ausgewählten Prüfern zugewiesen, sodass Bewertungen konsistent ohne manuelle Koordination erfolgen.

Hinweis: Wenn die angehängte Scorecard die Auto-Review aktiviert hat, wird der Prüferstatus als Auto-reviewed angezeigt. Diese Gespräche umgehen die manuelle Unreviewed-Warteschlange, es sei denn, die KI erkennt ein Versagen oder kann Kriterien nicht sicher bewerten.

Schritt 2: Wählen Sie Gespräche aus

Ihr Monitor kann folgende Gespräche anvisieren:

Eine Zufallsstichprobe – zum Beispiel eine wöchentliche Stichprobe von Kundendienstgesprächen zur Basis-QA
Eine gezielte Auswahl basierend auf bestimmten Signalen oder Risiken – zum Beispiel alle Gespräche, bei denen ein Kunde Anzeichen finanzieller Verwundbarkeit zeigt

Sie können Gespräche eingrenzen mit:

Präzisen Filtern – Status der Lösung, Thema, CX-Score und mehr
Flag-Kriterien – natürliche Spracheingabe, die beschreibt, welche Arten von Gesprächen markiert werden sollen. Für Hilfe beim Schreiben effektiver Kriterien siehe wie man effektive Monitor- und Scorecard-Kriterien schreibt.

Hinweis: Ein einzelnes Gespräch kann in mehreren Monitoren erscheinen. Jeder Monitor läuft unabhängig, sodass ein Gespräch, das mehreren Monitor-Kriterien entspricht, in jedem markiert wird. Ein Klick auf das Gespräch zeigt genau, warum es von diesem Monitor markiert wurde.

Schritt 3: Wählen Sie einen Überwachungsmodus

Wählen Sie, wie der Monitor läuft:

Kontinuierlich: läuft fortlaufend, erfasst neue Gespräche beim Abschluss und fügt sie automatisch hinzu
Einmalig: nur Nachbearbeitung, erfasst Gespräche aus historischen Daten. Neue Gespräche, die nach der Einrichtung abgeschlossen werden, sind nicht enthalten
Geplant: Läuft in einem wiederkehrenden täglichen oder wöchentlichen Rhythmus, sodass Teammitglieder Gespräche regelmäßig überprüfen können.

Schritt 4: Wählen Sie das Startdatum aus

Wählen Sie, wann der Monitor mit der Bewertung von Gesprächen beginnen soll. So können Sie QA für historische Gespräche ab einem bestimmten Zeitpunkt durchführen und gleichzeitig kontinuierlich neue passende Gespräche ab diesem Datum erfassen.

Hinweis: Beim ersten Erstellen eines Monitors können Sie bis zu 90 Tage historische Gespräche nachfüllen. Ab diesem Zeitpunkt erfasst der Monitor automatisch weiterhin neue passende Gespräche.

Schritt 5: Wählen Sie, wann Gespräche hinzugefügt werden

Ein Gespräch muss geschlossen sein, bevor es von einem menschlichen Agenten-QA-Monitor bewertet werden kann.

Bewertungen einreichen

Gespräche können aus verschiedenen Ansichten überprüft und eingereicht werden.

In allen Ansichten:

Die Gesprächsliste zeigt die Gesamtbewertung (Prozentsatz oder Fail) neben den einzelnen Kriterienbewertungen als Spalten an. So lässt sich die Leistung über Gespräche hinweg leicht überblicken und Fehler oder niedrige Bewertungen erkennen.
Wenn Sie ein Gespräch öffnen und zum Score-Tab wechseln, sehen Sie die zugewiesene Scorecard, den Überprüfungsstatus, die Gesamtbewertung und die ausgewählte Bewertung für jedes Kriterium. Diese Ansicht zeigt genau, wie die Endbewertung zustande kam. Wenn ein Kriterium mithilfe von AI bewertet wird, können Sie im Score-Tab über die Bewertung hovern, um ein Tooltip mit der ausgewählten Bewertung, der Kriterienbeschreibung und der Begründung der AI für diese Bewertung anzuzeigen – alles an einem Ort.

Es gibt mehrere Möglichkeiten, Bewertungen zuzugreifen und einzureichen. Klicken Sie auf einen Monitor, um alle damit verbundenen Bewertungen anzuzeigen, oder klicken Sie auf der Inbox-Seite auf Assigned to me, um direkt alle Bewertungen zu sehen, für die Sie verantwortlich sind.

oder klicken Sie auf Reviews received, um direkt alle Bewertungen anzuzeigen, die für Sie als bewertetes Teammitglied eingereicht wurden.

Um eine Bewertung abzuschließen:

Öffnen Sie ein Gespräch aus der Ansicht Assigned to me.
Gehen Sie zum Score-Tab und füllen Sie jedes Kriterium der Scorecard aus.
Von AI generierte Bewertungen können durch Klicken auf die Bewertung überschrieben werden.
Sobald alle Kriterien bewertet sind, reichen Sie die Bewertung ein oder lassen sie bei Bedarf für weitere Maßnahmen offen. Sie können der Bewertung auch Notizen hinzufügen, um den Kontext zu erläutern, warum eine Bewertung so vergeben wurde.

Hinweis: Wenn Sie zuvor zusätzliche Bewertungsstatus wie Fix needed oder Won't fix verwendet haben, können Sie diese in bestehenden Monitoren weiterhin filtern. Neue Monitore unterstützen nur Unreviewed und Submitted.

Berichterstattung

Monitor-Berichte helfen Ihnen, die Gesprächsqualität zu verfolgen und zu messen. Sie können diese Metriken verwenden, um Berichte zu erstellen, die Qualitätstrends hervorheben und Verbesserungsbereiche identifizieren.

Alle Monitor-Metriken sind im benutzerdefinierten Bericht-Builder verfügbar, sodass Sie sie mit anderen Intercom-Daten kombinieren können, um maßgeschneiderte Ansichten der Gesprächsqualität zu erstellen.

Um einen benutzerdefinierten Bericht mit Monitor-Metriken zu erstellen, gehen Sie zu Berichte > + Neuer Bericht > Eigenen erstellen und wählen Sie die benötigten Metriken aus der Kategorie Monitors aus. Sie können nach Scorecard, Zeitraum oder anderen Attributen filtern, um sich auf die für Ihr Team relevantesten Segmente zu konzentrieren.

Scorecard-Bewertung

Metrikname	Beschreibung
Bewertete Scorecards	Anzahl der Scorecard-Bewertungen.
Scorecard-Ausfallrate	Prozentsatz der Scorecard-Bewertungen, die fehlgeschlagen sind.
Scorecard-Ausfälle	Anzahl der Scorecard-Bewertungen, die fehlgeschlagen sind.
Scorecard-Bestehensrate	Prozentsatz der Scorecard-Bewertungen, die bestanden wurden.
Scorecard-Bestehende	Anzahl der Scorecard-Bewertungen, die bestanden wurden.
Scorecard-Punktzahl	Die Bewertung, die Scorecard-Bewertungen zugewiesen wurde.

Bewertung der Scorecard-Kriterien

Bewertungen der Scorecard-Kriterien sind qualitative Datenpunkte, die verwendet werden, um Ihre Metriken zu kategorisieren oder zu filtern.

Metrikname	Beschreibung
Bewertete Scorecard-Kriterien	Anzahl der Bewertungen der Scorecard-Kriterien.
Scorecard-Kriterien-Ausfälle	Anzahl der Bewertungen der Scorecard-Kriterien, die fehlgeschlagen sind.
Scorecard-Kriterien-Bestehende	Anzahl der Bewertungen der Scorecard-Kriterien, die bestanden wurden.
Scorecard-Kriterien-Punktzahl	Die Bewertung, die den Scorecard-Kriterien zugewiesen wurde.

Berichtsattribute

Attributname	Beschreibung
Monitor	Der QA-Monitor
Überprüfungsstatus	Der aktuelle Status der Überprüfung. Für menschliche QA-Monitore können die Werte `Unreviewed` oder `Submitted` sein.
Überprüft von	Der Prüfer, der die Überprüfung abgeschlossen hat oder dafür verantwortlich ist.
Bewerteter	Der Teamkollege, der in der Überprüfung bewertet wird.
Bewertungsvorlage	Die während der Überprüfung angewendete Bewertungsvorlage.
Ergebnis der Bewertungsvorlage	Das endgültige Ergebnis der Bewertungsvorlage. Beispielwerte sind: `Pass`, `Fail`, `N/A`, `Not complete` und `Not scored`.
Bewertungspunktzahl	Die quantitative Punktzahl, die durch die Bewertungsvorlage ermittelt wurde.

Berechtigungen

Um Bewertungsvorlagen und Monitore zu bearbeiten und Gespräche zu bewerten, benötigen Teamkollegen beide der folgenden Berechtigungen:

Kann auf Fin AI Agent und Automation-Einstellungen zugreifen
Kann Berichte erstellen, bearbeiten und intern teilen

Teamkollegen, die nicht beide Berechtigungen haben, können menschliche QA-Monitore nicht sehen und nur Überprüfungen ihrer eigenen Arbeit über die Ansicht Reviews received sehen. Sie können KI-bewertete Kriterien in ihren eigenen Überprüfungen nicht selbst überschreiben.

Hinweis: Teamkollegen benötigen beide Berechtigungen, da menschliche QA zwei Produktbereiche kombiniert – Bewertungsvorlagen befinden sich in Fin AI Agent, und Überprüfungsdaten fließen in Berichte ein. Wenn nur eine Berechtigung erteilt wird, kann der Teamkollege die Funktion nicht nutzen.

Verantwortungsvoller Umgang mit Monitoren und benutzerdefinierten Bewertungsvorlagen

In Gesprächen mit mehreren Teilnehmern (z. B. wenn Fin das Gespräch startet und ein Teamkollege es beendet oder mehrere Teamkollegen beteiligt sind), spiegelt die Bewertungsvorlage den individuellen Beitrag des Teilnehmers wider, den der Kunde während der Einrichtung der Bewertungsvorlage angibt.

Monitore und benutzerdefinierte Bewertungsvorlagen sind dazu gedacht, die Qualität von Gesprächen zu überprüfen, nicht um die Leistung einzelner Teamkollegen für Beschäftigungszwecke zu bewerten. Kunden dürfen sich nicht ausschließlich auf KI-bewertete benutzerdefinierte Bewertungsvorlagen verlassen, um beschäftigungsbezogene Entscheidungen über menschliche Agenten ohne angemessene menschliche Überprüfung wesentlich zu beeinflussen. Eine solche Nutzung wäre gegen Fin's AI Product Terms und Acceptable Use Policy.

Wenn Monitore und benutzerdefinierte Bewertungsvorlagen im Kontext von Gesprächen mit menschlichen Agenten verwendet werden, sind Kunden allein dafür verantwortlich, dass deren Nutzung allen geltenden Gesetzen entspricht, einschließlich aller Datenschutz- und KI-Transparenzpflichten.

FAQs

Wie werden Gespräche mit mehreren Teamkollegen bewertet?

Es wird nur der Teamkollege bewertet, der dem Gespräch zugewiesen ist. Wenn mehrere Teamkollegen teilgenommen haben, werden nur die Antworten des zugewiesenen Teamkollegen bewertet – der Rest des Gesprächs dient nur als Kontext. Der gesamte Gesprächsverlauf wird an das LLM gesendet, wobei jeder Teil nach Autor annotiert ist, und dann wird eine gezielte Aufforderung verwendet, um nur die Antworten dieses bestimmten Teamkollegen zu bewerten und alles andere nur als Kontext zu behandeln.

Welchen Plan benötige ich, um Monitore für menschliche Agenten-QA zu verwenden?

Monitore für menschliche Agenten-QA sind als Teil des Pro-Add-ons verfügbar. Sie sind nicht in den Standardplänen Essential, Advanced oder Expert enthalten – Sie benötigen das Pro-Add-on, das Ihrem Abonnement hinzugefügt wird, um auf Bewertungsvorlagen und menschliche QA-Monitore zuzugreifen. Pro wird nach Gesprächsvolumen und nicht nach Sitzplätzen berechnet – ab 99 $/Monat für bis zu 1.000 Pro-Gespräche, mit gestaffelter Preisgestaltung für zusätzliches Volumen.

Gibt es Begrenzungen, wie viele Monitore oder Bewertungskriterien ich erstellen kann?

Ja, jeder Arbeitsbereich hat folgende Begrenzungen:

20 aktive Monitore, die Kriterien in natürlicher Sprache verwenden (das Feld, in dem Sie in einfachem Englisch beschreiben, welche Gespräche markiert werden sollen). Monitore, die nur präzise Filter verwenden (Resolution State, Topic, CX Score), zählen nicht zu diesem Limit.
20 KI-bewertete Kriterien über alle Ihre Bewertungsvorlagen hinweg. Menschlich bewertete Kriterien zählen nicht zu diesem Limit.

Kosten KI-Bewertungen extra pro überprüftem Gespräch?

Es gibt keine zusätzlichen Kosten pro Gespräch für KI-Bewertungen, sie sind im Pro-Add-on enthalten – jedes Gespräch wird einmal auf Ihr Pro-Volumen angerechnet, unabhängig davon, wie viele KI-bewertete Kriterien es bewerten oder wie viele Monitore es markieren.

Gibt es Begrenzungen, wie viele Gespräche ich pro Monat führen kann?

Nein, Monitore haben kein separates monatliches Überprüfungslimit – jedes Gespräch, das einem aktiven Monitor entspricht, wird bewertet. Abgerechnet wird Ihr Pro-Gesprächsvolumen, nicht die Anzahl der Monitor-Überprüfungen. Wenn Sie das Volumen der Gespräche, die zur menschlichen Überprüfung gehen, begrenzen möchten, konfigurieren Sie die Stichprobeneinstellungen Ihres Monitors – Sie können Überprüfungen auf eine Zufallsstichprobe begrenzen (z. B. 10 Gespräche pro Tag), anstatt jede Übereinstimmung zu überprüfen. Sie können auch eine feste Obergrenze für Ihr gesamtes Pro-Gesprächsvolumen festlegen, um die Abrechnung vorhersehbar zu machen. Sobald diese Obergrenze erreicht ist, werden Pro-Gespräche für den Rest des Abrechnungszeitraums nicht mehr erfasst.

Muss ich für jeden Teamkollegen, den ich überprüfe, bezahlen?

Nein, Pro wird nach Gesprächsvolumen und nicht nach Sitzplätzen berechnet. Sobald Ihr Arbeitsbereich das Pro-Add-on hat, können Sie beliebig viele Gespräche von Teamkollegen überprüfen – abgerechnet wird das Volumen der Gespräche, die Ihr Arbeitsbereich verarbeitet, nicht die Anzahl der überprüften oder überprüfenden Teamkollegen.

Welche Berechtigungen benötige ich, um menschliche Agenten-QA einzurichten und zu verwenden?

Um Bewertungsvorlagen zu erstellen, Monitore zu bearbeiten und Gespräche zu bewerten, benötigen Sie beides:

Kann auf Fin AI Agent und Automation-Einstellungen zugreifen, und
Kann Berichte erstellen, bearbeiten und intern teilen

Wenn Sie nur eine dieser Berechtigungen haben, können Sie Überprüfungen Ihrer eigenen Arbeit über die Ansicht Reviews received sehen, aber nichts erstellen oder bearbeiten.

Bewirkt ein nicht bestandener kritischer Kriterium, dass meine Bewertung auf null gesetzt wird?

Nein, die gewichtete Punktzahl wird weiterhin normal berechnet – aber die Überprüfung wird unabhängig von der gewichteten Punktzahl als Fail markiert. Die kritische Überschreibung gilt für das Bestehen/Nichtbestehen-Ergebnis, nicht für die numerische Punktzahl.

Was bedeutet „Not scored“ und wie unterscheidet es sich von einer 0%-Bewertung?

Eine "Nicht bewertete Bewertung" bedeutet, dass das Kriterium vollständig übersprungen wird – es trägt nicht zur Gesamtbewertung bei und löst keinen kritischen Fehler aus, selbst wenn es als kritisch markiert ist. Eine 0%-Bewertung zählt dennoch: Sie trägt Gewicht × 0 zur Gesamtbewertung bei, und wenn das Kriterium kritisch ist, schlägt die Bewertung fehl. Verwenden Sie "Nicht bewertet", wenn ein Kriterium für das spezifische Gespräch nicht zutrifft (z. B. ein Tonkriterium bei einem Gespräch, das mit einer Antwort endete).

Warum müssen die Gewichtungen meiner Kriterien nicht 100 ergeben?

Gewichtungen sind proportional, nicht absolut. Zwei Kriterien mit den Gewichtungen 25 und 75 ergeben dasselbe Bewertungsergebnis wie zwei Kriterien mit den Gewichtungen 1 und 3 – entscheidend ist das Verhältnis zwischen ihnen, nicht die Summe. Das bedeutet, Sie können das Gewicht eines Kriteriums anpassen, ohne die anderen manuell neu ausbalancieren zu müssen.

Wann überspringt die automatische Bewertung die Unreviewed-Warteschlange vollständig?

Die automatische Bewertung überspringt die Unreviewed-Warteschlange nur, wenn alle folgenden Bedingungen erfüllt sind:

Die Scorecard hat Auto-review aktiviert
Jedes Kriterium in der Scorecard wird von AI bewertet (keine menschlich bewerteten Kriterien)
AI konnte jedes Kriterium mit hoher Sicherheit bewerten

Wenn auch nur ein Kriterium menschlich bewertet wird – oder wenn AI ein Kriterium nicht sicher bewerten konnte – wird das Gespräch zur manuellen Überprüfung in die Unreviewed-Warteschlange verschoben.

Kann ich den Typ eines Monitors nach der Erstellung ändern?

Nein, sobald ein Monitor als Continuous, One-time oder Scheduled erstellt wurde, kann der Typ nicht mehr geändert werden. Wenn Sie einen anderen Typ benötigen, archivieren Sie den bestehenden Monitor und erstellen Sie einen neuen.

Was passiert mit bestehenden Bewertungen, wenn ich eine Scorecard bearbeite?

Bestehende Bewertungen bleiben gegen die Version der Scorecard bewertet, die zum Zeitpunkt ihrer Erstellung aktiv war. Sie werden nicht gegen die neue Version neu bewertet.

Neue Gespräche, die nach der Bearbeitung zugeordnet werden, werden gegen die aktualisierte Scorecard bewertet. Deshalb sehen Sie gelegentlich ältere Bewertungen, die sich auf Kriterien beziehen, die in der aktuellen Scorecard nicht mehr vorhanden sind.

Warum wurde mein Bewerter nach der Bearbeitung der Kriterien zu jemand anderem geändert?

Wenn ein Teammitglied ein Kriterium in einer Bewertung aktualisiert (entweder von AI bewertet oder manuell bewertet), wird der Bewerter für diese Bewertung automatisch auf die Person gesetzt, die die letzte Änderung vorgenommen hat. Dies gilt für alle Scorecards, einschließlich der automatisch bewerteten – das Bearbeiten eines automatisch bewerteten Gesprächs ersetzt "Auto-reviewed" durch Ihren Namen.

Der Bewertungsstatus wird nicht automatisch geändert.

Kann dasselbe Gespräch in mehreren Monitoren erscheinen?

Ja, ein Gespräch kann die Kriterien mehrerer Monitore erfüllen – jeder Monitor läuft und bewertet unabhängig, sodass das Gespräch mehrere Bewertungssätze von verschiedenen Bewertern haben kann. Wenn Sie das Gespräch öffnen, sehen Sie, welcher Monitor es für jeden Bewertungssatz markiert hat.

Kann ich Kriterien in mehreren Scorecards wiederverwenden?

Ja – sobald Sie ein Kriterium (Name + Beschreibung) erstellt haben, können Sie es über das + Kriterien-Menü an andere Scorecards anhängen. Bewertungskriterien und Punktzahlen werden jedoch nicht übernommen – Sie müssen die Bewertungen, Punktzahlen und Gewichtungen in jeder Scorecard, der Sie das Kriterium hinzufügen, neu festlegen.

Demnächst verfügbar

Tipps für Teamkollegen-Coaching: KI-gesteuerte Coaching-Tipps für Teamkollegen, die bewertet werden, sowie für Manager, die diese Teamkollegen bewerten.
Kalibrierungs-workflows: Kalibrierung hilft Bewertern, sich auf Bewertungsstandards abzustimmen, indem gemeinsame Beispiele bewertet und Ergebnisse verglichen werden, was Konsistenz und Fairness bei Feedback und Qualitätsmessung verbessert.
Streit-Workflow: Teamkollegen können ihre Bewertungen anfechten.
Bewertung anhand der knowledge base: Bewerten Sie Gespräche anhand Ihrer Support-Inhalte und Richtlinien, um sicherzustellen, dass Teamkollegen interne Prozesse einhalten.
Spalten in menschlichen QA-Monitoren sortieren und neu anordnen.