Monitors zur QA von menschlichen Teamkollegen ermöglichen es Ihnen, die Qualität der Gespräche Ihrer Teamkollegen in großem Umfang zu bewerten und zu verbessern. Sie definieren, welche Gespräche überprüft werden, hängen eine benutzerdefinierte Scorecard zur Bewertung an und weisen Prüfer zu – alles automatisch.

Ein Monitor wählt aus, welche Gespräche überprüft werden. Eine Scorecard definiert, wie jedes einzelne bewertet wird – die spezifischen Kriterien, die Ihnen wichtig sind, wie Genauigkeit, Ton oder Einhaltung von Richtlinien. Zusammen bieten sie Ihnen eine konsistente, skalierbare Methode, um die Gesprächsqualität in Ihrem Team zu messen und zu verbessern.

Die Einrichtung der QA für menschliche Agenten erfolgt in zwei Schritten:

Erstellen Sie eine Scorecard, die Ihre Qualitätskriterien definiert.
Richten Sie einen Monitor ein, um auszuwählen, welche Gespräche überprüft werden, wer sie überprüft und wie die Bewertungen an Ihr Team weitergeleitet werden.

Hinweis: Dieser Artikel behandelt Monitors für die QA von menschlichen Agenten. Für Monitors, die Fin AI Agent-Gespräche bewerten, siehe Monitors and Custom Scorecards. Monitors für menschliche Agenten-QA sind als Teil des Pro-Add-ons verfügbar.

So erstellen Sie eine Scorecard

Gehen Sie zu Fin AI Agent > Analyze > Monitors und klicken Sie auf Scorecards.

Erstellen Sie Ihre eigene, indem Sie auf + Neue Scorecard klicken:

Beginnen Sie damit, auszuwählen, wer bewertet wird. Klicken Sie auf Human teammates assigned und wählen Sie entweder Teamkollegen in bestimmten Teams oder einzelne Teamkollegen aus.

Verwenden Sie dann Wenn mehrere Teamkollegen antworten, überprüfe, um auszuwählen, welcher Teamkollege bewertet wird, wenn mehr als ein zugewiesener Teamkollege geantwortet hat:

Erster zugewiesener Teamkollege: der erste zugewiesene Teamkollege, der geantwortet hat
Letzter zugewiesener Teamkollege: der letzte zugewiesene Teamkollege, der geantwortet hat
Aktivster Teamkollege: der zugewiesene Teamkollege mit den meisten Antworten

Neue Scorecards beginnen mit Aktivster Teamkollege.

Fügen Sie als Nächstes Ihre Scorecard-Kriterien hinzu. Klicken Sie zuerst auf + Kriterien > Neu erstellen.

Beim Erstellen eines neuen Kriteriums gehen Sie wie folgt vor:

1. Benennen Sie das Kriterium

Geben Sie dem Kriterium einen kurzen, klaren Namen (zum Beispiel Sentiment oder Antwortgenauigkeit). Dieser Name erscheint in Berichten und wird als Referenz verwendet.

2. Beschreiben Sie, was bewertet wird

Fügen Sie eine klare Beschreibung hinzu, die erklärt, was das Kriterium überprüft und wie es bewertet werden soll. Die Beschreibung ist die Aufforderung, die die KI zur Bewertung dieses Kriteriums verwendet, und je präziser sie ist, desto genauer bewertet die KI die Gespräche. Sie hilft auch menschlichen Prüfern, dieselben Kriterien konsequent anzuwenden.

Tipp: Für Hilfe beim Schreiben effektiver Beschreibungen siehe wie man effektive Monitor- und Scorecard-Kriterien schreibt.

3. Wählen Sie, wie das Kriterium bewertet wird

Entscheiden Sie, ob das Kriterium automatisch von der KI oder manuell von menschlichen Prüfern bewertet werden soll. Sie können KI-bewertete und menschlich bewertete Kriterien in derselben Scorecard mischen.

Hinweis: Titel und Beschreibungen von Scorecard-Kriterien sind wiederverwendbar. Sobald Sie ein Kriterium erstellt haben, können Sie es mehreren Scorecards hinzufügen. Frühere Bewertungsergebnisse können nicht wiederverwendet werden und müssen in jeder Scorecard neu festgelegt werden.

4. Definieren Sie Bewertungsoptionen

Fügen Sie die möglichen Bewertungswerte hinzu, die ein Prüfer oder die KI auswählen kann (zum Beispiel: Gut, Okay, Schlecht). Jedes Kriterium muss mindestens zwei Bewertungsoptionen haben. Für jede Bewertungsoption werden Sie:

Den Namen der Bewertung festlegen (kurz und klar)
Beschreiben, wann sie ausgewählt werden soll
Eine Punktzahl zuweisen (zum Beispiel 100 %, 50 %, 0 %) oder als Nicht bewertet markieren

Die zugewiesene Punktzahl bestimmt, wie diese Bewertung zum Gesamtergebnis beiträgt.

5. Definieren Sie Bewertungsgründe (optional)

Für jede Bewertungsoption können Sie eine Liste von Bewertungsgründen definieren, das sind vordefinierte Labels, die erklären, warum eine bestimmte Bewertung vergeben wurde. Bewertungsgründe helfen Prüfern und der KI, Bewertungen konsistent zu kategorisieren, was die Erkennung von Mustern in Gesprächen erleichtert.

Wenn die KI ein Kriterium bewertet, wählt sie automatisch den relevantesten vordefinierten Grund aus, sofern einer zutrifft. Wenn kein vordefinierter Grund passt, erstellt die KI eine klare Erklärung, sodass jede Bewertung einen sinnvollen Kontext hat.

6. Aktivieren Sie die Auto-Review (optional)

Sie können den gesamten QA-Prozess für eine Scorecard automatisieren, indem Sie Auto-review scorecard aktivieren.

Wenn aktiviert:

Wenn die KI alle Kriterien in der Scorecard bewertet, wird der manuelle Überprüfungsschritt vollständig übersprungen.
Teamkollegen können jede KI-Bewertung manuell überschreiben, wenn sie eine Abweichung feststellen.

Tipp: Auto-Review funktioniert am besten bei Scorecards, bei denen alle Kriterien von der KI bewertet werden. Wenn ein Kriterium einen Menschen erfordert, erscheinen diese Gespräche weiterhin in der Unreviewed-Warteschlange.

Konfigurieren Sie Ihre Scorecard

Nachdem Sie Scorecard-Kriterien hinzugefügt haben, konfigurieren Sie, wie sie das Gesamtergebnis der Bewertung beeinflussen.

Markieren eines Scorecard-Kriteriums als kritisch

Sie können Kriterien als Kritisch markieren. Wenn ein kritisches Kriterium eine nicht bestandene Bewertung erhält, wird die gesamte Bewertung als nicht bestanden markiert – unabhängig davon, wie die anderen Kriterien bewertet wurden:

Die Bewertung wird in Scorecard-Ansichten als Fehlgeschlagen angezeigt, selbst wenn die gewichtete Punktzahl sonst die Bestehensgrenze erreicht hätte.
Dies überschreibt die Bestehensgrenze und alle Gewichtungen.
Nicht bewertet-Bewertungen schließen das Kriterium von der Gesamtbewertung aus und lösen kein Nichtbestehen aus.

Kritische Kriterien sind nützlich für unverhandelbare Standards wie Compliance-Anforderungen, Sicherheit oder Richtlinieneinhaltung und Eskalationsmanagement.

Gewichtung der Bewertungskriterien

Jedem Kriterium kann ein Gewicht zugewiesen werden, um seine relative Bedeutung zu definieren.

Das Gewicht muss eine ganze Zahl zwischen 0 und 100 sein
Höhere Gewichte erhöhen den Einfluss dieses Kriteriums auf die Gesamtbewertung

Gewichte gelten nur für Kriterien, die in die Bewertung einfließen. Verwenden Sie Gewichte, um das Wichtigste widerzuspiegeln – zum Beispiel ein höheres Gewicht für Genauigkeit als für Effizienz, wenn Korrektheit wichtiger als Geschwindigkeit ist.

Hinweis: Gewichte sind relativ zueinander, nicht fest an eine Skala von 100 gebunden. Die Summe kann jede Zahl ergeben – entscheidend ist der Anteil, den jedes Kriterium beiträgt. Ein Kriterium mit einem Gewicht von 25 bei einer Gesamtsumme von 50 trägt genauso bei wie eines mit 50 bei 100.

Hinzufügen einer Bestehensgrenze

Sie können eine Bestehensgrenze definieren – die minimale Gesamtpunktzahl, die eine Bewertung erreichen muss, um als bestanden zu gelten. Zum Beispiel wird bei einer Bestehensgrenze von 80 % jede Bewertung unter 80 % als nicht bestanden markiert.

Dies wird nach der gewichteten Bewertung ausgewertet, sofern kein kritisches Kriterium die Bewertung bereits als nicht bestanden markiert hat.

Wie die Gesamtbewertung funktioniert

Jedes Kriterium wird mit den definierten Bewertungsoptionen bewertet.
Bewertungen tragen ihre zugewiesene Punktzahl bei (oder werden ausgeschlossen, wenn sie als Nicht bewertet markiert sind).
Eingeschlossene Kriterien werden unter Verwendung ihrer zugewiesenen Gewichte kombiniert.
Wenn ein kritisches Kriterium eine nicht bestandene Bewertung erhält, wird die Gesamtbewertung 0 %.
Die Endpunktzahl wird mit der Bestehensgrenze verglichen, um zu bestimmen, ob die Bewertung bestanden oder nicht bestanden ist.

Hier ein Beispiel, wie drei Kriterien zu einer Endpunktzahl kombiniert werden:

Kriterien	Ausgewählte Bewertung	Bewertungspunktzahl	Gewicht
Genauigkeit	Gut	100%	60
Ton	Okay	50%	30
Effizienz	Gut	100%	10

Gesamtpunktzahl = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%

Wie man einen Monitor erstellt

Monitore definieren, welche Gespräche überprüft werden. Sie legen die Kriterien fest, wählen den Prüfer aus und hängen eine Scorecard an, um die Qualität zu bewerten. Sobald aktiv, laufen Monitore automatisch und zeigen passende Gespräche für Ihr Team zur Bearbeitung an.

Sie benötigen mindestens eine Scorecard, um das Beste aus einem Monitor herauszuholen, der menschliche Gespräche bewertet.

Um auf Monitore zuzugreifen, gehen Sie zu Fin AI Agent > Analyze > Monitors. Klicken Sie auf + Monitor, um zu starten. Sie können auch eine Vorlage für Fin Monitore, Teammate Monitore oder General Monitore wählen.

Schritt 1: Wählen Sie, wie Gespräche bewertet werden

Geben Sie Ihrem Monitor einen Namen und wählen Sie dann, wie Gespräche bewertet werden. Hier können Sie die Scorecard verknüpfen, die Sie zur Bewertung menschlicher Agenten erstellt haben:

Verknüpfen Sie eine Scorecard mit dem Monitor, um automatisch jedes passende Gespräch anhand definierter Kriterien zu bewerten. Nach Auswahl läuft die Scorecard, sobald ein Gespräch dem Monitor hinzugefügt wird, und die Ergebnisse erscheinen im Monitor zur Berichterstattung und Überprüfung.

Tipp: Das Anhängen einer Scorecard macht einen Monitor wirklich nützlich – ohne eine werden Gespräche zwar markiert, aber nicht bewertet.

Hier können Sie auch Ihre Prüfer auswählen. Alle Gespräche, die zum Monitor passen, werden automatisch den ausgewählten Prüfern zugewiesen, sodass Bewertungen konsistent ohne manuelle Koordination weitergeleitet werden.

Hinweis: Wenn die angehängte Scorecard die Auto-review aktiviert hat, wird der Prüferstatus als Auto-reviewed angezeigt. Diese Gespräche umgehen die manuelle Unreviewed-Warteschlange, es sei denn, die KI erkennt einen Fehler oder kann Kriterien nicht sicher bewerten.

Schritt 2: Wählen Sie Gespräche aus

Ihr Monitor kann folgende Ziele haben:

Eine Zufallsstichprobe – zum Beispiel eine wöchentliche Stichprobe von Kundendienstgesprächen für die Basis-QA
Eine gezielte Auswahl basierend auf bestimmten Signalen oder Risiken – zum Beispiel alle Gespräche, bei denen ein Kunde Anzeichen finanzieller Verwundbarkeit zeigt

Sie können Gespräche eingrenzen mit:

Präzisen Filtern – Resolution State, Topic, CX Score und mehr
Flag-Kriterien – natürliche Spracheingabe, die beschreibt, welche Arten von Gesprächen markiert werden sollen. Für Hilfe beim Schreiben effektiver Kriterien siehe wie man effektive Monitor- und Scorecard-Kriterien schreibt.

Hinweis: Ein einzelnes Gespräch kann in mehreren Monitoren erscheinen. Jeder Monitor läuft unabhängig, sodass ein Gespräch, das den Kriterien mehrerer Monitore entspricht, in jedem markiert wird. Ein Klick auf ein Gespräch zeigt genau, warum es von diesem Monitor markiert wurde.

Schritt 3: Wählen Sie einen Überwachungsmodus

Wählen Sie aus, wie der Monitor ausgeführt wird:

Kontinuierlich: läuft fortlaufend, erkennt neue Gespräche beim Schließen und fügt sie automatisch hinzu
Einmalig: nur Nachbearbeitung, erkennt Gespräche aus historischen Daten. Neue Gespräche, die nach der Einrichtung geschlossen werden, sind nicht enthalten
Geplant: läuft in einem wiederkehrenden täglichen oder wöchentlichen Rhythmus, sodass Teammitglieder Gespräche regelmäßig überprüfen können

Schritt 4: Wählen Sie das Startdatum

Wählen Sie, wann der Monitor mit der Bewertung von Gesprächen beginnen soll. So können Sie QA für historische Gespräche ab einem bestimmten Zeitpunkt durchführen und gleichzeitig neue passende Gespräche ab diesem Datum kontinuierlich anzeigen.

Hinweis: Beim ersten Erstellen eines Monitors können Sie bis zu 90 Tage historische Gespräche nachbearbeiten. Ab diesem Zeitpunkt erfasst der Monitor automatisch weiterhin neue passende Gespräche.

Schritt 5: Wählen Sie, wann Gespräche hinzugefügt werden

Ein Gespräch muss geschlossen sein, bevor es von einem menschlichen Agenten-QA-Monitor bewertet werden kann.

Bewertungen einreichen

Gespräche können aus verschiedenen Ansichten überprüft und eingereicht werden.

In allen Ansichten:

Die Gesprächsliste zeigt die Gesamtbewertung (Prozentsatz oder Fail) neben den einzelnen Kriterienbewertungen als Spalten an. So lässt sich die Leistung über Gespräche hinweg leicht überblicken und Fehler oder niedrige Bewertungen erkennen.
Wenn Sie ein Gespräch öffnen und zum Score-Tab wechseln, sehen Sie die zugewiesene Bewertungsübersicht, den Überprüfungsstatus, die Gesamtbewertung und die ausgewählte Bewertung für jedes Kriterium. Diese Ansicht zeigt genau, wie die Endbewertung zustande kam. Wenn ein Kriterium mit KI bewertet wird, können Sie im Score-Tab über die Bewertung hovern, um ein Tooltip mit der ausgewählten Bewertung, der Kriterienbeschreibung und der KI-Begründung für diese Bewertung anzuzeigen – alles an einem Ort.

Es gibt mehrere Möglichkeiten, Bewertungen zuzugreifen und einzureichen. Klicken Sie auf einen Monitor, um alle damit verbundenen Bewertungen anzuzeigen, oder klicken Sie auf der Inbox-Seite auf Assigned to me, um direkt alle Bewertungen zu sehen, für die Sie verantwortlich sind.

oder klicken Sie auf Reviews received, um direkt alle Bewertungen zu sehen, die für Sie als bewertetes Teammitglied eingereicht wurden.

Um eine Bewertung abzuschließen:

Öffnen Sie ein Gespräch aus der Ansicht Assigned to me.
Gehen Sie zum Score-Tab und füllen Sie jedes Bewertungskriterium aus.
KI-generierte Bewertungen können durch Klicken auf die Bewertung überschrieben werden.
Sobald alle Kriterien bewertet sind, reichen Sie die Bewertung ein oder lassen sie für weitere Maßnahmen offen. Sie können der Bewertung auch Notizen hinzufügen, um den Kontext zu erläutern, warum eine Bewertung so vergeben wurde. Um eine Bewertung nach der Einreichung zu ändern, klicken Sie auf Bewertung überarbeiten, aktualisieren Sie die Bewertungen und klicken Sie dann auf Revision einreichen. Die Bewertung bleibt Eingereicht.

Hinweis: Wenn Sie zuvor zusätzliche Bewertungsstatus wie Fix needed oder Won't fix verwendet haben, können Sie diese in bestehenden Monitoren weiterhin filtern. Neue Monitore unterstützen nur Unreviewed und Submitted.

Berichterstattung

Monitor-Berichte helfen Ihnen, die Gesprächsqualität zu verfolgen und zu messen. Sie können diese Metriken verwenden, um Berichte zu erstellen, die Qualitätstrends hervorheben und Verbesserungsbereiche identifizieren.

Alle Monitor-Metriken sind im benutzerdefinierten Berichtsgenerator verfügbar, sodass Sie sie mit anderen Intercom-Daten kombinieren können, um maßgeschneiderte Ansichten der Gesprächsqualität zu erstellen.

Um einen benutzerdefinierten Bericht mit Monitor-Metriken zu erstellen, gehen Sie zu Berichte > + Neuer Bericht > Eigenen Bericht erstellen und wählen Sie die benötigten Metriken aus der Kategorie Monitore aus. Sie können nach Bewertungsübersicht, Zeitraum oder anderen Attributen filtern, um sich auf die für Ihr Team relevantesten Segmente zu konzentrieren.

Bewertungsübersicht-Auswertung

Metrikname	Beschreibung
Bewertete Bewertungsübersichten	Anzahl der Bewertungsübersichts-Auswertungen.
Bewertungsübersicht-Ausfallrate	Prozentsatz der Bewertungsübersichts-Auswertungen, die fehlgeschlagen sind.
Bewertungsübersicht-Ausfälle	Anzahl der Bewertungsübersichts-Auswertungen, die fehlgeschlagen sind.
Bewertungsübersicht-Bestehensrate	Prozentsatz der Bewertungsübersichts-Auswertungen, die bestanden wurden.
Bewertungsübersicht-Bestehende	Anzahl der Bewertungsübersichts-Auswertungen, die bestanden wurden.
Bewertungsübersicht-Bewertung	Die Bewertung, die den Bewertungsübersichts-Auswertungen zugewiesen wurde.

Bewertungsübersicht-Kriterien-Auswertung

Bewertungsübersicht-Kriterien-Auswertungen sind qualitative Datenpunkte, die verwendet werden, um Ihre Metriken zu kategorisieren oder zu filtern.

Metrikname	Beschreibung
Bewertete Bewertungsübersicht-Kriterien	Anzahl der Bewertungsübersicht-Kriterien-Auswertungen.
Bewertungsübersicht-Kriterien-Ausfälle	Anzahl der Scorecard-Kriterienbewertungen, die nicht bestanden wurden.
Scorecard-Kriterien bestanden	Anzahl der Scorecard-Kriterienbewertungen, die bestanden wurden.
Scorecard-Kriterienpunktzahl	Die Bewertungsnote, die den Scorecard-Kriterien zugewiesen wurde

Berichtsattribute

Attributname	Beschreibung
Monitor	Der QA-Monitor
Überprüfungsstatus	Der aktuelle Status der Überprüfung. Für menschliche QA-Monitore können die Werte `Unreviewed` oder `Submitted` sein.
Prüfer	Der Teamkollege, der für die Überprüfung verantwortlich ist.
Bewerteter	Der Teamkollege, der in der Überprüfung bewertet wird.
Scorecard	Die während der Überprüfung angewendete Bewertungsvorlage.
Ergebnis der Scorecard	Das endgültige Ergebnis der Scorecard-Bewertung. Beispielwerte sind: `Pass`, `Fail`, `N/A`, `Not complete` und `Not scored`.
Scorecard-Punktzahl	Die quantitative Punktzahl, die durch die Scorecard-Bewertung erzeugt wird.

Berechtigungen

Berechtigungen für menschliche Teamkollegen-QA befinden sich in einem neuen Evaluations-Abschnitt (Einstellungen > Workspace > Teammates > Evaluations), getrennt von Berichten und Fin AI Agent- und Automatisierungseinstellungen.

Kann auf Bewertungen anderer Teamkollegen zugreifen: Ermöglicht einem Teamkollegen, Bewertungen anderer Teamkollegen einzusehen und daran zu arbeiten. Ohne diese Berechtigung kann ein Teamkollege weiterhin Bewertungen seiner eigenen Arbeit sehen und Bewertungen abschließen, die ihm zugewiesen wurden.
Kann Scorecards und Monitore erstellen und verwalten: Ermöglicht einem Teamkollegen, Monitore und Scorecards zu erstellen, zu bearbeiten, zu duplizieren und zu archivieren. Dies gewährt keinen Zugriff auf Bewertungen anderer Teamkollegen.

Der Zugriff auf Bewertungen folgt immer dem Zugriff auf Gespräche – ein Teamkollege kann nur Bewertungen für Gespräche einsehen, auf die er bereits Zugriff hat. Für alle gelten einige Regeln: Teamkollegen können immer Bewertungen ihrer eigenen Arbeit sehen; Teamkollegen dürfen ihre eigene Arbeit niemals bewerten; eine Bewertung, die einem bestimmten Prüfer zugewiesen ist, kann nur von diesem Prüfer abgeschlossen werden, es sei denn, der Prüfer hat die Berechtigung Kann auf Bewertungen anderer Teamkollegen zugreifen; und ein Monitor ohne zugewiesene Prüfer funktioniert als offene Warteschlange, die jeder Teamkollege mit Zugriff auf das Gespräch übernehmen kann.

Hinweis: Der bestehende QA-Zugriff wird beim Start dieser Änderung automatisch übernommen, sodass bestehende workflows weiterhin funktionieren. Nach dem Start wird der QA-Zugriff unabhängig von den Berechtigungen für Berichte und Fin AI Agent- und Automatisierungseinstellungen verwaltet.

Verantwortungsvoller Umgang mit Monitoren und benutzerdefinierten Scorecards

In Gesprächen mit mehreren Teilnehmern (z. B. wenn Fin das Gespräch beginnt und ein Teamkollege es beendet oder mehrere Teamkollegen beteiligt sind) spiegelt die Scorecard den individuellen Beitrag des Teilnehmers wider, den der Kunde während der Scorecard-Einrichtung angibt.

Monitore und benutzerdefinierte Scorecards sind dazu gedacht, die Qualität von Gesprächen zu überprüfen, nicht um die Leistung einzelner Teamkollegen für Beschäftigungszwecke zu bewerten. Kunden dürfen sich nicht ausschließlich auf KI-bewertete benutzerdefinierte Scorecards verlassen, um beschäftigungsbezogene Entscheidungen über menschliche Agenten ohne angemessene menschliche Überprüfung wesentlich zu beeinflussen. Eine solche Nutzung wäre gegen Fin's AI Product Terms und Acceptable Use Policy.

Wenn Monitore und benutzerdefinierte Scorecards im Kontext von Gesprächen mit menschlichen Agenten verwendet werden, sind Kunden allein dafür verantwortlich, sicherzustellen, dass ihre Nutzung allen geltenden Gesetzen entspricht, einschließlich aller Datenschutz- und KI-Transparenzpflichten.

FAQs

Wie werden Gespräche mit mehreren Teamkollegen bewertet?

Pro Bewertung wird ein Teamkollege bewertet. Wenn mehr als ein zugewiesener Teamkollege geantwortet hat, entscheidet die Einstellung Wenn mehrere Teamkollegen antworten, überprüfe der Scorecard, wer bewertet wird: Erster zugewiesener Teamkollege, Letzter zugewiesener Teamkollege oder Aktivster Teamkollege (der zugewiesene Teamkollege mit den meisten Antworten). Nur Teamkollegen, die durch die Einstellung Wer wird bewertet? der Scorecard abgedeckt sind, werden berücksichtigt. Teamkollegen, die geantwortet, aber nie zugewiesen wurden, werden nicht berücksichtigt. Bei Aktivster Teamkollege zählen Notizen nicht als Antworten, und bei Gleichstand gewinnt der zuletzt zugewiesene Teamkollege. Nur die Antworten des bewerteten Teamkollegen werden bewertet, der Rest des Gesprächs dient nur als Kontext. Der gesamte Gesprächsverlauf wird an das LLM gesendet, wobei jeder Teil nach Autor annotiert ist, und dann wird eine gezielte Aufforderung verwendet, um nur die Antworten dieses bestimmten Teamkollegen zu bewerten und alles andere nur als Kontext zu behandeln.

Welchen Plan benötige ich, um Monitore für menschliche Agenten-QA zu verwenden?

Monitore für menschliche Agenten-QA sind als Teil des Pro-Add-ons verfügbar. Sie sind nicht in den Standardplänen Essential, Advanced oder Expert enthalten – Sie benötigen das Pro-Add-on, das Ihrem Abonnement hinzugefügt wird, um auf Scorecards und menschliche QA-Monitore zuzugreifen. Pro wird nach Gesprächsvolumen und nicht nach Sitzplätzen berechnet – ab 99 $/Monat für bis zu 1.000 Pro-Gespräche, mit gestaffelten Preisen für zusätzliches Volumen.

Gibt es Begrenzungen, wie viele Monitore oder Scorecard-Kriterien ich erstellen kann?

Ja, jeder Workspace hat folgende Begrenzungen:

20 aktive Monitore, die Kriterien in natürlicher Sprache verwenden (das Feld, in dem Sie auf Englisch beschreiben, welche Gespräche markiert werden sollen). Monitore, die nur präzise Filter verwenden (Resolution State, Topic, CX Score), zählen nicht zu diesem Limit.
20 KI-bewertete Kriterien über alle Ihre Scorecards hinweg. Menschlich bewertete Kriterien zählen nicht zu diesem Limit.

Kosten KI-Bewertungen extra pro überprüftem Gespräch?

Es gibt keine zusätzlichen Kosten pro Gespräch für KI-Bewertungen, sie sind im Pro-Add-on enthalten – jedes Gespräch wird einmal auf Ihr Pro-Volumen angerechnet, unabhängig davon, wie viele KI-bewertete Kriterien es bewerten oder wie viele Monitore es markieren.

Gibt es Begrenzungen, wie viele Gespräche ich pro Monat führen kann?

Nein, Monitore haben kein separates monatliches Überprüfungslimit – jedes Gespräch, das einem aktiven Monitor entspricht, wird bewertet. Abgerechnet wird Ihr Pro-Gesprächsvolumen, nicht die Anzahl der Monitor-Bewertungen. Wenn Sie das Volumen der Gespräche, die zur menschlichen Überprüfung gehen, begrenzen möchten, konfigurieren Sie die Sampling-Einstellungen Ihres Monitors – Sie können Bewertungen auf eine Zufallsstichprobe begrenzen (z. B. 10 Gespräche pro Tag), anstatt jede Übereinstimmung zu überprüfen. Sie können auch eine feste Obergrenze für Ihr gesamtes Pro-Gesprächsvolumen festlegen, um die Abrechnung planbar zu machen. Sobald diese Obergrenze erreicht ist, werden Pro-Gespräche für den Rest des Abrechnungszeitraums nicht mehr erfasst.

Muss ich für jeden Teamkollegen, den ich bewerte, bezahlen?

Nein, Pro wird nach Gesprächsvolumen und nicht nach Sitzplätzen berechnet. Sobald Ihr Workspace das Pro-Add-on hat, können Sie beliebig viele Gespräche von Teamkollegen überprüfen – abgerechnet wird das Volumen der Gespräche, die Ihr Workspace verarbeitet, nicht die Anzahl der bewerteten oder bewertenden Teamkollegen.

Welche Berechtigungen benötige ich, um menschliche Agenten-QA einzurichten und zu verwenden?

Berechtigungen für menschliche Agenten-QA befinden sich in einem neuen Evaluations-Abschnitt unter Einstellungen > Workspace > Teammates > Evaluations, mit zwei separaten Berechtigungen:

Kann auf Bewertungen anderer Teamkollegen zugreifen — Bewertungen anderer Teamkollegen sehen und bearbeiten
Kann Scorecards und Monitore erstellen und verwalten — Monitore und Scorecards erstellen, bearbeiten, duplizieren und archivieren, ohne Zugriff auf die Bewertungen anderer Teammitglieder zu erhalten

Ohne die Berechtigung Kann auf Bewertungen anderer Teammitglieder zugreifen können Sie weiterhin Ihre eigenen Bewertungen über die Ansicht Reviews received sehen und Bewertungen, die Ihnen zugewiesen sind, abschließen. Ohne Kann Scorecards und Monitore erstellen und verwalten können Sie keine Monitore oder Scorecards erstellen, bearbeiten oder löschen.

Führt ein nicht bestandener kritischer Kriteriumspunkt zu einer Nullwertung meiner Bewertung?

Nein, die gewichtete Punktzahl wird weiterhin normal berechnet – aber die Bewertung wird unabhängig von der gewichteten Punktzahl als Fail markiert. Die kritische Übersteuerung gilt für das Bestehen/Nichtbestehen, nicht für die numerische Punktzahl.

Was bedeutet „Nicht bewertet“ und wie unterscheidet es sich von einer 0%-Bewertung?

Eine „Nicht bewertete Bewertung“ bedeutet, dass das Kriterium komplett übersprungen wird – es trägt nicht zur Gesamtbewertung bei und löst keinen kritischen Fehler aus, selbst wenn es als kritisch markiert ist. Eine 0%-Bewertung zählt weiterhin: Sie trägt Gewicht × 0 zur Gesamtpunktzahl bei und wenn das Kriterium kritisch ist, führt es zum Nichtbestehen der Bewertung. Verwenden Sie Nicht bewertet, wenn ein Kriterium für das spezifische Gespräch nicht zutrifft (z. B. ein Tonkriterium bei einem Gespräch, das mit einer Antwort endete).

Warum müssen die Gewichtungen meiner Kriterien nicht 100 ergeben?

Gewichtungen sind proportional, nicht absolut. Zwei Kriterien mit den Gewichtungen 25 und 75 ergeben dasselbe Bewertungsergebnis wie zwei Kriterien mit den Gewichtungen 1 und 3 – entscheidend ist das Verhältnis zwischen ihnen, nicht die Summe. Das bedeutet, Sie können das Gewicht eines Kriteriums anpassen, ohne die anderen manuell neu ausbalancieren zu müssen.

Wann überspringt die Auto-Review die Unreviewed-Warteschlange vollständig?

Die Auto-Review überspringt die Unreviewed-Warteschlange nur, wenn alle folgenden Bedingungen erfüllt sind:

Die Scorecard hat Auto-Review aktiviert
Jedes Kriterium in der Scorecard wird von AI bewertet (keine menschlich bewerteten Kriterien)
AI konnte jedes Kriterium mit hoher Sicherheit bewerten

Wenn auch nur ein Kriterium menschlich bewertet wird – oder wenn AI ein Kriterium nicht sicher bewerten konnte – wird das Gespräch zur manuellen Überprüfung in die Unreviewed-Warteschlange verschoben.

Kann ich den Typ eines Monitors nach der Erstellung ändern?

Nein, sobald ein Monitor als Continuous, One-time oder Scheduled erstellt wurde, kann der Typ nicht mehr geändert werden. Wenn Sie einen anderen Typ benötigen, archivieren Sie den bestehenden Monitor und erstellen einen neuen.

Was passiert mit bestehenden Bewertungen, wenn ich eine Scorecard bearbeite?

Bestehende Bewertungen bleiben gegen die Version der Scorecard bewertet, die zum Zeitpunkt ihrer Erstellung aktiv war. Sie werden nicht gegen die neue Version neu bewertet.

Neue Gespräche, die nach der Bearbeitung zugeordnet werden, werden gegen die aktualisierte Scorecard bewertet. Deshalb sehen Sie gelegentlich ältere Bewertungen, die sich auf Kriterien beziehen, die auf der aktuellen Scorecard nicht mehr existieren.

Ändert das Bearbeiten einer Bewertung den Bewerter?

Nein. Der Bewerter ändert sich nur, wenn jemand die Bewertung neu zuweist. Wenn eine Bewertung noch keinen Bewerter hat, wird der erste Teamkollege, der sie bearbeitet oder einreicht, zum Bewerter. Wer die Bewertung einreicht oder überarbeitet, wird separat als Eingereicht von und Zuletzt überarbeitet von angezeigt. Dies gilt für alle Scorecards, einschließlich automatisch bewerteter – das Bearbeiten eines automatisch bewerteten Gesprächs behält Auto-reviewed als Bewerter bei.

Der Bewertungsstatus wird nicht automatisch geändert.

Kann dasselbe Gespräch in mehreren Monitoren erscheinen?

Ja, ein Gespräch kann die Kriterien mehrerer Monitore erfüllen – jeder Monitor läuft und bewertet unabhängig, sodass das Gespräch mehrere Sets von Scorecard-Bewertungen von verschiedenen Bewertern haben kann. Wenn Sie das Gespräch öffnen, sehen Sie, welcher Monitor es für jedes Bewertungssatz markiert hat.

Kann ich Kriterien in mehreren Scorecards wiederverwenden?

Ja – sobald Sie ein Kriterium (Name + Beschreibung) erstellt haben, können Sie es über das + Criteria-Menü an andere Scorecards anhängen. Bewertungskriterien und Punktzahlen werden jedoch nicht übernommen – Sie müssen Bewertungen, Punktzahlen und Gewichtungen in jeder Scorecard, der Sie das Kriterium hinzufügen, neu festlegen.

Demnächst verfügbar

Teammate Coaching-Tipps: KI-gesteuerte Coaching-Tipps für Teammitglieder, die bewertet werden, sowie für Manager, die diese Teammitglieder bewerten.
Kalibrierungs-workflows: Kalibrierung hilft Bewertern, sich auf Bewertungsstandards abzustimmen, indem gemeinsame Beispiele bewertet und Ergebnisse verglichen werden, was Konsistenz und Fairness bei Feedback und Qualitätsmessung verbessert.
Dispute workflow (jetzt in Closed Beta): Bewertete können eine eingereichte Bewertung, mit der sie nicht einverstanden sind, einmal pro Bewertung anfechten, und Bewerter lösen dies im Produkt.
Bewertung gegen die knowledge base: Bewerten Sie Gespräche anhand Ihrer Support-Inhalte und Richtlinien, um sicherzustellen, dass Teammitglieder interne Prozesse einhalten.
Sortieren und Neuordnen von Spalten in human QA Monitoren.