Monitors zur QA von menschlichen Teamkollegen ermöglichen es Ihnen, die Qualität der Gespräche Ihrer Teamkollegen in großem Maßstab zu bewerten und zu verbessern. Sie definieren, welche Gespräche überprüft werden, hängen eine benutzerdefinierte Scorecard zur Bewertung an und weisen Reviewer zu – alles automatisch.
Ein Monitor wählt aus, welche Gespräche überprüft werden. Eine Scorecard definiert, wie jedes einzelne bewertet wird – die spezifischen Kriterien, die Ihnen wichtig sind, wie Genauigkeit, Ton oder Einhaltung von Richtlinien. Zusammen bieten sie Ihnen eine konsistente, skalierbare Methode, um die Gesprächsqualität in Ihrem Team zu messen und zu verbessern.
Die Einrichtung der QA für menschliche Agenten erfolgt in zwei Schritten:
Erstellen Sie eine Scorecard, die Ihre Qualitätskriterien definiert.
Richten Sie einen Monitor ein, um auszuwählen, welche Gespräche überprüft werden, wer sie überprüft und wie die Bewertungen an Ihr Team weitergeleitet werden.
Hinweis: Dieser Artikel behandelt Monitors für die QA von menschlichen Agenten. Für Monitors, die Fin AI Agent-Gespräche bewerten, siehe Monitors and Custom Scorecards. Monitors für menschliche Agenten-QA sind als Teil des Pro Add-ons verfügbar.
So erstellen Sie eine Scorecard
Gehen Sie zu Fin AI Agent > Analyze > Monitors und klicken Sie auf Scorecards.
Erstellen Sie Ihre eigene, indem Sie auf + Neue Scorecard klicken:
Beginnen Sie damit, auszuwählen, wer bewertet wird. Klicken Sie auf Human teammates assigned und wählen Sie entweder Teamkollegen in bestimmten Teams oder einzelne Teamkollegen aus.
Fügen Sie als Nächstes Ihre Scorecard-Kriterien hinzu. Klicken Sie zuerst auf + Kriterien > Neu erstellen.
Beim Erstellen eines neuen Kriteriums gehen Sie wie folgt vor:
1. Benennen Sie das Kriterium
Geben Sie dem Kriterium einen kurzen, klaren Namen (zum Beispiel Sentiment oder Antwortgenauigkeit). Dieser Name erscheint in Berichten und wird als Referenz verwendet.
2. Beschreiben Sie, was bewertet wird
Fügen Sie eine klare Beschreibung hinzu, die erklärt, was das Kriterium überprüft und wie es bewertet werden soll. Die Beschreibung ist die Eingabeaufforderung, die die KI zur Bewertung dieses Kriteriums verwendet, und je präziser sie ist, desto genauer bewertet die KI die Gespräche. Sie hilft auch menschlichen Reviewern, dasselbe Kriterium konsequent anzuwenden.
Tipp: Für Hilfe beim Schreiben effektiver Beschreibungen siehe wie man effektive Monitor- und Scorecard-Kriterien schreibt.
3. Wählen Sie, wie das Kriterium bewertet wird
Entscheiden Sie, ob das Kriterium automatisch von der KI oder manuell von menschlichen Reviewern bewertet werden soll. Sie können KI-bewertete und menschlich bewertete Kriterien in derselben Scorecard mischen.
Hinweis: Titel und Beschreibungen von Scorecard-Kriterien sind wiederverwendbar. Sobald Sie ein Kriterium erstellt haben, können Sie es mehreren Scorecards hinzufügen. Frühere Bewertungsergebnisse können nicht wiederverwendet werden und müssen in jeder Scorecard neu festgelegt werden.
4. Definieren Sie Bewertungsoptionen
Fügen Sie die möglichen Bewertungswerte hinzu, die ein Reviewer oder die KI auswählen kann (zum Beispiel: Gut, Okay, Schlecht). Jedes Kriterium muss mindestens zwei Bewertungsoptionen haben. Für jede Bewertungsoption werden Sie:
Den Bewertungstitel benennen (kurz und klar)
Beschreiben, wann sie ausgewählt werden soll
Einen Wert zuweisen (zum Beispiel 100 %, 50 %, 0 %) oder als Nicht bewertet markieren
Der zugewiesene Wert bestimmt, wie diese Bewertung zum Gesamtergebnis beiträgt.
4b. Bewertungsgründe definieren (optional)
Für jede Bewertungsoption können Sie eine Liste von Bewertungsgründen definieren, das sind vordefinierte Labels, die erklären, warum eine bestimmte Bewertung vergeben wurde. Bewertungsgründe helfen Reviewern und der KI, Bewertungen konsistent zu kategorisieren, was die Erkennung von Mustern in Gesprächen erleichtert.
Wenn die KI ein Kriterium bewertet, wählt sie automatisch den relevantesten vordefinierten Grund aus, sofern einer zutrifft. Wenn kein vordefinierter Grund passt, generiert die KI eine klare Erklärung, sodass jede Bewertung einen sinnvollen Kontext hat.
6. Auto-Review aktivieren (optional)
Sie können den gesamten QA-Prozess für eine Scorecard automatisieren, indem Sie Auto-review scorecard aktivieren.
Wenn aktiviert:
Wenn die KI alle Kriterien in der Scorecard bewertet, wird der manuelle Überprüfungsschritt vollständig übersprungen.
Teamkollegen können jede KI-Bewertung manuell überschreiben, wenn sie eine Abweichung feststellen.
Tipp: Auto-Review funktioniert am besten bei Scorecards, bei denen alle Kriterien von der KI bewertet werden. Wenn ein Kriterium einen Menschen erfordert, erscheinen diese Gespräche weiterhin in der Unreviewed-Warteschlange.
Konfigurieren Sie Ihre Scorecard
Nachdem Sie Scorecard-Kriterien hinzugefügt haben, konfigurieren Sie, wie sie das Gesamtergebnis der Bewertung beeinflussen.
Ein Scorecard-Kriterium als kritisch markieren
Sie können Kriterien als Kritisch markieren. Wenn ein kritisches Kriterium eine nicht bestandene Bewertung erhält, wird die gesamte Bewertung als nicht bestanden markiert – unabhängig davon, wie die anderen Kriterien bewertet wurden:
Die Bewertung wird in Scorecard-Ansichten als Fehlgeschlagen angezeigt, selbst wenn die gewichtete Punktzahl sonst die Bestehensgrenze erreicht hätte.
Dies überschreibt die Bestehensgrenze und alle Gewichtungen.
Nicht bewertet-Bewertungen schließen das Kriterium von der Gesamtbewertung aus und führen nicht zu einem Fehlschlag.
Kritische Kriterien sind nützlich für unverhandelbare Standards wie Compliance-Anforderungen, Sicherheit oder Richtlinieneinhaltung und Eskalationsmanagement.
Gewichtung von Scorecard-Kriterien
Jedem Kriterium kann ein Gewicht zugewiesen werden, um seine relative Wichtigkeit zu definieren.
Das Gewicht muss eine ganze Zahl zwischen 0 und 100 sein.
Höhere Gewichte erhöhen den Einfluss dieses Kriteriums auf die Gesamtbewertung.
Gewichte gelten nur für Kriterien, die in die Bewertung einfließen. Verwenden Sie Gewichte, um das Wichtigste widerzuspiegeln – zum Beispiel ein höheres Gewicht für Genauigkeit als für Effizienz, wenn Korrektheit wichtiger als Geschwindigkeit ist.
Hinweis: Gewichte sind relativ zueinander, nicht fest auf einer Skala von 100. Die Summe kann jede Zahl ergeben – entscheidend ist der Anteil, den jedes Kriterium beiträgt. Ein Kriterium mit einem Gewicht von 25 von insgesamt 50 trägt genauso bei wie eines mit 50 von 100.
Hinzufügen einer Bestehensgrenze
Sie können eine Bestehensgrenze definieren – die minimale Gesamtpunktzahl, die erforderlich ist, damit eine Bewertung als bestanden gilt. Zum Beispiel wird jede Bewertung unter 80 % als nicht bestanden markiert, wenn die Bestehensgrenze 80 % beträgt.
Dies wird nach der gewichteten Bewertung ausgewertet, vorausgesetzt, kein kritisches Kriterium hat die Bewertung bereits nicht bestanden.
Wie die Gesamtbewertung funktioniert
Jedes Kriterium wird mit seinen definierten Bewertungsoptionen bewertet.
Bewertungen tragen ihre zugewiesene Punktzahl bei (oder werden ausgeschlossen, wenn sie als Nicht bewertet markiert sind).
Eingeschlossene Kriterien werden unter Verwendung ihrer zugewiesenen Gewichte kombiniert.
Wenn ein kritisches Kriterium eine nicht bestandene Bewertung erhält, wird die Gesamtbewertung 0 %.
Die Endpunktzahl wird mit der Bestehensgrenze verglichen, um zu bestimmen, ob die Bewertung bestanden oder nicht bestanden ist.
Hier ist ein Beispiel, wie drei Kriterien zu einer Endpunktzahl kombiniert werden:
Kriterien | Ausgewählte Bewertung | Bewertungspunktzahl | Gewicht |
Genauigkeit | Gut | 100 % | 60 |
Ton | Okay | 50 % | 30 |
Effizienz | Gut | 100 % | 10 |
Gesamtpunktzahl = (100x60 + 50x30 + 100x10) / (60+30+10) = 85%
Wie man einen Monitor erstellt
Monitors definieren, welche Gespräche überprüft werden. Sie legen die Kriterien fest, wählen den Prüfer aus und hängen eine Scorecard an, um die Qualität zu bewerten. Sobald aktiv, laufen Monitors automatisch und zeigen passende Gespräche für Ihr Team zur Bearbeitung an.
Sie benötigen mindestens eine Scorecard, um das Beste aus einem Monitor herauszuholen, der menschliche Gespräche bewertet.
Um auf Monitors zuzugreifen, gehen Sie zu Fin AI Agent > Analyze > Monitors. Klicken Sie auf + Monitor, um zu starten. Sie können auch eine Vorlage für Fin Monitors, Teammate Monitors oder General Monitors wählen.
Schritt 1: Wählen Sie, wie Gespräche bewertet werden
Geben Sie Ihrem Monitor einen Namen und wählen Sie dann, wie Gespräche bewertet werden. Hier können Sie die Scorecard verknüpfen, die Sie zur Bewertung menschlicher Agenten erstellt haben:
Verknüpfen Sie eine Scorecard mit dem Monitor, um automatisch jedes passende Gespräch anhand definierter Kriterien zu bewerten. Sobald ausgewählt, läuft die Scorecard, sobald ein Gespräch zum Monitor hinzugefügt wird, und die Ergebnisse erscheinen im Monitor zur Berichterstattung und Überprüfung.
Tipp: Das Anhängen einer Scorecard macht einen Monitor wirklich nützlich – ohne eine werden Gespräche zwar markiert, aber nicht bewertet.
Hier können Sie auch Ihre Prüfer auswählen. Alle Gespräche, die zum Monitor passen, werden automatisch den ausgewählten Prüfern zugewiesen, sodass Bewertungen konsistent ohne manuelle Koordination weitergeleitet werden.
Hinweis: Wenn die angehängte Scorecard Auto-review aktiviert hat, wird der Prüferstatus als Auto-reviewed angezeigt. Diese Gespräche umgehen die manuelle Unreviewed-Warteschlange, es sei denn, die AI erkennt einen Fehler oder kann Kriterien nicht sicher bewerten.
Schritt 2: Wählen Sie Gespräche aus
Ihr Monitor kann folgende Ziele haben:
Eine zufällige Stichprobe – zum Beispiel eine wöchentliche Stichprobe von Kundendienstgesprächen für die Basis-QA
Eine gezielte Auswahl basierend auf bestimmten Signalen oder Risiken – zum Beispiel alle Gespräche, bei denen ein Kunde Anzeichen finanzieller Verwundbarkeit zeigt
Sie können Gespräche eingrenzen mit:
Präzise Filter – Resolution State, Topic, CX Score und mehr
Flag-Kriterien – natürliche Spracheingabe, die die Arten von Gesprächen beschreibt, die Sie markieren möchten. Für Hilfe beim Schreiben effektiver Kriterien siehe how to write effective Monitor and Scorecard Criteria.
Hinweis: Ein einzelnes Gespräch kann in mehreren Monitors erscheinen. Jeder Monitor läuft unabhängig, sodass ein Gespräch, das zu mehreren Monitor-Kriterien passt, in jedem markiert wird. Ein Klick auf ein Gespräch zeigt genau, warum es von diesem Monitor markiert wurde.
Schritt 3: Wählen Sie einen Überwachungsmodus
Wählen Sie, wie der Monitor läuft:
Kontinuierlich: läuft fortlaufend, passt neue Gespräche beim Abschluss an und fügt sie automatisch hinzu
Einmalig: nur Nachfüllung, passt Gespräche aus historischen Daten an. Neue Gespräche, die nach der Einrichtung abgeschlossen werden, sind nicht enthalten
Geplant: Läuft in einem wiederkehrenden täglichen oder wöchentlichen Rhythmus, damit Teammitglieder Gespräche regelmäßig überprüfen können.
Schritt 4: Wählen Sie das Startdatum aus
Wählen Sie, wann der Monitor mit der Bewertung der Gespräche beginnen soll. So können Sie QA für historische Gespräche ab einem bestimmten Zeitpunkt durchführen und gleichzeitig kontinuierlich neue passende Gespräche ab diesem Datum erfassen.
Hinweis: Beim ersten Erstellen eines Monitors können Sie bis zu 90 Tage historische Gespräche nachfüllen. Ab diesem Zeitpunkt erfasst der Monitor automatisch weiterhin neue passende Gespräche.
Schritt 5: Wählen Sie aus, wann Gespräche hinzugefügt werden
Ein Gespräch muss geschlossen sein, bevor es von einem menschlichen Agenten-QA-Monitor bewertet werden kann.
Bewertungen einreichen
Gespräche können aus verschiedenen Ansichten überprüft und eingereicht werden.
In allen Ansichten:
Die Gesprächsliste zeigt die Gesamtbewertung (Prozentsatz oder Fail) neben den einzelnen Kriterienbewertungen als Spalten an. So lässt sich die Leistung über Gespräche hinweg leicht überblicken und Fehler oder niedrige Bewertungen erkennen.
Wenn Sie ein Gespräch öffnen und zum Score-Tab wechseln, sehen Sie die zugewiesene Scorecard, den Überprüfungsstatus, die Gesamtbewertung und die ausgewählte Bewertung für jedes Kriterium. Diese Ansicht zeigt genau, wie die Endbewertung zustande kam. Wenn ein Kriterium mit AI bewertet wird, können Sie im Score-Tab über die Bewertung fahren, um einen Tooltip mit der ausgewählten Bewertung, der Kriterienbeschreibung und der Begründung der AI für diese Bewertung anzuzeigen – alles an einem Ort.
Es gibt mehrere Möglichkeiten, Bewertungen zuzugreifen und einzureichen. Klicken Sie auf einen Monitor, um alle damit verbundenen Bewertungen anzuzeigen, oder klicken Sie auf der Inbox-Seite auf Assigned to me, um direkt alle Bewertungen zu sehen, für die Sie verantwortlich sind.
oder klicken Sie auf Reviews received, um direkt alle Bewertungen anzuzeigen, die für Sie als bewertetes Teammitglied eingereicht wurden.
Um eine Bewertung abzuschließen:
Öffnen Sie ein Gespräch aus der Ansicht Assigned to me.
Gehen Sie zum Score-Tab und füllen Sie jedes Scorecard-Kriterium aus.
Von AI generierte Bewertungen können durch Klicken auf die Bewertung überschrieben werden.
Sobald alle Kriterien bewertet sind, reichen Sie die Bewertung ein oder lassen Sie sie bei Bedarf für weitere Maßnahmen offen. Sie können der Bewertung auch Notizen hinzufügen, um den Kontext zu erläutern, warum eine Bewertung diese Punktzahl erhalten hat.
Hinweis: Wenn Sie zuvor zusätzliche Bewertungsstatus wie Fix needed oder Won't fix verwendet haben, können Sie diese in bestehenden Monitoren weiterhin filtern. Neue Monitore unterstützen nur Unreviewed und Submitted.
Berichterstattung
Monitor-Berichte helfen Ihnen, die Gesprächsqualität zu verfolgen und zu messen. Sie können diese Metriken verwenden, um Berichte zu erstellen, die Qualitätstrends hervorheben und Verbesserungsbereiche identifizieren.
Alle Monitor-Metriken sind im benutzerdefinierten Berichtsgenerator verfügbar, sodass Sie sie mit anderen Intercom-Daten kombinieren können, um maßgeschneiderte Ansichten der Gesprächsqualität zu erstellen.
Um einen benutzerdefinierten Bericht mit Monitor-Metriken zu erstellen, gehen Sie zu Berichte > + Neuer Bericht > Eigenen Bericht erstellen und wählen Sie die benötigten Metriken aus der Kategorie Monitors aus. Sie können nach Scorecard, Zeitraum oder anderen Attributen filtern, um sich auf die für Ihr Team relevantesten Segmente zu konzentrieren.
Scorecard-Bewertung
Metrikname | Beschreibung |
Bewertete Scorecards | Anzahl der Scorecard-Bewertungen. |
Scorecard-Ausfallrate | Prozentsatz der fehlgeschlagenen Scorecard-Bewertungen. |
Scorecard-Ausfälle | Anzahl der fehlgeschlagenen Scorecard-Bewertungen. |
Scorecard-Bestehensrate | Prozentsatz der bestandenen Scorecard-Bewertungen. |
Scorecard-Bestehende | Anzahl der bestandenen Scorecard-Bewertungen. |
Scorecard-Punktzahl | Die Bewertung, die Scorecard-Bewertungen zugewiesen wurde. |
Scorecard-Kriterienbewertung
Scorecard-Kriterienbewertungen sind qualitative Datenpunkte, die verwendet werden, um Ihre Metriken zu kategorisieren oder zu filtern.
Metrikname | Beschreibung |
Bewertete Scorecard-Kriterien | Anzahl der Scorecard-Kriterienbewertungen. |
Scorecard-Kriterien-Ausfälle | Anzahl der fehlgeschlagenen Scorecard-Kriterienbewertungen. |
Scorecard-Kriterien-Bestehende | Anzahl der bestandenen Scorecard-Kriterienbewertungen. |
Scorecard-Kriterien-Punktzahl | Die Bewertung, die Scorecard-Kriterien zugewiesen wurde. |
Berichtsattribute
Attributname | Beschreibung |
Monitor | Der QA Monitor |
Überprüfungsstatus | Der aktuelle Status der Überprüfung. Für menschliche QA Monitore können die Werte |
Überprüft von | Der Prüfer, der die Überprüfung abgeschlossen hat oder dafür verantwortlich ist. |
Bewerteter | Der Teamkollege, der in der Überprüfung bewertet wird. |
Bewertungsvorlage | Die während der Überprüfung angewandte Bewertungsvorlage. |
Ergebnis der Bewertungsvorlage | Das endgültige Ergebnis der Bewertungsvorlage. Beispielwerte sind: |
Bewertungspunktzahl | Die quantitative Punktzahl, die durch die Bewertungsvorlage erzeugt wird. |
Berechtigungen
Um Bewertungsvorlagen und Monitore zu bearbeiten und Gespräche zu bewerten, benötigen Teamkollegen beide der folgenden Berechtigungen:
Kann auf Fin AI Agent und Automation-Einstellungen zugreifen
Kann Berichte erstellen, bearbeiten und intern teilen
Teamkollegen, die nicht beide Berechtigungen haben, können menschliche QA Monitore nicht sehen und können nur Überprüfungen ihrer eigenen Arbeit über die Ansicht Reviews received sehen. Sie können KI-bewertete Kriterien in ihren eigenen Überprüfungen nicht überschreiben.
Hinweis: Teamkollegen benötigen beide Berechtigungen, da menschliche QA zwei Produktbereiche kombiniert – Bewertungsvorlagen befinden sich in Fin AI Agent, und Überprüfungsdaten fließen in Berichte ein. Wenn nur eine Berechtigung erteilt wird, kann der Teamkollege die Funktion nicht nutzen.
FAQs
Wie werden Gespräche mit mehreren Teamkollegen bewertet?
Wie werden Gespräche mit mehreren Teamkollegen bewertet?
Nur der dem Gespräch zugewiesene Teamkollege wird bewertet. Wenn mehrere Teamkollegen teilgenommen haben, werden nur die Antworten des zugewiesenen Teamkollegen bewertet – der Rest des Gesprächs dient nur als Kontext. Der gesamte Gesprächsverlauf wird an das LLM gesendet, wobei jeder Teil nach Autor annotiert ist, und dann wird eine gezielte Aufforderung verwendet, um nur die Antworten dieses bestimmten Teamkollegen zu bewerten und alles andere nur als Kontext zu behandeln.
Welchen Plan benötige ich, um Monitore für menschliche Agenten-QA zu verwenden?
Welchen Plan benötige ich, um Monitore für menschliche Agenten-QA zu verwenden?
Monitore für menschliche Agenten-QA sind als Teil des Pro-Add-ons verfügbar. Es ist nicht in den Standardplänen Essential, Advanced oder Expert enthalten – Sie benötigen das Pro-Add-on, das Ihrem Abonnement hinzugefügt wird, um Bewertungsvorlagen und menschliche QA Monitore zu nutzen. Pro wird nach Gesprächsvolumen und nicht nach Sitzplätzen berechnet – ab 99 $/Monat für bis zu 1.000 Pro-Gespräche, mit gestaffelter Preisgestaltung für zusätzliches Volumen.
Gibt es Begrenzungen, wie viele Monitore oder Bewertungskriterien ich erstellen kann?
Gibt es Begrenzungen, wie viele Monitore oder Bewertungskriterien ich erstellen kann?
Ja, jeder Arbeitsbereich hat folgende Begrenzungen:
20 aktive Monitore, die Kriterien mit natürlicher Sprache verwenden (das Feld, in dem Sie in einfachem Englisch beschreiben, welche Gespräche markiert werden sollen). Monitore, die nur präzise Filter verwenden (Resolution State, Topic, CX Score), zählen nicht zu diesem Limit.
20 KI-bewertete Kriterien über alle Ihre Bewertungsvorlagen hinweg. Menschlich bewertete Kriterien zählen nicht zu diesem Limit.
Kosten KI-Bewertungen extra pro überprüftem Gespräch?
Kosten KI-Bewertungen extra pro überprüftem Gespräch?
Es gibt keine zusätzliche Gebühr pro Gespräch für KI-Bewertungen, sie sind im Pro-Add-on enthalten – jedes Gespräch wird einmal auf Ihr Pro-Volumen angerechnet, unabhängig davon, wie viele KI-bewertete Kriterien es bewerten oder wie viele Monitore es markieren.
Gibt es Begrenzungen, wie viele Gespräche ich pro Monat führen kann?
Gibt es Begrenzungen, wie viele Gespräche ich pro Monat führen kann?
Nein, Monitore haben kein separates monatliches Überprüfungslimit – jedes Gespräch, das einem aktiven Monitor entspricht, wird bewertet. Abgerechnet wird Ihr Pro-Gesprächsvolumen, nicht die Anzahl der Monitor-Überprüfungen. Wenn Sie das Volumen der Gespräche, die zur menschlichen Überprüfung gehen, begrenzen möchten, konfigurieren Sie die Sampling-Einstellungen Ihres Monitors – Sie können Überprüfungen auf eine Zufallsstichprobe begrenzen (z. B. 10 Gespräche pro Tag), anstatt jede Übereinstimmung zu überprüfen. Sie können auch eine feste Obergrenze für Ihr gesamtes Pro-Gesprächsvolumen festlegen, um die Abrechnung planbar zu machen. Sobald diese Obergrenze erreicht ist, werden Pro-Gespräche für den Rest des Abrechnungszeitraums nicht mehr erfasst.
Muss ich für jeden Teamkollegen, den ich überprüfe, bezahlen?
Muss ich für jeden Teamkollegen, den ich überprüfe, bezahlen?
Nein, Pro wird nach Gesprächsvolumen und nicht nach Sitzplätzen berechnet. Sobald Ihr Arbeitsbereich das Pro-Add-on hat, können Sie beliebig viele Gespräche von Teamkollegen überprüfen – abgerechnet wird das Volumen der Gespräche, die Ihr Arbeitsbereich verarbeitet, nicht die Anzahl der überprüften oder überprüfenden Teamkollegen.
Welche Berechtigungen benötige ich, um menschliche Agenten-QA einzurichten und zu nutzen?
Welche Berechtigungen benötige ich, um menschliche Agenten-QA einzurichten und zu nutzen?
Um Bewertungsvorlagen zu erstellen, Monitore zu bearbeiten und Gespräche zu bewerten, benötigen Sie beides:
Kann auf Fin AI Agent und Automation-Einstellungen zugreifen, und
Kann Berichte erstellen, bearbeiten und intern teilen
Wenn Sie nur eine dieser Berechtigungen haben, können Sie Überprüfungen Ihrer eigenen Arbeit über die Ansicht Reviews received sehen, aber nichts erstellen oder bearbeiten.
Führt ein kritisches Kriterium mit Nichtbestehen zu einer Nullwertung meiner Überprüfung?
Führt ein kritisches Kriterium mit Nichtbestehen zu einer Nullwertung meiner Überprüfung?
Nein, die gewichtete Punktzahl wird weiterhin normal berechnet – aber die Überprüfung wird unabhängig von der gewichteten Punktzahl als Fail markiert. Die kritische Überschreibung gilt für das Bestehen/Nichtbestehen, nicht für die numerische Punktzahl.
Was bedeutet „Not scored“ und wie unterscheidet es sich von einer 0%-Bewertung?
Was bedeutet „Not scored“ und wie unterscheidet es sich von einer 0%-Bewertung?
Eine „Not scored“-Bewertung bedeutet, dass das Kriterium komplett übersprungen wird – es trägt nicht zur Gesamtbewertung bei und löst keinen kritischen Fehler aus, selbst wenn es als kritisch markiert ist. Eine 0%-Bewertung zählt weiterhin: Sie trägt Gewicht × 0 zur Gesamtpunktzahl bei, und wenn das Kriterium kritisch ist, führt es zum Nichtbestehen der Überprüfung. Verwenden Sie Not scored, wenn ein Kriterium für das spezifische Gespräch nicht zutrifft (z. B. ein Tonkriterium bei einem Gespräch, das mit einer Antwort endete).
Warum müssen die Gewichtungen meiner Kriterien nicht 100 ergeben?
Warum müssen die Gewichtungen meiner Kriterien nicht 100 ergeben?
Gewichtungen sind proportional, nicht absolut. Zwei Kriterien mit den Gewichtungen 25 und 75 ergeben dasselbe Ergebnis wie zwei Kriterien mit den Gewichtungen 1 und 3 – wichtig ist das Verhältnis zwischen ihnen, nicht die Summe. Das bedeutet, Sie können die Gewichtung eines Kriteriums anpassen, ohne die anderen manuell neu ausbalancieren zu müssen.
Wann überspringt die automatische Überprüfung die Unreviewed-Warteschlange komplett?
Wann überspringt die automatische Überprüfung die Unreviewed-Warteschlange komplett?
Die Auto-Review überspringt die Unreviewed-Warteschlange nur, wenn alle folgenden Bedingungen erfüllt sind:
Die Scorecard hat Auto-Review aktiviert
Jedes Kriterium in der Scorecard wird von AI bewertet (keine menschlich bewerteten Kriterien)
AI konnte jedes Kriterium mit hoher Sicherheit bewerten
Wenn auch nur ein Kriterium menschlich bewertet ist – oder wenn AI ein Kriterium nicht sicher bewerten konnte – wird die Konversation zur manuellen Überprüfung in die Unreviewed-Warteschlange verschoben.
Kann ich den Typ eines Monitors nach der Erstellung ändern?
Kann ich den Typ eines Monitors nach der Erstellung ändern?
Nein, sobald ein Monitor als Continuous, One-time oder Scheduled erstellt wurde, kann der Typ nicht geändert werden. Wenn Sie einen anderen Typ benötigen, archivieren Sie den bestehenden Monitor und erstellen Sie einen neuen.
Was passiert mit bestehenden Bewertungen, wenn ich eine Scorecard bearbeite?
Was passiert mit bestehenden Bewertungen, wenn ich eine Scorecard bearbeite?
Bestehende Bewertungen bleiben gegen die Version der Scorecard bewertet, die zum Zeitpunkt ihrer Erstellung aktiv war. Sie werden nicht gegen die neue Version neu bewertet.
Neue Konversationen, die nach der Bearbeitung übereinstimmen, werden gegen die aktualisierte Scorecard bewertet. Deshalb sehen Sie gelegentlich ältere Bewertungen, die sich auf Kriterien beziehen, die in der aktuellen Scorecard nicht mehr vorhanden sind.
Warum hat sich mein Bewerter nach der Bearbeitung der Kriterien geändert?
Warum hat sich mein Bewerter nach der Bearbeitung der Kriterien geändert?
Wenn ein Teammitglied ein Kriterium in einer Bewertung aktualisiert (entweder von AI oder manuell bewertet), wird der Bewerter für diese Bewertung automatisch auf die Person gesetzt, die die letzte Änderung vorgenommen hat. Dies gilt für alle Scorecards, einschließlich der auto-reviewed — das Bearbeiten einer auto-reviewed Konversation ersetzt Auto-reviewed durch Ihren Namen.
Der Bewertungsstatus wird nicht automatisch geändert.
Kann dieselbe Konversation in mehreren Monitoren erscheinen?
Kann dieselbe Konversation in mehreren Monitoren erscheinen?
Ja, eine Konversation kann die Kriterien von mehr als einem Monitor erfüllen – jeder Monitor läuft und bewertet unabhängig, sodass die Konversation mehrere Sets von Scorecard-Bewertungen von verschiedenen Bewertern haben kann. Wenn Sie die Konversation öffnen, sehen Sie, welcher Monitor sie für jedes Bewertungssatz markiert hat.
Kann ich Kriterien in mehreren Scorecards wiederverwenden?
Kann ich Kriterien in mehreren Scorecards wiederverwenden?
Ja – sobald Sie ein Kriterium (Name + Beschreibung) erstellt haben, können Sie es über das + Criteria-Menü an andere Scorecards anhängen. Bewertungskriterien und Scores werden jedoch nicht übernommen – Sie müssen die Bewertungen, Scores und Gewichtungen in jeder Scorecard, der Sie das Kriterium hinzufügen, neu festlegen.
Demnächst verfügbar
Teammate coaching tips: KI-gestützte Coaching-Tipps für Teammitglieder, die bewertet werden, sowie für Manager, die diese Teammitglieder bewerten.
Calibration workflows: Calibration hilft Bewertern, sich auf Bewertungsstandards abzustimmen, indem gemeinsame Beispiele bewertet und Ergebnisse verglichen werden, was Konsistenz und Fairness bei Feedback und Qualitätsmessung verbessert.
Dispute workflow: Teammitglieder können ihre Bewertungen anfechten.
Evaluation against the knowledge base: Bewerten Sie Konversationen anhand Ihrer Support-Inhalte und Richtlinien, um sicherzustellen, dass Teammitglieder interne Prozesse einhalten.
Sorting and rearranging columns in human QA monitors.