Dieser Artikel richtet sich an Support-Kollegen und alle, die für die Konfiguration oder Wartung von Fin verantwortlich sind und Monitors als Teil eines Quality-Assurance-(QA-)Workflows für Fin-Antwortprobleme verwenden möchten. Er erläutert, was zu tun ist, nachdem ein Monitor Gespräche anzeigt: wie man Ergebnisse interpretiert, menschliches Urteilsvermögen anwendet und Erkenntnisse in Verbesserungen umwandelt.
Wenn Sie Installationsanweisungen suchen, siehe die Monitor setup guide.
Hinweis: Monitors sind als Teil des Pro add-on verfügbar.
Das Problem mit manueller QA
Quality Assurance für Fin bedeutete früher, eine kleine Stichprobe von Gesprächen zu prüfen, nach Auffälligkeiten zu suchen und darauf zu hoffen, dass man die relevanten Muster erkennt. Dieser Ansatz funktionierte, als das Gesprächsvolumen überschaubar war. Heute skaliert er nicht mehr.
Fin hat verändert, was möglich ist. Anstatt manuell einen Bruchteil der Gespräche zu prüfen, können Sie Tausende bewerten. Die Herausforderung besteht jetzt nicht mehr darin, Probleme zu finden, sondern zu wissen, welche davon tatsächlich wichtig sind.
Deshalb ersetzen die effektivsten QA-Workflows menschliche Kollegen nicht durch KI. Sie kombinieren Fins Fähigkeit, Muster aufzudecken, mit menschlichem Urteilsvermögen, um diese Muster zu interpretieren und in sinnvolle Verbesserungen zu verwandeln.
Wie Monitors funktionieren
Ein Monitor bewertet kontinuierlich Gespräche anhand von von Ihnen definierten Kriterien — sei es eine Zufallsstichprobe für fortlaufende QA oder gezielte Gespräche basierend auf Signalen wie niedrigen CX-Werten (Ihre Kundenerfahrungsbewertung in Intercom), wiederholten Eskalationen oder Antwortqualität. Diese Gespräche können dann mithilfe einer Bewertungsübersicht von Fin, einem menschlichen Prüfer oder beidem überprüft werden.
Hinweis: Eine Bewertungsübersicht ist eine Reihe von Kriterien zur Bewertung eines Gesprächs — zum Beispiel, ob Fin eine vollständige Antwort gegeben hat, den richtigen Ton getroffen hat oder angemessen eskaliert hat.
Intercom enthält Vorlagen für gängige QA-Workflows, einschließlich wöchentlicher Fin-Überprüfungen, geringer Antwortqualität, Eskalationsbearbeitung, wiederkehrender Probleme und mehr. Sie können Monitors auch von Grund auf neu erstellen, um den Bedürfnissen Ihres Teams gerecht zu werden.
Betrachten Sie Monitors als Filterebene. Sie nehmen eine überwältigende Anzahl von Gesprächen und reduzieren sie auf die, die mit hoher Wahrscheinlichkeit Aufmerksamkeit benötigen.
Warum menschliche Überprüfung weiterhin unverzichtbar ist
Ein Monitor markiert nicht nur, dass ein Gespräch schlecht bewertet wurde. Bei KI-bewerteten Kriterien zeigt er Ihnen genau, warum — bis hin zum spezifischen Kriterium und Fins Begründung für die Bewertung.
Was er nicht tut, ist Verbindungen über Gespräche hinweg herzustellen.
Sie könnten zehn Gespräche mit geringer Antwortqualität und zehn verschiedene KI-generierte Erklärungen haben. Wenn Sie jedoch etwas genauer hinsehen, könnten sieben dieser Gespräche tatsächlich auf denselben veralteten Artikel zurückzuführen sein.
Fin kann Ihnen sagen, warum jedes einzelne Gespräch schlecht bewertet wurde. Es kann Ihnen nicht sagen, dass sieben dieser „Warum“-Gründe tatsächlich dasselbe zugrunde liegende Problem sind, das sich auf unterschiedliche Weise zeigt.
Das Erkennen dieses Unterschieds erfordert Produktkenntnis und Kontext. Es ist der Unterschied zwischen diesen beiden Schlussfolgerungen:
„Diese Gespräche sehen schlecht aus.“
„Diese Gespräche stammen alle aus derselben Wissenslücke.“
Ohne diesen Schritt wird QA zu einer Liste markierter Gespräche. Damit wird QA zu einer Liste umsetzbarer Verbesserungen. Das ist der Unterschied zwischen Lärm und Erkenntnis.
Wie man einen QA-Workflow mit Monitors durchführt
Der Workflow hat vier Schritte:
Verwenden Sie Monitors, um Muster zu erkennen
Wenden Sie menschliches Urteilsvermögen an, um zu verstehen, was tatsächlich passiert
Verwandeln Sie diese Erkenntnisse in umsetzbare Empfehlungen
Leiten Sie diese Empfehlungen an die Personen weiter, die sie beheben können
1. Verwenden Sie Monitors, um Muster zu identifizieren
Hier leisten Monitors die Hauptarbeit. Anstatt Gespräche manuell zu sampeln und zu hoffen, etwas Nützliches zu finden, bewerten Monitors kontinuierlich jedes Gespräch, das Ihren Kriterien entspricht, und zeigen die Gespräche an, die mit hoher Wahrscheinlichkeit Aufmerksamkeit benötigen.
2. Wenden Sie Kontext und Produktwissen an
Dies ist der Schritt, den Fin nicht ersetzen kann. Monitors könnten Ihnen sagen, dass zehn Gespräche schlecht bewertet wurden — aber sie sagen Ihnen nicht, ob es sich dabei um Symptome desselben Problems handelt, ob das Problem veraltete Inhalte sind oder ob Fin einer Richtlinie folgt, die Ihr Produkt nicht mehr widerspiegelt.
Ihre menschlichen Produktexperten sind diejenigen, die diese Verbindungen herstellen.
3. Machen Sie aus Erkenntnissen Empfehlungen
Ein markiertes Gespräch ist keine Handlungsempfehlung. Vergleichen Sie diese beiden Schlussfolgerungen:
„Dieses Verfahren löst Gespräche nicht.“
„Fin Thoughts (die Begründung, die Fin im Gesprächsverlauf protokolliert) zeigen, dass das Verfahren konsequent scheitert, den Tarif des Kunden im Eligibility-Check-Schritt korrekt zu interpretieren, wodurch es in den falschen Pfad abzweigt und niemals zu einer Lösung gelangt.“
Die zweite gibt einem Team etwas Konkretes zu beheben. Wann immer möglich, identifizieren Sie den spezifischen Artikel, das Verfahren oder die Fin-Richtlinie, die das Problem verursacht, anstatt nur das Symptom zu beschreiben.
Tipp: Formulieren Sie Ihre Empfehlung so, dass die Person, die sie übernimmt, ohne erneute Problemerkennung handeln kann. Anstatt „geringe Antwortqualität in Abrechnungs-Gesprächen“ zu schreiben, formulieren Sie „Der Artikel zur Abrechnungsrückerstattung enthält keine Informationen zu Teilrückerstattungen — dies führt dazu, dass Fin in mindestens 7 jüngsten Gesprächen unvollständige Antworten gibt.“
4. Leiten Sie die Erkenntnis an den richtigen Verantwortlichen weiter
Erkenntnisse schaffen nur dann Wert, wenn jemand darauf reagiert. Eine Wissenslücke könnte dem Team gehören, das für help center-Inhalte verantwortlich ist. Ein Verfahrensproblem könnte dem Team gehören, das Fins Richtlinien oder Gesprächsdesign pflegt.
Nicht jede Organisation hat eigene Knowledge-Management- oder Conversation-Design-Teams. Kleinere Teams haben möglicherweise eine Person, die viele Aufgaben übernimmt. Die wichtige Unterscheidung ist nicht, wer die Arbeit besitzt. Es geht darum zu erkennen, ob Sie ein Inhaltsproblem oder ein Verfahrensproblem betrachten, damit die richtige Verbesserung vorgenommen wird.
Je spezifischer Ihre Empfehlung ist, desto weniger Zeit verbringt jemand damit, das Problem erneut zu entdecken, und desto mehr Zeit verbringt er damit, es aktiv zu lösen.
Sie können dies direkt im Monitor mit Issues tun.
Vom Review-Sidebar eines beliebigen Gesprächs aus können Sie ein Issue ticket mit einem Titel, Typ (Content, Guidance, Procedure, Escalation und mehr) und einem Zuständigen erstellen — ohne das Gespräch zu verlassen. Dasselbe Issue kann mit mehreren Gesprächen verknüpft werden, in denen dasselbe Problem aufgetreten ist, sodass Ihr Team ein ticket pro Ursachenursache erhält statt eines pro Gespräch. Alle Issues sammeln sich in einer zentralen Ansicht unter Fin AI Agent > Analyze > Monitors, wo Sie den Status von der Einreichung bis zur Lösung verfolgen können.
Für vollständige Einrichtungshinweise siehe Track and action issues found in Monitor QA reviews.
Tipp: In Intercom können Sie Erkenntnisse mit Gesprächsnotizen weiterleiten, um die entsprechende Person mit @mention zu markieren, oder indem Sie Gespräche für eine Nachprüfung taggen. Bei Inhaltsproblemen erheben Sie diese direkt in Ihrem Knowledge-Management-Prozess. Bei Verfahrens- oder Richtlinienproblemen teilen Sie den spezifischen Gesprächslink und Ihre Empfehlung mit der Person, die Fins Konfiguration pflegt.
Wie Monitors Fin im Laufe der Zeit verbessern
Wenn ein Monitor dasselbe Problem immer wieder anzeigt, ist das normalerweise ein Zeichen dafür, dass etwas Größeres Aufmerksamkeit benötigt — ein help center-Artikel, ein Fin-Verfahren oder eine Richtlinie, die angepasst werden muss.
Monitors sind hervorragend darin, Muster über Tausende von Gesprächen zu identifizieren, aber sie können Ihnen nicht sagen, welche Muster tatsächlich eine Handlung rechtfertigen. Hier kommen menschliche Produktexperten ins Spiel. Sie nutzen ihr Produktwissen und ihren Kontext, um die Ursachen zu identifizieren, Erkenntnisse in umsetzbare Empfehlungen zu verwandeln und sicherzustellen, dass diese das Team erreichen, das für die Behebung verantwortlich ist.
Während Fin besser darin wird, Muster zu finden, entwickelt sich die Rolle des Produktexperten weiter. Anstatt Zeit mit der Suche nach Problemen zu verbringen, können sie sich darauf konzentrieren, zu verstehen, was die Daten aussagen, zu entscheiden, was am wichtigsten ist, und bedeutende Verbesserungen voranzutreiben.