Dieser Artikel richtet sich an Support-Teammitglieder und alle, die für die Konfiguration oder Wartung von Fin verantwortlich sind und Monitore als Teil eines Qualitätssicherungs-Workflows (QA) für Fin-Antwortprobleme verwenden möchten. Er behandelt, was zu tun ist, nachdem ein Monitor Gespräche anzeigt: wie man Ergebnisse interpretiert, menschliches Urteilsvermögen anwendet und Erkenntnisse in Verbesserungen umsetzt.

Wenn Sie nach Einrichtungshinweisen suchen, siehe den Monitor-Einrichtungsleitfaden.

Qualitätssicherung für Fin bedeutete früher, eine kleine Stichprobe von Gesprächen zu überprüfen, nach Auffälligkeiten zu suchen und zu hoffen, dass man die wichtigen Muster erkennt. Dieser Ansatz funktionierte, als das Gesprächsvolumen überschaubar war. Heute ist das nicht mehr skalierbar.

Fin hat die Möglichkeiten verändert. Statt manuell einen Bruchteil der Gespräche zu überprüfen, können Sie Tausende bewerten. Die Herausforderung besteht nicht mehr darin, Probleme zu finden, sondern zu wissen, welche tatsächlich wichtig sind.

Deshalb ersetzen die effektivsten QA-Workflows menschliche Teammitglieder nicht durch KI. Sie kombinieren Fin's Fähigkeit, Muster zu erkennen, mit menschlichem Urteilsvermögen, um diese Muster zu interpretieren und in sinnvolle Verbesserungen umzusetzen.

Ein Monitor bewertet kontinuierlich Gespräche anhand von Kriterien, die Sie definieren – sei es eine Zufallsstichprobe für laufende QA oder gezielte Gespräche basierend auf Signalen wie niedrigen CX-Bewertungen (Ihre Kundenerfahrungsbewertung in Intercom), wiederholten Eskalationen oder Antwortqualität. Diese Gespräche können dann mit einer Scorecard von Fin, einem menschlichen Prüfer oder beiden bewertet werden.

Intercom enthält Vorlagen für gängige QA-Workflows, darunter wöchentliche Fin-Reviews, niedrige Antwortqualität, Eskalationsmanagement, Looping-Probleme und mehr. Sie können auch Monitore von Grund auf neu erstellen, um den Bedürfnissen Ihres Teams gerecht zu werden.

Betrachten Sie Monitors als Filterebene. Sie nehmen eine überwältigende Anzahl von Gesprächen und reduzieren sie auf diejenigen, die am wahrscheinlichsten Aufmerksamkeit benötigen.

Ein Monitor markiert nicht nur, dass ein Gespräch schlecht bewertet wurde. Für KI-bewertete Kriterien zeigt er Ihnen genau, warum – bis hin zum spezifischen Kriterium und Fin's Begründung für die Bewertung.

Was er nicht tut, ist, die Zusammenhänge zwischen Gesprächen herzustellen.

Sie könnten zehn Gespräche mit niedriger Antwortqualität und zehn verschiedene KI-generierte Erklärungen haben. Aber wenn Sie genauer hinsehen, könnten sieben dieser Gespräche tatsächlich auf denselben veralteten Artikel zurückzuführen sein.

Fin kann Ihnen sagen, warum jedes einzelne Gespräch schlecht bewertet wurde. Es kann Ihnen nicht sagen, dass sieben dieser „Warum“ tatsächlich dasselbe zugrunde liegende Problem sind, das sich auf unterschiedliche Weise zeigt.

Diese Unterscheidung zu erkennen erfordert Produktwissen und Kontext. Es ist der Unterschied zwischen diesen beiden Schlussfolgerungen:

Ohne diesen Schritt wird QA zu einer Liste markierter Gespräche. Mit ihm wird QA zu einer Liste umsetzbarer Verbesserungen. Das ist der Unterschied zwischen Lärm und Erkenntnis.

Der Workflow besteht aus vier Schritten:

Hier leisten Monitors die Hauptarbeit. Statt manuell Gespräche zu sampeln und zu hoffen, etwas Nützliches zu finden, bewerten Monitors kontinuierlich jedes Gespräch, das Ihren Kriterien entspricht, und zeigen die an, die am wahrscheinlichsten Aufmerksamkeit benötigen.

Dies ist der Schritt, den Fin nicht ersetzen kann. Monitors könnten Ihnen sagen, dass zehn Gespräche schlecht bewertet wurden – aber sie sagen Ihnen nicht, ob sie alle Symptome desselben Problems sind, ob das Problem veralteter Inhalt ist oder ob Fin einer Anleitung folgt, die Ihr Produkt nicht mehr widerspiegelt.

Ihre menschlichen Produktexperten sind diejenigen, die diese Zusammenhänge herstellen.

Ein markiertes Gespräch ist kein Aktionspunkt. Vergleichen Sie diese zwei Schlussfolgerungen:

Die zweite gibt einem Team etwas Konkretes zum Beheben. Identifizieren Sie wann immer möglich den spezifischen Artikel, das Verfahren oder die Fin-Anleitungsregel, die das Problem verursacht, anstatt nur das Symptom zu beschreiben.

Erkenntnisse schaffen nur dann Wert, wenn jemand darauf reagiert. Eine Wissenslücke könnte beim Team für help center-Inhalte liegen. Ein Verfahrensproblem könnte bei den Personen liegen, die Fin's Anleitungen oder Gesprächsgestaltung pflegen.

Nicht jede Organisation hat dedizierte Teams für Knowledge Management oder Conversation Design. Kleinere Teams haben möglicherweise eine Person mit vielen Aufgaben. Die wichtige Unterscheidung ist nicht, wer die Arbeit besitzt, sondern ob Sie ein Inhaltsproblem oder ein Verfahrensproblem betrachten, damit die richtige Verbesserung vorgenommen wird.

Je spezifischer Ihre Empfehlung ist, desto weniger Zeit verbringt jemand anderes damit, das Problem neu zu entdecken, und desto mehr Zeit kann er aktiv an der Lösung arbeiten.

Sie können dies direkt im Monitor mit Issues tun.

Aus der Review-Seitenleiste eines beliebigen Gesprächs können Sie ein Issue-ticket mit Titel, Typ (Content, Guidance, Procedure, Escalation und mehr) und Zuständigem erstellen – ohne das Gespräch zu verlassen. Dasselbe Issue kann mit mehreren Gesprächen verknüpft werden, in denen dasselbe Problem auftrat, sodass Ihr Team ein Ticket pro Ursache statt eines pro Gespräch erhält. Alle Issues werden in einer zentralen Ansicht unter Fin AI Agent > Analyze > Monitors gesammelt, wo Sie den Status von der Einreichung bis zur Lösung verfolgen können.

Für vollständige Einrichtungshinweise siehe Probleme verfolgen und bearbeiten, die in Monitor-QA-Reviews gefunden wurden.

Wenn ein Monitor immer wieder dasselbe Problem anzeigt, ist das meist ein Zeichen dafür, dass etwas Größeres Aufmerksamkeit benötigt – ein help center-Artikel, ein Fin-Verfahren oder eine Anleitung, die angepasst werden muss.

Monitors sind hervorragend darin, Muster über Tausende von Gesprächen hinweg zu erkennen, aber sie können nicht sagen, welche Muster tatsächlich eine Handlung wert sind. Hier kommen menschliche Produktexperten ins Spiel. Sie nutzen ihr Produktwissen und den Kontext, um die Ursache zu identifizieren, Erkenntnisse in umsetzbare Empfehlungen zu verwandeln und sicherzustellen, dass sie das Team erreichen, das für die Behebung verantwortlich ist.

Während Fin besser darin wird, Muster zu erkennen, entwickelt sich die Rolle des Produktexperten weiter. Statt Zeit mit der Suche nach Problemen zu verbringen, können sie sich darauf konzentrieren, zu verstehen, was die Daten aussagen, zu entscheiden, was am wichtigsten ist, und bedeutende Verbesserungen voranzutreiben.