Passer au contenu principal

Comment Fin Vision comprend les images

Comment Fin comprend et utilise les images envoyées par les clients pour offrir un support plus rapide et précis.

Écrit par Beth-Ann Sher

Fin Vision est une fonctionnalité intégrée de Fin AI Agent qui lui permet d'analyser et de comprendre les images envoyées par les clients — captures d'écran, photos et images de documents (par exemple, pages scannées, photos de reçus ou formulaires) — directement dans les conversations via chat ou email.

Il n'est pas nécessaire d'activer ou de configurer quoi que ce soit, et il n'y a pas de coût supplémentaire.

Fin Vision aide à :

  • Diagnostiquer les problèmes plus rapidement.

  • Éliminer le besoin d'explications longues de la part des clients.

  • Extraire et comprendre le contenu visuel comme les messages d'erreur, les reçus, les défauts de produit, et plus encore.


Comment fonctionne Fin Vision

Fin Vision utilise des modèles de langage large multimodaux (LLMs) pour analyser les images envoyées par les clients dans les conversations par chat ou email.

Lorsqu'un client partage une image, Fin la convertit en une description textuelle structurée qui devient partie du contexte de la conversation. Cette description peut inclure :

  • Texte extrait (OCR) de l'image.

  • Éléments et étiquettes d'interface utilisateur visibles dans les captures d'écran.

  • Numéros de référence et détails du produit tels que les IDs de commande ou les codes d'erreur.

  • Informations contextuelles dérivées de ce qui est montré dans l'image.

Cette compréhension visuelle permet à Fin de raisonner sur les images de la même manière qu'il raisonne sur les messages écrits des clients.

Avec ce contexte, Fin peut :

  • Rechercher plus efficacement dans votre knowledge base.

  • Résoudre des tâches qui dépendent d'entrées visuelles.

  • Fournir des réponses exploitables basées sur ce que le client voit réellement.

Fin Vision applique la compréhension multimodale de deux façons :

  • Pour interpréter les images que les clients envoient dans une conversation.

  • Pour évaluer les images dans votre contenu de support lorsqu'il s'agit de décider si elles aideraient à répondre à une question d'un client.


Comprendre l'analyse d'image vs. les réponses avec image

Fin Vision se concentre sur l'analyse des images envoyées par les clients.

Fin peut aussi inclure des images de votre contenu de support existant dans ses réponses. Lorsqu'il décide d'inclure une image, Fin analyse l'image elle-même en utilisant des modèles multimodaux, ainsi que le contexte du passage environnant et la réponse qu'il prévoit d'envoyer.

Note :

  • Fin ne génère jamais d'images — il utilise uniquement des images qui existent déjà dans votre contenu.

    • Les images apparaissent après la réponse textuelle, pas en ligne.

    • Fin n'utilise pas les métadonnées d'image ni le texte alternatif lors de la sélection des images.

    • Fin ne peut inclure que des images provenant de sources de contenu qui conservent les données d'image.


Façons d'utiliser Fin Vision

Industrie

Exemples d'utilisation

FinTech

  • Dépannage des erreurs : Les captures d'écran de transferts échoués ou de problèmes de connexion aident Fin à fournir un support ciblé.

  • Revue des alertes de fraude : Fin aide à identifier les captures d'écran de phishing ou les activités suspectes.

SaaS

  • Dépannage des bugs UI : Les clients partagent des captures d'écran d'erreurs ou de comportements inattendus de l'interface utilisateur ; Fin extrait les messages d'erreur et fournit des corrections.

  • Aide à l'intégration : Fin peut assister les clients à travers des flux UI peu clairs basés sur les captures d'écran partagées.

  • Vérification des licences : Fin lit les clés de licence ou les numéros de compte à partir des factures téléchargées.

ecommerce

  • Validation des retours/remboursements : Les clients téléchargent des images de produits endommagés ou incorrects ; Fin évalue l'éligibilité basée sur les instructions de tâche.

  • Problèmes d'expédition : Les clients partagent des photos de l'emballage ou du contenu ; Fin détermine les articles manquants ou les dommages à l'emballage.

  • Traitement des factures : Fin extrait les numéros de commande et les dates des reçus ou bordereaux d'expédition.

Gaming/Gambling

  • Signalement de Bug : Les joueurs envoient des captures d'écran de bugs ou de plantages ; Fin interprète les visuels et enregistre les problèmes.

  • Problèmes de retrait : Les clients téléchargent des captures d'écran de transactions échouées ; Fin extrait les horodatages, montants et IDs de transaction.

  • Vérification des tickets de pari : Fin lit et confirme les détails des tickets de pari à partir des images téléchargées.


Maximiser Fin Vision

Fin Vision fonctionne mieux lorsqu'il est combiné avec Fin Guidance, qui vous permet de définir comment Fin doit agir sur les informations visuelles.

Utilisez Fin Vision avec Fin Guidance

1. Lecture et interprétation des reçus

Scénario :

Un client télécharge une photo d'un reçu d'achat et demande : « Pouvez-vous m'aider à obtenir un remboursement pour cet article ? »

Comment Fin Vision et Guidance fonctionnent ensemble :

  • Fin Vision extrait les détails clés de l'image, tels que le nom de l'article, la date d'achat et le montant total.

  • Fin Guidance fournit des instructions personnalisées à Fin, telles que :
    « Si un client demande un remboursement et télécharge un reçu, vérifiez que la date d'achat est dans les 30 jours. Si oui, guidez-le dans le processus de remboursement. Sinon, expliquez poliment la politique de remboursement. »

Résultat :
Fin peut automatiquement vérifier l'éligibilité et répondre avec les étapes suivantes correctes, en se référant aux détails extraits du reçu.

2. Signalement de Bug avec captures d'écran

Scénario :
Un utilisateur soumet une capture d'écran montrant un message d'erreur dans l'application et dit : « J'ai cette erreur — que dois-je faire ? »

Comment Fin Vision et Guidance fonctionnent ensemble :

  • Fin Vision analyse la capture d'écran pour identifier le code ou le message d'erreur.

  • Fin Guidance ordonne à Fin :
    « Si un code d'erreur est détecté dans une capture d'écran, recherchez ce code dans le help center et fournissez les étapes de dépannage pertinentes. »

Résultat :
Fin peut rapidement associer l'erreur à des problèmes connus et fournir un support ciblé, réduisant les échanges inutiles.

3. Identification de l'appareil pour le support

Scénario :
Un client télécharge une photo de son appareil et demande : « Mon appareil est-il compatible avec votre service ? »

Comment Fin Vision et Guidance fonctionnent ensemble :

  • Fin Vision identifie la marque et le modèle de l'appareil à partir de l'image.

  • Fin Guidance dit à Fin :
    « Si un modèle d'appareil est reconnu, vérifiez la liste de compatibilité. Si compatible, confirmez et partagez les instructions d'installation. Sinon, expliquez les limitations. »

Résultat :
Fin fournit une réponse personnalisée basée sur l'appareil réel, améliorant la précision et la satisfaction client.

4. Vérification de documents

Scénario :
Un utilisateur télécharge une photo de sa pièce d'identité pour la vérification du compte.

Comment Fin Vision et Guidance fonctionnent ensemble :

  • Fin Vision extrait le nom, la date de naissance et le type de document.

  • Fin Guidance ordonne à Fin :
    « Si le document téléchargé est une pièce d'identité valide et correspond aux détails du compte, procédez à la vérification. Sinon, demandez une image plus claire ou des documents supplémentaires. »

Résultat :
Fin peut automatiser certaines parties du processus de vérification, réduisant la revue manuelle.

Stratégies de Guidance

  • Logique conditionnelle : Fin Guidance peut définir des règles basées sur ce que Fin Vision détecte (par exemple, « Si le reçu a plus de 30 jours, faites X »).

  • Solutions de secours : Si Fin Vision ne peut pas extraire les informations nécessaires, Guidance peut ordonner à Fin de demander au client des précisions ou une meilleure image.

  • Personnalisation : Guidance peut adapter les réponses en fonction du contexte visuel, rendant les interactions plus humaines et pertinentes.


FAQ

Quels formats d'image Fin Vision prend-il en charge ?

Fin Vision prend en charge les fichiers JPG, PNG, GIF et HEIC partagés par les clients.

Comment Fin gère-t-il la confidentialité et les informations sensibles dans les images ?

Fin est conçu en tenant compte de la confidentialité. Les modèles de vision sont explicitement programmés pour ne pas extraire d'informations personnelles ou sensibles des images, telles que les numéros de carte de crédit, CVV ou détails d'identification. De plus, les images sont stockées temporairement et supprimées automatiquement après une courte période.

Fin stocke-t-il les images ?

Les images sont stockées temporairement dans un environnement cloud sécurisé et supprimées automatiquement après une courte période.

Les clients doivent-ils envoyer les images d'une certaine manière ?

Non, les clients peuvent télécharger ou coller des images dans le chat ou par e-mail. Fin s'occupe du reste.

Les clients peuvent-ils envoyer plusieurs images ?

Oui, Fin analysera individuellement les cinq dernières images et utilisera le contexte pour informer les réponses.

Fin génère-t-il ou envoie-t-il des images ?

Fin ne génère pas d'images. Dans certaines conversations, Fin peut inclure des images provenant de votre contenu de support existant dans les réponses.

Fin Vision prend-il en charge plusieurs langues ?

Oui, Fin peut extraire du texte des images dans de nombreuses langues, bien que la précision dépende de la clarté et de la complexité.

Puis-je désactiver Fin Vision ?

Non, Fin Vision est intégré et ne peut pas être désactivé. Il fonctionne automatiquement dans le cadre de la compréhension des conversations par Fin.

Fin Vision peut-il lire des documents ?

Fin peut désormais lire le contenu des fichiers PDF que les clients envoient dans une conversation. Lorsqu'un client partage un PDF, Fin extrait le texte du fichier et l'utilise comme contexte pour informer sa réponse — tout comme il le ferait avec un message écrit.

Auparavant, Fin savait qu'un PDF avait été envoyé mais ne pouvait pas le lire, ce qui entraînait souvent des questions de suivi ou des réponses inexactes. La lecture de PDF est disponible sur tous les plans, sans configuration requise.

Quels types de fichiers PDF Fin peut-il lire ?

Fin peut lire les fichiers PDF standard envoyés par les clients dans une conversation. Le contenu textuel est extrait du fichier et utilisé pour améliorer la réponse de Fin. Fin lit les PDF envoyés par les clients dans la conversation — cela est distinct du téléchargement de PDF dans votre bibliothèque de contenu en tant que source de knowledge base.

Fin peut-il lire les images HEIC ?

Oui, Fin Vision peut lire et traiter les fichiers High Efficiency Image Container (HEIC) — le format photo par défaut sur les iPhones. Fin lit les images HEIC et répond avec un contexte pertinent, comme pour tout autre format d'image pris en charge.

Avez-vous trouvé la réponse à votre question ?