L'onglet Benchmarking dans GenAI Lens vous donne un accès instantané à la manière dont votre marque, vos produits ou vos sujets se comparent à ceux de la concurrence à travers des indicateurs de visibilité clés dans le monde des grands modèles de langage (LLM).
Cet article couvrira :
Accéder à l'onglet Benchmarking dans GenAI Lens
Comme pour nos autres onglets, les données dans l'onglet Benchmarking commencent à se remplir une fois la création des prompts terminée. Dans cet onglet, nous utilisons les entités recueillies à partir des réponses du LLM et les compilons en heat maps et widgets de classement. Comme pour nos autres onglets, nous fournissons des AI Insights en haut de la page pour résumer les données ci-dessous.
- Cliquez sur le menu déroulant Monitor dans la navigation de gauche.
- Cliquez sur GenAI Lens
- Sélectionnez Benchmarking dans la barre d'outils en haut.
Note :
- La plupart des données de la heat map sont fournies sur une échelle de 0 - 100.
- Lors de l'utilisation de Total des mentions pour les données, il compile le total de l'entité à travers les différents LLMs.
- Le score de Sentiment est attribué par un prompt du système et utilise les LLMs pour donner une note. Les LLMs nous donnent le Sentiment pour l'ensemble du résultat et par entité.
Définitions des métriques
Prominence : mesure à quel point une entité apparaît tôt dans la réponse d'un prompt.
Prévalence : pourcentage de résultats dans lesquels l'entité est apparue.
Fréquence : nombre moyen de fois où une entité est mentionnée par résultat dans les filtres et la période de temps sélectionnés.
Visibilité : est un score combiné qui fournit une mesure unique et équilibrée de la présence globale d'une entité. Il combine l'étendue de l'apparition d'une entité (Prévalence), la fréquence à laquelle elle est mentionnée (Fréquence) et son importance par rapport au contenu (Prominence).