Der Benchmarking-Tab in GenAI Lens bietet Ihnen sofortigen Zugriff darauf, wie Ihre Marke, Produkte oder Themen im Vergleich zu Wettbewerbern über wichtige Sichtbarkeitsmetriken in der Welt der großen Sprachmodelle (LLMs) abschneiden.
Dieser Artikel behandelt:
Zugriff auf den Benchmarking-Tab in GenAI Lens
Ähnlich wie bei unseren anderen Tabs werden die Daten im Benchmarking-Tab nach Abschluss der Prompt-Erstellung angezeigt. In diesem Tab nutzen wir die aus den LLM-Antworten gesammelten Entitäten und erstellen daraus Heatmaps und Ranking-Widgets. Wie bei unseren anderen Tabs bieten wir am Seitenanfang AI-Insights, die die untenstehenden Daten zusammenfassen.
- Klicken Sie auf das Monitor-Dropdown in der linken Navigation
- Klicken Sie auf GenAI Lens
- Wählen Sie im oberen Toolbar Benchmarking aus
Hinweis:
- Die meisten Heatmap-Daten werden auf einer Skala von 0 - 100 bereitgestellt.
- Bei der Verwendung von Total Mentions für die Daten werden die gesamten Erwähnungen der Entität über die verschiedenen LLMs hinweg zusammengefasst.
- Sentiment-Bewertungen werden durch einen System-Prompt vergeben und nutzen die LLMs, um eine Bewertung zu liefern. Die LLMs geben uns das Sentiment für das gesamte Ergebnis und pro Entität.
Metrikdefinitionen
Prominenz: misst, wie früh eine Entität innerhalb der Antwort eines Prompts erscheint.
Verbreitung: Prozentsatz der Ergebnisse, in denen die Entität auftrat.
Häufigkeit: durchschnittliche Anzahl der Erwähnungen einer Entität pro Ergebnis innerhalb der ausgewählten Filter und des Datumsbereichs.
Sichtbarkeit: ist eine kombinierte Bewertung, die eine einzelne, ausgewogene Messung der Gesamtpräsenz einer Entität liefert. Sie kombiniert, wie weit verbreitet eine Entität erscheint (Verbreitung), wie oft sie erwähnt wird (Häufigkeit) und wie zentral sie für den Inhalt ist (Prominenz).