Salesforce hat einen LLM-Benchmark für CRM entwickelt, der Unternehmen die Bewertung von generativen KI-Modellen für Geschäftsanwendungen ermöglichen soll. Der Benchmark evaluiert gemäss Mitteilung LLMs (Large Language Models) für Vertriebs- und Service-Anwendungsfälle hinsichtlich Genauigkeit, Kosten, Geschwindigkeit sowie Vertrauen und Sicherheit. Die Bewertungen entstehen laut Salsesforce auf der Grundlage echter CRM-Datensätze und aus dem Kundengeschäft, sowie Expertenbewertungen sowohl durch Salesforce Mitarbeitenden als auch Kunden.
Der Benchmark bildet den Infos zufolge Anwendungsfälle wie Zusammenfassungen von Verkaufschancen, Interessentengewinnung, Vorfallsberichte, wissensbasierte Empfehlungen für Supportantworten und mehr ab. Der Benchmark umfasst auch ein öffentlich einsehbares Leaderboard, das Unternehmen dabei unter die Arme greifen soll, die Effektivität von generativen, KI-gestützten CRM-Lösungen zu beurteilen und informierter zu entscheiden, welches LLM für ihre CRM-Anforderungen am besten geeignet sei.
Der Benchmark wird den Angaben nach als dynamisches Framework kontinuierlich weiterentwickelt und ausgebaut. Unternehmen könnten darauf basierend fundiertere Entscheidungen treffen. Wenn beispielsweise ein Modell bei der Mehrzahl der Kriterien für einen Anwendungsfall geeignet erscheine, könne es im Hinblick auf die Genauigkeit durch Techniken wie Prompt Engineering und Feinabstimmung verbessert werden. Mit der Einstein 1 Platform von Salesforce könnten Kunden aus bestehenden LLMs auswählen oder eigene Modelle für ihre individuellen Anforderungen mitbringen. Der Benchmark unterstütze sie dabei, schneller zu einem erfolgreichen und effizienten Einsatz von KI-gestützten Lösungen zu gelangen.
Mit dem Einstein Trust Layer könnten Unternehmen ihre vertrauenswürdigen Daten und Metadaten unabhängig von dem erreichten Wert in jedem Modell sicher nutzen, ohne dass diese dort gespeichert oder für Trainingszwecke genutzt würden, betont Salesforce weiters.
"Unternehmen setzen auf KI, um schneller zu wachsen, Kosten zu senken und personalisierte Kundenerfahrungen zu liefern – nicht um einen Kindergeburtstag zu planen oder Othello zusammenzufassen", postuliert Clara Shih, CEO von Salesforce AI. Und weiter: "Unsere Kunden haben nach einer zielgerichteten Methode gefragt, um die Vielzahl neuer KI-Modelle zu bewerten und das richtige für ihre Anforderungen auszuwählen. Unser erster LLM-Benchmark für CRM hilft ihnen, sich in der komplexen Landschaft der Modelle zurechtzufinden. Angelegt als sich dynamisch entwickelndes Framework, ermöglicht es Unternehmen, fundierte Entscheidungen zu treffen und ihre Erwartungen an Genauigkeit, Kosten, Geschwindigkeit und Vertrauen gegeneinander abzuwägen."
