Salesforce lance le premier "banc d'essai" pour LLM dédié au CRM

Ce nouveau banc d'essai propose un cadre d'évaluation complet mesurant la performance des LLM selon quatre critères clés : l'exactitude, le coût, la vitesse, la confiance et la sécurité. Il est spécialement conçu pour évaluer les cas d'utilisation courants pour la gestion des ventes et les services clients (prospection, gestion des leads, opportunités commerciales, résumés de cas clients). Le banc d'essai inclut également un classement public pour aider les professionnels à choisir le LLM le mieux adapté à leurs besoins CRM. Salesforce continuera d'intégrer de nouveaux scénarios d'utilisation dans le banc d'essai et d'améliorer son évaluation des LLM, incluant bientôt des LLM ajustés.

"Avec la multiplication des solutions d'IA générative sur le marché, il devient crucial pour les entreprises de disposer d'outils fiables pour évaluer les performances réelles de ces technologies", déclare Silvio Savarese, EVP & Chief Scientist, Salesforce AI Research. "Le nouveau banc d'essai LLM de Salesforce dédié au CRM représente une avancée significative dans la manière dont les entreprises évaluent leur stratégie en matière d'IA. Cet outil apporte plus de clarté sur les capacités et les limites des différents LLM, tout en permettant aux entreprises d'accélérer la mise en oeuvre de cas d'utilisation spécifiques au CRM."

Jusqu'à présent, les bancs d'essais existants pour les LLM étaient inadaptés au monde de l'entreprise. Focalisés sur des usages académiques ou grand public, ils ne prenaient pas en compte les besoins métiers réels, notamment en gestion de la relation client. Ces bancs d'essais manquaient cruellement d'évaluations réalisées par des experts praticiens et omettaient des critères essentiels comme la précision, la vitesse, le coût ou la fiabilité des modèles. Face à ces lacunes, les entreprises n'avaient aucun moyen fiable de jauger les véritables performances des solutions d'IA générative pour leurs usages spécifiques en gestion de la relation client.

Des données CRM en tant que socle

Développé par Salesforce AI Research, le banc d'essai s'appuie sur des données CRM et des retours d'experts par des professionnels du secteur. Grâce à ce banc d'essai, les entreprises peuvent prendre des décisions éclairées sur la meilleure façon d'intégrer l'IA générative dans leurs systèmes de gestion de la relation client, en évaluant précisément plusieurs critères clés :

L'exactitude (avec 4 sous-catégories) : factualité, exhaustivité, brièveté et respect des instructions. Plus les prédictions ou recommandations sont précises, plus les résultats sont pertinents pour les entreprises.
Le coût (avec 3 sous-catégories) : le coût est classé comme élevé, moyen ou faible, en fonction des percentiles. Il s'agit du coût opérationnel estimé qui varie selon le cas d'utilisation CRM.
La vitesse : évalue la réactivité et l'efficacité du LLM dans le traitement et la livraison des informations. Des temps de réponse plus rapides améliorent l'expérience utilisateur, réduisent les temps d'attente pour les clients et permettent aux équipes de vente et de service de répondre rapidement aux demandes et aux problèmes.
La confiance et la sécurité : mesure la capacité du LLM à protéger les données sensibles des clients, à respecter les réglementations sur la confidentialité des données, à sécuriser les informations et à éviter les biais et la toxicité pour les cas d'utilisation CRM.

Avec la plateforme Einstein 1 de Salesforce, les clients peuvent choisir parmi les LLM existants ou apporter leurs propres modèles pour répondre à leurs besoins commerciaux uniques. En sélectionnant des modèles pour leurs cas d'utilisation CRM en utilisant le banc d'essai, les entreprises peuvent déployer des solutions d'IA générative plus efficaces et efficientes.

"Les entreprises s'appuient sur l'IA pour créer de nouvelles opportunités de développement, réduire les coûts et offrir des expériences client personnalisées", reconnaît Clara Shih, CEO de Salesforce AI. "Nos clients cherchaient un moyen pour évaluer et choisir parmi les nombreux modèles d'IA disponibles sur le marché. C'est pourquoi nous avons conçu ce banc d'essai, qui va bien au-delà d'une simple mesure. Il s'agit d'un cadre complet et évolutif permettant aux entreprises de prendre des décisions éclairées, équilibrant précision, coût, vitesse et confiance."