施耐德电气通过生成性人工智能自动化Salesforce账户层级管理

by Anton Gridin Anthony Medeiros and Somik Chowdhury on 2024年7月26日

关键要点

施耐德电气利用生成性人工智能AI优化其CRM系统中的客户账户层级管理。使用Amazon Aurora和Amazon Bedrock，减少了账户研究和归类所需的时间和成本。通过高效的嵌入存储和处理，显著提升了数据管理效率和准确性。

施耐德电气作为在能源管理和工业自动化数字化转型领域的领导者，需要跟踪客户关系管理(CRM)系统中相关客户账户之间的关系。随着客户群的不断扩大，每天都有新的客户加入，施耐德电气的账户团队必须手动处理这些新客户，并将其与正确的父实体连接起来。精确构建客户账户之间的层级关系，对于优化销售努力、资源分配和客户关系管理至关重要。

为了有效地规模化管理其CRM中的客户账户层级，施耐德电气在2023年4月开始利用大型语言模型LLMs中的生成性人工智能AI技术。他们开发了一种解决方案，通过根据从互联网和专有数据集中获取的最新信息，将客户账户信息链接到正确的母公司，从而及时更新CRM中的客户账户层级。没有自动化，这种调研通常需要每个账户7分钟的时间，而据统计，施耐德电气涉及的账户量达110万个，这需要专门的全职人员支持。最初的实施依赖于[Amazon SageMaker Jumpstart](https//awsamazoncom/sagemaker/jumpstart/中的Flan T5 LLM，该项目证明了总体项目的可行性，并为团队提供了宝贵的见解和经验教训。关于原始解决方案的更多信息，请参见“施耐德电气利用SageMaker上的增强检索LLM确保CRM系统的实时更新”。

本文将探讨此项目的进一步迭代，以及团队如何利用所学，基于Amazon Aurora和Amazon Bedrock对Salesforce CRM系统进行迭代。

在深入讨论之前，让我们了解一下该解决方案的关键服务和特性。

Amazon Bedrock

Amazon Bedrock是一个全托管服务，提供来自领先人工智能公司的高性能基础模型FMs，如AI21 Labs、Anthropic、Cohere、Meta、Stability AI和Amazon，用户可以通过单一API进行选择。它还提供了构建生成性AI应用所需的广泛能力，确保安全性、隐私和负责任的人工智能。

Amazon Aurora

Amazon Aurora Serverless V2是一种现代化的无服务器关系数据库服务，具备高性能和高可用性，完全兼容开源MySQL和PostgreSQL，并提供一系列开发工具来构建无服务器和机器学习驱动的应用。Aurora的PostgreSQL兼容版本支持pgvector扩展，能够在数据库中存储机器学习模型生成的嵌入，用于高效的相似性搜索。pgvector使Aurora能够高效存储和快速检索高维向量数据，支持在数据库系统中构建借助机器学习的能力，例如在目录中查找相似项目或提供电影推荐。

施耐德电气在其账户层级应用程序中利用pgvector有效存储使用LangChain生成的嵌入，LangChain是一个旨在将数据库与多家提供商的向量检索功能集成的开源框架。

解决方案概述

将账户名称映射到正确的父账户名称不能仅依靠精确搜索技术，因为可能存在拼写不一致如“Globex Inc”与“GlobexInc”和地理位置如“Acme Ltd (US)”与“Acme Ltd (UK)”等因素，从而确保正确的映射。此过程依赖于生成性AI LLM寻找最相似的信息。借助于Hugging Face SentenceTransformers框架，账户名称被映射到父账户，现有账户名称转换为数字表示或向量，称为嵌入。这些嵌入通过在数据库中的相似性搜索进行比较，以找到最相似的父子账户名称。因此，可靠的高性能可搜索嵌入存储对这个LLM应用至关重要。

黑石加速器破解版

施耐德电气在账户层级项目中使用Aurora Serverless v2作为主要数据存储，利用轻量灵活的无服务器架构，使用广泛采用的PostgreSQL引擎。AWS在推出对pgvector的支持后，提供了将嵌入直接存储在现有数据库中的自然机会。这种方法带来了几个关键好处，包括降低运营开销，消除需要维护单独向量数据库的需求。这还简化了技术栈，使开发人员和运营工程师可以更轻松地使用单一数据存储。此外，将数据存储合并到单一数据库也有助于成本优化，无需为专用向量数据库而预留和管理额外资源。

下图展示了解决方案的架构和工作流程。

接下来，我们逐步看看架构：

该过程从每日的AWS Batch作业开始，该作业从企业数据湖中提取Salesforce账户信息，进行准备，并标记那些在账户层级中没有明确位置的账户即没有父公司且未确认其为独立公司或母公司。第二个AWS Batch作业遍历Aurora中标记的账户，并根据来自Amazon Bedrock的Anthropic Claude 3推断以及对包含公司实体信息的第三方API的调用，创建账户层级的建议。稍后我们将详细介绍这一过程。第二个批处理作业还将结果推荐和推理信息发送到Aurora数据库和Amazon Simple Storage Service (Amazon S3)。一个自定义的Streamlit应用程序托管在Amazon Elastic Kubernetes Service (Amazon EKS)集群上，向最终用户展示建议，使用Aurora Serverless和Amazon S3作为后端。用户审核推荐和详细推理，并可以选择接受或拒绝所建议的账户位置。工作日结束时，用户下载接受的建议并发送给数据管理员，以便上传回Salesforce。更新后的数据集随后返回企业数据湖，捕获账户之间的关系最终母公司、父公司和子公司。

从LLM的角度来看，第二个AWS Batch作业中发生了最关键的部分。该作业在此步骤中运行顺序推理，以生成最终提示，如下图所示。提示是有效添加公司特定数据到LLM知识库的关键组成部分。

首先，它查询搜索引擎结果页面SERP，搜索有关目标账户父公司最新的信息。然后，它将搜索结果和原问题传递给Anthropic Claude 3进行理解和推断父公司的名称。接着，它调用Dun amp Bradstreet API寻找一个匹配项及其与目标账户的关系证据。该数据用于Aurora中的向量搜索，以寻找现有层级中的正确父实体，或确认该公司没有可以关联的父公司。所有三种操作的输出随后用于生成最终提示，以便Anthropic Claude 3制定推荐，并提供推理思路。如果一个账户没有父公司且未在层级中找到，该账户被标记为独立账户。在该架构的最新迭代中，团队使用Claude 3 Sonnet，因为它在速度、成本和推理质量之间提供了良好的平衡。在整个项目中，Amazon Bedrock支持快速升级到市场上最新最好的模型从Anthropic Claude 2到Claude 21，最终到Claude 3。此外，还支持根据任务、速度、成本和性能混合使用不同模型在早期版本中，团队使用了Anthropic Claude Instant快速解析API调用结果，使用Anthropic Claude 2/21处理最终提示。

关键决策与利益

通过测试，团队确认使用Amazon Bedrock进行生成性AI，并将Aurora用作向量存储，直接使施耐德在账户层级管理过程中节省了60的成本。Amazon Bedrock还为系统带来了独特的优势。

首先，它简化了使用两种LLM模型的过程，Anthropic Claude 2强大的模型，擅长复杂推理用于识别账户在现有层级中的位置及其决策的详细原因，而Anthropic Claude Instant较轻且快速则用于提供对特定问题的快速响应，例如，“公司X的母公司是什么？”

其次，Amazon Bedrock为应用程序提供了关键的灵活性，可以选择、组合或替换不同的LLM，以实现性能和成本的最佳适配。团队利用这种灵活性，从Anthropic Claude 2迅速升级至Claude 21，再到Claude 3，大幅减少了幻觉效应。最后，整体策略采用托管和无服务器的AWS服务，帮助最小化管理开销，并保持低成本，同时支持几乎任何规模的变更。

总体而言，该解决方案减少了研究一个账户并将其纳入层级所需的时间，下降了57从每个账户7分钟减少到3分钟。预计随着项目不断改善数据质量，账户层级的准确性会进一步提升。

结论

施耐德电气的成功案例突显了客户如何继续利用AWS服务进行创新。Aurora Serverless v2结合pgvector和Anthropic Claude 3 Sonnet帮助施耐德电气打造并优化了一套高效、成本效益高的账户层级解决方案。他们能够利用Aurora Serverless的自动缩放能力自动匹配使用高峰，并通过最新的扩展如pgvector，优化了运营开销。pgvector扩展使LLM、嵌入、推理及施耐德电气的关系数据之间实现紧密整合。Amazon Bedrock则简化了最新机器学习模型的应用，帮助开发人员为特定用例选择合适的模型，以达到性能和成本的最佳平衡，而不损失质量。

关于作者

Anton Gridin是施耐德电气的首席解决方案架构师，支持全球工业账户，工作地点位于纽约市。拥有超过17年的构建安全应用和领导工程团队的经验。

Anthony Medeiros是施耐德电气的解决方案工程和架构经理。专注于在北美交付高价值的AI/ML项目。在施耐德电气工作17年，带来了丰富的行业知识和技术专长。

Somik Chowdhury是施耐德电气的资深解决方案架构师，拥有12年的行业经验，与北美AI团队合作。专注于为企业设计和实施AI/ML驱动的解决方案，特别是利用AWS技术。Somik专长于构建和部署创新的人工智能应用，以解决复杂的商业挑战并推动组织增长。