8月8日杭州举办2024中国数字服务产业华东峰会，微众银行分享成果

hua818

8月8日，2024年中国数字服务业东部中国峰会以“由大型模型驱动的数字服务升级和服务创新”为主题，在杭州成功举行。基于情报和数字技术的发展，近500名数字服务行业专家，学者，公司代表和服务提供商代表聚集在服务创新道路上，深入讨论了该行业中的热门话题，以寻求新的模型和新的指导服务，以进行服务转型和升级，并升级和升级，并介绍该行业的未来。

数字金融发展部AI应用程序研发办公室高级经理Yang 先生提出了“ Smart 的发展：生成的AI 帮助银行业务变革”的主题共享。

图| Yang ，AI申请高级经理研发办公室，网络数字金融发展部

一方面，网站在大型模型领域的规划和实践重点介绍了大型AI代理的面向应用程序的研究和实施；另一方面，它生产相关技术。

这是开发大型模型的下一个阶段

AI代理是一个概念，主要有三个部分：一个是感知周围的世界，另一个是为感知到的内容做出预测和计划，最后能够根据预测和计划采取行动。

在大型模型时代，AI代理发生了一些变化。它的三个阶段可以参与大型模型，尤其是在第二阶段（预测和计划阶段）。大型模型具有短期记忆和长期记忆。短期记忆意味着它了解当前对话的上下文内容，并且长期记忆意味着它可以从知识库或其他地方检索一些长期内容。

大型模型与AI代理之间有什么关系？ AI代理是基于大型模型的一般能力。它结合了某个领域的知识，适合不同业务场景的需求。简而言之，AI代理实际上是大型模型和业务场景定制的结合。您可以设计一些要创建的角色和一些代理，从而创建轻量级代理。

一般的大型模型可以在银行的各种情况下使用吗？实际上，不可能，主要原因是：

1。银行数据相对敏感，需要保密。监管机构对银行数据有严格的要求 - 私有化的部署，数据不能超出域，可解释，没有幻想，甚至需要该模型，包括隐私，保护等；

2.银行购买大型型号，但购买大型型号将涉及高成本。一个是该模型的授权费，另一个是GPU机器的成本等。这些费用可能需要每年数百万到数千万到数亿美元的费用；

3。大型模型的功能相对有限，制造商的开放和一般能力相对有限，无法满足银行的定制需求。确切地说，银行需要的是一个大型模型，对自定义功能进行了更多调整。

基于上述原因，网站提出了“我们大型模型”的概念。首先，在底部，基于众多开源模型（GLM，Llama，SD，Qwen等），我们将与我们的业务数据结合使用，以形成WE Model，这是MOE的混合专家。同时，通过联合学习，许多代理商在不同的业务场景（客户服务，营销，消费者保险等）中形成了。

这些可以总结为三个句子：

1。我们的大型模型是根据许多顶级开源大型模型调整的Moe（混合专家模型），可以灵活地插入并适应各种财务场景；

2。支持深入的前线业务的需求，并在实施过程中解决“最后一英里”的问题；

3。逐渐改进并迅速迭代。

应用大型模型有两个挑战和一个困难：

1。大型模型具有幻觉，信息落后。例如，让它解释“将鹿指定为马”一词，其答案是它所想象的不存在的答案。

2。大型模型需要一些数据，尤其是各行各业的数据，但是有些数据是数据岛，通常很难获得，并且无法真正解决数据稀缺性问题和专业知识不足的问题；

3。关于GPU问题，除了在国外对美国的技术限制外，如何使用较低的GPU资源训练大型模型或满足推理需求也是一个主要困难。

这三个问题有三种不同的解决方案：

1。对于幻觉问题，可以解决抹布（检索增强产生）。 RAG主要使用大型模型通过搜索来分析和回答问题，并且检索到的内容被用作上下文。它可以很好地减少幻觉，但不能完全解决幻觉的问题。除了抹布外，还可以使用更多的真实数据来调整模型以减少幻觉问题。

2。联邦学习可用于解决稀疏数据和数据孤岛的问题。除联邦学习外，网络群岛还提出了联邦移民模型，这意味着它基于知识迁移，差异隐私，知识蒸馏，分层计算等，将来自不同位置的数据结合起来，以增强大型模型的能力并保护数据隐私。

3。解决数据计算能力的问题。网站提出了“小型和小型模型”的概念，这意味着大型模型的功能迁移到较小的模型，并且该模型不需要那么多的GPU资源。

代理

将技术堆栈分为几层：基本层包括大数据，基本算法和计算资源； 还拥有许多模型，例如语音，图像，视频，NLU和感知层。同时，它还建立了一个我们的大型模型。基于平台和业务中的各种应用程序方案，已经形成了许多不同的代理产品和服务。

AI代理具有多种特征：的代理已在内部使用并验证了输入输出比，这是一个合理的解决方案。这些解决方案都提供API或SaaS服务，因此它们可以“开箱即用”，因为网站的代理人是自我开发的，因此它们都是独立的，可控制的且可自定义的。

申请案例：

案例1：一单击的客户服务代理

有不同的产品，包括贷款，存款，汽车贷款和许多其他产品。每种产品都需要一个独家机器人，并且该机器人可以一键训练符合此业务方案的机器人，而无需在此系统中编写代码。

例如，您只需要上传历史真实的对话数据和文档介绍材料，并且可以自动拆分问答和同行，然后手动进行简单的评论。审查后，可以自动培训数据并学会生成符合业务情况的大型模型，并且该模型可以放置在客户服务的业务系统中。

让我们在客户服务字段中列出一些更具体的应用程序案例。例如，类似的问题会自动生成。尽管大型模型可以生成问答，但是有很多方法可以提出问题，因此您可以首先使用大型模型来生成多个问题。这样，将保证智能客户服务机器人的问题覆盖范围和准确性。例如，当涉及到上下文问题时，传统的机器人都是问答，有些也基于传统的NLP技术，用于上下文关联。但是，在使用大型模型将上下文情况相关联之后，其效果将得到显着改善。在网络机构中启动的服务中，大型改写的上下文的准确性可以达到95％以上。

客户服务完成后，代理商或机器人的对话记录需要进行一些摘要，标记，汇总了一些客户服务摘要，并总结了内容段落。用大型模型做到这一点是绝对可以的。它的实际表现比真实的人要好，因为真实的人有各种问题，例如疲劳，而大型模型的性能相对稳定，总体平均准确性比真实人的平均准确性更好。

案例2：智能营销系统代理

通过对来自各种媒体平台的数据和数据的数据进行建模，与传统方法相比，该效果得到了显着改善。通过大型模型生成文本和图像创意材料，并自动查看和评分材料内容，并最终通过媒体，出站呼叫和其他渠道将其交付给用户。

生成材料时要做的几件事：

1。文学图片是为了生成背景图片。添加口罩，可以快速生成材料并放置它们；

2。风格化，因为广告要求无法重复使用相同的视频，因此可以对视频进行样式化并将其转换为动画或其他样式，以便多次提供。对于企业来说，这是一种非常有价值的应用方法；

3。多个图像可以基于视频，并且可以编辑多个图像以生成视频；

4。视频，您可以通过输入文本来生成几秒钟的视频，并且可以在银行的文本简介中发布视频。

案例3：广告评论代理

银行对内容有很高的合规要求，而生成的材料内容可能不合规。如何确保这些材料合规？这需要通过图像或视频通过图像识别非法对象，通过OCR识别其中的文本，并通过语音识别ASR获取文本。然后通过创意材料检查系统确定违规行为，然后进行反馈，快速审查和维修。

案例4：肖像验证代理

大型模型生成的伪造数据攻击现有的面部识别，OCR和其他引擎，并通过进攻和防御训练和模型训练进一步改善了模型效应。当前，网络库已验证它是否正在通过面部识别，身份证，OCR和其他技术运营银行业务。相关的自我开发的模型技术指标处于最高水平，并且企业的日常使用非常高。

04大型模型需要连续调整

此外，大型模型也用于诸如代码编写，财务报表和客户肖像等方案。目前，一般的大型模型不足以在各种垂直方案中直接获得良好的应用结果。还需要将其与场景数据结合使用，以满足业务需求。与以前的专家系统，机器学习和深度学习相比，大型模型是技术发展的新阶段，但是还有很长的路要走，值得期待和努力工作。

有关更多令人兴奋的内容，请转到“客户观察”视频帐户以查看它