技术应用 | 全能数字人，智能服务新体验

来源：六安市叶集区金利木业有限责任公司时间：2024-09-04

我国高度重视数字经济的发展，相继出台了一系列政策，旨在推动数字技术与实体经济的深度融合，促进数字经济的高质量发展。根据《数字中国建设整体布局规划》，强调了数字技术创新体系建设和数字安全屏障的重要性。《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》中，更是将“虚拟现实和增强现实”列入数字经济重点产业。

在数字经济的快速发展背景下，国家政策为数字人技术在金融行业的应用提供了坚实的支持，促进数字人技术在金融服务中的创新应用，助力金融服务自动化、个性化及效率提升，同时也为金融机构提供了创新的营销和服务方式。随着技术的不断进步，数字人在金融行业的应用将更加广泛和深入。

数字人技术趋于成熟，落地场景丰富

随着人工智能技术的不断发展，数字人技术也越来越成熟。数字人是指通过人工智能技术模拟人类的思维和交流方式，具有自主意识和学习能力的虚拟人物。随着智能交互技术的加速发展，数字人的应用场景也越来越广泛。在金融领域，数字人主要用于客户服务，例如手机银行助手、智慧银行虚拟柜员、虚拟理财顾问等。在教育领域，数字人可以作为虚拟教师，与学生进行互动，提供个性化的教育服务。在医疗领域，数字人可以用于智能医疗咨询系统、远程医疗服务等，为患者提供便利的医疗支持。数字人还可以用于安防、军事等领域，其虚拟性和可控性在特定场景具备较好的应用效果。

数字人驱动经营提质增效

当前银行数字化转型是利用数字化技术，对传统业务模式、产品和服务进行升级和改造，以提高运营效率、提升客户体验、增强市场竞争力的过程。在数字化转型过程中，银行需要注重科技与业务融合，加速线上化经营，优化线下运营。目前银行线上渠道中，存在产品营销内容无法吸引客户眼球、成本高、线上机器人客服用户体验不佳等痛点；线下渠道里，存在人力投入成本高、服务效率低、服务质量不统一等问题，一些营销活动难以更高效地展开。而数字人可为银行提供线上营销内容制作、数字客服、业务远程指引等功能，助力银行提升服务、升级体验、传播品牌价值，成为解决这些痛点的“得力助手”。

平安银行从2016年启动数字化转型，到现在已迈入了新的阶段。我行将数字化能力建设作为提高生产力的一项系统工程，结合“中国最卓越、全球领先的智能化零售银行”战略目标，通过创新能力和数据能力建设，从数字化经营、数字化管理、数字化运营三个方面不断强化数据智能等新技术的创新应用，以此推动业务模式变革、运营流程重塑，支撑银行可持续、高质量的发展。其中，“平安银行数字人”项目就是最新涌现的优秀成果案例，利用数字人技术打造“数字员工”，在产品营销讲解、引导业务办理、资讯播报、咨询问答多个业务场景与用户的可视化交互，为用户带来个性化服务，有效解除用户顾虑，提升用户体验和驻留时间，真正让数字化服务“听得见”的同时也“看得见”。

平安银行数字人技术实践方案

1.提供全栈解决方案

平安银行虚拟数字人是基于前端CG建模和后端AI驱动研发的“多模态”机器人。它集成了仿真人体模型、三维建模、自然语言处理、智能语音、AI驱动嘴型与面部动画生成等多种前沿技术，可同时支持2D真人和3D超写实两种形象，拥有“慧感知、擅表达、知识广、能进化”的能力。通过接入强大业务知识库，实现以统一H5方式内嵌至各个服务渠道，满足多种业务场景需求。

平安银行数字人整体建设方案主要围绕形象建设、场景建设及管理平台搭建三部分，提供5维立体解决方案（2-3-3-4-5全栈解决方案）。包含：2个类别（同时拥有2D/3D两种形态）、3个应用类型（服务型、身份型、虚拟互动型）、3个核心功能（形象融合、数字人交互驱动、内容创作平台）、4个形象维度（形象、服装、姿态、背景）、5个主流场景（远程指引、远程面审、数字客服、内容生成、虚拟主持）。

2.生成式AI科技浪潮下，打造全能型数字人

在形象建设上，依托于银行、集团科技侧的强大的AI能力，从银行特色出发，打造具备平安银行特性的2D和3D虚拟形象。基于生成式AI能力，持续探索研发只需图片或视频生成千人千面的数字人克隆技术。在场景建设上，集成封装数字人服务到H5，统一赋能各业务渠道应用。优先支持服务型数字人落地，在对公高频场景、高频渠道等实用性业务场景扮演大堂经理、数字面审官、数字助手、数字客服等角色，同时在各种大型活动或产品宣传落地应用身份型数字人，以主播形式在视频号、营业网点大屏亮相，为用户提供金融干货，让金融服务更有温度。

平安银行将进一步探索数字人与生成式AI能力的应用落地。除了数字人形象生成、数字人视频生成技术，在确保数据安全流转的前提下，还将通过集成行内生成式AI模型，为客户提供智能问答，为运营建设运营工具，如生成答案摘要、生成直播文案等，扩大应用落地范围，提升工作效率，助力行业数字化升级。

3.创新实践

平安数字人获得2023IDC中国未来企业大奖及国际IF设计体验奖。当前在技术应用及创新上，平安银行数字人在形象设计及建设、应用性能及体验、智能化升级三个方面具有明显特点和优势。

（1）形象多元、可定制。平安银行通过2D数字人形象采集及3D形象原稿设计，基于全套动捕设备拍摄数字人视频，根据实际应用场景，完成2D形象合成及3D形象设计。并利用数字人模型驱动等算法能力，实现高精度的唇形匹配、效果自然的数字人。

（2）多模态、高并发、秒响应。平安银行数字人针对银行业场景做了大量定向优化。包括支持文本、语音、指令多模态驱动方式；对前端接受客户指令到最后视频渲染输出进行全链路技术方案规划，基于异构计算和自动并行框架构建合成引擎，实现数字人秒级响应；通过结合人脸识别、声纹识别、智能质检能力，解决面审场景同一时刻、同一场景真人核实难题；针对数字人的在线应用并发限制、实时方案系统复杂维护成本高、网络延迟、带宽限制、安全性等问题。研发了离线实时混合方案，通过离线、实时视频流自动切换，网点CTM设备、“平安数字口袋”手机APP、大屏分辨率自适应，实现高并发场景下用户体验不受影响，避免了网络延迟和带宽限制等问题，从而使数字人扩大应用范围。同时，混合方案中视频生成使用的语料均经过人工审核，确保不包含客户敏感信息，且视频生成后数字人交互仅与银行服务连接，更缩小了网络攻击的覆盖范围，提高了服务的安全及稳定性。

（3）云原生、智能化。基于多模态、大模型等前沿AI技术，在现有数字人服务的基础上，针对海量历史数据，对数字人各个环节的效果及性能进行升级。面向内部运营，基于现有数字人知识库建设更高效的运营工具，包括相似问生成、答案摘要生成、文档FAQ生成；基于现有数字人形象建设数字人换脸、多方言语言识别等功能，全面提升数字人的运营效率，大幅减少运营人力投入。面向外部客户，建设实时闲聊问答功能，提升数字人使用体验和智能化程度。在基础架构上，从云原生出发，辅以弹性管理和分布式设计，各功能服务解耦，提高易用性与可拓展性。在功能上，依托大模型自身能力，通过多个XoT提示词组合及工程封装，结合FAQ知识库，为数字人提供最合适的回答方案。

平安银行数字人应用实践案例

1.助力银行服务数字化转型

数字人前沿技术的快速迭代和成熟将拓展金融科技发展的广度和深度，银行正从人人交互、人机交互，发展到如今的人“人”交互，虚拟数字人将打造全能型数字员工，实现服务及体验升级、成本节约和品牌传播。平安银行在网点对公CTM自助服务、空中柜台远程业务服务等场景中应用数字人技术，成效显著（如图1）。

（1）业务办理指引。针对网点对公CTM自助服务场景，响应网点智能化改造，支持与CTM等线下智能终端快速集成，智能识别用户意图，全流程引导，助力分流柜面业务。目前平安银行在网点智能设备CTM的销户、转账等7个高频业务场景部署数字人，提供个性化及陪伴式服务，覆盖全行网点近千台设备，实现月均10万+轮次服务，人工净替代率达95%。

（2）视频面审服务。针对空中柜台远程业务服务场景，提供“真人”视频面审服务及真人座席接管功能，满足远程座席、视频面审等创新应用需求，完成银行同质化的业务办理，减轻远程座席服务压力。目前在数字口袋APP空中柜台业务意愿核实等3个高频对公业务场景，提供面审服务及真人座席接管功能，实现月均1万+次服务，人工净替代率达92%。

2.助力政务服务数字化转型

在机构业务中，为助力政府窗口部门提高政务服务能力，平安银行在机构业务中推出面向公积金业务的数字人，实现了数字化能力向政府便民场景的有效拓展，将数字人的智慧延伸至公积金业务服务领域。

在数字化转型趋势下，政府窗口部门越来越注重通过数字化技术的应用来提升面向企业、个人的服务满意度。例如公积金管理中心作为公益型事业单位，一直以来都承担着大量的公积金政策宣导和咨询工作。基于对政府数字化转型需求的深入理解，平安银行与某省住房公积金管理中心展开合作，向公众提供公积金政策咨询等便民服务，实现公积金业务智能化领域的新突破。此次公积金数字人的落地运作，显著提升了公积金缴存人的办事效率，大幅节省政府部门业务咨询成本。

2023年平安银行数字人首次在某市住房公积金管理中心上线。2024年平安银行数字人智能客服在另外两个城市住房公积金中心上线。平安银行数字人处理公积金业务咨询月均超2万次，回答准确率高达98%，获得公众广泛好评，数字人服务能力效果显著（如图2）。