【技术实现步骤摘要】
本专利技术涉及一种基于流媒体协议实现用户与2d虚拟数字人交互系统、装置和介质，属于人工智能。
技术介绍
1、
2、虚拟数字人根据人物图形资源的纬度，数字人可分为2d和3d两大类；根据商业和功能纬度，可分为播报型和交互型等。其中一种2d交互型数字人，是通过智能系统自动读取并解析识别外界输入信息，根据解析结果决策数字人后续的输出文本，驱动人物模型生成相应的语音与动作来使数字人跟用户互动，目前该方式存在有表情和动作僵硬、延迟高、不真实等缺点。
技术实现思路
1、本专利技术目的是提供了一种基于流媒体协议实现用户与2d虚拟数字人交互系统、装置和介质，实现用户与数字人的实时交互工作。
2、本专利技术为实现上述目的，通过以下技术方案实现：
3、客户端和服务端，所述服务端包括后台服务器上部署的消息服务端、流媒体服务端、ai数字人生成端；
4、所述客户端被配置为通过流媒体服务端主动拉取视频数据流以展示数字人虚拟形象；
5、所述消息服务端被配置为验证用户身份、分配流媒体地址和消息转发；
6、所述流媒体服务端部署轻量化流媒体服务程序，为客户端和ai数字人生成端提供流媒体服务；
7、所述ai数字人生成端被配置为生成虚拟数字人视频，并将视频以流媒体形式推送到流媒体服务端。
8、优选的，所述ai数字人生成端接收到文本信息时，则生成带语音的视频流。
9、一种基于流媒体协议实现用户与2d虚拟数字人交互方法，
10、数字人生成阶段：客户端向消息服务端发送申请数字人服务请求，通过流媒体服务端生成数字人，并在ai数字人生成端生成数字人后，通过客户端展示出数字人的动态形象；
11、数字人交互阶段：用户输入交互内容，客户端解析完成后经过消息服务端验证后发送至ai数字人生成端；ai数字人生成端生成媒体流推送流媒体服务端后，客户端拉流展示出数字人的动态形象，完成客户与数字人的交互。
12、优选的，所述数字人生成阶段具体步骤如下：
13、客户端向消息服务端发送身份信息进行身份验证，消息服务端验证通过后，返回验证结果；
14、客户端向消息生成端申请数字人服务，消息服务端验证身份信息成功后，返回拉流地址，同时向ai数字人生成端发送生成数字人视频命令；
15、ai数字人生成端生成数字人视频，以流媒体形式推流到流媒体服务端，客户端从流媒体服务端拉流，经过解码后再界面上展示出数字人的动态形象；
16、优选的，所述数字人交互阶段具体步骤如下：
17、用户通过输入设备与数字人交互，客户端接收并解析用户输入的内容，并将输入内容发送至消息服务端，消息服务端验证身份信息，通过后，将输入内容转发至ai数字人生成端；
18、ai数字人生成端根据输入内容，使用ai技术生成数字人的媒体流，将媒体流合流后即时推送给流媒体服务端；
19、客户端继续拉流展示出数字人的动态形象，完成客户与数字人的交互。
20、优选的，所述媒体流包括音频流和视频流。
21、本专利技术的优点在于：本专利技术通过实时驱动ai生成虚拟数字人的语音和视频，再通过流媒体的形式即时展示该用户，实现用户与数字人的实时交互工作。
本文档来自技高网...【技术保护点】
1.一种基于流媒体协议实现用户与2D虚拟数字人交互系统，其特征在于，包括：客户端和服务端，所述服务端包括后台服务器上部署的消息服务端、流媒体服务端、AI数字人生成端；
2.根据权利要求1所述的基于流媒体协议实现用户与2D虚拟数字人交互系统，其特征在于，所述AI数字人生成端接收到文本信息时，则生成带语音的视频流。
3.一种使用权利要求1-2任一所述系统的基于流媒体协议实现用户与2D虚拟数字人交互方法，其特征在于，包括：
4.根据权利要求3所述的基于流媒体协议实现用户与2D虚拟数字人交互方法，其特征在于，所述数字人生成阶段具体步骤如下：
5.根据权利要求4所述的基于流媒体协议实现用户与2D虚拟数字人交互方法，其特征在于，所述数字人交互阶段具体步骤如下：
6.根据权利要求3-5任一所述的基于流媒体协议实现用户与2D虚拟数字人交互方法，其特征在于，所述媒体流包括音频流和视频流。
7.一种基于流媒体协议实现用户与2D虚拟数字人交互装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令
8.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实现如上述权利要求3-6任一项所述的方法。
...【技术特征摘要】
1.一种基于流媒体协议实现用户与2d虚拟数字人交互系统，其特征在于，包括：客户端和服务端，所述服务端包括后台服务器上部署的消息服务端、流媒体服务端、ai数字人生成端；
2.根据权利要求1所述的基于流媒体协议实现用户与2d虚拟数字人交互系统，其特征在于，所述ai数字人生成端接收到文本信息时，则生成带语音的视频流。
3.一种使用权利要求1-2任一所述系统的基于流媒体协议实现用户与2d虚拟数字人交互方法，其特征在于，包括：
4.根据权利要求3所述的基于流媒体协议实现用户与2d虚拟数字人交互方法，其特征在于，所述数字人生成阶段具体步骤如下：
5.根据权利要求4所...
【专利技术属性】
技术研发人员：赵启明，王元强，王培元，修志远，王茂帅，房兰涛，
申请(专利权)人：浪潮智能终端有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。