一种基于blendshape的数字人驱动系统技术方案

本发明专利技术提供一种基于blendshape的数字人驱动系统，网络接收模块，通过websocket建立长连接，接收用户发送过来的网络数据，并将每一帧网络数据存储到原始数据队列中；服务解析模块，解析网络数据，将网络数据转换成对应数字人的结构体数据，并放入帧序列队列中；数字人驱动模块，在虚幻引擎中的每一次主循环中，从帧序列队列中取走第一帧，然后设置给虚幻引擎的骨骼网格提对象的对应通道的blendshape上面；状态检测模块，判断状态，通过http向用户传递一个状态信息；视频流传输模块，通过网页即时通信将虚幻引擎渲染的画面流入网页即时通信代理服务器中，解析后显示在网页浏览器上，实现了跨平台的部署方式。

【技术实现步骤摘要】
一种基于blendshape的数字人驱动系统
本专利技术属于角色渲染
，具体涉及一种基于blendshape的数字人驱动系统。
技术介绍
目前在市场上有2家主要从事数字人工作的公司，分别为faceme和soulmachine,他们的数字人形象是通过自己的系统来完成数字人的渲染和驱动的，这就造成了角色渲染效果取决于渲染器的问题。而且如果需要部署到移动设备的话，需要将画面的效果进行2次打折。为了解决上述问题，本申请提出一种能够快速的实现不同应用场景下的数字人部署的基于blendshape的数字人驱动系统。
技术实现思路
本专利技术的目的是提供一种基于blendshape的数字人驱动系统，以解决现有的数字人渲染工作在不同应用场景下部署会出现画面效果降低的问题。本专利技术提供了如下的技术方案：一种基于blendshape的数字人驱动系统，包括网络接收模块、服务解析模块、数字人驱动模块、状态检测模块和视频流传输模块，所述网络接收模块，通过websocket建立长连接，接收用户发送过来的网络数据，并将每一帧网络数据本文档来自技高网...

【技术保护点】
1.一种基于blendshape的数字人驱动系统，其特征在于，包括网络接收模块、服务解析模块、数字人驱动模块、状态检测模块和视频流传输模块，/n所述网络接收模块，通过websocket建立长连接，接收用户发送过来的网络数据，并将每一帧网络数据存储到原始数据队列中；所述网络数据包括音频数据和视频数据；/n所述服务解析模块，采用独立线程解析网络数据，将网络数据转换成对应数字人的结构体数据，并将结构体数据放入帧序列队列中；/n所述数字人驱动模块，在虚幻引擎中的每一次主循环中，从帧序列队列中取走第一帧，然后设置给虚幻引擎的骨骼网格提对象的对应通道的blendshape上面；/n所述状态检测模块，当用户...

【技术特征摘要】
1.一种基于blendshape的数字人驱动系统，其特征在于，包括网络接收模块、服务解析模块、数字人驱动模块、状态检测模块和视频流传输模块，
所述网络接收模块，通过websocket建立长连接，接收用户发送过来的网络数据，并将每一帧网络数据存储到原始数据队列中；所述网络数据包括音频数据和视频数据；
所述服务解析模块，采用独立线程解析网络数据，将网络数据转换成对应数字人的结构体数据，并将结构体数据放入帧序列队列中；
所述数字人驱动模块，在虚幻引擎中的每一次主循环中，从帧序列队列中取走第一帧，然后设置给虚幻引擎的骨骼网格提对象的对应通道的blendshape上面；
所述状态检测模块，当用户有数据的时候数字人进入listen状态，当用户输入结束数字人进入talk状态，当用户结束会话时候...

【专利技术属性】
技术研发人员：赵锐，侯志迎，钟凌霄，
申请(专利权)人：江苏原力数字科技股份有限公司，
类型：发明
国别省市：江苏;32