【技术实现步骤摘要】
本申请涉及计算机视觉与人机交互，特别是涉及一种面部与肢体融合捕捉方法、虚拟直播系统、设备和介质。
技术介绍
1、随着直播产业的发展，出现了虚拟直播技术。虚拟直播技术的核心原理是通过传感器采集、数据驱动建模和实时渲染实现虚拟形象的动作同步。
2、相关技术采用单目相机同时采集人物面部与肢体动作，在数据驱动建模阶段，ai模型识别图像时容易存在数据冲突，例如人物转头时容易引发面部关键点丢失，进而引发传感器数据在unity（3d开发引擎）中整合时易产生骨骼-表情错位（平均误差>5mm）。
3、目前，针对虚拟直播存在关键帧丢失和骨骼-表情错位的问题，还未提出有效的解决方案。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够降低关键帧丢失和骨骼-表情错位现象的面部与肢体融合捕捉方法、虚拟直播系统、设备和介质。
2、第一方面，本申请提供了一种面部与肢体融合捕捉方法，应用于虚拟直播系统，所述虚拟直播系统包括后端和前端，所述方法包括：
3、所...
【技术保护点】
1.一种面部与肢体融合捕捉方法，其特征在于，应用于虚拟直播系统，所述虚拟直播系统包括后端和前端，所述方法包括：
2.根据权利要求1所述的面部与肢体融合捕捉方法，其特征在于，所述后端采用第一虚拟相机采集和处理第一相机拍摄的第一影像，得到第一视频流，采用第二虚拟相机采集和处理第二相机拍摄的第二影像，得到第二视频流，包括：
3.根据权利要求1所述的面部与肢体融合捕捉方法，其特征在于，所述后端从所述第一视频流中提取面部关键点坐标数据，从所述第二视频流中提取骨骼节点坐标数据，将所述面部关键点坐标数据和所述骨骼节点坐标数据进行整合，得到单消息体，并将所述单...
【技术特征摘要】
1.一种面部与肢体融合捕捉方法，其特征在于，应用于虚拟直播系统，所述虚拟直播系统包括后端和前端，所述方法包括：
2.根据权利要求1所述的面部与肢体融合捕捉方法，其特征在于，所述后端采用第一虚拟相机采集和处理第一相机拍摄的第一影像，得到第一视频流，采用第二虚拟相机采集和处理第二相机拍摄的第二影像，得到第二视频流，包括：
3.根据权利要求1所述的面部与肢体融合捕捉方法，其特征在于，所述后端从所述第一视频流中提取面部关键点坐标数据，从所述第二视频流中提取骨骼节点坐标数据，将所述面部关键点坐标数据和所述骨骼节点坐标数据进行整合，得到单消息体，并将所述单消息体发送至所述前端，包括：
4.根据权利要求3所述的面部与肢体融合捕捉方法，其特征在于，所述前端接收并解析所述单消息体，包括：
5.根据权利要求1所述的面部与肢体融合捕捉方法，其特征在于，所述前端部署有归一化-像素坐标双向转换引擎；所述前端接...
【专利技术属性】
技术研发人员：曹卫，杨秦，史春苓，陈科科，
申请(专利权)人：杭州秋果计划科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。