基于时序信息的驱动控制方法、装置、电子设备和可读存储介质制造方法及图纸

本申请提供一种基于时序信息的驱动控制方法、装置、电子设备和可读存储介质，通过获取包含目标对象的连续多帧视频帧，而该多帧视频帧中包含待处理视频帧和在时序上位于待处理视频帧之前的相邻视频帧，对各视频帧中的目标对象进行关键点提取得到多组关键点信息，再利用预先训练得到的驱动模型对多组关键点信息进行处理，输出待处理视频帧中目标对象对应的驱动信号，进而基于驱动信号对目标虚拟形象进行驱动控制。该方案中，结合待处理视频帧和相邻视频帧，得到待处理视频帧对应的驱动信号，利用连续视频帧在时序上的上下文信息，可降低驱动信号误差，可以有效缓解待处理视频帧存在缺失或抖动情况下驱动信号准确性低的问题。缺失或抖动情况下驱动信号准确性低的问题。缺失或抖动情况下驱动信号准确性低的问题。

【技术实现步骤摘要】
基于时序信息的驱动控制方法、装置、电子设备和可读存储介质


[0001]本申请涉及直播
，具体而言，涉及一种基于时序信息的驱动控制方法、装置、电子设备和可读存储介质。

技术介绍

[0002]随着计算机视觉技术的快速发展，计算机视觉技术被广泛应用到各种领域。例如，在网络直播应用场景中，为了增加网络直播的趣味性，在直播界面上渲染虚拟形象的直播方式受到大众喜爱。在这种直播方式中，可以采集用户的视频图像，并利用计算机视觉技术对视频图像进行处理，从而得到可以用于驱动虚拟形象进行随动的驱动信号。
[0003]在现有方式中，往往是分别针对单帧视频图像进行处理以得到对应的驱动信号，这种方式由于独立地基于单帧视频图像得到驱动信号，在单帧视频图像存在缺失或抖动不稳时，将难以得到准确地驱动信号，造成随动效果不佳的问题。

技术实现思路

[0004]本申请的目的包括，例如，提供了一种基于时序信息的驱动控制方法、装置、电子设备和可读存储介质，其能够有效缓解存在缺失或抖动情况下驱动信号准确性低的问题。
[0005]本申请的实施例可以这样实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序信息的驱动控制方法，其特征在于，所述方法包括：获取包含目标对象的连续多帧视频帧，所述多帧视频帧包含待处理视频帧和在时序上位于所述待处理视频帧之前的相邻视频帧；对各所述视频帧中的目标对象进行关键点提取，得到多组关键点信息；利用预先训练得到的驱动模型对所述多组关键点信息进行处理，输出所述待处理视频帧中目标对象对应的驱动信号；利用所述驱动信号对目标虚拟形象进行驱动控制。2.根据权利要求1所述的基于时序信息的驱动控制方法，其特征在于，所述关键点信息包括关键点的坐标和置信度；所述利用预先训练得到的驱动模型对所述多组关键点信息进行处理，输出所述待处理视频帧中目标对象对应的驱动信号的步骤，包括：将所述多组关键点信息导入预先训练得到的驱动模型，在所述待处理视频帧中存在不可信关键点时，减小所述待处理视频帧的关键点坐标所占权重并增大各所述相邻视频帧的关键点坐标所占权重，所述不可信关键点为置信度低于预设值的关键点；基于权重调整后的多组关键点信息，输出所述待处理视频帧中目标对象对应的驱动信号。3.根据权利要求2所述的基于时序信息的驱动控制方法，其特征在于，所述减小所述待处理视频帧的关键点坐标所占权重并增大各所述相邻视频帧的关键点坐标所占权重的步骤，包括：确定各所述相邻视频帧中与所述不可信关键点对应的参考关键点；减小所述不可信关键点的坐标所占的权重，并增大各所述参考关键点的坐标所占的权重。4.根据权利要求2所述的基于时序信息的驱动控制方法，其特征在于，所述驱动模型为预先利用训练样本对构建的网络模型进行训练得到；所述训练样本包含不存在置信度低于预设值的关键点的正样本，以及存在置信度低于预设值的关键点的负样本，其中，所述负样本由对正样本中的关键点坐标进行随机扰动后获得。5.根据权利要求1所述的基于时序信息的驱动控制方法，其特征在于，所述利用预先训练得到的驱动模型对所述多组关键点信息进行处理，输出所述待处理视频帧中目标对象对应的驱动信号的步骤，包括：将所述多组关键点信息导入预先训练得到的驱动模型；针对任一目标视频帧，获得所述目标视频帧的前一帧，并获取该前一帧的关键点信息对应的状态特征，其中，所述目标视频帧为任一相邻视频帧或待处理视频帧；根据所述前一帧的状态特征和所述目标视频帧的关键点信息，得到所述目标视频帧的状态特征；根据所述待处理视频帧的状态特征，输出所述待处理视频帧中目标对象对应的驱动信号。6.根据权利要求1所述的基于时序信息的驱动控制方法，其特征在于，所述多帧视频帧还包含在时序上位于所述待处理视频帧之后的相邻视频帧；
所述利用预先训练得到的驱动模型对所述多组关键点信息进行处理，输出所述待处理视频帧中目标对象对应的驱动信号的步骤，包括：将所述多组关键点信息导入预先训练得到的驱动模型；对所述多组关键点信息进行处理，并在完成位于待处理视频帧之后的相邻视频帧的处理后，输出所述待处理视频帧中目标对象对应的驱动信号。7.根据权利要求1所述的基于时序信息的驱动控...

【专利技术属性】
技术研发人员：钱立辉，韩欣彤，王法强，董浩业，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：