关键点检测模型训练及虚拟角色驱动的方法和对应的装置制造方法及图纸

本申请公开了一种关键点检测模型训练及虚拟角色驱动的方法和对应的装置，该虚拟角色驱动的方法包括：采集目标图像帧，所述目标图像帧包括部分人体的图像；将所述目标图像帧输入至预先训练的关键点检测模型，并获得所述关键点检测模型输出的所述目标图像帧的人体关键点的坐标信息以及视场概率，所述视场概率为所述人体关键点在所述目标图像帧的拍摄视场内出现的概率；根据所述人体关键点的所述坐标信息以及所述视场概率驱动对应的虚拟角色动作，以此实现端到端的人体关键点的信号输出，并且在近景情况下可以保证一定的稳定性，满足手机端上虚拟角色的驱动要求。手机端上虚拟角色的驱动要求。手机端上虚拟角色的驱动要求。

【技术实现步骤摘要】
关键点检测模型训练及虚拟角色驱动的方法和对应的装置


[0001]本申请涉及图像处理
，尤其涉及一种关键点检测模型训练的方法、一种虚拟角色驱动的方法、一种关键点检测模型训练的装置、一种虚拟角色驱动的装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品。

技术介绍

[0002]随着虚拟产业的发展，直播的内容出现了数字化的直播形态，例如完全由虚拟形象呈现的虚拟主播。
[0003]在一种相关技术中，通过采用如光学动作捕捉、惯性动作捕捉等技术实现虚拟主播，但这种技术的实现需要主播长时间佩戴专业设备，且通常需要连接多种线缆，直播体验差。
[0004]在另一种相关技术中，通过端对端的3D姿态数据生成真实环境下的3D人体数据,端到端的3D姿态估计方法可以极大的增强虚拟人物的交互能力。在获取3D人体数据时，相关技术通过普通RGB相机，利用深度学习网络直接从输入的RGB视频中预测出人体3D关节点的方案，普遍针对整个人体进行处理，一般对相机的FOV合拍摄角度有一定要求，例如视场需要覆盖大部分人体。在用户距离相机较近，只有部分人体出现的情况下，由于具有终端性能有限、视场小、人体手/手肘等部分容易频繁移出视场等特点，姿态点位非常容易误检出错。而且由于移动端上资源有限，很多基于heatmap(热图)的方式由于分辨率限制，输出的坐标精度不够，输出坐标的稳定性也受到很大影响。

技术实现思路

[0005]本申请提供了一种关键点检测模型训练及虚拟角色驱动的方法和对应的装置，以解决现有技术中由于终端性能有限、视场小、人体手/手肘等部分容易频繁移出视场等原因，使得姿态点位容易误检出错、输出坐标稳定性差的问题。
[0006]根据本申请的第一方面，提供了一种虚拟角色驱动的方法，所述方法包括：
[0007]采集目标图像帧，所述目标图像帧包括部分人体的图像；
[0008]将所述目标图像帧输入至预先训练的关键点检测模型，并获得所述关键点检测模型输出的所述目标图像帧的人体关键点的坐标信息以及视场概率，所述视场概率为所述人体关键点在所述目标图像帧的拍摄视场内出现的概率；
[0009]根据所述人体关键点的所述坐标信息以及所述视场概率驱动对应的虚拟角色动作。
[0010]根据本申请的第二方面，提供了一种关键点检测模型训练的方法，所述方法包括：
[0011]对样本集合中的各样本图像帧进行关键点检测，以确定各关键点的坐标信息；
[0012]基于所述关键点的所述坐标信息确定所述关键点的视场标签，所述视场标签用于标记该关键点是否在所属的所述样本图像帧的拍摄视场内；
[0013]将各样本图像帧的各关键点的所述坐标信息以及所述视场标签作为监督信号，训
练关键点检测模型，所述关键点检测模型用于在模型推理阶段对各目标图像帧进行关键点检测，并输出所述目标图像帧的关键点的坐标信息以及视场概率。
[0014]根据本申请的第三方面，提供了一种虚拟角色驱动的装置，所述装置包括：
[0015]图像采集模块，用于采集目标图像帧，所述目标图像帧包括部分人体的图像；
[0016]人体关键点检测模块，用于将所述目标图像帧输入至预先训练的关键点检测模型，并获得所述关键点检测模型输出的所述目标图像帧的人体关键点的坐标信息以及视场概率，所述视场概率为所述人体关键点在所述目标图像帧的拍摄视场内出现的概率；
[0017]虚拟角色驱动模块，用于根据所述人体关键点的所述坐标信息以及所述视场概率驱动对应的虚拟角色动作。
[0018]根据本申请的第四方面，提供了一种关键点检测模型训练的装置，所述装置包括：
[0019]关键点检测模块，用于对样本集合中的各样本图像帧进行关键点检测，以确定各关键点的坐标信息；
[0020]视场标签确定模块，用于基于所述关键点的所述坐标信息确定所述关键点的视场标签，所述视场标签用于标记该关键点是否在所属的所述样本图像帧的拍摄视场内；
[0021]模型训练模块，用于将各样本图像帧的各关键点的所述坐标信息以及所述视场标签作为监督信号，训练关键点检测模型，所述关键点检测模型用于在模型推理阶段对各目标图像帧进行关键点检测，并输出所述目标图像帧的关键点的坐标信息以及视场概率。
[0022]根据本申请的第五方面，提供了一种电子设备，所述电子设备包括：
[0023]至少一个处理器；以及
[0024]与所述至少一个处理器通信连接的存储器；其中，
[0025]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面或第二方面所述的方法。
[0026]根据本申请的第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现上述第一方面或第二方面所述的方法。
[0027]根据本申请的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述计算机可执行指令在被执行时用于实现上述第一方面或第二方面所述的方法。
[0028]在本实施例中，在数据准备阶段可以获取各样本图像帧中的各关键点的坐标信息以及视场标签，该视场标签用于标记该关键点是否在所属的样本图像帧的拍摄视场内，并在模型训练阶段采用该各样本图像帧的各关键点的坐标信息以及视场标签作为监督信号训练关键点检测模型，通过引入额外的预测头使得关键点检测模型能够具备输出关键点的视场标签的功能，从而有效判断关键点是否在视场内，提升了关键点检测模型对于近场场景中的图像的关键点检测准确率，例如，在用户距离相机较近，只有部分人体在相机的拍摄视场内出现的情况下，通过本实施例的关键点检测模型能够输出各人体关键点在视场内还是在视场外的视场标签，避免后续利用在视场外的关键点进行场景处理影响处理效果的情况发生。
[0029]另外，模型推理阶段，通过关键点检测模型可以检测目标图像帧的人体关键点的
坐标信息以及视场概率，该视场概率为人体关键点在目标图像帧的拍摄视场内出现的概率，然后结合该视场概率和坐标信息驱动对应的虚拟角色动作，以此实现端到端的人体关键点的信号输出，并且在近景情况下可以保证一定的稳定性，满足手机端上虚拟角色的驱动要求。
附图说明
[0030]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1是本申请实施例一提供的一种关键点检测模型训练的方法流程图；
[0032]图2是本申请实施例一提供的一种样本图像帧的示意图；
[0033]图3是本申请实施例一提供的一种裁剪后的样本图像帧的示意图；
[0034]图4是本申请实施例二提供的一种虚拟角色驱动的方法流程图；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟角色驱动的方法，其特征在于，所述方法包括：采集目标图像帧，所述目标图像帧包括部分人体的图像；将所述目标图像帧输入至预先训练的关键点检测模型，并获得所述关键点检测模型输出的所述目标图像帧的人体关键点的坐标信息以及视场概率，所述视场概率为所述人体关键点在所述目标图像帧的拍摄视场内出现的概率；根据所述人体关键点的所述坐标信息以及所述视场概率驱动对应的虚拟角色动作。2.根据权利要求1所述的方法，其特征在于，在所述根据所述人体关键点的所述坐标信息以及所述视场概率驱动对应的虚拟角色动作之前，所述方法还包括：确定当前目标图像帧与上一目标图像帧之间的平滑权重；采用所述平滑权重，对所述坐标信息以及所述视场概率进行平滑处理。3.根据权利要求2所述的方法，其特征在于，所述确定当前目标图像帧与上一目标图像帧之间的平滑权重，包括：针对各人体关键点，确定所述人体关键点在当前目标图像帧的坐标信息与在上一目标图像帧的平滑后的坐标信息之间的距离；将所述距离与设定距离进行比较，并根据比较结果确定距离权重；采用所述距离权重以及所述人体关键点在当前目标图像帧的视场概率，计算平滑权重。4.根据权利要求2或3所述的方法，其特征在于，所述采用所述平滑权重，对所述坐标信息以及所述视场概率进行平滑处理，包括：基于所述平滑权重，确定上一目标图像帧的第一权重，以及，当前目标图像帧的第二权重；基于所述第一权重以及所述第二权重，将上一目标图像帧的坐标信息以及当前目标图像帧的坐标信息进行加权计算，得到平滑后的坐标信息；基于所述第一权重以及所述第二权重，将上一目标图像帧的视场概率以及当前目标图像帧的视场概率进行加权计算，得到平滑后的视场概率。5.一种关键点检测模型训练的方法，其特征在于，所述方法包括：对样本集合中的各样本图像帧进行关键点检测，以确定各关键点的坐标信息；基于所述关键点的所述坐标信息确定所述关键点的视场标签，所述视场标签用于标记该关键点是否在所属的所述样本图像帧的拍摄视场内；将各样本图像帧的各关键点的所述坐标信息以及所述视场标签作为监督信号，训练关键点检测模型，所述关键点检测模型用于在模型推理阶段对各目标图像帧进行关键点检测，并输出所述目标图像帧的关键点的坐标信息以及视场概率。6.根据权利要求5所述的方法，其特征在于，所述对样本集合中的各样本图像帧进行关键点检测，以确定各关键点的坐标信息，包括：将所述样本图像帧输入至预先生成的二维姿态网络，并获得所述二维姿态网络输出的所述样本图像帧的关键点的二维坐标信息；将所述样本图像帧输入至预先生成的三维姿态网络，并获得所述三维姿态网络输出的所述样本图像帧的关键点的三维坐标信息；基于各所述关键点的所述二维坐标信息以及所述三维坐标信息，确定所述关键点的坐
标信息。7.根据权利要求6所述的方法，其特征在于，所述二维坐标信息包括水平坐标值以及垂直坐标值，所述三维坐标信息包括X轴坐标值、Y轴坐标值以及Z轴坐标值；所述基于各所述关键点的所述二维坐标信息以及所述三维坐标信息，确定所述关键点的坐标信息，包括：从所述关键点中确定第一稳定关键点以及第二稳定关键点；根据所述第一稳定关键点以及所述第二稳定关键点的二维坐标信息以及三维坐标信息，确定调节系数；采用所述调节系数对各关键点的所述Z轴坐标值进行调节，得到各关键点的深度值；将各关键点的所述水平坐标值、所述垂直坐标值以及所述深度值作为该关键点的坐标信息。8.根据权利要求7所述的方法，其特征在于，所述根据所述第一稳...

【专利技术属性】
技术研发人员：邓博，王佳卓，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：