一种虚拟数字人的生成方法、装置和电子设备制造方法及图纸

本公开提供一种虚拟数字人的生成方法、装置和电子设备，涉及人机交互技术领域，用于解决如何保证用户执行电子设备播放的健身视频对应的健身动作的一致性的问题。该方法包括：获取播放目标视频时图像采集装置采集的第一帧图像；对第一帧图像进行人体关键识别，确定人体关键点之间的位置信息、目标身体部位的第一实际长度以及除目标身体部位以外的其它身体部位的第二实际长度；根据目标比例关系和第一实际长度，确定除目标身体部位以外的其它身体部位的第预测长度；基于第二实际长度和所述预测长度，确定其它身体部位的绘制高度；基于第一实际长度、绘制高度以及位置关系进行绘制，生成虚拟数字人。生成虚拟数字人。生成虚拟数字人。

【技术实现步骤摘要】
一种虚拟数字人的生成方法、装置和电子设备


[0001]本公开涉及人机交互
，尤其涉及一种虚拟数字人的生成方法、装置和电子设备。

技术介绍

[0002]目前，在人机交互
，用户可以通过电子设备(如：智能电视、手机等)播放的健身视频，执行相应的健身动作，从而完成健身。由于不同用户在学习相同的健身视频时，其做出的健身动作差异较大，导致健身效果较差。因此，如何保证用户执行电子设备播放的健身视频对应的健身动作的一致性，成为了一个亟待解决的问题。

技术实现思路

[0003]为了解决上述技术问题，本公开提供了一种虚拟数字人的生成方法、装置和电子设备。
[0004]本公开的技术方案如下：
[0005]第一方面，本公开提供一种虚拟数字人的生成方法，包括：获取播放目标视频时图像采集装置采集的第一帧图像；其中，目标视频包括至少一个健身动作；对第一帧图像进行人体关键识别，确定人体关键点之间的位置信息、目标身体部位的第一实际长度以及除目标身体部位以外的其它身体部位的第二实际长度；根据目标比例关系和第一实际长度，确定除目标身体部位以外的其它身体部位的第预测长度；其中，目标比例关系包括第一实际长度与除目标身体部位以外的其它身体部位的预测长度的对应比例；基于第二实际长度和所述预测长度，确定其它身体部位的绘制高度；基于第一实际长度、绘制高度以及位置关系进行绘制，生成虚拟数字人。
[0006]第二方面，本公开提供一种虚拟数字人的生成装置，包括：获取单元，用于获取播放目标视频时图像采集装置采集的第一帧图像；其中，目标视频包括至少一个健身动作；处理单元，用于对获取单元获取的第一帧图像进行人体关键识别，确定人体关键点之间的位置信息、目标身体部位的第一实际长度以及除目标身体部位以外的其它身体部位的第二实际长度；处理单元，还用于根据目标比例关系和第一实际长度，确定除目标身体部位以外的其它身体部位的预测长度；其中，目标比例关系包括第一实际长度与除目标身体部位以外的其它身体部位的预测长度的对应比例；处理单元，还用于基于第二实际长度和预测长度，确定其它身体部位的绘制高度；处理单元，还用于基于第一实际长度、绘制高度以及位置关系进行绘制，生成虚拟数字人。
[0007]第三方面，本公开提供一种电子设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在执行计算机程序时，使得电子设备实现如上述第一方面提供的任一项虚拟数字人的生成方法。
[0008]第四方面，本公开提供一种计算机可读存储介质，包括：计算机可读存储介质上存储有计算机程序，当计算机程序被计算设备执行时，使得计算设备实现如上述第一方面提
供的任一项虚拟数字人的生成方法。
[0009]第五方面，本专利技术提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面提供的任一项的虚拟数字人的生成方法。
[0010]需要说明的是，上述计算机指令可以全部或者部分存储在第一计算机可读存储介质上。其中，第一计算机可读存储介质可以与虚拟数字人的生成装置的处理器封装在一起的，也可以与虚拟数字人的生成装置的处理器单独封装，本公开对此不作限定。
[0011]本公开中第二方面、第三方面、第四方面以及第五方面的描述，可以参考第一方面的详细描述；并且，第二方面、第三方面、第四方面以及第五方面的描述的有益效果，可以参考第一方面的有益效果分析，此处不再赘述。
[0012]在本公开中，上述虚拟数字人的生成装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本公开类似，属于本公开权利要求及其等同技术的范围之内。
[0013]本公开的这些方面或其他方面在以下的描述中会更加简明易懂。
[0014]本公开提供的技术方案与现有技术相比具有如下优点：
[0015]通过获取播放目标视频时图像采集装置采集的第一帧图像，进而对第一帧图像进行人体关键点识别，得到体关键点之间的位置信息、目标身体部位的第一实际长度，以及除目标身体部位以外的其它身体部位的第二实际长度。之后，通过目标比例关系和第一实际长度，确定除目标身体部位以外的其它身体部位的预测长度。基于第二实际长度和预测长度，确定其它身体部位的绘制高度。最后，基于第一实际长度、绘制高度以及位置关系进行绘制，生成虚拟数字人。
[0016]此外，当用户需要显示虚拟数字人时，可以对目标功能进行选择操作，此时就可以显示包括用于播放所述目标视频的播放控件，以及用于显示所述虚拟数字人的预览控件的目标界面，从而用户可以在观看目标视频的同时，还可以观看到虚拟数字人。由于，虚拟数字人是按照用户实际的人体关键点的位置信息、第一实际长度、第二实际长度进行绘制的，使得虚拟数字人对应的健身动作与用户当前的健身动作相同，因此用户可以直观地了解到当前所做的健身动作与第一应用播放的目标视频的健身动作是否一致，解决了现有技术中如何保证用户执行电子设备播放的健身视频对应的健身动作的一致性的问题。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0018]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本申请实施例提供的虚拟数字人的生成方法的场景示意图；
[0020]图2为本申请实施例提供的虚拟数字人的生成方法中显示设备的结构示意图之一；
[0021]图3为本申请实施例提供的虚拟数字人的生成方法中显示设备的结构示意图之二；
[0022]图4为本申请实施例提供的虚拟数字人的生成方法的流程示意图之一；
[0023]图5为本申请实施例提供的虚拟数字人的生成方法中人体关键的示意图；
[0024]图6为本申请实施例提供的虚拟数字人的生成方法中身体部位的示意图；
[0025]图7为本申请实施例提供的虚拟数字人的生成方法的流程示意图之二；
[0026]图8为本申请实施例提供的虚拟数字人的生成方法的流程示意图之三；
[0027]图9为本申请实施例提供的虚拟数字人的生成方法的流程示意图之四；
[0028]图10为本申请实施例提供的虚拟数字人的生成方法的流程示意图之五；
[0029]图11为本申请实施例提供的虚拟数字人的生成方法的流程示意图之六；
[0030]图12为本申请实施例提供的虚拟数字人的生成方法的流程示意图之七；
[0031]图13为本申请实施例提供的虚拟数字人的生成方法中目标界面的示意图；
[0032]图14为本申请实施例提供的虚拟数字人的生成方法的中预设界面的示意图；
[0033]图15为本申请实施例提供的显示设备的结构示意图；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟数字人的生成方法，其特征在于，包括：获取播放目标视频时图像采集装置采集的第一帧图像；其中，所述目标视频包括至少一个健身动作；对所述第一帧图像进行人体关键识别，确定人体关键点之间的位置信息、目标身体部位的第一实际长度以及除所述目标身体部位以外的其它身体部位的第二实际长度；根据目标比例关系和所述第一实际长度，确定除所述目标身体部位以外的其它身体部位的预测长度；其中，所述目标比例关系包括所述第一实际长度与除所述目标身体部位以外的其它身体部位的预测长度的对应比例；基于所述第二实际长度和所述预测长度，确定所述其它身体部位的绘制高度；基于所述第一实际长度、所述绘制高度以及所述位置关系进行绘制，生成虚拟数字人。2.根据权利要求1所述的虚拟数字人的生成方法，其特征在于，所述获取播放目标视频时图像采集装置采集的帧图像前，所述方法还包括：获取启播所述目标视频时图像采集装置采集的第二帧图像；其中，所述第二帧图像包括面对所述图像采集装置，且执行目标动作的人体；对所述第二帧图像进行人体关键识别，确定至少一个人体关键点，以及每个所述人体关键点的配置信息；其中，所述配置信息包括位置信息和置信度；在所述位置信息和所述置信度二者满足站立条件时，获取预览控件的控件高度；其中，所述预览控件用于显示所述虚拟数字人；根据第一信息和第二信息，确定人体高度；其中，所述第一信息包括用于表征骨骼关节为鼻子的人体关键点的位置信息，所述第二信息包括用于表征骨骼关节为脚踝的人体关键点的位置信息；根据所述人体高度和所述控件高度，确定所述目标比例关系。3.根据权利要求2所述的虚拟数字人的生成方法，其特征在于，所述对所述第二帧图像进行人体关键识别，确定至少一个人体关键点，以及每个所述人体关键点的配置信息，包括：采用人体关键点检测算法对所述第二帧图像进行人体关键识别，确定至少一个人体关键点，以及每个所述人体关键点的配置信息。4.根据权利要求2所述的虚拟数字人的生成方法，其特征在于，所述在所述位置信息和所述置信度二者满足站立条件时，获取预览控件的控件高度，包括：在所述置信度均大于或等于置信度阈值、所述位置信息满足第一条件、且三个目标关键点形成的角度大于或等于角度阈值的情况下，获取预览控件的控件高度；其中，目标关键点为所述人体关键点中的任一个。5.根据权利要求4所述的虚拟数字人的生成方法，其特征在于，所述位置信息至少包括纵坐标，所述目标身体部位包括躯干；所述第一条件包括：用于表征骨骼关节为鼻子的人体关键点的纵坐标与获取数值之和小于用于表征骨骼关节为左胯的人体关键点的纵坐标，且用于表征骨骼关节为左膝的人体关键点的纵坐标大于或等于用于表征骨骼关节为左胯的人体关键点的纵坐标，且用于表征骨骼关节为右膝的人体关键点的纵坐标大于或等于用...

【专利技术属性】
技术研发人员：刘兆磊，杨鲁明，李乃金，王之奎，
申请(专利权)人：海信视像科技股份有限公司，
类型：发明
国别省市：