基于图像的动作确定方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种基于图像的动作确定方法、装置、电子设备及存储介质，涉及人工智能技术领域，具体涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于虚拟数字人、元宇宙等应用场景中。具体实现方案为：获取人体的图像，其中，图像包括：脚部关键点和待处理关键点；确定脚部关键点的参考点位置，并确定待处理关键点的待处理点位置；如果图像指示脚部触地状态，则根据参考点位置处理待处理点位置，得到待处理关键点的目标点位置；以及根据参考点位置和目标点位置，确定人体的目标动作。能够有效提升基于图像所感知人体的关键点的精度，提升动作确定准确度，提升基于图像的动作确定效果。动作确定效果。动作确定效果。

【技术实现步骤摘要】
基于图像的动作确定方法、装置、电子设备及存储介质


[0001]本公开涉及人工智能
，具体涉及计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于虚拟数字人、元宇宙等应用场景中，尤其涉及一种基于图像的动作确定方法、装置、电子设备及存储介质。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术，以及机器学习、深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]相关技术中，单目动捕，是指使用一个单目相机采集单张图像，基于单张图像来感知人体关键点，例如，三维(three
‑
Dimensional，3D)关键点，而后，驱动人体关键点来实时生成虚拟人的动作。而由于单目相机的深度歧义性，导致基于图像所感知人体的关键点的精度不高，所确定的动作不够准确，基于图像的动作确定效果不佳。

技术实现思路

[0004]本公开提供了一种基于图像的动作确定方法、装置、电子设备、存储介质及计算机程序产品。
[0005]根据本公开的第一方面，提供了一种基于图像的动作确定方法，包括：获取人体的图像，其中，所述图像包括：脚部关键点和待处理关键点；确定所述脚部关键点的参考点位置，并确定所述待处理关键点的待处理点位置；如果所述图像指示脚部触地状态，则根据所述参考点位置处理所述待处理点位置，得到所述待处理关键点的目标点位置；以及根据所述参考点位置和所述目标点位置，确定所述人体的目标动作。
[0006]根据本公开的第二方面，提供了一种基于图像的动作确定装置，包括：获取模块，用于获取人体的图像，其中，所述图像包括：脚部关键点和待处理关键点；第一确定模块，用于确定所述脚部关键点的参考点位置，并确定所述待处理关键点的待处理点位置；处理模块，用于在所述图像指示脚部触地状态的情况下，根据所述参考点位置处理所述待处理点位置，得到所述待处理关键点的目标点位置；以及第二确定模块，用于根据所述参考点位置和所述目标点位置，确定所述人体的目标动作。
[0007]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开第一方面实施例的方法。
[0008]根据本公开的第四方面，提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开第一方面实施例的方法。
[0009]根据本公开的第五方面，提出了一种计算机程序产品，包括计算机程序，当计算机
程序由处理器执行时实现本公开第一方面实施例的方法。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1是根据本公开第一实施例的示意图；
[0013]图2是根据本公开第二实施例的示意图；
[0014]图3是本公开实施例中一种基于图像的动作确定方法的流程示意图；
[0015]图4是根据本公开第三实施例的示意图；
[0016]图5是根据本公开第四实施例的示意图；
[0017]图6是本公开实施例中另一种基于图像的动作确定方法的流程示意图；
[0018]图7是根据本公开第五实施例的示意图；
[0019]图8是根据本公开第六实施例的示意图；
[0020]图9是根据本公开第七实施例的示意图；
[0021]图10示出了可以用来实施本公开的实施例的基于图像的动作确定方法的示例电子设备的示意性框图。
具体实施方式
[0022]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0023]图1是根据本公开第一实施例的示意图。
[0024]其中，需要说明的是，本实施例的基于图像的动作确定方法的执行主体为基于图像的动作确定装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
[0025]本公开实施例涉及人工智能
，具体涉及计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于虚拟数字人、元宇宙等应用场景中。
[0026]其中，人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
[0027]深度学习，是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
[0028]计算机视觉，是由计算机模拟人类的视觉过程，具有感受环境的能力和人类视觉功能的技术。是图像处理、人工智能和模式识别等技术的综合。主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，以用于实际检测、测量和控制。
[0029]增强现实(Augmented Reality，AR)，是一种将虚拟信息与真实世界巧妙融合的技
术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
[0030]虚拟现实(Virtual Reality，VR)，又称虚拟环境、灵境或人工环境，是指利用计算机生成一种可对参与者直接施加视觉、听觉和触觉感受，并允许其交互地观察和操作的虚拟世界的技术。
[0031]虚拟数字人，指的是用人工智能、虚拟现实技术和先进技术打造的一系列虚拟形象，它由一个或多个计算机生成并融合了真人形象的数据和特征的人类活动过程和信息的综合表现形式。
[0032]元宇宙(Metaverse)，是指人类运用数字技术构建的，由现实世界映射或超越现实世界，可与现实世界交互的虚拟世界，具备新型社会体系的数字生活空间。
[0033]如图1所示，该基于图像的动作确定方法，包括：
[0034]S101：获取人体的图像，其中，图像包括：脚部关键点和待处理关键点。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的动作确定方法，所述方法包括：获取人体的图像，其中，所述图像包括：脚部关键点和待处理关键点；确定所述脚部关键点的参考点位置，并确定所述待处理关键点的待处理点位置；如果所述图像指示脚部触地状态，则根据所述参考点位置处理所述待处理点位置，得到所述待处理关键点的目标点位置；以及根据所述参考点位置和所述目标点位置，确定所述人体的目标动作。2.根据权利要求1所述的方法，所述方法还包括：从所述图像中识别地平面位置和脚部参考位置；根据所述地平面位置和所述脚部参考位置，确定脚部和地平面之间的相对位置情况；以及根据所述相对位置情况，确定所述图像是否指示所述脚部触地状态。3.根据权利要求1所述的方法，所述方法还包括：将所述图像输入至触地状态识别模型中，并获得所述触地状态识别模型的输出结果，其中，所述输出结果表示所述图像是否指示所述脚部触地状态。4.根据权利要求1所述的方法，所述待处理关键点是腿部关节关键点；其中，所述根据所述参考点位置处理所述待处理点位置，得到所述待处理关键点的目标点位置，包括：根据所述参考点位置处理所述腿部关节关键点的待处理点位置，得到所述腿部关节关键点的目标点位置。5.根据权利要求4所述的方法，其中，所述根据所述参考点位置处理所述腿部关节关键点的待处理点位置，得到所述腿部关节关键点的目标点位置，包括：确定所述腿部关节关键点的初始关节角度值；根据所述参考点位置和所述待处理点位置，确定所述腿部关节关键点的目标关节角度值；以及将所述腿部关节关键点的所述初始关节角度值调整为所述目标关节角度值，并将调整后所述腿部关节关键点的位置作为所述目标点位置。6.根据权利要求1所述的方法，所述图像还包括：人体重心关键点；所述待处理关键点是躯干及肢体关键点；其中，所述根据所述参考点位置处理所述待处理点位置，得到所述待处理关键点的目标点位置，包括：根据所述参考点位置和所述人体重心关键点的重心点位置，处理所述躯干及肢体关键点的待处理点位置，得到所述躯干及肢体关键点的目标点位置。7.根据权利要求6所述的方法，其中，所述根据所述参考点位置和所述人体重心关键点的重心点位置，处理所述躯干及肢体关键点的待处理点位置，得到所述躯干及肢体关键点的目标点位置，包括：根据所述参考点位置和所述重心点位置，确定地平面作用于脚部的目标地面支反力；根据所述目标地面支反力，处理所述躯干及肢体关键点的待处理点位置，得到所述躯干及肢体关键点的目标点位置。8.根据权利要求7所述的方法，其中，所述根据所述参考点位置和所述重心点位置，确
定地平面作用于脚部的目标地面支反力，包括：确定所述参考点位置和所述重心点位置之间的第一相对位置情况；根据所述第一相对位置情况，确定在每个候选地面支反力的作用下所述脚部关键点与所述重心关键点之间的第一候选跟随误差值；从多个所述第一候选跟随误差值中确定第一目标跟随误差值，并将与所述第一目标跟随误差值对应的候选地面支反力作为所述目标地面支反力。9.根据权利要求8所述的方法，其中，所述从多个所述第一候选跟随误差值中确定第一目标跟随误差值，包括：将多个所述第一候选跟随误差值中值最小第一候选跟随误差值作为所述第一目标跟随误差值。10.根据权利要求8或9所述的方法，其中，所述根据所述目标地面支反力，处理所述躯干及肢体关键点的待处理点位置，得到所述躯干及肢体关键点的目标点位置，包括：确定与所述躯干及肢体关键点对应的多个候选点位置；确定所述参考点位置和每个所述候选点位置之间的第二相对位置情况；根据每个所述第二相对位置情况，确定在所述目标地面支反力的作用下所述躯干及肢体关键点与所述脚部关键点之间的第二候选跟随误差值；从多个所述第二候选跟随误差值之中确定第二目标跟随误差值，并将与所述第二目标跟随误差值对应的候选点位置作为所述躯干及肢体关键点的目标点位置。11.根据权利要求10所述的方法，其中，所述从多个所述第二候选跟随误差值之中确定第二目标跟随误差值，包括：将多个所述第二候选跟随误差值中值最小第二候选跟随误差值作为所述第二目标跟随误差值。12.一种基于图像的动作确定装置，所述装置包括：获取模块，用于获取人体的图像，其中，所述图像包括：...

【专利技术属性】
技术研发人员：李丰果，陈睿智，刘豪杰，冯志强，赵晨，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：