关键点信息的确定方法和离线动作库的生成方法、装置制造方法及图纸

本公开提供了一种关键点信息的确定方法和离线动作库的生成方法、装置，涉及人工智能领域，具体涉及增强现实、虚拟现实、计算机视觉和深度学习等技术领域，可应用于元宇宙和虚拟数字人等场景。关键点信息的确定方法的具体实现方案为：根据识别目标对象在当前图像帧中的当前动作姿态得到的第一关键点信息，预测目标对象在在后图像帧中的动作姿态，得到预测动作姿态的关键点信息；根据第一关键点信息和预测动作姿态的关键点信息，确定与当前图像帧对应的第一动作特征；确定离线动作库中与第一动作特征之间的特征距离小于距离阈值的目标动作特征；根据目标对象在目标动作特征所对应图像帧中动作姿态的第二关键点信息，确定当前动作姿态的关键点信息。姿态的关键点信息。姿态的关键点信息。

【技术实现步骤摘要】
关键点信息的确定方法和离线动作库的生成方法、装置


[0001]本公开涉及人工智能领域，具体涉及增强现实、虚拟现实、计算机视觉和深度学习等
，可应用于元宇宙和虚拟数字人等场景。

技术介绍

[0002]对目标对象(例如人体)动作理解的研究在机器人、自动驾驶、人机交互和元宇宙等多个领域都具有重要意义。例如，可以通过动作理解技术得到目标对象的动作姿态的关键点信息，并基于得到的关键点信息构建虚拟场景。例如，通常都采用单目相机来捕捉目标对象的动作，并基于该捕捉得到的动作的关键点，来实时生成虚拟对象的动作。

技术实现思路

[0003]本公开旨在提供一种关键点信息的确定方法和离线动作库的生成方法、装置、电子设备和存储介质，旨在提高捕捉的动作姿态的关键点信息的精度。
[0004]根据本公开的一个方面，提供了一种关键点信息的确定方法，包括：根据识别目标对象在当前图像帧中的当前动作姿态得到的第一关键点信息，预测目标对象在当前图像帧的在后图像帧中的动作姿态，得到预测动作姿态的关键点信息；根据第一关键点信息和预测动作姿态的关键点信息，确定与当前图像帧对应的第一动作特征；确定离线动作库中与第一动作特征之间的特征距离小于距离阈值的目标动作特征；其中，离线动作库中包括与多个图像帧分别对应的多个动作特征；离线动作库中的每个动作特征是根据所对应的图像帧及其在后图像帧确定的；以及根据目标对象在目标动作特征所对应图像帧中的动作姿态的第二关键点信息，确定当前动作姿态的关键点信息。
[0005]根据本公开的另一个方面，提供了一种离线动作库的生成方法，包括：针对目标动作的图像序列中前预定数量个图像帧中的每个图像帧，获取目标对象在每个图像帧中的动作姿态的第一关键点信息，以及目标对象在每个图像帧的在后图像帧中的动作姿态的第二关键点信息；根据第一关键点信息和第二关键点信息，确定与每个图像帧对应的动作特征；以及确定与预定数量个图像帧分别对应的预定数量个动作特征为离线动作库中目标动作的动作特征。
[0006]根据本公开的另一个方面，提供了一种关键点信息的确定装置，包括：姿态预测模块，用于根据识别目标对象在当前图像帧中的当前动作姿态得到的第一关键点信息，预测目标对象在当前图像帧的在后图像帧中的动作姿态，得到预测动作姿态的关键点信息；特征确定模块，用于根据第一关键点信息和预测动作姿态的关键点信息，确定与当前图像帧对应的第一动作特征；目标动作确定模块，用于确定离线动作库中与第一动作特征之间的特征距离小于距离阈值的目标动作特征；其中，离线动作库中包括与多个图像帧分别对应的多个动作特征，离线动作库中的每个动作特征是根据所对应的图像帧及其在后图像帧确定的；以及第一信息确定模块，用于根据目标对象在目标动作特征所对应图像帧中的动作姿态的第二关键点信息，确定当前动作姿态的关键点信息。
[0007]根据本公开的另一个方面，提供了一种离线动作库的生成装置，包括：关键点信息获取模块，用于针对目标动作的图像序列中前预定数量个图像帧中的每个图像帧，获取目标对象在每个图像帧中的动作姿态的第一关键点信息，以及目标对象在每个图像帧的在后图像帧中的动作姿态的第二关键点信息；第一特征确定模块，用于根据第一关键点信息和第二关键点信息，确定与每个图像帧对应的动作特征；以及第二特征确定模块，用于确定与预定数量个图像帧分别对应的预定数量个动作特征为离线动作库中目标动作的动作特征。
[0008]根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的关键点信息的确定方法和/或离线动作库的生成方法。
[0009]根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的关键点信息的确定方法和/或离线动作库的生成方法。
[0010]根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现本公开提供的关键点信息的确定方法和/或离线动作库的生成方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1是根据本公开实施例的关键点信息的确定方法和离线动作库的生成方法、装置的应用场景示意图；
[0014]图2是根据本公开实施例的关键点信息的确定方法的流程示意图；
[0015]图3是根据本公开实施例的确定动作特征之间的特征距离的原理示意图；
[0016]图4是根据本公开实施例的实现关键点信息的确定方法的整体流程图；
[0017]图5是根据本公开实施例的离线动作库的生成方法的流程示意图；
[0018]图6是根据本公开实施例的关键点信息的确定装置的结构框图；
[0019]图7是根据本公开实施例的离线动作库的生成装置的结构框图；以及
[0020]图8是用来实施本公开实施例的关键点信息的确定方法或离线动作库的生成方法的电子设备的框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]单目动作捕捉是指使用一个单目相机采集单张图像，并感知单张图像中目标对象
的动作姿态的3D关键点，然后根据该3D关键点来实时生成虚拟对象的动作。但是，通常实时感知得到的3D关键点的位置精度不高，例如通常会由于遮挡情况的存在，导致3D关键点的位置丢失，在对复杂动作(例如双手抱拳)进行捕捉时，则会存在生成的虚拟对象的模型被穿透或者某些3D关键点无法在人机交互时被触及的问题。
[0023]为了提高确定的关键点信息的精度，本公开提供了一种关键点信息的确定方法和离线动作库的生成方法、装置、设备和介质。以下先结合图1对本公开提供的方法和装置的应用场景进行描述。
[0024]图1是根据本公开实施例的关键点信息的确定方法和离线动作库的生成方法、装置的应用场景示意图。
[0025]如图1所示，该实施例的应用场景100可以包括终端设备110，该终端设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和智能相机等等。
[0026]该终端设备110例如可以集成有单目动作捕捉系统，用于线上实时地捕捉目标对象的图像，并实时地分析图像得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种关键点信息的确定方法，包括：根据识别目标对象在当前图像帧中的当前动作姿态得到的第一关键点信息，预测所述目标对象在所述当前图像帧的在后图像帧中的动作姿态，得到预测动作姿态的关键点信息；根据所述第一关键点信息和所述预测动作姿态的关键点信息，确定与所述当前图像帧对应的第一动作特征；确定离线动作库中与所述第一动作特征之间的特征距离小于距离阈值的目标动作特征；所述离线动作库中包括与多个图像帧分别对应的多个动作特征；以及根据所述目标对象在所述目标动作特征所对应图像帧中的动作姿态的第二关键点信息，确定所述当前动作姿态的关键点信息，其中，所述离线动作库中的每个动作特征是根据所对应的图像帧及其在后图像帧确定的。2.根据权利要求1所述的方法，其中，动作特征指示目标对象的多个关键点的关键点信息；所述方法还包括：确定所述离线动作库中的各动作特征所指示的每个关键点的关键点信息与所述第一动作特征指示的所述每个关键点的关键点信息之间的子特征距离，得到多个子特征距离；以及根据与当前动作对应的多个关键点的权重对所述多个子特征距离加权，得到所述各动作特征与所述第一动作特征之间的特征距离。3.根据权利要求1所述的方法，其中，所述方法还包括：响应于所述离线动作库中不存在所述目标动作，但存在与第二动作特征之间的特征距离小于所述预定距离的动作特征，根据所述第一关键点信息和所述当前图像帧的在前图像帧中动作姿态的第三关键点信息，确定所述当前动作姿态的关键点信息，其中，所述第二动作特征是与所述在前图像帧对应的动作特征。4.根据权利要求1所述的方法，其中，所述根据识别目标对象在当前图像帧中的当前动作姿态得到的第一关键点信息，预测所述目标对象在所述当前图像帧的在后图像帧中的动作姿态，得到预测动作姿态的关键点信息包括：响应于所述离线动作库中存在与第二动作特征之间的特征距离小于所述预定距离的动作特征，根据所述第一关键点信息和所述当前图像帧的在前图像帧中动作姿态的第四关键点信息，预测所述目标对象在所述在后图像帧中的动作姿态，其中，所述第二动作特征是与所述在前图像帧对应的动作特征。5.根据权利要求1所述的方法，其中，所述根据所述目标对象在所述目标动作特征所对应图像帧中的动作姿态的第二关键点信息，确定所述当前动作姿态的关键点信息包括：根据所述第二关键点信息对所述第一关键点信息进行平滑处理，得到所述当前动作姿态的关键点信息。6.一种离线动作库的生成方法，包括：针对目标动作的图像序列中前预定数量个图像帧中的每个图像帧，获取目标对象在所述每个图像帧中的动作姿态的第一关键点信息，以及所述目标对象在每个图像帧的在后图像帧中的动作姿态的第二关键点信息；
根据所述第一关键点信息和所述第二关键点信息，确定与所述每个图像帧对应的动作特征；以及确定与所述预定数量个图像帧分别对应的预定数量个动作特征为所述离线动作库中所述目标动作的动作特征。7.根据权利要求6所述的方法，其中，获取目标对象在所述每个图像帧中的动作姿态的第一关键点信息，以及所述目标对象在每个图像帧的在后图像帧中的动作姿态的第二关键点信息包括：采用多目动作捕捉技术捕捉所述图像序列，得到所述目标对象在所述图像序列中每个图像帧中的动作姿态的关键点信息。8.一种关键点信息的确定装置，包括：姿态预测模块，用于根据识别目标对象在当前图像帧中的当前动作姿态得到的第一关键点信息，预测所述目标对象在所述当前图像帧的在后图像帧中的动作姿态，得到预测动作姿态的关键点信息；特征确定模块，用于...

【专利技术属性】
技术研发人员：李丰果，刘豪杰，陈睿智，范斌，赵晨，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：