基于深度学习的人体动作检测方法、设备及存储介质技术

本申请提供一种基于深度学习的人体动作检测方法、设备及存储介质，所述方法包括：获取目标视频对应的图像序列中获取一原始图像；从原始图像中截取目标图像，并获取对应的预设位置信息；基于目标图像建立目标坐标系；将目标图像输入预设的人体关键点检测模型，得到第一人体关键点坐标；根据第一人体关键点坐标以及预设位置信息，得到第二人体关键点坐标；基于第二人体关键点坐标，确定人体的目标边界框；基于目标边界框，获取图像序列中原始图像的所有在后图像中的第三人体关键点坐标；将获取的第二人体关键点坐标以及第三人体关键点坐标输入反向动力学模型，得到驱动参数化人体模型的旋转数据，得到人体的动作。本申请能够有效地检测人体动作。地检测人体动作。地检测人体动作。

【技术实现步骤摘要】
基于深度学习的人体动作检测方法、设备及存储介质


[0001]本申请涉及人体检测
，尤其涉及一种基于深度学习的人体动作检测方法、设备及存储介质。

技术介绍

[0002]人体动作捕捉技术，简称人体动捕技术(Motion Capture,Mocap)，用于捕捉视频中人体运动的姿态或者运动数据，将这些运动姿态数据作为一种驱动数据去驱动虚拟形象模型(如，参数化人体模型)或者进行行为分析。在相关技术中，为了使采集到的动作数据能很好的驱动虚拟形象模型，通常采用反向动力学(Inverse Kinematics，IK)算法计算得到每个关节点的旋转信息，但是直接采用IK算法得到的旋转角缺少一个自由度，无法有效地对人体动作进行检测。

技术实现思路

[0003]本申请实施例公开了一种基于深度学习的人体动作检测方法、设备及介质，解决了无法有效地对人体动作进行检测的技术问题。
[0004]本申请提供一种基于深度学习的人体动作检测方法，所述方法包括：获取目标视频对应的图像序列，从所述图像序列中获取一原始图像；从所述原始图像中截取目标图像，并获取所述目标图像在所述原始图像中对应的预设位置信息；基于所述目标图像建立目标坐标系；将所述目标图像输入预设的人体关键点检测模型，检测所述目标图像中人体在所述目标坐标系中对应的第一人体关键点坐标；根据所述第一人体关键点坐标以及所述预设位置信息，得到第二人体关键点坐标；基于所述第二人体关键点坐标，确定所述人体的目标边界框；基于所述目标边界框，获取所述图像序列中所述原始图像之后的所有图像中的第三人体关键点坐标；将获取的第二人体关键点坐标以及第三人体关键点坐标输入反向动力学模型，得到对应的旋转数据；基于所述旋转数据，驱动参数化人体模型，得到所述人体的动作。
[0005]在本申请的一些实施例中，将所述目标图像输入预设的人体关键点检测模型之前，所述方法还包括：计算所述目标图像的跟踪置信度；在所述目标图像的跟踪置信度满足预设跟踪置信度时，将所述目标图像输入人体关键点检测模型；在所述目标图像的跟踪置信度不满足预设跟踪置信度时，舍弃所述目标图像，返回执行从所述原始图像中截取目标图像，以获取一更新的目标图像。
[0006]在本申请的一些实施例中，所述计算所述目标图像的跟踪置信度，包括：将所述目标图像输入预设的人体跟踪模型，得到对所述目标图像的置信度分值；在所述置信度分值大于或等于预设置信分数时，确定所述目标图像满足所述预设跟踪置信度；在所述置信度分值小于所述预设置信分数时，确定所述目标图像不满足所述预设跟踪置信度。
[0007]在本申请的一些实施例中，还包括：获取所述原始图像对应的原始边界框；基于预设的放大比例，放大所述原始图像对应的原始边界框；基于放大的原始边界框，建立所述原
始图像对应的原始坐标系。
[0008]在本申请的一些实施例中，所述从所述原始图像中截取目标图像，并获取所述目标图像在所述原始图像中对应的预设位置信息，包括：基于实例分割算法，检测所述放大的原始边界框内的人体，确定所述人体的预设边界框；基于所述预设边界框，截取所述目标图像，并获取所述预设边界框在所述原始坐标系中对应的预设位置信息。
[0009]在本申请的一些实施例中，还包括：从所述预设位置信息中获取预设位置对应的横坐标以及纵坐标；将所述预设位置对应的横坐标作为第一差值；将所述预设位置对应的纵坐标作为第二差值。
[0010]在本申请的一些实施例中，所述根据所述第一人体关键点坐标以及所述预设位置信息，得到第二人体关键点坐标，包括：计算所述第一人体关键点坐标对应的横坐标与所述第一差值的第一和值；计算所述第一人体关键点坐标对应的纵坐标与所述第二差值的第二和值；基于所述第一和值以及所述第二和值，得到在所述原始坐标系中的所述第二人体关键点坐标。
[0011]本申请还提供一种基于深度学习的人体动作检测装置，包括：获取模块，用于获取目标视频对应的图像序列，从所述图像序列中获取一原始图像；第一截取模块，用于从所述原始图像中截取目标图像，并获取所述目标图像在所述原始图像中对应的预设位置信息；构建模块，用于基于所述目标图像建立目标坐标系；检测模块，用于将所述目标图像输入预设的人体关键点检测模型，检测所述目标图像中人体在所述目标坐标系中对应的第一人体关键点坐标；计算模块，用于根据所述第一人体关键点坐标以及所述预设位置信息，得到第二人体关键点坐标；确定模块，用于基于所述第二人体关键点坐标，确定所述人体的目标边界框；第二截取模块，用于基于所述目标边界框，获取所述图像序列中所述原始图像之后的所有图像中的第三人体关键点坐标；输出模块，用于将获取的第二人体关键点坐标以及第三人体关键点坐标输入反向动力学模型，得到对应的旋转数据；驱动模块，用于基于所述旋转数据，驱动参数化人体模型，得到所述人体的动作。
[0012]本申请还提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的基于深度学习的人体动作检测方法。
[0013]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现所述的基于深度学习的人体动作检测方法。
[0014]在本申请的基于深度学习的人体动作检测方法中，首先，从图像序列中获取一原始图像，并从原始图像中截取目标图像，减少对原始图像中背景区域的检测，优化检测流程；其次，对目标图像的人体关键点进行检测，得到第一人体关键点坐标，再结合原始图像中的预设位置信息，可以进一步得到人体在原始图像中的第二人体关键点坐标，基于该第二人体关键点坐标，得到人体的目标边界框，为检测图像序列中的后续原始图像提供检测框，简化检测流程的同时，提高检测的精度；最后，利用反向动力学模型得到驱动参数化人体模型的旋转数据，有效地对人体动作进行检测。
附图说明
[0015]图1是本申请一实施例提供的电子设备的结构图。
[0016]图2是本申请一实施例提供的基于深度学习的人体动作检测方法的流程图。
[0017]图3是本申请一实施例提供的原始坐标系的示意图。
[0018]图4是本申请一实施例提供的原始坐标系以及目标坐标的示意图。
[0019]图5是本申请一实施例提供的基于深度学习的人体动作检测装置的结构示意图。
具体实施方式
[0020]为了便于理解，示例性的给出了部分与本申请实施例相关概念的说明以供参考。
[0021]需要说明的是，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”是用于区别类似的对象，而不是用于描述特定的顺序或先后次序。
[0022]另外需要说明的是，本申请实施例中公开的方法或流程图所示出的方法，包括用于实现方法的一个或多个步骤，在不脱离权利要求的范围的情况下，多个步骤的执行顺序可以彼此互换，其中某些步骤也可以被删除。
[0023]下面将结合附图对一些实施例做出说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的人体动作检测方法，其特征在于，包括：获取目标视频对应的图像序列，从所述图像序列中获取一原始图像；从所述原始图像中截取目标图像，并获取所述目标图像在所述原始图像中对应的预设位置信息；基于所述目标图像建立目标坐标系；将所述目标图像输入预设的人体关键点检测模型，检测所述目标图像中人体在所述目标坐标系中对应的第一人体关键点坐标；根据所述第一人体关键点坐标以及所述预设位置信息，得到第二人体关键点坐标；基于所述第二人体关键点坐标，确定所述人体的目标边界框；基于所述目标边界框，获取所述图像序列中所述原始图像之后的所有图像中的第三人体关键点坐标；将获取的第二人体关键点坐标以及第三人体关键点坐标输入反向动力学模型，得到对应的旋转数据；基于所述旋转数据，驱动参数化人体模型，得到所述人体的动作。2.根据权利要求1所述的方法，其特征在于，所述基于所述目标边界框，获取所述图像序列中所述原始图像之后的所有图像中的第三人体关键点坐标，包括：获取第N张原始图像对应的目标边界框；基于所述第N张原始图像对应的目标边界框，截取第N+1张原始图像对应的目标图像，其中，所述图像序列中共有M张原始图像，N∈M；基于所述第N+1张原始图像对应的目标图像，得到所述第N+1张原始图像对应的第三人体关键点坐标。3.根据权利要求1所述的方法，其特征在于，将所述目标图像输入预设的人体关键点检测模型之前，所述方法还包括：计算所述目标图像的跟踪置信度；在所述目标图像的跟踪置信度满足预设跟踪置信度时，将所述目标图像输入人体关键点检测模型；在所述目标图像的跟踪置信度不满足预设跟踪置信度时，舍弃所述目标图像，返回执行从所述原始图像中截取目标图像，以获取一更新的目标图像。4.根据权利要求3所述的方法，其特征在于，所述计算所述目标图像的跟踪置信度，包括：将所述目标图像输入预设的人体跟踪模型，得到对所述目标图像的置信...

【专利技术属性】
技术研发人员：吉祥，
申请(专利权)人：抖动科技深圳有限公司，
类型：发明
国别省市：