人体位姿识别方法及装置制造方法及图纸

公开了一种人体位姿识别方法及装置，包括：从待识别视频中裁剪出包含人体的人体形态区域；在人体形态区域对人体进行位姿识别，得到第一位姿识别结果和与人体对应的人体骨架数据；基于人体骨架数据识别人体的位姿，得到第二位姿识别结果；基于第一位姿识别结果和第二位姿识别结果，确定人体的位姿。本申请由于在确定人体位姿的过程中，不仅考虑根据人体形态区域得到的第一位姿识别结果，还会在第一位姿识别结果的基础上结合根据人体骨架数据得到的第二位姿识别结果进行分析，通过第一位姿识别结果和第二位姿识别结果共同去确定人体的位姿，不仅能够降低人体骨架噪声，而且也不会过拟合视频中的场景和其他物体，有效地提高了人体位姿识别的准确性。

Human Posture Recognition Method and Device

【技术实现步骤摘要】
人体位姿识别方法及装置
本申请涉及图像识别
，尤其涉及人体位姿识别方法及装置。
技术介绍
人体位姿识别在计算机视觉、模式识别、人工智能等领域中，已经成为一个极具意义的研究热点，其具有广阔的应用领域，包括虚拟现实、生物力学、游戏、医疗健康等人机交互领域。现有技术存在以下两种对视频中人体位姿进行识别的方法：在第一种识别方法中，利用深度传感器估计视频中人体骨架，从而确定出人体位姿，采用上述方法得到的人体骨架噪声较多，从而识别出的人体位姿并不准确，并且由于深度传感器使用环境的局限性，仅适用于室内。在第二种识别方法中，随机裁剪出视频中的影像并进行位姿识别，采用上述方法容易导致视频中的场景和物体过拟合，从而导致识别出的人体位姿不准确。综上所述，无论是采用上述第一种识别方法还是第二种识别方法，均存在人体位姿识别结果不准确的技术问题。
技术实现思路
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种人体位姿识别方法及装置。根据本申请的第一个方面，提供了一种人体位姿识别方法，包括：从待识别视频中裁剪出包含人体的人体形态区域；在所述人体形态区域对所述人体进行位姿识别，得到第一位姿识别结果和与所述人体对应的人体骨架数据；基于所述人体骨架数据识别所述人体的位姿，得到第二位姿识别结果；基于所述第一位姿识别结果和所述第二位姿识别结果，确定所述人体的位姿。根据本申请的第二个方面，提供了一种人体位姿识别装置，包括：裁剪模块，用于从待识别视频中裁剪出包含人体的人体形态区域；第一输出模块，用于在所述人体形态区域对所述人体进行位姿识别，得到第一位姿识别结果和与所述人体对应的人体骨架数据；第二输出模块，用于基于所述人体骨架数据识别所述人体的位姿，得到第二位姿识别结果；确定模块，用于基于所述第一位姿识别结果和所述第二位姿识别结果，确定所述人体的位姿。根据本申请的第三个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第一个方面的人体位姿识别方法。根据本申请的第四个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述第一个方面的人体位姿识别方法。根据本申请的人体位姿识别方法及装置，通过从待识别视频中裁剪出包含人体的人体形态区域，并在人体形态区域对人体进行位姿识别，得到第一位姿识别结果和与人体对应的人体骨架数据。接着基于人体骨架数据识别人体的位姿，得到第二位姿识别结果。最终，结合第一位姿识别结果和第二位姿识别结果确定人体的位姿。由于在确定人体位姿的过程中，不仅考虑根据人体形态区域得到的第一位姿识别结果，还会在第一位姿识别结果的基础上结合根据人体骨架数据得到的第二位姿识别结果进行分析，通过第一位姿识别结果和第二位姿识别结果共同去确定人体的位姿，不仅能够降低人体骨架噪声，而且也不会过拟合视频中的场景和其他物体，有效地提高了人体位姿识别的准确性。附图说明通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常表示相同部件或步骤。图1是本申请的人体位姿识别方法所对应的系统框图。图2是本申请的人体位姿识别方法所对应的神经网络结构图。图3是本申请实施例提供的人体位姿识别方法的流程示意图。图4是本申请利用I3D模型在人体形态区域对人体进行位姿识别输出与人体对应的人体骨架数据过程的示意性流程图。图5是本申请利用3D卷积神经网络获得与一个人体特征图对应的人体骨架坐标过程的示意性流程图。图6是本申请根据热图确定人体关键点在人体特征图中的坐标过程的示意性流程图。图7是本申请获得偏置向量过程的示意性流程图。图8是本申请利用2D卷积神经网络基于人体骨架数据识别人体的位姿，得到第二位姿识别结果过程的示意性流程图。图9是本申请一实施例的人体位姿识别装置的结构示意图。图10是本申请的第二输出模块903的结构示意图。图11是本申请的第一输出模块902的结构示意图。图12是本申请的人体骨架坐标获得子模块9022的结构示意图。图13是本申请的人体关键点确定单元90222的结构示意图。图14是本申请另一实施例的人体位姿识别装置的结构示意图。图15是本申请的位姿识别子模块9031的结构示意图。图16是本申请另一实施例的人体位姿识别装置的结构示意图。图17是本申请的确定模块904的结构示意图。图18是本申请一示例性实施例提供的电子设备的结构图。其中，11为人体检测框，12为I3D模型，13为反卷积层，14为2D卷积神经网络，21为视频图像，22为第一位姿识别结果，23为人体特征图，24为第一中间数据，25为第二中间数据，26为第三中间数据，27为第四中间数据，28为第五中间数据，29为第二位姿识别结果。具体实施方式下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。申请概述如上所述，现有技术在对视频中人体位姿进行识别时存在识别结果不准确的技术问题。基于上述技术问题，本申请提供的人体位姿识别方法及装置，首先从待识别视频中裁剪出包含人体的人体形态区域。其次在人体形态区域对人体进行位姿识别，得到第一位姿识别结果和与人体对应的人体骨架数据。再基于人体骨架数据识别人体的位姿，得到第二位姿识别结果。最后基于第一位姿识别结果和第二位姿识别结果，确定人体的位姿。这样，由于在确定人体位姿的过程中，不仅考虑根据人体形态区域得到的第一位姿识别结果，还会在第一位姿识别结果的基础上结合根据人体骨架数据得到的第二位姿识别结果进行分析，通过第一位姿识别结果和第二位姿识别结果共同去确定人体的位姿，不仅能够降低人体骨架噪声，而且也不会过拟合视频中的场景和其他物体，有效地提高了人体位姿识别的准确性。在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。示例性系统图1示出了本申请的人体位姿识别方法的系统框图，根据该系统框图可知：首先，待识别视频经过裁剪后得到人体形态区域，人体形态区域为人体检测框11内的区域。接着，利用I3D模型12对人体进行位姿识别，该位姿识别过程具体包括：基于RGB分类(RGB-basedactionrecognition)、人体位姿估计(Poseestimation)和基于人体骨架分类(Pose-basedactionrecognition)。其中，利用反卷积层13进行人体位姿估计，利用2D卷积神经网络14进行基于人体骨架分类。在通过上述位姿识别过程获得第一位姿识别结果和第二位姿识别结果后，将第一位姿识别结果和第二位姿识别结果进行融合，最终确定出人体的位姿。图2示出了本申请的人体位姿识别方法中与各个位姿识别阶段所对应的神经网络结构图，根据该神经网络结构图可知：在裁剪出人体形态区域后，若人体形态区域包含的视频图像21的数据结构为8×7×7×2048，8×7×7×2048表示：时间维度为8、高度维度为7、宽度维度为7、数据特征为2048。在对该视频图像本文档来自技高网...

【技术保护点】
1.一种人体位姿识别方法，包括：从待识别视频中裁剪出包含人体的人体形态区域；在所述人体形态区域对所述人体进行位姿识别，得到第一位姿识别结果和与所述人体对应的人体骨架数据；基于所述人体骨架数据识别所述人体的位姿，得到第二位姿识别结果；基于所述第一位姿识别结果和所述第二位姿识别结果，确定所述人体的位姿。

【技术特征摘要】
1.一种人体位姿识别方法，包括：从待识别视频中裁剪出包含人体的人体形态区域；在所述人体形态区域对所述人体进行位姿识别，得到第一位姿识别结果和与所述人体对应的人体骨架数据；基于所述人体骨架数据识别所述人体的位姿，得到第二位姿识别结果；基于所述第一位姿识别结果和所述第二位姿识别结果，确定所述人体的位姿。2.根据权利要求1所述的人体位姿识别方法，基于所述人体骨架数据识别所述人体的位姿，得到第二位姿识别结果，包括：利用2D卷积神经网络基于所述人体骨架数据识别所述人体的位姿，得到所述第二位姿识别结果。3.根据权利要求1所述的人体位姿识别方法，在所述人体形态区域对所述人体进行位姿识别，得到与所述人体对应的人体骨架数据，包括：将所述人体形态区域拆分为多个人体特征图；利用3D卷积神经网络分别获得与每个所述人体特征图对应的人体骨架坐标；将与各个所述人体特征图对应的各个所述人体骨架坐标作为所述人体骨架数据。4.根据权利要求3所述的人体位姿识别方法，利用所述3D卷积神经网络获得与一个所述人体特征图对应的所述人体骨架坐标，包括：利用所述3D卷积神经网络获得与所述人体特征图中各个人体关键点对应的热图；根据各个所述热图，分别确定各个所述人体关键点在所述人体特征图中的坐标；根据各个所述人体关键点在所述人体特征图中的坐标，获得与所述人体特征图对应的所述人体骨架坐标。5.根据权利要求4所述的人体位姿识别方法，根据所述热图确定所述人体关键点在所述人体特征图中的坐标，包括：利用与所述热图对应的训练像素点目标，获得所述热图中各个像素点归属于所述人体关键点的概率；将所述概率中最大值对应的像素点的坐标，确定为所述人体关键点的第一坐标；对所述第一坐标叠加偏置向量，获得所述人体关键点的第二坐标；基于所述热图和所述人体特征图之间的比例关系，对所述第二坐标进行放大，获得所述人体关键点在所述人体特征图中的坐标。6.根据权利要...

【专利技术属性】
技术研发人员：朱佳刚，黄冠，徐亮，
申请(专利权)人：北京地平线机器人技术研发有限公司，
类型：发明
国别省市：北京,11