人机交互动作检测方法、装置、存储介质及处理器制造方法及图纸

本发明专利技术公开了一种人机交互动作检测方法、装置、存储介质及处理器。其中，该方法包括：根据预设多层卷积神经网络对目标图片进行检测，得到目标图片中存在的至少一个目标对象对应的类别和边框坐标；确定至少一个目标对象中置信度最高的目标对象为目标检测对象；将目标检测对象对应的类别和边框坐标输入至预设多阶段回归卷积神经网络，进而对目标检测对象进行人体关节部位的位置检测，得到目标检测对象中的人体关节部位的位置坐标；对位置坐标进行归一化处理，进而根据预设多层递归神经网络对完成归一化处理之后的位置坐标进行检测，得到目标图片的类别标签。本发明专利技术解决了现有技术中存在的人机交互动作检测准确度和效率较低的技术问题。

Man-machine interactive action detection method, device, storage medium and processor

The invention discloses a man-machine interactive action detection method, a device, a storage medium and a processor. Among them, the method comprises the following steps: according to preset multilayer convolutional neural network to detect the target image, and get a classification frame coordinate corresponding to at least one target object in the image; determining at least one target confidence highest target object detection object; and category frame coordinate corresponding to the target object detection the input to the preset multi stage regression convolutional neural network, and then the position detection of human knee on target detection object, get the position coordinates of the body joints in the object detection; location coordinates are normalized and tested according to the preset position coordinates of the multilayer recurrent neural network after the normalization, get the target image the category labels. The invention solves the technical problem that the detection accuracy and the efficiency of the human-computer interaction are low in the existing technology.

【技术实现步骤摘要】
人机交互动作检测方法、装置、存储介质及处理器
本专利技术涉及人机交互领域，具体而言，涉及一种人机交互动作检测方法、装置、存储介质及处理器。
技术介绍
人机交互动作检测和分类是人机交互的一项基础技术，对于智能家居、安防系统和病人监护等人类与电子设备交互的场景中具有重要意义。例如医疗行业，在手势识别的帮助下，聋哑病人可以在护士不在时，通过一个摄像头和简单的手势将需求传达给医院，解决了独立电子设备配置昂贵和病人不会使用计算机等问题。当前用于人体动作识别的方法为基于two-stream卷积神经网络的方法，其将含时间信息光流场和RBG图像同时输入卷积神经网络并进行信息融合，最终输出整段视频的类别标签。由于光流场含的时间信息局限于附近几帧，限制了结果的准确性，并且由于输出为一段视频的类别标签，需要逐帧对时间窗口进行滑动，计算了大量重复信息，限制了系统的效率和实时性。综上，现有技术中的人机交互动作检测存在准确度和效率较低的技术问题。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种人机交互动作检测方法、装置、存储介质及处理器，以至少解决现有技术中存在的人机交互动作检测准确度和效率较低的技术问题。根据本专利技术实施例的一个方面，提供了一种人机交互动作检测方法，该方法包括：根据预设多层卷积神经网络对目标图片进行检测，得到上述目标图片中存在的至少一个目标对象对应的类别以及上述至少一个目标对象对应的边框坐标；确定上述至少一个目标对象中置信度最高的上述目标对象为目标检测对象；将上述目标检测对象对应的上述类别和上述目标检测对象对应的上述边框坐标输入至预设多阶段回归卷积神经网络，进而根据上述预设多阶段回归卷积神经网络对上述目标检测对象进行人体关节部位的位置检测，得到上述目标检测对象中的上述人体关节部位的位置坐标；对上述位置坐标进行归一化处理，进而根据预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测，得到上述目标图片的检测结果，其中，上述检测结果中至少包括上述目标图片的类别标签。进一步地，在根据预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测之前，上述方法还包括：根据预设损失函数和预设算法对上述预设多层递归神经网络进行训练，其中，上述预设损失函数为分类函数，上述预设算法为基于时间尺度的反向传播算法。进一步地，上述根据预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测，得到上述目标图片的检测结果包括：根据上述预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测，得到上述目标图片对应的多个类别以及上述多个类别中的每个上述类别对应的多个激活值；在预设时间窗内获取每个上述类别对应的上述多个激活值的平均值；将多个上述平均值中的最大平均值对应的上述类别确定为上述目标图片的类别标签，从而得到上述检测结果。进一步地，在根据预设多层卷积神经网络对目标图片进行检测之前，上述方法还包括：获取预设摄像头中拍摄到的人体姿态视频图像；将上述人体姿态视频图像中的任意一帧图片确定为上述目标图片。根据本专利技术实施例的另一方面，还提供了一种人机交互动作检测装置，该装置包括：检测单元，用于根据预设多层卷积神经网络对目标图片进行检测，得到上述目标图片中存在的至少一个目标对象对应的类别以及上述至少一个目标对象对应的边框坐标；第一确定单元，用于确定上述至少一个目标对象中置信度最高的上述目标对象为目标检测对象；第一处理单元，用于将上述目标检测对象对应的上述类别和上述目标检测对象对应的上述边框坐标输入至预设多阶段回归卷积神经网络，进而根据上述预设多阶段回归卷积神经网络对上述目标检测对象进行人体关节部位的位置检测，得到上述目标检测对象中的上述人体关节部位的位置坐标；第二处理单元，用于对上述位置坐标进行归一化处理，进而根据预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测，得到上述目标图片的检测结果，其中，上述检测结果中至少包括上述目标图片的类别标签。进一步地，上述装置还包括：训练单元，用于根据预设损失函数和预设算法对上述预设多层递归神经网络进行训练，其中，上述预设损失函数为分类函数，上述预设算法为基于时间尺度的反向传播算法。进一步地，上述第二处理单元包括：检测子单元，用于根据上述预设多层递归神经网络对完成上述归一化处理之后的上述位置坐标进行检测，得到上述目标图片对应的多个类别以及上述多个类别中的每个上述类别对应的多个激活值；获取子单元，用于在预设时间窗内获取每个上述类别对应的上述多个激活值的平均值；确定子单元，用于将多个上述平均值中的最大平均值对应的上述类别确定为上述目标图片的类别标签，从而得到上述检测结果。进一步地，上述装置还包括：获取单元，用于获取预设摄像头中拍摄到的人体姿态视频图像；第二确定单元，用于将上述人体姿态视频图像中的任意一帧图片确定为上述目标图片。根据本专利技术实施例的又一方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行上述的人机交互动作检测方法。根据本专利技术实施例的又一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行上述的人机交互动作检测方法。在本专利技术实施例中，采用根据预设多层卷积神经网络对目标图片进行检测，得到目标图片中存在的至少一个目标对象对应的类别以及至少一个目标对象对应的边框坐标的方式，通过确定至少一个目标对象中置信度最高的目标对象为目标检测对象；从而将目标检测对象对应的类别和目标检测对象对应的边框坐标输入至预设多阶段回归卷积神经网络，进而根据预设多阶段回归卷积神经网络对目标检测对象进行人体关节部位的位置检测，得到目标检测对象中的人体关节部位的位置坐标；达到了对位置坐标进行归一化处理，进而根据预设多层递归神经网络对完成归一化处理之后的位置坐标进行检测，得到目标图片的检测结果的目的，其中，检测结果中至少包括目标图片的类别标签。本专利技术实施例实现了提升人机交互动作检测的准确率、提高人机交互动作检测的效率的技术效果，进而解决了现有技术中存在的人机交互动作检测准确度和效率较低的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种可选的人机交互动作检测方法的流程示意图；图2是根据本专利技术实施例的另一种可选的人机交互动作检测方法的流程示意图；图3是根据本专利技术实施例的又一种可选的人机交互动作检测方法的流程示意图；图4是根据本专利技术实施例的一种可选的人机交互动作检测装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用本文档来自技高网...

【技术保护点】
一种人机交互动作检测方法，其特征在于，包括：根据预设多层卷积神经网络对目标图片进行检测，得到所述目标图片中存在的至少一个目标对象对应的类别以及所述至少一个目标对象对应的边框坐标；确定所述至少一个目标对象中置信度最高的所述目标对象为目标检测对象；将所述目标检测对象对应的所述类别和所述目标检测对象对应的所述边框坐标输入至预设多阶段回归卷积神经网络，进而根据所述预设多阶段回归卷积神经网络对所述目标检测对象进行人体关节部位的位置检测，得到所述目标检测对象中的所述人体关节部位的位置坐标；对所述位置坐标进行归一化处理，进而根据预设多层递归神经网络对完成所述归一化处理之后的所述位置坐标进行检测，得到所述目标图片的检测结果，其中，所述检测结果中至少包括所述目标图片的类别标签。

【技术特征摘要】
1.一种人机交互动作检测方法，其特征在于，包括：根据预设多层卷积神经网络对目标图片进行检测，得到所述目标图片中存在的至少一个目标对象对应的类别以及所述至少一个目标对象对应的边框坐标；确定所述至少一个目标对象中置信度最高的所述目标对象为目标检测对象；将所述目标检测对象对应的所述类别和所述目标检测对象对应的所述边框坐标输入至预设多阶段回归卷积神经网络，进而根据所述预设多阶段回归卷积神经网络对所述目标检测对象进行人体关节部位的位置检测，得到所述目标检测对象中的所述人体关节部位的位置坐标；对所述位置坐标进行归一化处理，进而根据预设多层递归神经网络对完成所述归一化处理之后的所述位置坐标进行检测，得到所述目标图片的检测结果，其中，所述检测结果中至少包括所述目标图片的类别标签。2.根据权利要求1所述的方法，其特征在于，在根据预设多层递归神经网络对完成所述归一化处理之后的所述位置坐标进行检测之前，所述方法还包括：根据预设损失函数和预设算法对所述预设多层递归神经网络进行训练，其中，所述预设损失函数为分类函数，所述预设算法为基于时间尺度的反向传播算法。3.根据权利要求1所述的方法，其特征在于，所述根据预设多层递归神经网络对完成所述归一化处理之后的所述位置坐标进行检测，得到所述目标图片的检测结果包括：根据所述预设多层递归神经网络对完成所述归一化处理之后的所述位置坐标进行检测，得到所述目标图片对应的多个类别以及所述多个类别中的每个所述类别对应的多个激活值；在预设时间窗内获取每个所述类别对应的所述多个激活值的平均值；将多个所述平均值中的最大平均值对应的所述类别确定为所述目标图片的类别标签，从而得到所述检测结果。4.根据权利要求1所述的方法，其特征在于，在根据预设多层卷积神经网络对目标图片进行检测之前，所述方法还包括：获取预设摄像头中拍摄到的人体姿态视频图像；将所述人体姿态视频图像中的任意一帧图片确定为所述目标图片。5.一种人机交互动作检测装置，其特征在于，包括：检测单元，用于根据预设多层卷积神经网络对目标图片进行检测，得到所述目标图片中存...

【专利技术属性】
技术研发人员：王志鹏，周文明，
申请(专利权)人：珠海习悦信息技术有限公司，
类型：发明
国别省市：广东,44