基于深度学习的人员行为识别方法技术

本发明专利技术公开了基于深度学习的人员行为识别方法，涉及计算机技术领域，包括S1构建目标检测模型、关键点检测模型、图像分割模型、行为初始判别模型和行为最终判别模型；S2训练优化目标检测模型、图像分割模型、关键点检测模型、行为初始判别模型和最终判别模型；S3组合形成行为识别模型；S4实时获取摄像头的待识别图像数据；S5行为识别；通过图像分割模型对摄像图像数据进行分割，只保留目标人物的图像，缩小关键点检测模型的识别范围，降低关键点检测模型的识别难度，初始判别模型进行初步判断，有目标行为时，再通过最终判别模型进一步识别判断，提高目标行为识别的准确度，降低整个识别模型的计算难度。模型的计算难度。模型的计算难度。

【技术实现步骤摘要】
基于深度学习的人员行为识别方法


[0001]本专利技术涉及计算机
，尤其涉及一种基于深度学习的人员行为识别方法。

技术介绍

[0002]随着硬件计算能力的飞速提升和新基建发展战略的逐步实施，人工智能已经应用于很多领域，包括智能监控、工业机器人、智能摄像头和自动驾驶等领域，其中，深度学习是人工智能产品实现的主要方法。深度学习可解决的问题分为三个方向：图像类、语音类和强化学习。近年来，算法基础理论研究取得了长足的进步，更多的算法可应用于工程领域，对提升工作效率和降低人力成本已有实质性的帮助。
[0003]深度学习在图像类的应用主要分为目标检测、图像分割和图像生成，计算流程为图像输入、模型计算和位置信息与分类信息的生成。关键点检测技术是近年的研究热点之一，通过卷积对输入图像进行计算得到目标不同部位的关键点进行检测。现阶段关键点检测的方式主要有两种：1.基于热力图：对关键点进行分类，每种类型采用热力图的方式进行关键点位置的预测；2.基于回归：通过数值回归的方式对关键点进行位置和置信度的计算。
[0004]随着安全意识的提升，各种场景对于人员行为识别的需求日益提升，人员关键点检测方式分为单人关键点和多人关键点检测，在实际使用场景中，单人关键点方式为先进行目标检测将检测到的目标作为输入传入单人关键点检测模型，然后汇总所有目标的关键点信息。多人关键点检测方式为对所有目标同时进行关键点检测。多人关键点检测计算速度优于单人关键点检测但是对小目标检测效果较低，在实际使用场景中，小目标存在的概率和频次较高，所以单人关键点检测的使用效果更佳。
[0005]但是该方法存在的缺点是在单人关键点检测算法实际使用时，在目标较多的场景下总运行时间较长，整体检测精度受到目标检测模型影响。

技术实现思路

[0006]本专利技术的目的就在于为了解决上述问题设计了一种基于深度学习的人员行为识别方法。
[0007]本专利技术通过以下技术方案来实现上述目的：
[0008]基于深度学习的人员行为识别方法，包括：
[0009]S1、构建初始的目标检测模型、初始的关键点检测模型、初始的图像分割模型、初始的行为初始判别模型和至少一个初始的行为最终判别模型，目标检测模型用于识别图像数据是否有人体目标，图像分割模型用于分割出包含人体目标的分割图像，关键点检测模型用于检测分割图像中人体目标的关键点热力图，行为初始判别模型用于根据关键点热力图对进行行为识别计算得到初始判别结果，行为最终判别模型根据初始判别结果剪切图像数据，并对其进行最终行为识别；
[0010]S2、获取四个第一训练数据集和至少一个第二训练集，三个第一训练数据集分别导入初始的目标检测模型、初始的图像分割模型、初始的关键点检测模型和初始的行为初
始判别模型，对四个模型分别进行训练优化，一个第二训练集导入一个初始的行为最终判别模型，对其进行训练优化，一个行为最终判别模型用于判别一种行为；
[0011]S3、将优化后的目标检测模型，优化后的图像分割模型、优化后的关键点检测模型、优化后的行为初始判别模型从输入到输出依次组合，优化后的行为初始判别模型的输出作为每个优化训练后的行为最终判别模型的输入，作为行为识别模型；
[0012]S4、实时获取摄像头的待识别图像数据；
[0013]S5、待识别图像数据导入行为识别模型进行行为识别。
[0014]本专利技术的有益效果在于：通过图像分割模型对摄像图像数据进行分割，只保留目标人物的图像，有效的缩小了关键点检测模型的识别范围，降低关键点检测模型的识别难度，初始判别模型对目标人物的行为进行初步判断，当判断为目标行为时，再通过最终判别模型对分割图像进行进一步识别判断，有效的提高了目标行为识别的准确度，并最大程度上的降低了整个识别模型的计算难度。
附图说明
[0015]图1是本专利技术基于深度学习的人员行为识别方法的识别流程图；
[0016]图2是本专利技术基于深度学习的人员行为识别方法中关键点检测模型的结构图；
[0017]图3是本专利技术基于深度学习的人员行为识别方法中第一分析图像的区域图；
[0018]图4是本专利技术基于深度学习的人员行为识别方法中第二分析图像的区域图。
具体实施方式
[0019]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0020]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0022]在本专利技术的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0023]此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0024]在本专利技术的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连
接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本专利技术中的具体含义。
[0025]下面结合附图，对本专利技术的具体实施方式进行详细说明。
[0026]如图1所示，基于深度学习的人员行为识别方法，包括：
[0027]S1、构建初始的目标检测模型、初始的关键点检测模型、初始的图像分割模型、初始的行为初始判别模型和至少一个初始的行为最终判别模型，目标检测模型用于识别图像数据是否有人体目标，图像分割模型用于分割出包含人体目标的分割图像，关键点检测模型用于检测分割图像中人体目标的关键点热力图，行为初始判别模型用于根据关键点热力图对进行行为识别计算得到初始判别结果，行为最终判别模型根据初始判别结果剪切图像数据，并对其进行最终行为识别；
[0028]S2、获取四个第一训练数据集和至少一个第二训练集，三个第一训练数据集分别导入初始的目标检测模型、初始的图像分割模型、初始的关键点检测模型和初始的行为初始判别模型，对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习的人员行为识别方法，其特征在于，包括：S1、构建初始的目标检测模型、初始的关键点检测模型、初始的图像分割模型、初始的行为初始判别模型和至少一个初始的行为最终判别模型，目标检测模型用于识别图像数据是否有人体目标，图像分割模型用于分割出包含人体目标的分割图像，关键点检测模型用于检测分割图像中人体目标的关键点热力图，行为初始判别模型用于根据关键点热力图对进行行为识别计算得到初始判别结果，行为最终判别模型根据初始判别结果剪切图像数据，并对其进行最终行为识别；S2、获取四个第一训练数据集和至少一个第二训练集，三个第一训练数据集分别导入初始的目标检测模型、初始的图像分割模型、初始的关键点检测模型和初始的行为初始判别模型，对四个模型分别进行训练优化，一个第二训练集导入一个初始的行为最终判别模型，对其进行训练优化，一个行为最终判别模型用于判别一种行为；S3、将优化后的目标检测模型、优化后的图像分割模型、优化后的关键点检测模型、优化后的行为初始判别模型从输入到输出依次组合，优化后的行为初始判别模型的输出作为每个优化训练后的行为最终判别模型的输入，作为行为识别模型；S4、实时获取摄像头的待识别图像数据；S5、待识别图像数据导入行为识别模型进行行为识别。2.根据权利要求1所述的基于深度学习的人员行为识别方法，其特征在于，关键点检测模型为HRnet网络，关键点热力图包括关键点和关键点的热力值，关键点包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左手肘、右手肘、左手腕、右手腕、左髋、右髋、左膝盖、右膝盖、左脚踝和右脚踝关键点。3.根据权利要求1所述的基于深度学习的人员行为识别方法，其特征在于，在S5中包括：S51、待识别图像数据传入目标检测模型中，识别人体目标以及该人体目标的位置信息...

【专利技术属性】
技术研发人员：毛熙皓，李宁，庄永忠，廖长明，敬志坚，刘旭，刘锐，
申请(专利权)人：成都鼎安华智慧物联网股份有限公司，
类型：发明
国别省市：