本公开的实施例提供一种行为识别方法，具体实现方案为：基于实时采集或拍摄的待识别视频数据，得到待识别图像帧；实时检测待识别图像帧中是否具有目标对象；响应于检测到待识别图像帧中具有目标对象，对目标对象进行追踪，得到目标对象的位置信息；获取待识别图像帧中人员的目标骨骼关键点位置；基于目标骨骼关键点位置和目标对象的位置信息，确定人员对目标对象的行为。通过本实施方式，提高了人员对目标对象进行操作时行为检测的准确性。标对象进行操作时行为检测的准确性。标对象进行操作时行为检测的准确性。
【技术实现步骤摘要】
行为识别方法和装置、电子设备、计算机可读存储介质
[0001]本公开的实施例涉及计算机
，具体地，涉及一种行为识别方法及装置。
技术介绍
[0002]随着移动通信技术的发展，手机已经成了现代人寸步不离的重要工具。在不同工作或作业领域(例如，营业厅、工厂)，吸烟玩手机行为是人员工作或作业过程中经常出现的行为之一，一旦发生该行为之后，人员很难确保一直处于正常的工作状态，并且由于人员的注意力转移很可能会发生无法及时处理的突发事件，影响了正常的生产、生活。
技术实现思路
[0003]本文中描述的实施例提供了一种行为识别方法和装置、电子设备以及存储有计算机程序的计算机可读存储介质。
[0004]根据本公开的第一方面，提供了一种行为识别方法。在该方法中，基于实时采集或拍摄的待识别视频数据，得到待识别图像帧；实时检测待识别图像帧中是否具有目标对象；响应于检测到待识别图像帧中具有目标对象，对目标对象进行追踪，得到目标对象的位置信息；获取待识别图像帧中人员的目标骨骼关键点位置；基于目标骨骼关键点位置和目标对象的位置信息，确定人员对目标对象的行为。
[0005]在本公开的一些实施例中，上述获取待识别图像帧中人员的目标骨骼关键点位置，包括：提取待识别图像帧中的人体骨骼关键点位置；识别人体骨骼关键点位置中的目标骨骼关键点位置。
[0006]在本公开的一些实施例中，上述目标骨骼关键点位置包括：手腕关键点位置和鼻关键点位置；目标对象的位置信息包括：目标对象的位置和目标对象标识，基于目标骨骼关键点位置和目标对象的位置信息，确定人员对目标对象的行为，包括：针对各个目标对象标识下的目标对象，检测手腕关键点位置至该目标对象的位置的距离是否小于第一距离阈值；响应于手腕关键点位置至该目标对象的位置的距离小于第一距离阈值，检测该目标对象的位置至鼻关键点位置的距离是否小于第二距离阈值，第一距离阈值小于第二距离阈值；响应于该目标对象的位置至鼻关键点位置的距离小于第二距离阈值，确定人员对该目标对象的异常行为。
[0007]在本公开的一些实施例中，上述目标骨骼关键点位置包括：手腕关键点位置和颈关键点位置；目标对象的位置信息包括：目标对象的位置和目标对象标识，基于目标骨骼关键点位置和目标对象的位置信息，确定人员对目标对象的行为，包括：针对各个目标对象标识下的目标对象，检测手腕关键点位置至该目标对象的位置的距离是否小于第一距离阈值；响应于手腕关键点位置至该目标对象的位置的距离小于第一距离阈值，检测该目标对象的位置至颈关键点位置的距离是否小于第三距离阈值，第一距离阈值小于第三距离阈值；响应于该目标对象的位置至颈关键点位置的距离小于第三距离阈值，确定人员对该目标对象的异常行为。
[0008]在本公开的一些实施例中，上述方法还包括：对人员进行异常行为标注，并发出人员具有异常行为的预警信息。
[0009]在本公开的一些实施例中，上述实时检测待识别图像帧中是否具有目标对象包括：采用目标对象的目标检测模型对待识别图像帧中的目标对象进行实时检测；目标检测模型为对基础模型调参之后得到的模型。
[0010]在本公开的一些实施例中，上述目标检测模型采用如下步骤训练得到：采集不同人员对目标对象进行操作的样本视频数据；按照预设帧率间隔截取样本视频数据，得到样本图像数据；采用图像标注工具对样本图像数据中的目标对象进行样本标注，得到图像样本；基于图像样本对基础模型进行训练，得到目标检测模型。
[0011]根据本公开的第二方面，提供了一种行为识别装置。该装置包括：得到单元，被配置成基于实时采集或拍摄的待识别视频数据，得到待识别图像帧；检测单元，被配置成实时检测待识别图像帧中是否具有目标对象；追踪单元，被配置成响应于检测到待识别图像帧中具有目标对象，对目标对象进行追踪，得到目标对象的位置信息；获取单元，被配置成获取待识别图像帧中人员的目标骨骼关键点位置；确定单元，被配置成基于目标骨骼关键点位置和目标对象的位置信息，确定人员对目标对象的行为。
[0012]在本公开的一些实施例中，上述获取单元进一步被配置成：提取待识别图像帧中的人体骨骼关键点位置；识别人体骨骼关键点位置中的目标骨骼关键点位置。
[0013]在本公开的一些实施例中，上述目标骨骼关键点位置包括：手腕关键点位置和鼻关键点位置；目标对象的位置信息包括：目标对象的位置和目标对象标识，上述确定单元进一步被配置成：针对各个目标对象标识下的目标对象，检测手腕关键点位置至该目标对象的位置的距离是否小于第一距离阈值；响应于手腕关键点位置至该目标对象的位置的距离小于第一距离阈值，检测该目标对象的位置至鼻关键点位置的距离是否小于第二距离阈值，第一距离阈值小于第二距离阈值；响应于该目标对象的位置至鼻关键点位置的距离小于第二距离阈值，确定人员对该目标对象的异常行为。
[0014]在本公开的一些实施例中，上述目标骨骼关键点位置包括：手腕关键点位置和颈关键点位置；目标对象的位置信息包括：目标对象的位置和目标对象标识，上述确定单元进一步被配置成：针对各个目标对象标识下的目标对象，检测手腕关键点位置至目标对象的位置的距离是否小于第一距离阈值；响应于手腕关键点位置至目标对象的位置的距离小于第一距离阈值，检测目标对象的位置至颈关键点位置的距离是否小于第三距离阈值，第一距离阈值小于第三距离阈值；响应于目标对象的位置至颈关键点位置的距离小于第三距离阈值，确定人员对目标对象的异常行为。
[0015]在本公开的一些实施例中，上述装置还包括：报警单元，被配置成对人员进行异常行为标注，并发出人员具有异常行为的预警信息。
[0016]在本公开的一些实施例中，上述检测单元进一步被配置成：采用目标对象的目标检测模型对待识别图像帧中的目标对象进行实时检测；目标检测模型为对基础模型调参之后得到的模型。
[0017]在本公开的一些实施例中，上述目标检测模型采用如下步骤训练得到：采集不同人员对目标对象进行操作的样本视频数据；按照预设帧率间隔截取样本视频数据，得到样本图像数据；采用图像标注工具对样本图像数据中的目标对象进行样本标注，得到图像样
本；基于图像样本对基础模型进行训练，得到目标检测模型。
[0018]根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及存储有计算机程序的至少一个存储器；其中，当计算机程序由至少一个处理器执行时，使得装置执行根据本公开的第一方面的方法的步骤。
[0019]根据本公开的第四方面，提供了一种存储有计算机程序的计算机可读存储介质，其中，计算机程序在由处理器执行时实现根据本公开的第一方面的方法的步骤。
[0020]本公开提供的行为识别方法和装置，首先，基于实时采集或拍摄的待识别视频数据，得到待识别图像帧；其次，实时检测待识别图像帧中是否具有目标对象；再次，响应于检测到待识别图像帧中具有目标对象，对目标对象进行追踪，得到目标对象的位置信息；从次，获取待识别图像帧中人员的目标骨骼关键点位置；最后，基于目标骨骼关键点位置和目标对象的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种行为识别方法，所述方法包括：基于实时采集或拍摄的待识别视频数据，得到待识别图像帧；实时检测所述待识别图像帧中是否具有目标对象；响应于检测到所述待识别图像帧中具有所述目标对象，对所述目标对象进行追踪，得到所述目标对象的位置信息；获取所述待识别图像帧中人员的目标骨骼关键点位置；基于所述目标骨骼关键点位置和所述目标对象的位置信息，确定所述人员对所述目标对象的行为。2.根据权利要求1所述的方法，其中，所述获取所述待识别图像帧中人员的目标骨骼关键点位置，包括：提取所述待识别图像帧中的人体骨骼关键点位置；识别所述人体骨骼关键点位置中的目标骨骼关键点位置。3.根据权利要求1所述的方法，其中，所述目标骨骼关键点位置包括：手腕关键点位置和鼻关键点位置；所述目标对象的位置信息包括：目标对象的位置和目标对象标识，所述基于所述目标骨骼关键点位置和所述目标对象的位置信息，确定所述人员对所述目标对象的行为，包括：针对各个目标对象标识下的目标对象，检测所述手腕关键点位置至该目标对象的位置的距离是否小于第一距离阈值；响应于所述手腕关键点位置至该目标对象的位置的距离小于第一距离阈值，检测该目标对象的位置至所述鼻关键点位置的距离是否小于第二距离阈值，所述第一距离阈值小于所述第二距离阈值；响应于该目标对象的位置至所述鼻关键点位置的距离小于第二距离阈值，确定所述人员对该目标对象的异常行为。4.根据权利要求1所述的方法，其中，所述目标骨骼关键点位置包括：手腕关键点位置和颈关键点位置；所述目标对象的位置信息包括：目标对象的位置和目标对象标识，所述基于所述目标骨骼关键点位置和所述目标对象的位置信息，确定所述人员对所述目标对象的行为，包括：针对各个目标对象标识下的目标对象，检测所述手腕关键点位置至该目标对象的位置的距离是否小于第一距离阈值；响应于所述手腕关键点位置至该目标对象的位置的距离小于第一距离阈值，检测该目标对象的位置至所述...
【专利技术属性】
技术研发人员：闫盈盈，周毅，曹扬，尹杨，支婷，苑建坤，
申请(专利权)人：中电科大数据研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。