异常行为识别方法和装置制造方法及图纸

本公开提供了一种异常行为识别方法和装置，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域。具体实现方案为：获取塔机驾驶室的当前帧图像，确定当前帧图像中的目标人脸检测框，并分析得到第一行为分析结果，其次确定当前帧图像中的两个目标手部检测框以及两个目标操作杆检测框，并分析得到第二行为分析结果，在第一行为分析结果和第二行为分析结果中的至少一个分析结果为异常行为的情况下，输出告警信息。由此，通过对塔机的驾驶室进行图像采集，并对所采集到的图像进行多方面地行为分析，并结合多方面地行为分析结果，准确确定是否存在异常行为，并在存在异常行为的情况下，及时输出告警信息，提升了塔机作业的安全性。作业的安全性。作业的安全性。

【技术实现步骤摘要】
异常行为识别方法和装置


[0001]本公开涉及人工智能
，具体涉及深度学习、图像处理、计算机视觉
，尤其涉及一种异常行为识别方法和装置。

技术介绍

[0002]塔吊作为建筑工地最常用的一种起重设备，用于搬运钢筋、混凝土等原材料。作为建筑工地必不可少的设备之一，塔吊的安全性是至关重要的。
[0003]塔吊的塔机驾驶员作为塔吊的实际操作者，其自身的异常行为动作可以直接影响塔吊的安全性。因此，对塔吊的塔机驾驶员异常行为的识别是必不可少的。

技术实现思路

[0004]本公开提供了一种异常行为识别方法、装置、电子设备、存储介质以及计算机程序产品。
[0005]根据本公开的一方面，提供了一种异常行为识别方法，包括：获取当前帧图像，其中，所述当前帧图像是对塔机的驾驶室进行图像采集而得到的；确定所述当前帧图像中的目标人脸检测框，并对所述目标人脸检测框中的人脸图像进行行为分析以得到第一行为分析结果；确定所述当前帧图像中的两个目标手部检测框，并确定所述当前帧图像中的两个目标操作杆检测框；根据所述两个目标手部检测框和所述两个目标操作杆检测框进行行为分析，以得到第二行为分析结果；在所述第一行为分析结果和所述第二行为分析结果中的至少一个分析结果为异常行为的情况下，输出告警信息。
[0006]根据本公开的第二方面，提供了一种异常行为识别装置，包括：获取模块，用于获取当前帧图像，其中，所述当前帧图像是对塔机的驾驶室进行图像采集而得到的；第一分析模块，用于确定所述当前帧图像中的目标人脸检测框，并对所述目标人脸检测框中的人脸图像进行行为分析以得到第一行为分析结果；确定模块，用于确定所述当前帧图像中的两个目标手部检测框，并确定所述当前帧图像中的两个目标操作杆检测框；第二分析模块，用于根据所述两个目标手部检测框和所述两个目标操作杆检测框进行行为分析，以得到第二行为分析结果；输出模块，用于在所述第一行为分析结果和所述第二行为分析结果中的至少一个分析结果为异常行为的情况下，输出告警信息。
[0007]根据本公开的第三方面，提供了一种电子设备，其中，电子设备包括处理器和存储器；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如上述第一方面提供的异常行为识别方法。
[0008]根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，包括该程序被处理器执行时实现如上述第一方面提供的异常行为识别方法。计算机程序产品，包括当所述计算机程序产品中的指令处理器执行时实现如上述第一方面提供的异常行为识别方法。
[0009]根据本公开的第五方面，提供了一种计算机程序产品，其特征在于，当所述计算机
程序产品中的指令处理器执行时实现如上述第一方面提供的异常行为识别方法。
[0010]上述申请中的一个实施例具有如下优点或有益效果：
[0011]本公开提供的异常行为识别方法和装置，对塔机的驾驶室进行图像采集，并对所采集到的图像进行多方面地行为分析，并结合多方面地行为分析结果，准确确定是否存在异常行为，并在存在异常行为的情况下，及时输出告警信息，提升了塔机作业的安全性。
[0012]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0014]图1是根据本公开第一实施例的示意图；
[0015]图2是根据本公开第二实施例的示意图；
[0016]图3是根据本公开第三实施例的示意图；
[0017]图4是根据本公开第四实施例的示意图；
[0018]图5是根据本公开第五实施例的示意图；
[0019]图6是根据本公开第六实施例的示意图；
[0020]图7是根据本公开第七实施例的示意图；
[0021]图8是根据本公开第八实施例的示意图；
[0022]图9是根据本公开第九实施例的示意图；
[0023]图10是用来实现本公开实施例的异常行为识别方法的电子设备的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]图1是根据本公开第一实施例的示意图。如图1所示，该异常行为识别方法包括以下步骤：
[0026]步骤101，获取当前帧图像，其中，当前帧图像是对塔机的驾驶室进行图像采集而得到的。
[0027]其中，需要说明的是，本公开实施例提供的提供异常行为识别方法应用于异常行为识别装置中，该异常行为识别装置可以由软件和/或硬件的方式实现，该异常行为识别装置可以为电子设备，也可以配置于电子设备中。
[0028]其中，本公开实施例的电子设备可以为PC(Personal Computer，个人计算机)、移动设备、平板电脑、终端设备或服务器等设备，此处不做具体限定。
[0029]在本公开的一个实施例中，在对塔机的驾驶员进行异常行为识别时，可以通过安装在塔机内部的摄像头采集驾驶员驾驶塔机进行操作的图像，并基于采集到的图像对驾驶员的行为进行识别和行为分析。
[0030]需要说明的是，本实施例中的摄像头所采集到的图像中可以包括驾驶员的正面人
脸、手部及塔吊操作杆。
[0031]其中，采集到的图像可以以视频的方式传输到第一分析模块与第二分析模块。在一些示例性的实施方式中，由于驾驶员在对塔机操作时其动作具有持续性，在对塔机的驾驶员进行异常行为检测时，可以按照每间隔预设帧数的方式，对视频进行拆帧处理，以得到视频帧图像序列，并按照视频帧图像序列所指示的顺序，依次遍历视频帧图像序列中的视频帧图像，并将当前遍历到的视频帧图像作为当前帧图像。
[0032]其中，预设帧数是事先设置好的，例如，预设帧数可以是10帧。
[0033]步骤102，确定当前帧图像中的目标人脸检测框，并对目标人脸检测框中的人脸图像进行行为分析以得到第一行为分析结果。
[0034]其中，目标人脸检测框是对当前帧图像进行人脸对象检测所得到。
[0035]作为一种示例，目标人脸检测框是指与当前帧图像中的人脸对象外接的矩形框。
[0036]作为一种示例性的实施方式，在获取当前帧图像后，可将当前帧图像输入到预先训练好的目标检测模型中进行人脸对象检测，以得到当前帧图像中的至少一个候选人脸检测框以及对应的置信度，并将至少一个候选人脸检测框中置信度最高的人脸检测框作为目标人脸检测框。
[0037]在本公开的一个实施例中，可以通过目标人脸检测框中的人脸图像与事先设置的正常的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异常行为识别方法，包括：获取当前帧图像，其中，所述当前帧图像是对塔机的驾驶室进行图像采集而得到的；确定所述当前帧图像中的目标人脸检测框，并对所述目标人脸检测框中的人脸图像进行行为分析以得到第一行为分析结果；确定所述当前帧图像中的两个目标手部检测框，并确定所述当前帧图像中的两个目标操作杆检测框；根据所述两个目标手部检测框和所述两个目标操作杆检测框进行行为分析，以得到第二行为分析结果；在所述第一行为分析结果和所述第二行为分析结果中的至少一个分析结果为异常行为的情况下，输出告警信息。2.根据权利要求1所述的方法，其中，所述根据所述两个目标手部检测框和所述两个目标操作杆检测框进行行为分析，以得到第二行为分析结果，包括：针对所述两个目标操作杆检测框中的各个目标操作杆检测框，确定所述目标操作杆检测框与所述两个目标手部检测框中的各个目标手部检测框之间的第一重合度；针对各个目标操作杆检测框，如果均存在第一重合度大于或者等于第一预设重合度阈值的目标手部检测框，则确定所述第二行为分析结果为正常行为。3.根据权利要求2所述的方法，其中，所述方法还包括：如果所述两个目标操作杆检测框中的至少一个目标操作杆检测框与各个目标手部检测框之间的第一重合度均小于所述第一预设重合度阈值，则获取与所述当前帧图像相邻的上一帧图像；确定所述当前帧图像和所述上一帧图像中同一个操作杆对象的目标操作杆检测框之间的第二重合度；在所述第二重合度小于第二预设重合度阈值的情况下，确定所述第二行为分析结果为异常行为。4.根据权利要求1所述的方法，其中，所述对所述目标人脸检测框中的人脸图像进行行为分析以得到第一行为分析结果，包括：从所述当前帧图像中截取所述目标人脸检测中的人脸图像；将截取的所述人脸图像输入预先训练好的人脸异常行为分类模型中，以得到所述人脸图像的分类结果；根据所述分类结果，确定所述第一行为分析结果。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述确定所述当前帧图像中的两个目标手部检测框，包括：对所述当前帧图像进行手部检测，以得到多个第一候选手部检测框以及各自对应的置信度；从所述多个第一候选手部检测框中，确定出置信度大于预设置信度阈值的多个第二候选手部检测框；将所述多个第二候选手部检测框中置信度最高的两个第二候选手部检测框作为所述两个目标手部检测框。6.根据权利要求1
‑
4中任一项所述的方法，其中，所述确定所述当前帧图像中的两个目
标操作杆检测框，包括：对所述当前帧图像进行操作杆检测，以得到多个第一候选操作杆检测框以及各自对应的置信度；从所述多个第一候选操作杆检测框中，确定出置信度大于预设置信度阈值的多个第二候选操作杆检测框；将所述多个第二候选操作杆检测框中置信度最高的两个第二候选操作杆检测框作为所述两个目标操作杆检测框。7.一种异常行为识别装置，包括：获取模块，用于获取当前帧图像，其中，所述当前帧图像是对塔机的驾驶室进行图像采集而得到的；第一分析模块，用于确定所述当前帧图像中的目标人脸检测框，并对所述目标人脸检测框中的人脸图像进行行为分析以得到第一行为分析结果；确定模块，用于确定所述当前帧图像中的两个目标手部检测框，并确定所述当前帧图像中的两个目标操作杆检测框；第二分析模块，...

【专利技术属性】
技术研发人员：刘聪毅，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：