一种基于深度学习的在岗人员行为检测方法及系统技术方案

本发明专利技术涉及计算机技术领域，具体而言，涉及一种基于深度学习的在岗人员行为检测方法及系统。该方法包括：获取多帧监控图像；通过离岗分类模型对所述多帧监控图像进行粗识别，确定所述多帧监控图像是否存在人员离岗行为；相应于不存在人员离岗行为时，至少通过人体骨骼关键点检测模型确定所述多帧监控图像中人员的行为；基于所述人员的行为输出预警指令。基于所述人员的行为输出预警指令。基于所述人员的行为输出预警指令。

【技术实现步骤摘要】
一种基于深度学习的在岗人员行为检测方法及系统


[0001]本专利技术涉及计算机
，具体而言，涉及一种基于深度学习的在岗人员行为检测方法及系统。

技术介绍

[0002]许多岗位如塔台管理员等，如在列车值班室、警卫室、驾驶室、车站机场监控室、铁路道口值班室等重要岗位，涉及到人身、财产安全，值班人员若擅自离岗、在岗瞌睡等，一旦发生意外，都可能会造成严重的安全事故。在这些重要的执行岗位上不能有半点懈怠，值班人员需要时刻集中注意力，发现问题要及时处理，通常对于岗位人员需要额外人手进行监控。
[0003]因此，需要一种便捷且时效性高的行为检测方法，以及时进行提醒或警报。

技术实现思路

[0004]本专利技术的实施例是这样实现的：
[0005]一种基于深度学习的在岗人员行为检测方法，包括：
[0006]获取多帧监控图像；
[0007]通过离岗分类模型对所述多帧监控图像进行粗识别，确定所述多帧监控图像是否存在人员离岗行为；
[0008]相应于不存在人员离岗行为时，至少通过人体骨骼关键点检测模型确定所述多帧监控图像中人员的行为；
[0009]基于所述人员的行为输出预警指令。
[0010]在一些实施例中，相应于存在人员离岗行为时，输出警报指令。
[0011]在一些实施例中，所述多帧监控图像中人员的行为包括站立、趴着睡、背坐、低头睡、半蹲、侧坐、正坐、躺着睡和其他。
[0012]在一些实施例中，当预设时间段内所述人员的行为持续包括低头、趴着睡、躺着睡时，所述预警指令包括警报指令。
[0013]在一些实施例中，所述多帧监控图像中包括一个或多个工位信息；所述离岗分类模型对多帧监控图像中任一工位进行粗识别。
[0014]在一些实施例中，将所述多帧监控图像输入至所述人体骨骼关键点检测模型得到对应所述人员的多个骨骼关键点特征；其中，所述多帧监控图像逐帧或跳帧输入至所述人体骨骼关键点检测模型；将所述多个骨骼关键点特征输入至行为确定模型，得到所述人员的行为。
[0015]在一些实施例中，所述骨骼关键点特征至少包括人体骨骼关键点坐标；所述人体骨骼关键点检测模型包括：
[0016]主体提取层，用于保留所述图像中人体宽高比的前提下提取人体轮廓特征；
[0017]特征提取层，用于基于所述人体轮廓特征得到所述人体骨骼特征；
[0018]特征回归层，用于基于所述人体骨骼特征的得到所述人体骨骼关键点坐标。
[0019]一种基于深度学习的在岗人员行为检测系统，包括：
[0020]图像获取模块，用于获取多帧监控图像；
[0021]离岗检测模块，用于通过离岗分类模型对所述多帧监控图像进行粗识别，确定所述多帧监控图像是否存在人员离岗行为；
[0022]行为检测模块，用于相应于不存在人员离岗行为时，至少通过人体骨骼关键点检测模型确定所述多帧监控图像中人员的行为；
[0023]预警模块，用于基于所述人员的行为输出预警指令。
[0024]一种基于深度学习的在岗人员行为检测装置，包括处理器以及存储介质，所述存储介质用于存储计算机指令，所述处理器用于执行所述计算机指令中的至少一部分以实现上述基于深度学习的在岗人员行为检测方法。
[0025]本专利技术的技术方案至少具备以下有益效果：利用深度学习强大计算能力和学习能力，准确及快速的识别在岗人员状态，对设备要求小。
附图说明
[0026]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0027]图1为本申请一些实施例所示的基于深度学习的在岗人员行为检测系统的场景示意图；
[0028]图2为本申请一些实施例所示的基于深度学习的在岗人员行为检测方法的流程图；
[0029]图3为本申请一些实施例所示的在岗人员的骨骼关键点示意图；
[0030]图4为本申请另一些实施例所示的在岗人员的图像；
[0031]图5为图4所示的在岗人员的骨骼关键点示意图；
[0032]图6为本申请一些实施例所示的人体骨骼关键点检测模型的示意图；
[0033]图7为本申请一些实施例所示的特征回归层的示意图。
具体实施方式
[0034]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。
[0035]应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0036]本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时
处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0037]因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0038]实施例
[0039]参考图1，图1为本申请一些实施例所示的基于深度学习的在岗人员行为检测系统的场景示意图，其包括摄像装置110、主机120和前端设备130。
[0040]摄像装置110可以是监控摄像头、摄像机、带有摄影功能的照相机和无人机等，用于获取需要监控场景的多帧图像(或视频)。
[0041]主机120可以包括存储设备和服务器，存储设备用于存储摄像装置110获取的多帧图像(或视频)，服务器用于对所述多帧图像(或视频)进行处理，以确定是否存在离岗、睡岗等行为。
[0042]前端设备130可以是显示器、警报器等，用于对人员通过声、光、电等方式进行警示或提醒。
[0043]如图2所示，在一些实施例中，提出了基于深度学习的在岗人员行为检测方法200，该方法可以由图1中主机120的服务器执行，该方法包括：
[0044]S210：获取多帧监控图像；
[0045]S220：通过离岗分类模型对所述多帧监控图像进行粗识别，确定所述多帧监控图像是否存在人员离岗行为；
[0046]S230：相应于不存在人员离岗行为时，至少通过人体骨骼关键点检测模型确定所述多帧监控图像中人员的行为；
[0047]S240：基于所述人员的行为输出预警指令本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的在岗人员行为检测方法，其特征在于，包括：获取多帧监控图像；通过离岗分类模型对所述多帧监控图像进行粗识别，确定所述多帧监控图像是否存在人员离岗行为；相应于不存在人员离岗行为时，至少通过人体骨骼关键点检测模型确定所述多帧监控图像中人员的行为；基于所述人员的行为输出预警指令。2.如权利要求1所述的一种基于深度学习的在岗人员行为检测方法，其特征在于，还包括：相应于存在人员离岗行为时，输出警报指令。3.如权利要求1所述的一种基于深度学习的在岗人员行为检测方法，其特征在于：所述多帧监控图像中人员的行为包括站立、趴着睡、背坐、低头睡、半蹲、侧坐、正坐、躺着睡和其他。4.如权利要求3所述的一种基于深度学习的在岗人员行为检测方法，其特征在于：当预设时间段内所述人员的行为持续包括低头睡、趴着睡、躺着睡时，所述预警指令包括警报指令。5.如权利要求1所述的一种基于深度学习的在岗人员行为检测方法，其特征在于：所述多帧监控图像中包括一个或多个工位信息；所述离岗分类模型对多帧监控图像中任一工位进行粗识别。6.如权利要求1所述的一种基于深度学习的在岗人员行为检测方法，其特征在于，所述至少通过人体骨骼关键点检测模型确定所述多帧监控图像中人员的行为，包括：将所述多帧监控图像输入至所述人体骨骼关键点检测模型得到对应所述人员的多个骨骼关键点特征；其中，所述多帧监控图像逐帧或跳帧输入至所述人体骨骼关键点检测模型；将所述多个骨骼关键点特征输入至行为确定模型，得到所述人员的行为。7.如...

【专利技术属性】
技术研发人员：吴军，赵辉，谭海燕，韩朋朋，黄祁聪，王红，李显著，唐颖，
申请(专利权)人：重庆现代建筑产业发展研究院，
类型：发明
国别省市：