基于图像处理的厂区人数监测方法、系统、终端及介质技术方案

本发明专利技术公开了基于图像处理的厂区人数监测方法、系统、终端及介质，涉及智能检测技术领域，其技术方案要点是：获取目标区域进出口的连续帧图像，并对每帧图像中的行人进行目标检测，得到行人检测框；依据设置阈值和行人检测框的置信度将行人检测框划分成高分检测框和低分检测框，并利用BYTE关联方法分别对高分检测框和低分检测框进行关联匹配以确定目标的运动轨迹；根据运动轨迹和区域信息确定目标区域的进出人数监测信息。本发明专利技术既可以保证厂区内部的私密性，又可以节约登记测算时间，大大节约了人力物力成本同时，也保证了人员统计的准确性，为后续人员监控，人员测算等需求提供了基础。了基础。了基础。

【技术实现步骤摘要】
基于图像处理的厂区人数监测方法、系统、终端及介质


[0001]本专利技术涉及智能检测
，更具体地说，它涉及基于图像处理的厂区人数监测方法、系统、终端及介质。

技术介绍

[0002]近年来，伴随着智能化工厂建设的普及，以及人工智能技术的进步，将人工智能技术运用到工厂中，对于智慧工厂的建设起到了至关重要的作用，其中对于传统工厂场景中人员管理的复杂性，以及人员管理的不可控性，是在各项问题中是最为突出的，也是希望利用人工智能技术来亟待解决的。
[0003]传统的人员管理方式主要采用的是记录和人工计数等方式进行，或是通过在厂区内安装摄像头，通过厂区内多个摄像头控制不同区域的方式进行人员统计，人员管理工作，其中人工统计的方式费时费力，增加人力成本的情况下也会出现遗漏和记录不准确的情况，在厂区内安装摄像头，可以减少人力成本，但是受限制于厂区的大小，同时部分军工加密厂区对于摄像头的安装和使用有严格的限制，所以这种方式具有很大的局限性。
[0004]因此，如何研究设计一种能够克服上述缺陷的基于图像处理的厂区人数监测方法、系统、终端及介质是我们目前急需解决的问题。

技术实现思路

[0005]为解决现有技术中的不足，本专利技术的目的是提供基于图像处理的厂区人数监测方法、系统、终端及介质，既可以保证厂区内部的私密性，又可以节约登记测算时间，大大节约了人力物力成本同时，也保证了人员统计的准确性，为后续人员监控，人员测算等需求提供了基础。
[0006]本专利技术的上述技术目的是通过以下技术方案得以实现的：
[0007]第一方面，提供了基于图像处理的厂区人数监测方法，包括以下步骤：
[0008]获取目标区域进出口的连续帧图像，并对每帧图像中的行人进行目标检测，得到行人检测框；
[0009]依据设置阈值和行人检测框的置信度将行人检测框划分成高分检测框和低分检测框，并利用BYTE关联方法分别对高分检测框和低分检测框进行关联匹配以确定目标的运动轨迹；
[0010]根据运动轨迹和区域信息确定目标区域的进出人数监测信息。
[0011]进一步的，所述行人检测框的检测过程具体为：
[0012]依据连续帧图像建立针对工厂行人的目标检测数据集；
[0013]依据目标检测网络和目标检测数据集进行目标检测预测，得到行人检测框。
[0014]进一步的，所述目标检测数据集的构建过程具体为：
[0015]以VOC格式对工厂监控视频和行人样本图像中的行人目标进行标记，并联合COCO数据集和VOC数据集构成增强的行人检测数据集；
[0016]以cycleGAN方式生成不同光照条件下的图像，并通过copy
‑
paste增强方法加入拥挤的行人样本和遮挡的行人样本，得到目标检测数据集。
[0017]进一步的，所述目标检测网络具体为：
[0018]利用CSPDarknet53网络提取每一帧图像特征；
[0019]利用SPP模块配合FPN和PAN结构作为特征融合网络对特征进行融合；
[0020]以及，以CIOU_Loss函数作为损失函数来构建目标检测网络。
[0021]进一步的，所述高分检测框和低分检测框的划分过程具体为：
[0022]设置阈值包括第一阈值和第二阈值，第一阈值大于第二阈值；
[0023]若行人检测框的置信度大于或等于第一阈值，则相应的行人检测框分为高分检测框；
[0024]若行人检测框的置信度小于第一阈值以及大于或等于第二阈值，则相应的行人检测框分为低分检测框。
[0025]进一步的，所述高分检测框的关联匹配过程具体为：
[0026]利用卡尔曼滤波器对行人目标在不同时间的轨迹位置进行预测，得到预测框；
[0027]利用BYTE关联方法将高分检测框与预测框进行关联处理；
[0028]计算高分检测框与预测框之间的第一IOU值得到相似度；
[0029]采用匈牙利算法进行匹配，将match函数值低于第一匹配值的第一IOU值过滤；
[0030]不被匹配的高分检测框保存至存储集D
tbd
中，不被匹配的预测框保存至存储集T
tbd
；
[0031]所述低分检测框的关联匹配过程具体为：
[0032]利用BYTE关联方法将低分检测框与存储集T
tbd
中的预测框进行关联处理；
[0033]计算低分检测框与存储集T
tbd
中的预测框之间的第二IOU值得到相似度；
[0034]采用匈牙利算法进行匹配，将match函数值低于第二匹配值的第二IOU值过滤；
[0035]不被匹配的低分检测框视为背景进行删除，不被匹配的存储集T
tbd
中的预测框保存至存储集T
thd
‑
thd
中。
[0036]进一步的，若所述存储集T
thd
‑
thd
中的预测框超过基准帧数仍未被匹配，则丢弃处理；若存储集D
tbd
中连续存在4个连续帧，则存储集D
tbd
中的高分检测框初始化为一个新轨迹，并将存储集D
tbd
中其余的高分检测框丢弃。
[0037]第二方面，提供了基于图像处理的厂区人数监测系统，包括：
[0038]目标检测模块，用于获取目标区域进出口的连续帧图像，并对每帧图像中的行人进行目标检测，得到行人检测框；
[0039]轨迹分析模块，用于依据设置阈值和行人检测框的置信度将行人检测框划分成高分检测框和低分检测框，并利用BYTE关联方法分别对高分检测框和低分检测框进行关联匹配以确定目标的运动轨迹；
[0040]人数监测模块，用于根据运动轨迹和区域信息确定目标区域的进出人数监测信息。
[0041]第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于图像处理的厂区人数监测方法。
[0042]第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的基于图像处理的厂区人数监测方法。
[0043]与现有技术相比，本专利技术具有以下有益效果：
[0044]1、本专利技术提供的基于图像处理的厂区人数监测方法，利用视频进行非接触式的人员统计工作，采用视频目标检测算法以及视频多轨迹跟踪算法，自动获取到厂区行人的进出信息，间接获取厂区内部人员情况，可以适用于室内室外等不同场景下的厂区，同时可以将其扩展到办公室，学校等场景中，既可以保证厂区内部的私密性，又可以节约登记测算时间，大大节约了人力物力成本同时，也保证了人员统计的准确性，为后续人员监控，人员测算等需求提供了基础；
[0045]2、本专利技术在目标检测数据集构建过程中综合考虑了光照条件、行人遮挡和拥挤行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于图像处理的厂区人数监测方法，其特征是，包括以下步骤：获取目标区域进出口的连续帧图像，并对每帧图像中的行人进行目标检测，得到行人检测框；依据设置阈值和行人检测框的置信度将行人检测框划分成高分检测框和低分检测框，并利用BYTE关联方法分别对高分检测框和低分检测框进行关联匹配以确定目标的运动轨迹；根据运动轨迹和区域信息确定目标区域的进出人数监测信息。2.根据权利要求1所述的基于图像处理的厂区人数监测方法，其特征是，所述行人检测框的检测过程具体为：依据连续帧图像建立针对工厂行人的目标检测数据集；依据目标检测网络和目标检测数据集进行目标检测预测，得到行人检测框。3.根据权利要求2所述的基于图像处理的厂区人数监测方法，其特征是，所述目标检测数据集的构建过程具体为：以VOC格式对工厂监控视频和行人样本图像中的行人目标进行标记，并联合COCO数据集和VOC数据集构成增强的行人检测数据集；以cycleGAN方式生成不同光照条件下的图像，并通过copy
‑
paste增强方法加入拥挤的行人样本和遮挡的行人样本，得到目标检测数据集。4.根据权利要求2所述的基于图像处理的厂区人数监测方法，其特征是，所述目标检测网络具体为：利用CSPDarknet53网络提取每一帧图像特征；利用SPP模块配合FPN和PAN结构作为特征融合网络对特征进行融合；以及，以CIOU_Loss函数作为损失函数来构建目标检测网络。5.根据权利要求1所述的基于图像处理的厂区人数监测方法，其特征是，所述高分检测框和低分检测框的划分过程具体为：设置阈值包括第一阈值和第二阈值，第一阈值大于第二阈值；若行人检测框的置信度大于或等于第一阈值，则相应的行人检测框分为高分检测框；若行人检测框的置信度小于第一阈值以及大于或等于第二阈值，则相应的行人检测框分为低分检测框。6.根据权利要求1所述的基于图像处理的厂区人数监测方法，其特征是，所述高分检测框的关联匹配过程具体为：利用卡尔曼滤波器对行人目标在不同时间的轨迹位置进行预测，得到预测框；利用BYTE关联方法将高分检测框与预测框进行关联处理；计算高分检测框与预测框之间的第一IOU值得到相似度；采用匈牙利算法进行匹配，将match函数值低于第一匹配值...

【专利技术属性】
技术研发人员：牟骏杰，陈昌金，王鑫，邓博文，罗凡程，
申请(专利权)人：中国兵器装备集团自动化研究所有限公司，
类型：发明
国别省市：