一种基于人脸检测的智慧图书馆人流量监测方法及装置制造方法及图纸

本发明专利技术公开了一种基于人脸检测的智慧图书馆人流量监测方法及装置。包括图像采集模块、人脸检测模块、智慧互联模块、实时显示模块。其中人脸检测模块基于MTCNN人脸检测模型，增加BN层以加快网络收敛速度；引入深度可分离卷积，大大减少原有网络的参数量，提高推理速度，使训练好的模型可以部署在嵌入式设备上，实现实时人脸检测；使用Soft

A human flow monitoring method and device for Smart Library Based on face detection

【技术实现步骤摘要】
一种基于人脸检测的智慧图书馆人流量监测方法及装置


[0001]本专利技术属于计算机视觉
，特别提供一种基于人脸检测的智慧图书馆人流量监测方法及装置。

技术介绍

[0002]当前很多城市都有属于自己的图书馆，可以给市民提供阅读和学习的场所。但是人工管理的图书馆的效率并不高，尤其是在疫情期间，图书馆人员密集并且人员的流动性极大，在这种情况下，合理安排好图书馆的人流量，提高人员管理的效率和质量显得尤为重要。在当今社会，随着人工智能技术的发展，越来越多的图书馆将新兴的科技创新运用在其发展中，取得了不错的效果。本专利技术就是将人工智能技术中的计算机视觉技术运用在图书馆人流量监测以及人员管理等方面，设计出一个基于计算机视觉的智慧图书馆人流量监测系统，提升了图书馆的服务效能的同时，也更加安全、高效、快捷。
[0003]CN112418064A，一种用于图书馆阅览室内的实时人数自动检测方法，包括以下步骤：步骤1)摄像头采集图书馆各区域实时图像信息，并将其发送给后台主机；步骤2)后台主机对每张图像进行分析，识别人体关键点并得到人体矩形检测框；步骤3)舍弃图像选定框外的人体矩形检测框，得到每张图像内的有效人数；步骤4)根据摄像头分组关系对人数加和，得到各浏览室内人数及空位置数；步骤5)将人数信息实时发布。该技术对人脸识别的算法未进行任何优化，会存在大量的偏差，响应效率也很差。

技术实现思路

[0004]本专利技术的目的在于提供提供一种图书馆人流量监测的智能管理方法，基于计算机视觉的深度学习，通过摄像头采集到的实时的图像，送入训练好的神经网络模型，实现离线的实时人脸检测，并设计一种博弈算法，实时显示自习室的座位余量，并与在线座位预约系统相结合，实现更加方便快捷的智能管理。
[0005]本专利技术技术方案如下：
[0006]第一方面，本专利技术提供了一种图书馆人流量监测方法，包括：
[0007]步骤1，通过图像采集模块。由摄像头采集到的实时自习室照片，对图像做一系列预处理，采用不同大小的核在图像上滑动，得到一系列初始的人脸检测框，形成图像金字塔；
[0008]步骤2，通过预先训练好的改进的MTCNN神经网络检测图像中的人脸区域，其中所述改进的MTCNN神经网络模型引入了深度可分离卷积，通过减少网络层数和参数量达到在保证识别准确率的同时，提高推理的速度，实现嵌入式设备上的实时识别；
[0009]步骤3，通过改进的Soft
‑
NMS算法保留置信度较高的人脸检测框；
[0010]步骤4，为了降低图像识别中出现的人脸误检和漏检问题，设计了一种博弈算法；其中，所述博弈算法通过每秒采集多帧的图像，将实时的图像去上一帧图像对比，由于自习室内采集的图像大多是静止的且每次变化幅度较小的，最后采用大数算法确定最终的人脸
检测框个数；
[0011]步骤5，由上述步骤4所得最终确定的人脸检测框，通过对不同位置的人脸检测赋不同的ID值，统计最终人脸检测框个数，记录每个ID的坐标信息计算座位使用时间，与互联网在线预约的座位个数相结合，得到实时的人脸数与座位使用情况，并将座位余量实时显示在LED数字显示屏上；
[0012]步骤6，相互的，利用识别出的人脸个数，将实时的人脸个数信息发送至图书馆人员管理平台以实现对图书馆自习室的人员的实时管理。
[0013]第二方面，本专利技术提供一种图书馆人流量监测装置，包括：
[0014]图像采集模块，用于获取实时的图书馆自习室的摄像头采集到的图像；
[0015]检测模块，用于根据图像画面内容大致检测人脸区域，通过预训练好的MTCNN人脸检测模型对所述图书馆自习室内实时采集的图像进行人脸检测，得到人脸检测框；其中所述MTCNN人脸检测算法引入了深度可分离卷积，减少网络的层数和参数量，达到较高准确率的同时有更快的检测速度，并且通过Soft
‑
NMS来保留置信度较高的人脸检测框；
[0016]信息交互模块，用于与在线自习室预约模块相结合，通过数据整合，显示图书馆自习室实时的座位余量。
[0017]第三方面，本专利技术提供一种电子设备，包括：至少一个摄像头、处理器、存储器和LED电子显示屏；
[0018]所述摄像头用来获取图书馆自习室实时的图像；
[0019]所述处理器用来运行人脸检测模型，如权利要求1
‑
5所述任一项人流量监测包含的算法；
[0020]所述存储器用来保存预训练好的模型参数，以及图像信息；
[0021]所述LED电子显示屏用来将实时检测的人脸框个数以及按照要求设定的自习室所剩座位余量。
[0022]本专利技术的有益效果为：(1)本专利技术提供一种基于计算机视觉的图书馆人流量监测的方法，装置及电子设备。针对图书馆这种人流量集中的公共场所，方便在需要时对其进行人流量的控制，(2)本专利技术通过摄像头获取图书馆自习室的实时图像信息，利用预训练的基于MTCNN的人脸检测神经网络对所述区域进行人脸检测，得到初始的人脸检测框，其中所述基于MTCNN的人脸检测神经网络引入了深度可分离卷积，通过减少网络层数与参量，达到在保持较高的识别准确率的同时，大大提高了人脸检测的推理速度。(3)将其与互联网在线座位预约系统结合，无需人工管理，智能实现图书馆的人流量控制，同时在提高安全性的同时，提高了图书馆的人员管理效率，极大增强了读者的阅读舒适度，真正实现智慧图书馆的智能人流量监测管理。
附图说明
[0023]图1为本公开实施例一提供的一种智慧图书馆人流量监测方法的流程示意图；
[0024]图2为本公开实施例一提供的改进的MTCNN神经网络模型P
‑
net网络结构示意图；
[0025]图3为本公开实施例一提供的改进的MTCNN神经网络模型R
‑
net网络结构示意图；
[0026]图4为本公开实施例一提供的改进的MTCNN神经网络模型O
‑
net网络结构示意图；
[0027]图5为本公开实施例二提供的一种智慧图书馆人流量监测装置的结构示意图；
[0028]图6为本公开实施例三提供的一种电子设备的结构示意图。
具体实施方式
[0029]为使本专利技术实现的技术手段、创造性、达成目的与应用易于明白了解，下面结合具体实施方式，进一步阐述本专利技术。
[0030]实施例1
[0031]本专利技术对传统的图书馆流动人员管理操作复杂，人工成本高等问题，并且针对疫情期间对人流密集场所实施人流量控制所提出的一种图书馆人流量监测的智慧管理方法，通过高清摄像头实时采集自习室内照片，进行一系列图像预处理后送入改进的MTCNN网络，检测出图像内的所有的人脸区域，并将其作为输入喂入预先训练好的神经网络模型，预测人脸属性识别。最后设计了一个数据显示模块，将检测到的人脸数实时显示在屏幕上，并计算图书馆座位余量，当余量小于规定好的阈值时，则会在图书馆入口提示座位已满。本方法提出的人脸检测和人脸属性识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人脸检测的智慧图书馆人流量监测方法，其特征在于：通过摄像头采集实时的自习室图像，采用不同大小的核在图像上滑动，进行预处理，通过预先训练好的MTCNN神经网络进行人脸检测，保留高置信度的人脸检测框，同时根据检测到的人脸检测框来确定实时的自习室人数并进行统计，将自习室实时座位余量显示在电子屏幕上，当数量低于预设的阈值时，提示读者前往仍有座位余量的自习室；所述人脸检测包括，将图像送入MTCNN人脸检测神经网络后，对送入的图片做旋转和缩放，生成图像金字塔，将图像金字塔传入MTCNN的第一级网络P
‑
net结构中，P
‑
net检测人脸不考虑置信度，生成目标候选框，将这些目标候选框传入下一级网络R
‑
net进行人脸识别；R
‑
net对P
‑
net网络传入的含有人脸图像的检测框进行置信度评分，删除低于预设的置信度阈值的人脸检测框，通过IOU计算这些目标检测框之间的契合度，采用柔性非极大值Soft
‑
NMS去除P
‑
net传入的重复的检测框，对剩下的人脸检测框进行裁剪缩放，输入到下一级O
‑
net网络，再一次用Soft
‑
NMS去除重复的人脸检测框，并通过传入的目标区域坐标计算该目标区域在原始图像中的位置，同时在原图像中用矩形框标记出来，即最终的检测出的人脸检测框。2.根据权利要求1所述基于人脸检测的智慧图书馆人流量监测方法，其特征在于：所述预处理过程，包括对图像进行裁剪；对裁剪后的图像做图像增强，采用空间域的点运算算法增加图像对比度，对图像上的像素点进行运算。3.根据权利要求1所述基于人脸检测的智慧图书馆人流量监测方法，其特征在于：对所述MTCNN神经网络进行优化，在MTCNN三个级联网络中的卷积层和relu层中添加BN层，加快网络的收敛速度，同时引入深度可分离卷积来减少参数计算量。4.根据权利要求1所述基于人...

【专利技术属性】
技术研发人员：颜晓红，王天宇，郝学元，张诚超，王伟杰，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：