一种基于深度学习的室内人数检测方法及系统技术方案

本发明专利技术涉及一种基于深度学习的室内人数检测方法及系统，该检测系统包括图像采集单元、模型计算单元和控制单元；所述图像采集单元实时采集室内图像；模型计算单元进行深度学习目标检测模型的加速计算；控制单元将图像采集单元的图像做预处理后交付模型计算单元进行计算并获取计算结果；检测方法包括步骤(1)、数据集制作；步骤(2)、深度学习目标检测模型的建立与训练；步骤(3)、座位使用情况分析。本发明专利技术实现了在边缘计算设备上使用深度学习目标检测统计出人数以及座位使用情况。

An in-depth learning based method and system for detecting indoor population

The invention relates to a method and system for detecting indoor number of people based on deep learning, the detection system includes an image acquisition unit, a model calculation unit and a control unit; the image acquisition unit collects indoor images in real time; the model calculation unit performs accelerated calculation of the deep learning target detection model; the control unit pre processes the image of the image acquisition unit and delivers the model The calculation unit calculates and obtains the calculation results; the detection method includes step (1), data set making; step (2), establishment and training of deep learning target detection model; step (3), seat usage analysis. The invention realizes the use of deep learning target detection and statistics of the number of people and the use of seats on the edge computing device.

【技术实现步骤摘要】
一种基于深度学习的室内人数检测方法及系统
本专利技术涉及属于视频监控的
，具体涉及一种基于深度学习的室内人数检测方法及系统。
技术介绍
场景理解作为智能视频监控领域的难点问题和核心内容，其目标是利用计算机视觉相关算法从自然场景中直接获取语义信息，近年来已经逐渐成为计算机视觉领域研究的核心问题。人数计数是场景理解的一个重要内容，随着办学规模越来越大，学生随之越来越多，作为高校硬件资源之一的自习室、图书馆存在着求过于供的情况，多数学校的自习室、图书馆经常一座难求，这些场所座位资源的合理分配问题是高校需要解决的难题。目前，人数统计的方法大体可以分为两类：一类是基于视频序列的运动目标检测算法，将整个人体作为对象进行数量统计，此类方法首先对场景中的背景进行建模，后续帧与背景模型进行比较而提取出运动的前景区域，然后计算运动区域的面积、边缘轮廓等特征信息，再与人体的先验知识进行特征匹配，来估计人数。这种方法的精确度主要取决于先验知识，不稳定且准确率低。另一类是基于图像特征和深度学习的目标检测算法，该方法通过采集并学习图像中能够反映人体的特征来训练样本集，之后输出识别结果。这种方法的优点是精确度高，缺点是训练需要大量样本数据且比较耗时。深度学习目标检测算法有YOLO(YouOnlyLookOnce)、SSD(SingleShotMultiBoxDetector)、FasterR-CNN，其中YOLO的目标检测速度较快，YOLOv3在TitanXGPU下每帧22ms，但在计算成本有限条件下可能数秒检测一帧，无法在实际中广泛使用。
技术实现思路
本专利技术提供一种基于深度学习的室内人数检测方法及系统，解决现有技术检测耗时长、不稳定且准确率低的问题。为实现上述目的，本专利技术提出的技术方案是：一种基于深度学习的室内人数检测方法，包括以下步骤：步骤(1)、数据集制作：采集深度学习目标检测样本集，样本集主要包括人头图像以及人全身的图像，并进行人工标注制作深度学习目标检测训练集，将这些数据经过目标检测模型进行训练；步骤(2)、深度学习目标检测模型的建立与训练：所述目标检测模型包括：①、基础特征提取部分：基础特征提取部分采用去掉最后全局平均池化层和1×1卷积输出层的MobileNetV2，并对第二层起的每个瓶颈层加入SENet结构；②、附加特征提取层部分：包括1×1和3×3卷积层，共计10层，对基础特征提取部分输出的特征图进行进一步卷积运算；③、原始包围框生成部分：在特征图上生成原始包围框，使用回归方法修正目标包围框特征图包括基础特征提取部分的输出层和附加特征提取层的各层；④、卷积预测部分：在上步选择的特征图上进行3×3卷积，完成卷积预测，输出目标类别以及位置包围框；上述卷积层均为深度可分离卷积，包括深度卷积和逐点卷积，深度卷积使用n×n卷积核对每个输入通道分别进行卷积，逐点卷积使用1×1卷积对深度卷积输出的特征图进行线性组合来构建新的特征图。步骤(3)、座位使用情况分析：预先设定相机视野内座位表，确定每个座位在图像中的位置；根据所述位置包围框比例，若某包围框长宽比小于2:1，则此位置的人为坐下姿态，计算其包围框中心点，判定此位置的座位被占用，当前室内人数即为包围框的数量。进一步的，步骤(3)中，由于相机采集的图像存在近大远小的透视变形，通过透视变换消除座位的距离感。上述基于深度学习的室内人数检测方法依托的检测系统，包括图像采集单元、模型计算单元和控制单元；所述图像采集单元实时采集室内图像；模型计算单元进行深度学习目标检测模型的加速计算；控制单元将图像采集单元的图像做预处理后交付模型计算单元进行计算并获取计算结果。与现有技术相比，本专利技术的有益效果是：本专利技术设计了一种轻量级的基于深度学习的室内人数检测方法及系统，该方法考虑实际室内存在遮挡以及人分布、姿态复杂的情况，设计了基于深度学习目标检测的人数检测模型，相比传统人数检测方法本方法检测准确率更高；本专利技术人数检测方法结合了轻量级卷积神经网络，在计算成本有限的边缘计算设备上仍有较高实时性。本专利技术在深度学习人数检测的基础上，对图像进一步处理计算出人的实际位置，并将位置信息映射到选座座位表中。附图说明图1为一种基于深度学习的室内人数检测方法的流程图；图2为SSD结构图；图3为MobileNetV2结构图；图4为bottleneck-senet结构图；图5为深度可分离卷积结构图；图6为实例效果图。具体实施方式下面通过具体实施方式结合附图对本专利技术作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。附图1为本专利技术一种基于深度学习的室内人数检测方法的流程图，主要包括以下部分：步骤(1)、数据集制作①在相机高度为4m处，采集不同光照亮度情况下的彩色室内图片，对图片中的人进行人工标注，矩形包围框标注出人所在的位置，最后生成包含类别以及包围框位置的真实数据。②对上述数据进行预处理，进行零均值归一化：分别统计图片RGB三个通道每个通道的均值和方差，将每张图像数据经过公式(1)归一化像素值到[0,1]：其中，i为图像的通道，对应RGB三个通道。μi为第i通道的像素均值，σi为第i通道的像素方差，X为原图像像素矩阵，Z为归一化的像素值矩阵。③对上步归一化的图像再经过随机的旋转、缩放、裁剪、平移、对比度、色彩抖动等操作进行数据增广，将这些样本数据经过目标检测模型进行训练。步骤(2)、深度学习目标检测模型建立与训练在本专利技术改进的目标检测模型上使用上述数据集进行训练，模型基于SSD目标检测模型改进，如图2，主要包括四个部分：①基础特征提取部分：基础特征提取部分采用去掉最后全局平均池化层和1×1卷积输出层的MobileNetV2替换原模型的VGG-16，MobileNetV2结构如图3，由于非线性激活函数ReLU在高维度下会较好地保留信息，而在低维度下会丢失特征信息，故在输入层应该增加特征维度之后再对其进行非线性变换，而在输出层应该对特征进行降维后使用线性激活函数以减少信息的丢失，故MobileNetV2中使用倒置残差的瓶颈层。本模型MobileNetV2在第二层起的每个瓶颈层加入SENet结构，如图4。SENet结构主要有Squeeze、Excitation和Reweight，其主要操作流程为：Squeeze操作：使用全局平均池化压缩每个通道的特征，将每个通道的特征压缩为一个数值；Excitation操作：通过控制两层全连接层的权值，来建模各个特征通道之间的相互依赖关系；Reweight操作：通过Sigmoid得到范围为0～1的归一化权重，最后对每个通道分别进行乘法操作将权值加权到本文档来自技高网...

【技术保护点】
1.一种基于深度学习的室内人数检测方法，其特征在于，包括以下步骤：/n步骤(1)、数据集制作：/n采集深度学习目标检测样本集，样本集主要包括人头图像以及人全身的图像，并进行人工标注制作深度学习目标检测训练集，将这些数据经过目标检测模型进行训练；/n步骤(2)、深度学习目标检测模型的建立与训练：/n所述目标检测模型包括：①、基础特征提取部分：基础特征提取部分采用去掉最后全局平均池化层和1×1卷积输出层的MobileNetV2，并对第二层起的每个瓶颈层加入SENet结构；②、附加特征提取层部分：包括1×1和3×3卷积层，共计10层，对基础特征提取部分输出的特征图进行进一步卷积运算；③、原始包围框生成部分：在特征图上生成原始包围框，使用回归方法修正目标包围框特征图包括基础特征提取部分的输出层和附加特征提取层的各层；④、卷积预测部分：在上步选择的特征图上进行3×3卷积，完成卷积预测，输出目标类别以及位置包围框；/n步骤(3)、座位使用情况分析：/n预先设定相机视野内座位表，确定每个座位在图像中的位置；根据所述位置包围框比例，若某包围框长宽比小于2:1，则此位置的人为坐下姿态，计算其包围框中心点，判定此位置的座位被占用，当前室内人数即为包围框的数量。/n...

【技术特征摘要】
1.一种基于深度学习的室内人数检测方法，其特征在于，包括以下步骤：
步骤(1)、数据集制作：
采集深度学习目标检测样本集，样本集主要包括人头图像以及人全身的图像，并进行人工标注制作深度学习目标检测训练集，将这些数据经过目标检测模型进行训练；
步骤(2)、深度学习目标检测模型的建立与训练：
所述目标检测模型包括：①、基础特征提取部分：基础特征提取部分采用去掉最后全局平均池化层和1×1卷积输出层的MobileNetV2，并对第二层起的每个瓶颈层加入SENet结构；②、附加特征提取层部分：包括1×1和3×3卷积层，共计10层，对基础特征提取部分输出的特征图进行进一步卷积运算；③、原始包围框生成部分：在特征图上生成原始包围框，使用回归方法修正目标包围框特征图包括基础特征提取部分的输出层和附加特征提取层的各层；④、卷积预测部分：在上步选择的特征图上进行3×3卷...

【专利技术属性】
技术研发人员：陈超波，王召，高嵩，曹凯，
申请(专利权)人：西安工业大学，
类型：发明
国别省市：陕西;61