一种座位占用状态检测方法技术

一种座位占用状态检测方法是通过目标检测技术来实现的，属于深度学习的技术领域，本发明专利技术搜集、使用人头各方向图像，分析、提取数据，并训练出人头检测模型；将训练好的模型装载到程序中，通过事先手动标注图像中座位位置，再对座位位置的图像进行人头检测，从而判断座位的占用状态，并将检测到的数据反馈给系统，本发明专利技术能够在对座位占用状态进行实时检测，及时反馈座位占用状态数据信息，可以提高座位的利用率、降低座位管理的成本投入。

A method of seat occupancy detection

【技术实现步骤摘要】
一种座位占用状态检测方法
本专利技术属于深度学习
，尤其涉及一种座位占用状态检测方法。
技术介绍
深度学习是机器学习领域中一个新的研究方向，是一种能够实现人工智能的方法。它是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。近年来，凭借着深度学习的不断发展与成熟，尤其在与计算机视觉相结合的方向上取得了跨越式的进展机视觉相结合。同时，硬件设备和电子
的不断发展，从而推进了监控设备与目标检测技术的结合，使监控系统智能化成为了可能。现有的目标检测大多是利用深度学习算法而实现的，例如：YOLO系列算法：YOLO是单步one-stage，分为候选区域生成和区域分类，包括了YOLOV1，YOLOV2，YOLOV3算法；SSD算法：采用网格划分的思想，在不同尺度的特征图上考虑不同的尺度，而RPN是在一个特征图上考虑不同的尺度。为了检测不同尺度的目标，SSD对不同卷积层的特征图进行滑窗扫描。在前面卷积层输出的特征图中检测小的目标，在后面卷积层的特征图中检测大的目标。两种算法相比，YOLO算法难以检测小目标，而且定位不准，但是SSD在一定程度上能够克服这些缺点。同时，采用目标检测方法的座位占用状态检测装置，相对于通过硬件实现座位状态的检测具有安装更方便、实现更理想、可靠性更高、成本投入非常少的优势。综合以上研究方法，可以知道利用一些深度学习算法可以实现目标检测，而其中SSD算法的较为实用。用TensorFlow框架可以实现SSD算法，完成各种张量的计算从而实现目标检测。
技术实现思路
(一)解决的技术问题本专利技术的目的在于提供一种辅助驾驶的基于车道线检测的车辆检测测距方法，以解决上利用机器视觉技术，对图书馆、自习室等场景中座位位置进行人头检测，判断座位是否有人占用，避免座位资源的浪费，提高座位利用率的实际问题。(二)技术方案为实现上述目的，本专利技术提供如下技术方案：一种座位占用状态检测方法，其特征在于，具体包括如下步骤：步骤1：数据集制作。采集样本集，样本主要包括人头各方向的图像和人体全身图像，通过手动标注标签，制作深度学习目标检测训练集，用于训练人头检测模型；步骤2：深度学习与人头检测模型的训练；步骤3：座位状态检测。进一步的，所述的步骤2具体包括以下步骤：(1)获取数据集中的图像，利用一系列的卷积操作处理输入图像，生成不同大小的特征图；(2)得到的特征图进行3×3卷积处理，评估默认边界框；(3)对每个边界框预测偏移量和分类概率；(4)执行NMS算法，确定真实标签与默认框之间的对应关系，当真实标签框与默认框的交并比高于0.5阈值，默认框与真实标签框匹配，输出该默认框，即指定目标的位置包围框。进一步的，所述的步骤3具体包括以下步骤：(1)摄像头获取图像数据，手动利用矩阵框标注图像中座位位置；(2)分别获取每个矩阵框中的图像，每个图像对应相应的座位，对图像进行一系列的卷积操作生成特征图，并对特征图执行3×3卷积处理，评估默认边界框；(3)对每个边界框预测偏移量和分类概率；(4)根据人头置信度确定人头与置信度值，并过滤掉属于背景的预测框；(5)对于留下的预测框进行解码，根据置信度进行降序排列，然后仅保留前400个预测框，执行NMS算法，过滤掉重叠度较大的预测框，如果还有剩余的预测框则为检测结果，可在图像中得到人头位置包围框，由此判断对应的座位被占用，否则表示座位为空。进一步的，所述步骤1的(2)和步骤3的(2)中评估默认边界框的方法为：在一系列卷积之后的特征图上，以特征图上的每个格点的中心点为中心，生成一系列同中心点的默认边界框。其中正方形边界框最小边长为mini_size，最大边长为(mini_size*max_size)*1/2，另外还会定义一个aspectratio(纵横比)，用来生成两个长方形。而特征图中的默认框的mini_size和max_size由下述公式计算：其中sk为边界框大小相对于图片的比例，m为特征图的个数。进一步的，所述步骤2的(3)和步骤3的(3)中边界框预测值的实现：lcx＝(bcx-dcx)/dw,lcx＝(bcy-dcy)/dhlw＝log(bw/dw),lh＝log(bh/dh)其中d＝(dcx,dcy,dw,dh)为先验框位置，而b＝(bcx,bcy,bw,bh)为边界框位置，则边界框的预测值l为b相对于d的转换值，称为编码。进一步的，述步骤3的(4)中置信度误差的实现：其中c是类别置信度预测值，为一个指示参数，当时表示第i个先验框与第j个groundtruth匹配，而且groundtruth的类别为p。进一步的，所述步骤2的(4)和步骤3的(5)中解码以及NMS的实现：1)解码：在预测时则要进行解码得到边界框真实位置b：bcx＝dcx+dwlcx,bcy＝dcy+dylcybw＝dwexp(lw),bh＝dhexp(lh)其中l为边界框预测值，d＝(dcx,dcy,dw,dh)为先验框位置。2)NMS(非极大值抑制)：当两个box空间位置非常接近，就以score更高的那个作为基准，看IoU即重合度如何，如果与其重合度超过阈值，就抑制score更小的box，只保留score大的，从而过滤重叠度较大的预测框。进一步的，所述NMS中IOU的计算方式为：其中，A为集合[x1,x2]，B为集合[y1,y2]，J(A,B)即为交并比。(三)有益效果本专利技术提出了一种座位占用状态检测方法，该方法考虑到了在实际应用中的技术、成本、实现难易程度等因素，利用SSD目标检测算法，设计了基于深度学习的人头检测模型和座位占用状态检测方法，相对传统的座位占用状态检测方法实现成本更低、实现更容易；经过实际测试以及理论推导，本专利技术的检测准确率高，实用性强，在改善后可以应用于图书馆、自习室等座位占用状态检测的场景。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为在图像中利用矩形框标注座位位置的示意图。图2为特征图中边界框的生成示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。本文档来自技高网...

【技术保护点】
1.一种座位占用状态检测方法，其特征在于，具体包括如下步骤：/n步骤1：数据集制作，采集样本集，样本主要包括人头各方向的图像和人体全身图像，通过手动标注标签，制作深度学习目标检测训练集，用于训练人头检测模型；/n步骤2：深度学习与人头检测模型的训练；/n步骤3：座位状态检测。/n

【技术特征摘要】
1.一种座位占用状态检测方法，其特征在于，具体包括如下步骤：
步骤1：数据集制作，采集样本集，样本主要包括人头各方向的图像和人体全身图像，通过手动标注标签，制作深度学习目标检测训练集，用于训练人头检测模型；
步骤2：深度学习与人头检测模型的训练；
步骤3：座位状态检测。


2.根据权利要求1所述的一种座位占用状态检测方法，其特征在于，所述的步骤2具体包括以下步骤：
(1)获取数据集中的图像，利用一系列的卷积操作处理输入图像，生成不同大小的特征图；
(2)得到的特征图进行3×3卷积处理，评估默认边界框；
(3)对每个边界框预测偏移量和分类概率；
(4)执行NMS算法，确定真实标签与默认框之间的对应关系，当真实标签框与默认框的交并比高于0.5阈值，默认框与真实标签框匹配，输出该默认框，即指定目标的位置包围框。


3.根据权利要求2所述的一种座位占用状态检测方法，其特征在于，所述的步骤3具体包括以下步骤：
(1)摄像头获取图像数据，手动利用矩阵框标注图像中座位位置；
(2)分别获取每个矩阵框中的图像，每个图像对应相应的座位，对图像进行一系列的卷积操作生成特征图，并对特征图执行3×3卷积处理，评估默认边界框；
(3)对每个边界框预测偏移量和分类概率；
(4)根据人头置信度确定人头与置信度值，并过滤掉属于背景的预测框；
(5)对于留下的预测框进行解码，根据置信度进行降序排列，然后仅保留前400个预测框，执行NMS算法，过滤掉重叠度较大的预测框，如果还有剩余的预测框则为检测结果，可在图像中得到人头位置包围框，由此判断对应的座位被占用，否则表示座位为空。


4.根据权利要求3所述的一种座位占用状态检测方法，其特征在于，所述步骤1的(2)和步骤3的(2)中评估默认边界框的方法为：
在一系列卷积之后的特征图上，以特征图上的每个格点的中心点为中心，生成一系列同中心点的默认边界框。其中正方形边界框最小边长为mini_size，最大边长为(mini_size*max_size)*1/2，另外...

【专利技术属性】
技术研发人员：王斌，刘廷泰，唐蕾，刘传清，金择真，刘攀锋，于子昂，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：江苏;32