一种车窗标志物检测方法及装置制造方法及图纸

本发明专利技术提供了一种车窗标志物检测方法及装置，其方法包括，预先训练用于检测车辆车窗内不同类型标志物的检测器，所述不同类型的标志物的检测器生成的检测框包括安全带副系区域、安全带主系区域、打电话区域、纸巾盒区域、挂饰区域、安全带副未系区域、安全带主未系区域，遮阳板区域，年检标区域、戴口罩区域，戴眼镜区域；预先设定不同类型标志物检测框的阈值；获取包含待检测车辆的图像信息；定位至所述待检测车辆的车窗区域，并生成待检测车辆车窗区域内标志物区域检测框；将所述待检测车辆车窗区域内的标志物区域检测框的置信度与预先设定的标志物检测框阈值进行比对，保留置信度符合要求的检测框。本发明专利技术解决了现有技术存在的检测精度不高、类别不全面的技术问题。

A Method and Device for Detecting Window Marks

The invention provides a detection method and device for window markers. The method comprises a detector trained in advance for detecting different types of markers in vehicle windows. The detection frame generated by the detector for different types of markers includes seat belt accessory area, seat belt main area, telephone area, tissue box area, hanging area, seat belt accessory unfastened area, etc. The main unfastened area of the seat belt, the sunshade area, the annual inspection mark area, the mask area and the glasses area; the thresholds of different types of marker detection frames are set in advance; the image information containing the vehicle to be detected is obtained; the window area of the vehicle to be detected is positioned and the marker detection frame in the window area of the vehicle to be detected is generated; and the window area of the vehicle to be detected is set up. The confidence of the detection box in the marker area is compared with the pre-set threshold of the detection box, and the detection box with the required confidence is retained. The invention solves the technical problems of low detection accuracy and incomplete categories existing in the prior art.

【技术实现步骤摘要】
一种车窗标志物检测方法及装置本技术方案涉及车窗标志物视觉领域，尤其涉及一种车窗标志物检测方法及装置。
技术介绍
随着计算机视觉技术的研究与应用，对目标进行跟踪检测以其智能性和可靠性可被用在政府管控、违章锁定、嫌疑人跟踪、个人信息解锁等现实场景，目前已经应用于交通、公安、银行、军队、能源等多个领域，更有进一步深入发展的趋势。对车窗标志物进行检测识别主要是对车辆车窗内可被采集到的可辨识的物体进行分析，为交通管控、侦查办案等提供下一步处理依据。如年检标检测、安全带检测、打电话检测可以判断车辆是否违章；年检标、纸巾盒、挂饰可以作为以图搜车的关键信息；遮阳板检测、戴眼镜检测、口罩检测可以作为追踪犯罪嫌疑人的筛选信息。现有对车窗标志物进行检测方案使用传统特征的目标检测算法，常用的特征图像特征有HOG、LBP、Haar。其中，HOG(HistogramofOrientedGradient,方向梯度直方图)是一种用来计算和统计图像局部区域的梯度方向直方图的特征。LBP(LocalBinaryPattern，局部二值模式)是用来描述图像局部纹理特征的算子，具有旋转不变性和灰度不变性等优点。Haar特征是由线性特征、边缘特征、中心特征和对角线特征组合成特征模板。常用的组合方式有HOG+SVM(SupportVectorMachines，支持向量机)、DPM(DeformablePartModel，可变形的组件模型)等。法国研究人员Dalal在2005的CVPR上提出HOG+SVM进行行人检测的方法，这种组合是许多改进行人检测算法的基础。DPM算法由Felzenszwalb于2008年提出，采用了改进后的HOG特征、SVM分类器和滑动窗口(SlidingWindows)检测思想，对目标的形变具有很强的鲁棒性。PaulViola和MiachaelJones在2001年的CVPR上等提出了Adaboost(AdaptiveBoosting，自适应增强)+haar的人脸检测算法，也取得很好的效果。上述传统方法的优势在于速度快，易移植、在嵌入式平台上实时性较好，但是需要手工设计特征，鲁棒性不强。在对车标志物检测识别上通常是对车窗标志物的类别进行单类别检测，存在检测精度不高还有类别不够全面等问题。
技术实现思路
本技术方案提出了一种车窗标志物检测方法及装置，检测精度高、鲁棒性强、对不同场景的适应性好，解决了现有技术存在的检测精度不高、类别不全面的技术问题。本专利技术提供的一种车窗标志物的检测方法，包括，预先训练用于检测车辆车窗内不同类型标志物的检测器，所述不同类型的标志物的检测器生成的检测框包括安全带副系区域、安全带主系区域、打电话区域、纸巾盒区域、挂饰区域、安全带副未系区域、安全带主未系区域，遮阳板区域，年检标区域、戴口罩区域，戴眼镜区域；预先设定不同类型标志物检测框的阈值；获取包含待检测车辆的图像信息；定位至所述待检测车辆的车窗区域，并生成待检测车辆车窗区域内标志物区域检测框；将所述待检测车辆车窗区域内的标志物区域检测框的置信度与预先设定的标志物检测框阈值进行比对，保留置信度符合要求的检测框。更进一步，对所述车窗内不同类型标志物区域检测框的选定为：所述安全带副系区域为副驾驶人员身上安全带可见的区域，所述安全带主系区域为驾驶人员身上安全带可见的区域，所述打电话区域为手机及手腕区域，所述纸巾盒区域为盒子加上纸巾被抽出的部分的最小外接矩形，所述挂饰区域不包括细线部分，所述安全带副未系区域为副驾驶人员的肩膀区域加人脸下半部分区域，所述安全带主未系区域为驾驶人员的肩膀区域，所述遮阳板区域、年检标区域、戴口罩区域、戴眼镜区域均为最小外接矩形。更进一步，所述预先训练用于检测车辆车窗内不同类型标志物的检测器具体包括，基于SSD算法进行训练，对输入的图像样本同时进行检测和分类，预先建立的训练集包括所述不同类型标志物的类别信息及位置信度息。更进一步，基于SSD算法进行训练，对输入的图像样本同时进行检测和分类，预先建立的训练集包括所述不同类型标志物的类别信息及位置信度息，具体流程包括，获取车窗样本图像，并把图像归一化到300*300像素大小；对所述归一化后的车窗样本图像上进行标注，标定出车窗标志物的坐标信息，并将所述坐标信息保存在与所述车窗样本图像名称一一对应的xml文件中，所述xml文件中记录有所述JPG图像中包含的标志物类别及所述标志物类别对应的坐标信息；统计所述不同类型车窗标志物的宽高在300*300的二维坐标上的分布，获取所述不同类型车窗标志物的宽高分布规律；设计适用于不同类型车窗标志物的defaultboxes。更进一步，所述设计适用于不同类别标志物的defaultboxes计算方法如下：其中，sk为第k个等分节点的尺度，smin为设计的附加网络最小尺度，smax为附加网络最大尺度，m是指在最小与最大之间等分出m个区间；其中：为所述不同类型标志物区域检测框的宽、高，ar为所述不同类型标志物在二维坐标上的分布所设置defaultboxes的宽高比。更进一步，ar＝{1,2,3,1/2,1/3}。更进一步，当所述ar＝1时，所述各类型车窗标志物增加一个defaultboxes,其计算公式为其中：sk为第k个等分节点的尺度，sk+1为第k+1个等分节点的尺度。更进一步，所述设计适用于不同类型车窗标志物的defaultboxes还包括对defaultboxes进行微调。本专利技术还提供了一种车窗标志物检测装置，包括，训练单元，用于预先训练用于检测车辆车窗内不同类型标志物的检测器，所述不同类型的标志物的检测器生成的检测框包括安全带副系区域、安全带主系区域、打电话区域、纸巾盒区域、挂饰区域、安全带副未系区域、安全带主未系区域，遮阳板区域，年检标区域、戴口罩区域，戴眼镜区域；预设单元，用于预先设定不同类型标志物检测框的阈值；获取单元，用于获取包含待检测车辆的图像信息；定位单元，用于定位至所述待检测车辆的车窗区域，并生成待检测车辆车窗区域内标志物区域检测框；比对单元，用于将所述待检测车辆车窗区域内的标志物区域检测框的置信度与预先设定的标志物检测框阈值进行比对，保留置信度符合要求的检测框。更进一步，所述训练单元具体包括，获取模块，用于获取车窗样本图像，并把图像归一化到300*300像素大小；标注模块，用于对所述归一化后的车窗样本图像上进行标注，标定出车窗标志物的坐标信息，并将所述坐标信息保存在与所述车窗样本图像名称一一对应的xml文件中，所述xml文件中记录有所述JPG图像中包含的标志物类别及所述标志物类别对应的坐标信息；统计模块，用于统计所述不同类型车窗标志物的宽高在300*300的二维坐标上的分布，获取所述不同类型车窗标志物的宽高分布规律；设计模块，用于设计适用于不同类型车窗标志物的defaultboxes；所述设计模块设计适用于不同类别标志物的defaultboxes计算方法如下：其中，sk为第k个等分节点的尺度，smin为设计的附加网络最小尺度，smax为附加网络最大尺度，m是指在最小与最大之间等分出m个区间；其中：为所述不同类型标志物区域检测框的宽、高，ar为所述不同类型标志物在二维坐标上的分布所设置defaultboxes的宽高比，ar＝{1,2,3本文档来自技高网...

【技术保护点】
1.一种车窗标志物的检测方法，其特征在于，包括，预先训练用于检测车辆车窗内不同类型标志物的检测器，所述不同类型的标志物的检测器生成的检测框包括安全带副系区域、安全带主系区域、打电话区域、纸巾盒区域、挂饰区域、安全带副未系区域、安全带主未系区域，遮阳板区域，年检标区域、戴口罩区域，戴眼镜区域；预先设定不同类型标志物检测框的阈值；获取包含待检测车辆的图像信息；定位至所述待检测车辆的车窗区域，并生成待检测车辆车窗区域内标志物区域检测框；将所述待检测车辆车窗区域内的标志物区域检测框的置信度与预先设定的标志物检测框阈值进行比对，保留置信度符合要求的检测框。

【技术特征摘要】
1.一种车窗标志物的检测方法，其特征在于，包括，预先训练用于检测车辆车窗内不同类型标志物的检测器，所述不同类型的标志物的检测器生成的检测框包括安全带副系区域、安全带主系区域、打电话区域、纸巾盒区域、挂饰区域、安全带副未系区域、安全带主未系区域，遮阳板区域，年检标区域、戴口罩区域，戴眼镜区域；预先设定不同类型标志物检测框的阈值；获取包含待检测车辆的图像信息；定位至所述待检测车辆的车窗区域，并生成待检测车辆车窗区域内标志物区域检测框；将所述待检测车辆车窗区域内的标志物区域检测框的置信度与预先设定的标志物检测框阈值进行比对，保留置信度符合要求的检测框。2.根据权利要求1所述的车窗标志物检测方法，其特征在于，对所述车窗内不同类型标志物区域检测框的选定为：所述安全带副系区域为副驾驶人员身上安全带可见的区域，所述安全带主系区域为驾驶人员身上安全带可见的区域，所述打电话区域为手机及手腕区域，所述纸巾盒区域为盒子加上纸巾被抽出的部分的最小外接矩形，所述挂饰区域不包括细线部分，所述安全带副未系区域为副驾驶人员的肩膀区域加人脸下半部分区域，所述安全带主未系区域为驾驶人员的肩膀区域加人脸下半部分区域，所述遮阳板区域、年检标区域、戴口罩区域、戴眼镜区域均为最小外接矩形。3.根据权利要求2所述的车窗标志物检测方法，其特征在于，所述预先训练用于检测车辆车窗内不同类型标志物的检测器具体包括，基于SSD算法进行训练，对输入的图像样本同时进行检测和分类，预先建立的训练集包括所述不同类型标志物的类别信息及位置信度息。4.根据权利要求3所述的车窗标志物检测方法，其特征在于，基于SSD算法进行训练，对输入的图像样本同时进行检测和分类，预先建立的训练集包括所述不同类型标志物的类别信息及位置信度息，具体流程包括，获取车窗样本图像，并把图像归一化到300*300像素大小；对所述归一化后的车窗样本图像上进行标注，标定出车窗标志物的坐标信息，并将所述坐标信息保存在与所述车窗样本图像名称一一对应的xml文件中，所述xml文件中记录有所述JPG图像中包含的标志物类别及所述标志物类别对应的坐标信息；统计所述不同类型车窗标志物的宽高在300*300的二维坐标上的分布，获取所述不同类型车窗标志物的宽高分布规律；设计适用于不同类型车窗标志物的defaultboxes。5.根据权利要求4所述的车窗标志物检测方法，其特征在于，所述设计适用于不同类别标志物的defaultboxes计算方法如下：其中，sk为第k个等分节点的尺度，smin为设计的附加网络最小尺度，smax为附加网络最大尺度，m是指在最小与最大之间等分出m个区间；其中：为所述不同类型标志物区域检测框的宽、高，ar为所述不同类...

【专利技术属性】
技术研发人员：黎邹邹，毛亮，薛昆南，黄仝宇，汪刚，宋一兵，侯玉清，刘双广，
申请(专利权)人：高新兴科技集团股份有限公司，
类型：发明
国别省市：广东,44