基于改进型CNN网络的旅游观光车客流统计算法制造技术

本发明专利技术公开了一种基于改进型CNN网络的旅游观光车客流统计算法，通过对前沿的目标检测模型YOLOv3进行改动，在特征提取模块引入SENet结构，提出新的SE‑Darknet53网络结构，借助SENet结构的Squeeze、Excitation、Reweight三部分进一步提取图像特征通道间的相互依赖关系，增强深度神经网络的性能。此外，本发明专利技术针对旅游观光车的特殊场景，对坐于不同排的乘客在视频中对应的检测框尺寸差异较大这一特征进行挖掘，提出了尺寸敏感的非极大值抑制，并对CNN网络中特征图的不同特征通道赋予不同的权重，进一步提升乘客之间相互遮挡情况下的检测和识别精度，从而提升客流统计精度。

【技术实现步骤摘要】
基于改进型CNN网络的旅游观光车客流统计算法
本专利技术属于视频监控
，具体涉及一种基于改进型CNN网络的旅游观光车客流统计算法。
技术介绍
随着人民生活的不断改善，休闲度假意识的日益提高，旅游市场的蓬勃发展，旅游观光车作为人们休闲、观光的代步工具，越来越受到广大游客的喜爱，同时由于蓄电池观光车有环保无排放、噪音低、操作简单、维护使用费用较低等特点，使用的范围越来越广。但目前在旅游领域的观光车仍然存在监管难的问题，特别是在热点旅游景区，观光车路线、站点设置、价格等都不能做到透明、规范，这些问题存在的主要原因是没有一个监管体系和有效的数据支撑路线的设计和站点的规划。为了解决目前在旅游领域的观光车仍然存在监管难的问题，特别是在热点旅游景区，观光车路线、站点设置、价格等都不能做到透明、规范，需要一种用于景区乘坐观光车辆的人数统计方法来解决上述问题。旅游观光车作为便利游客的代步工具，是大型景区中不可缺少的一项，然而传统的旅游观光车客流统计方法都存在各自的缺点：(1)人工统计方式：由司机进行客流统计与收费是比较常见的方式，但司机可能在疲倦的时候漏数乘客人数，也可能存在私下收费的违规行为，影响统计的准确性。(2)红外线感应统计方式：第一，由于红外光极易受到外界因素干扰，使其统计数据产生较大误差，观光车空间开放性高，多人同时上车也容易产生漏数现象；第二，由于其本身技术原因，红外方式无法很好地判断乘客是上车还是下车。(3)机械方式：即在观光车上下车处设置三辊闸，乘客上下车时翻滚闸口，翻滚闸滚动一次，由此记录一个上下车人员；该方式的缺点在于便利性不够，无法快速进出，因此并不适用于观光车的应用场景。随着深度学习的蓬勃发展，计算机视觉的目标检测领域也取得了极大的进步，因此，将前沿的目标检测模型结合观光车客流统计任务的特殊性，可以更为准确地统计出观光车的实时客流情况，如尚广利等人在文献《基于深度学习的公交车客流量统计方法和系统：中国，201910347705.3[P].2019-04-28》中提出了一种基于深度学习的公交车客流量统计方法和系统，对人头进行识别与跟踪，利用了连续多帧检测到的人头信息来缓解乘客之间相互遮挡的问题。陈劲全等人在文献《一种基于深度学习判断视频行为的监控系统和方法：中国，201810411723.9[P].2018-05-02》中提出了一种基于深度学习判断视频行为的监控系统，其算法部分基于GoogleNet模型进行改进，但并没有对旅游观光车上可能出现的乘客之间相互遮挡的问题提出专门的解决方法，因而降低了系统的精度。
技术实现思路
鉴于上述，本专利技术提供了一种基于改进型CNN网络的旅游观光车客流统计算法，能够解决传统的旅游观光车客流统计方法的缺点。一种基于改进型CNN网络的旅游观光车客流统计算法，包括如下步骤：(1)离线采集观光车平时运营条件下的客流视频图像，并制作样本数据集；(2)以YOLOv3模型为基础构建改进型CNN网络；(3)利用样本数据集对改进型CNN网络进行训练；(4)利用训练好的CNN网络对旅游观光车的实时视频图像进行检测识别，得到乘客检测框；(5)根据步骤(4)识别得到的乘客检测框进行客流统计。进一步地，所述样本数据集中的每张图像需标注包含乘客肩部以上及头部在内的检测框的坐标、每个检测框所对应乘客坐于观光车的第几排、每一排检测框的尺寸均值。进一步地，所述改进型CNN网络包括特征提取模块和多尺度预测模块，改进型CNN网络的特征提取模块为将SENet结构嵌入到YOLOv3模型的特征提取模块Darknet53网络中所得到新的网络结构SE-Darknet53。进一步地，所述网络结构SE-Darknet53产生大小为13×13×1024的特征图，经过上采样与浅层特征图连接，输出三个不同尺寸的特征图；所述多尺度预测模块以这三个不同尺寸的特征图作为输入，分别通过三个分支对这三个不同尺寸的特征图进行预测以生成候选检测框，输出包括候选检测框的坐标值与候选检测框含有乘客的概率值。进一步地，所述多尺度预测模块在生成候选检测框后，通过尺寸敏感的非极大值抑制算法对冗余候选检测框进行剔除。进一步地，所述网络结构SE-Darknet53包含有多个SE-ResBlock，所述SE-ResBlock由YOLOv3模型中原有的ResNetBlock结构与SENet结构串接而成，用于加深网络，显式地构建特征通道之间的相互依赖关系，扩大特征图对全局信息的感知范围。进一步地，所述SENet结构由Squeeze、Excitation、Reweight三部分构成，用于显式地构建特征通道之间的相互依赖关系，其中：所述Squeeze部分用于对输入特征图进行全局平均池化，将一张特征图转换为一个数；所述Excitation部分通过两个全连接层和sigmoid函数对Squeeze部分的输出进行激活，得到每个特征通道的权重；所述Reweight部分用于将Excitation部分得到的权重与其对应输入特征图各通道数据分别相乘后输出。进一步地，所述非极大值抑制算法的具体实现过程为：对于多尺度预测模块识别出的候选检测框，将这些候选检测框组成集合，首先从集合中选取概率值最大的候选检测框Bm添加到最终输出列表中；然后逐一从集合中取出候选检测框进行以下判断，直至集合为空；对于从集合中取出的任一候选检测框Bi，将Bi的尺寸与图像中每一排检测框的尺寸均值进行比较，得到与Bi尺寸最接近所对应的排序号IDi，同样的方法得到与Bm尺寸最接近所对应的排序号IDm，若IDi≠IDm，则将Bi添加到最终输出列表中；若IDi＝IDm，则判定Bi与Bm属于同一排座位，进一步计算两者的交并比，若交并比大于设定的阈值，则剔除Bi，否则将Bi添加到最终输出列表中。本专利技术针对旅游观光车的特殊场景，对坐于不同排的乘客在视频中对应的检测框尺寸差异较大这一特征进行挖掘，提出了尺寸敏感的非极大值抑制，并对CNN网络中特征图的不同特征通道赋予不同的权重，进一步提升乘客之间相互遮挡情况下的检测和识别精度，从而提升客流统计精度。本专利技术改进型CNN网络对前沿的目标检测模型YOLOv3进行改动，在特征提取模块引入SENet结构，提出SE-Darknet53；同时，本专利技术在卷积网络原本提取图像空间信息的基础上，借助SENet结构的Squeeze、Excitation、Reweight三部分进一步提取图像特征通道间的相互依赖关系，增强深度神经网络的性能；此外，本专利技术结合SENet结构后只会增加很小的性能损耗，仍然保留了YOLOv3模型实时性好的优势。本专利技术YOLOv3模型的多尺度预测模块在生成候选检测框后，通过尺寸敏感的非极大值抑制对冗余候选检测框进行剔除；这个改动基于对观光车乘客视频图像的观察，即前排乘客在视频图像中的大小要明显大于后排乘客，因此在对冗余候选检测框进行剔除时，保留大小差距明显的候选检测框。附图说明本文档来自技高网...

【技术保护点】
1.一种基于改进型CNN网络的旅游观光车客流统计算法，包括如下步骤：/n(1)离线采集观光车平时运营条件下的客流视频图像，并制作样本数据集；/n(2)以YOLOv3模型为基础构建改进型CNN网络；/n(3)利用样本数据集对改进型CNN网络进行训练；/n(4)利用训练好的CNN网络对旅游观光车的实时视频图像进行检测识别，得到乘客检测框；/n(5)根据步骤(4)识别得到的乘客检测框进行客流统计。/n

【技术特征摘要】
1.一种基于改进型CNN网络的旅游观光车客流统计算法，包括如下步骤：
(1)离线采集观光车平时运营条件下的客流视频图像，并制作样本数据集；
(2)以YOLOv3模型为基础构建改进型CNN网络；
(3)利用样本数据集对改进型CNN网络进行训练；
(4)利用训练好的CNN网络对旅游观光车的实时视频图像进行检测识别，得到乘客检测框；
(5)根据步骤(4)识别得到的乘客检测框进行客流统计。


2.根据权利要求1所述的旅游观光车客流统计算法，其特征在于：所述样本数据集中的每张图像需标注包含乘客肩部以上及头部在内的检测框的坐标、每个检测框所对应乘客坐于观光车的第几排、每一排检测框的尺寸均值。


3.根据权利要求1所述的旅游观光车客流统计算法，其特征在于：所述改进型CNN网络包括特征提取模块和多尺度预测模块，改进型CNN网络的特征提取模块为将SENet结构嵌入到YOLOv3模型的特征提取模块Darknet53网络中所得到新的网络结构SE-Darknet53。


4.根据权利要求3所述的旅游观光车客流统计算法，其特征在于：所述网络结构SE-Darknet53产生大小为13×13×1024的特征图，经过上采样与浅层特征图连接，输出三个不同尺寸的特征图；所述多尺度预测模块以这三个不同尺寸的特征图作为输入，分别通过三个分支对这三个不同尺寸的特征图进行预测以生成候选检测框，输出包括候选检测框的坐标值与候选检测框含有乘客的概率值。


5.根据权利要求4所述的旅游观光车客流统计算法，其特征在于：所述多尺度预测模块在生成候选检测框后，通过尺寸敏感的非极大值抑制算法对冗余候选检测框进行剔除。


6.根据权利要求3所述的...

【专利技术属性】
技术研发人员：吕攀，杨国青，李夷奇，李红，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33