一种基于深度学习的视频大数据交通场景分析方法技术

本发明专利技术公开了一种基于深度学习的视频大数据交通场景分析方法，涉及计算机视觉领域，具体包括如下步骤：S1、系统视频前景与背景分析：采用SOBS进行背景建模，去除视频定格中的前景，保留背景视频；S2、系统视频交通标识的检测与分类：采用R‑FCN算法对背景图像马路信息进行检测并进行二次结构化；S3、统计各项数据，分析马路上的信息，综合汇总，结合车辆自动检测系统做出车辆违章统计与道路规划。本发明专利技术可运用于城市交通智慧大脑中，通常配合车辆自动检测平台结合使用，能高效准确地判断出车流量，车辆道路违章等事件，为安全城市与智能交通提供了很好的软件基础。

A Video Large Data Traffic Scene Analysis Method Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的视频大数据交通场景分析方法
本专利技术涉及计算机视觉领域，具体涉及一种基于深度学习的视频大数据交通场景分析方法。
技术介绍
随着现代化交通、安防等行业的迅速发展，深度学习技术越来越受到人们的重视，是近年来计算机视觉与模式识别技术在智能交通领域的重要研究课题之一。同时，近年来国家大力度推展智慧安全城市和智能交通系统，也使二者结合成为了可能。智能交通系统是将先进的信息技术、定位导航技术、数据通信技术、电子传感器技术、自动控制技术、图像处理技术、计算机网络技术、人工智能技术等有效地综合运用于交通运输管理体系，加强了车辆、道路、使用者三者间的联系，从而实现交通运输服务和管理的智能化，在综合集成思想指导下，建立一种大范围、全方位实时、准确的综合交通运输系统。城市智能交通系统中核心之一就是视频大数据场景分析。而目前来说，在现有的交通系统平台里，大部分城市均有应用道路大数据系统，能对交通场景视频进行结构化处理。但是一般交通视频进行结构化系统指望用户输入背景或环璄有关的信息。通常来说，有经验的标注人员，往往需要十分钟标注一段视频，而智能交通系统中，摄像机的普及，需要大量人力物力及维护标注去进行生成和提取相应信息和数据。同时，现有的交通视频分析系统主要是针对动态的车辆和行人，而相对静止的背景信息，例如马路的位置，交通灯号的位置及交通指示路牌等常常容易被忽略。针对这些实际的特定问题，本专利技术提出了一种基于深度学习的视频大数据交通场景分析方法。
技术实现思路
本专利技术的主要目的是提供一种基于深度学习的视频大数据交通场景分析方法，旨在针对现行智能交通系统存在的这些特定难点问题，提高系统的辨识度与智能化程度，实现自主判断道路对车辆或者行人的规章制度要求，同时节约成本，减少人为错误并使其满足实时性需求。为实现上述目的，本专利技术提供一种基于深度学习的视频大数据交通场景分析方法，具体包括如下步骤：S1、系统视频前景与背景分析：采用SOBS进行背景建模，去除视频定格中的前景，保留背景视频；S2、系统视频交通标识的检测与分类：采用R-FCN算法对背景图像马路信息进行检测并进行二次结构化，具体步骤如下：S2.1、对S1中处理过后的背景图像进行基于PCA的数据增强处理；S2.2、对数据增强后的背景图像做基于R-FCN的背景交通标识图像检测模型训练；S2.3、将训练好的背景交通标识图像检测模型进行训练改进，增加多个分支，同时调整算法中对输入图片动态长宽比的实际需求模型，训练出判别交通标识的模型，按其性质可以分成全局、路面和路边三大项，然后对R-FCN检测输出的结果进行二次分类；S3、统计各项数据，分析马路上的信息，综合汇总，结合车辆自动检测系统做出车辆违章统计与道路规划。优选地，所述步骤S1包括：S1.1、背景建模：将背景模型中的一个像素映射到模型中的多个位置，直至SOBS背景模型建立完成；S1.2、视频帧图像的前景检测与背景更新：对于新进来的视频帧，将其对应位置的像素与背景模型中对应位置的模型进行比较；计算当前像素点与其对应的模型块里像素点的最小距离，对于视频图像，若最小距离小于阈值，则判定为背景，更新背景模型；若判定为阴影，则只标识为背景，不更新背景模型。优选地，所述步骤S1.1中，映射方式为：对于每个像素，在背景模型中采用n×n来表示，在背景模型初始化时，将图像转换到HSV颜色空间，模型中的每个值用ai＝(hi,si,vi)表示，对于原图中(x,y)处的一个像素，则对应于背景模型中的(i,j)，其定义为：i＝n*x,n*x+1,...,x*(n+1)-1),j＝n*y,n*y+1,...,y*(n+1)-1)。优选地，所述步骤S1.2中，对应位置的像素与模型比较中，在HSV颜色空间，两个像素pi与pj的距离如下式来计算：优选地，所述S1.2中更新背景模型的公式如下：其中，d(cm，pt)为计算任一像素点与背景模型的距离，ci为i处的背景模型，pt为当前像素点。优选地，所述S1.2中阴影判断公式如下：其中，上标V、S、H分别对应任意像素点颜色空间HSV上的分量，γ、β、τS、τH分别为分量上的阈值。优选地，所述步骤S2.1包括：S2.1.1、对数据进行镜面对称增强数据集，具体分为左右对称和上下对称，使数据集数量翻两番；S2.1.2、对于刮痕这一个系列的数据集，进行背景分割；S2.1.3、对处理过后的背景图像进行PCA处理。优选地，所述步骤S2.1.3包括：首先根据RGB三色对样本阵元进行如下标准化：变换色通道计算均值和标准差，对网络的输入数据进行规范化，其公式如下：随后在整个训练集上计算协方差矩阵：解相关矩阵R的特征方程|R-λIP|＝0得到p个特征根，确定主成分的每个λj，j＝1,2,…m，解方程组Rb＝λjb得到单位特征向量j＝1,2,…m，将标准化后的指标变量变换为主成分：将求出的特征向量按照特征值的大小进行组合形成一个映射矩阵，并根据指定的PCA保留的特征个数，取出映射矩阵的前n行或者前n列作为最终的映射矩阵，用映射矩阵对原始数据进行映射；最后将上述经过数据增强预处理的图像输出。优选地，所述步骤S2.2包括：S2.2.1、定位目标车辆：利用RPN区域建议网络进行目标候选区域搜索，同时调整算法中对输入图片动态长宽比的实际需求模型参数，利用ResNet50网络生成特征映射图，并利用区域建议网络对生成的特征映射图进行全图的前后景目标搜索和筛选，以确定目标框；S2.2.2、R-FCN中的分类检测：在S2.2.1的基础上，利用R-FCN的分类网络，对目标框进行分类识别，即对目标车辆车窗细节具体类别的分类；R-FCN中的分类检测具体步骤如下：基于ResNet50网络生成的特征映射图，利用卷积操作在整幅图像上为每类生成k×k个位置敏感分数图，用于描述对应位置的空间网格；每个位置敏感图有C个通道输出，代表C-1类物体外加一个背景，对于一个w×h大小的候选目标框，由目标框RPN网络获得，将目标框划分为k×k个子区域，则每个子区域为w×h/k2大小，对于任意一个子区域bin(i,j),0≤i,j≤k-1，定义一个位置敏感池化操作，具体公式为：其中，rc(i,j|Θ)是子区域bin(i,j)对C个类别的池化响应，zi,j,c是子区域bin(i,j)所对应的位置敏感分数图，(x0,y0)代表目标候选框左上角的坐标，n是子区域bin(i,j)中的像素数，Θ代表网络的所有学习得到的参数。优选地，所述步骤S2.3中，对R-FCN检测输出的结果进行二次分类时，采用复制扩充训练集的方法，具体检测与分类过程如下：将待二次检测的图像输入训练模型，检测出各种马路标识的个数与具体位置，并按名称进行分类；采用区域候选框的交叉熵损失值作为候选区域选矿的分类损失值Lcls，Ls(s,tx,y,w,h)为R-FCN的价值函数，具体计算公式如下：Lcls(sc*)是分类的交叉熵价值函数，判断为类别C的概率,tx,y,w,h是目标框的顶点坐标以及长和宽，以下tcwd、tcw、都是tx,y,w,h的形式，λ1、λ2是超参数，是对道路目标框位置信息的回归，L1指L1范数，tcw是目标框的位置信息，道路标识真实的位置信息，是对道路标识具体细节目标框位置信息的回归，tcwd本文档来自技高网...

【技术保护点】
1.一种基于深度学习的视频大数据交通场景分析方法，其特征在于，具体包括如下步骤：S1、系统视频前景与背景分析：采用SOBS进行背景建模，去除视频定格中的前景，保留背景视频；S2、系统视频交通标识的检测与分类：采用R‑FCN算法对背景图像马路信息进行检测并进行二次结构化，具体步骤如下：S2.1、对S1中处理过后的背景图像进行基于PCA的数据增强处理；S2.2、对数据增强后的背景图像做基于R‑FCN的背景交通标识图像检测模型训练；S2.3、将训练好的背景交通标识图像检测模型进行训练改进，增加多个分支，同时调整算法中对输入图片动态长宽比的实际需求模型，训练出判别交通标识的模型，按其性质可以分成全局、路面和路边三大项，然后对R‑FCN检测输出的结果进行二次分类；S3、统计各项数据，分析马路上的信息，综合汇总，结合车辆自动检测系统做出车辆违章统计与道路规划。

【技术特征摘要】
1.一种基于深度学习的视频大数据交通场景分析方法，其特征在于，具体包括如下步骤：S1、系统视频前景与背景分析：采用SOBS进行背景建模，去除视频定格中的前景，保留背景视频；S2、系统视频交通标识的检测与分类：采用R-FCN算法对背景图像马路信息进行检测并进行二次结构化，具体步骤如下：S2.1、对S1中处理过后的背景图像进行基于PCA的数据增强处理；S2.2、对数据增强后的背景图像做基于R-FCN的背景交通标识图像检测模型训练；S2.3、将训练好的背景交通标识图像检测模型进行训练改进，增加多个分支，同时调整算法中对输入图片动态长宽比的实际需求模型，训练出判别交通标识的模型，按其性质可以分成全局、路面和路边三大项，然后对R-FCN检测输出的结果进行二次分类；S3、统计各项数据，分析马路上的信息，综合汇总，结合车辆自动检测系统做出车辆违章统计与道路规划。2.如权利要求1所述的一种基于深度学习的视频大数据交通场景分析方法，其特征在于，所述步骤S1包括：S1.1、背景建模：将背景模型中的一个像素映射到模型中的多个位置，直至SOBS背景模型建立完成；S1.2、视频帧图像的前景检测与背景更新：对于新进来的视频帧，将其对应位置的像素与背景模型中对应位置的模型进行比较；计算当前像素点与其对应的模型块里像素点的最小距离，对于视频图像，若最小距离小于阈值，则判定为背景，更新背景模型；若判定为阴影，则只标识为背景，不更新背景模型。3.如权利要求2所述的一种基于深度学习的视频大数据交通场景分析方法，其特征在于，所述步骤S1.1中，映射方式为：对于每个像素，在背景模型中采用n×n来表示，在背景模型初始化时，将图像转换到HSV颜色空间，模型中的每个值用ai＝(hi,si,vi)表示，对于原图中(x,y)处的一个像素，则对应于背景模型中的(i,j)，其定义为：i＝n*x,n*x+1,...,x*(n+1)-1),j＝n*y,n*y+1,...,y*(n+1)-1)。4.如权利要求3所述的一种基于深度学习的视频大数据交通场景分析方法，其特征在于，所述步骤S1.2中，对应位置的像素与模型比较中，在HSV颜色空间，两个像素pi与pj的距离如下式来计算：5.如权利要求4所述的一种基于深度学习的视频大数据交通场景分析方法，其特征在于，所述S1.2中更新背景模型的公式如下：其中，d(cm，pt)为计算任一像素点与背景模型的距离，ci为i处的背景模型，pt为当前像素点。6.如权利要求5所述的一种基于深度学习的视频大数据交通场景分析方法，其特征在于，所述S1.2中阴影判断公式如下：其中，上标V、S、H分别对应任意像素点颜色空间HSV上的分量，γ、β、τS、τH分别为分量上的阈值。7.如权利要求6所述的一种基于深度学习的视频大数据交通场景分析方法，其特征在于，所述步骤S2.1包括：S2.1.1、对数据进行镜面对称增强数据集，具体分为左右对称和上下对称，使数据集数量翻两番；S2.1.2、对于刮痕这一个系列的数据集，进行背景分割；S2.1.3、对处理过后的背景图像进行PCA处理。8.如权利要求7所述的一种基于深度学习的视频大数据交通场景分析方法，其特征在于，所述步骤S2...

【专利技术属性】
技术研发人员：张斯尧，王思远，谢喜林，张诚，黄晋，蒋杰，
申请(专利权)人：长沙千视通智能科技有限公司，
类型：发明
国别省市：湖南,43