一种基于视频卫星数据的大视场交通密度获取方法技术

本发明专利技术提供一种基于视频卫星数据的大视场交通密度获取方法，包括以下步骤：将视频卫星数据输入到预处理模块，得到每一帧图像；采用金字塔道路提取网络，提取第一帧图像中的道路，再对每一帧图像进行掩膜，得到掩膜后道路区域；将掩膜后道路区域输入到基于多策略时空信息选择的车辆检测网络中，进行车辆目标检测；在掩膜后道路区域上绘制热力图，并将该热力图作为图层，叠加到每一帧图像上面，得到大视场交通密度图。本发明专利技术提供一种基于视频卫星数据的大视场交通密度获取方法，充分利用目标间的联系，可以准确高效的提取到视频卫星图像中车辆，提高视频卫星交通密度获取的精度与效率。率。率。

【技术实现步骤摘要】
一种基于视频卫星数据的大视场交通密度获取方法


[0001]本专利技术属于遥感信息智能处理
，具体涉及一种基于视频卫星数据的大视场交通密度获取方法。

技术介绍

[0002]现有技术中，交通密度获取方法主要为：利用地面传感器或遥感数据对某一街道、路段进行车流量统计，进而获取交通密度。具体的，地面传感器主要包括地磁线圈、监控摄像、红外传感器和超声波传感器，遥感数据主要包括无人机数据、遥感影像与视频卫星数据。其中，通过地面传感器获取交通密度的方法无法直接、宏观地展示大视场区域的动态车流变化；基于无人机数据的交通密度获取方法可以直接展示动态车流变化，但容易受到天气影响，同时无人机晃动导致的成像模糊问题，不利于交通密度的准确获取；基于遥感影像的交通密度获取方法虽然能够获取大范围的交通密度，但遥感影像无法连续、不间断地获取交通密度，不能反映某一区域的动态交通密度。
[0003]综上所述，通过视频卫星数据获取交通密度的方法，对于准确、直接、宏观地展示大视场区域的动态车流变化具有重要意义。
[0004]当前，基于视频卫星数据获取交通密度的方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频卫星数据的大视场交通密度获取方法，其特征在于，包括以下步骤：步骤S1，将共计t
″
帧的视频卫星数据输入到预处理模块中，对每一帧图像进行双边滤波与直方图均衡化处理，得到每一帧图像Fig
t
；其中，t＝1，2，...，t
″
；步骤S2，将第一帧图像Fig1作为道路模板图，输入到金字塔道路提取网络中，得到道路分割结果图RoadMap；其中，在道路分割结果图RoadMap中，道路区域灰度值为1，非道路区域灰度值为0；步骤S3，对道路分割结果图RoadMap进行形态学闭运算，得到道路区域Area
road
；其余区域为非道路区域Area
unroad
；步骤S4，将非道路区域Area
unroad
作为掩膜模板，对步骤S1得到的每一帧图像Fig
t
进行掩膜，得到掩膜后道路区域Area
′
road
(t)；步骤S5，将掩膜后道路区域Area
′
road
(t)，输入到基于多策略时空信息选择的车辆检测网络中，进行车辆目标检测，得到车辆标记图像CarMap(t)，其中，在车辆标记图像CarMap(t)中，标记道路区域中所有车辆目标的位置与序号；步骤S6，对于车辆标记图像CarMap(t)中的每个车辆目标，以其中心点坐标为圆心，以长度r为半径，设定缓冲区，计算每个缓冲区中车辆目标数量，即为车辆目标的周边车辆数量；从而得到t时刻每个车辆目标的周边车辆数量；步骤S7，根据每个车辆目标的周边车辆数量的分布情况，在掩膜后道路区域Area
′
road
(t)上绘制热力图，并将该热力图叠加到步骤S1的每一帧图像Fig
t
上面，得到t时刻大视场交通密度图。2.根据权利要求1所述的一种基于视频卫星数据的大视场交通密度获取方法，其特征在于，步骤S2具体为：步骤S2.1，构建金字塔道路提取网络；所述金字塔道路提取网络，包括特征提取模块和尺度恢复模块；步骤S2.2，所述特征提取模块的图像处理过程为：步骤S2.2.1，对第一帧图像Fig1进行特征提取，分别得到尺寸缩小2倍、4倍、8倍、16倍的道路金字塔特征图F
Pyramid
Map(m)，其中，m＝1，2，3，4，代表对图像的道路语义信息的表达逐渐加强；步骤S2.2.2，依次对道路金字塔特征图F
Pyramid
Map(m)进行横向连接映射，强化道路金字塔特征图F
Pyramid
Map(m)的道路语义特征表达，得到与道路金字塔特征图F
Pyramid
Map(m)相同尺寸的横向连接特征图F
Trans
Map(m)；步骤S2.2.3，对横向连接特征图F
Trans
Map(4)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F
Trans
Map(3)尺寸相同的上采样特征图F
Up
Map(3)；对横向连接特征图F
Trans
Map(3)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F
Trans
Map(2)尺寸相同的上采样特征图F
Up
Map(2)；对横向连接特征图F
Trans
Map(2)进行比例因子为2的最近邻插值，扩大道路语义强化特征图的尺寸，得到与横向连接特征图F
Trans
Map(1)尺寸相同的上采样特征图F
Up
Map(1)；步骤S2.2.4，对横向连接特征图F
Trans
Map(3)和上采样特征图F
Up
Map(3)进行特征融合，
通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F
Ehc
Map(3)；对横向连接特征图F
Trans
Map(2)和上采样特征图F
Up
Map(2)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F
Ehc
Map(2)；对横向连接特征图F
Trans
Map(1)和上采样特征图F
Up
Map(1)进行特征融合，通过特征图对应像素相加后取平均值的方式得到道路特征强化特征图F
Ehc
Map(1)；其中，道路特征得到增强，同时保留道路附近细节信息；步骤S2.2.5，通过hardmax函数判断横向连接特征图F
Trans
Map(4)中每个像素的类别，得到道路分割结果二值化图BinMap(4)；通过hardmax函数判断道路特征强化特征图F
Ehc
Map(3)中每个像素的类别，得到道路分割结果二值化图BinMap(3)；通过hardmax函数判断道路特征强化特征图F
Ehc
Map(2)中每个像素的类别，得到道路分割结果二值化图BinMap(2)；通过hardmax函数判断道路特征强化特征图F
Ehc
Map(1)中每个像素的类别，得到道路分割结果二值化图BinMap(1)；其中，在道路分割结果二值化图中，道路区域灰度值为1，非道路区域灰度值为0；步骤S2.3，尺度恢复模块的图像处理过程为：步骤S2.3.1，分别将道路分割结果二值化图BinMap(n)输入到尺度恢复模块中，通过上采样恢复空间分辨率，得到尺度恢复后特征图F
Recovery
Map(n)；其中，n＝1，2，3，4；所有尺度恢复后特征图F
Recovery
Map(n)的尺寸均与第一帧图像Fig1的尺寸相同；步骤S2.3.2，对尺度恢复后特征图F
Recovery
Map(1)、尺度恢复后特征图F
Recovery
Map(2)、尺度恢复后特征图F
Recovery
Map(3)和尺度恢复后特征图F
Recovery
Map(4)进行对应元素相加后平均，得到道路分割结果图RoadMap。3.根据权利要求2所述的一种基于视频卫星数据的大视场交通密度计算方法，其特征在于，步骤S3具体为：设Square为8*8像素的正方形结构元素，采用下式，对道路分割结果图RoadMap和正方形结构元素Square作闭运算，得到道路区域Area
road
：其中：是指形态学膨胀运算，Θ是指形态学腐蚀运算。4.根据权利要求1所述的一种基于视频卫星数据的大视场交通密度计算方法，其特征在于，步骤S5具体为：步骤S5.1，通过滑窗方式，将掩膜后道路区域Area
′
road
(t)裁切为尺寸s*s的多个图像块Block，其中，对像素数不足的边界部分，通过补零的方式保证图像块的尺寸，并且，相邻图像块之间具有设定区域的重叠；步骤S5.2，对每个图像块Block进行车辆特征提取，分别得到浅层车辆特征图F
Shallow
Map和深层车辆特征图F
Deep
Map；其中：浅层车辆特征图F
Shallow
Map的尺寸，大于深层车辆特征图F
Deep
Map的尺寸；步骤S5.3，对深层车辆特征图F
Deep
Map进行初步的车辆特征识别，得到p个车辆候选框Box，候选框参数为(x，y，width，high)，其中x和y表示候选框在深层车辆特征图F
Deep
Map的中心点坐标，width和high分别表示候选框的宽、高；
然后，分别执行步骤S5.3.1和步骤S5.3.2；步骤S5.3.1，将步骤S5.3的p个车辆候选框Box映射到深层车辆特征图F
Deep
Map的对应位置，从而得到包含p个车辆候选框的车辆特征图F
Box
Map；步骤S5.3.2，将步骤S5.3得到的p个车辆候选框Box中的width和high参数扩大设定倍数，得到p个扩大候选框Box
Exp
，扩大候选框参数为(x
′
，y
′
，width
′
，high
′
)；其中，所述扩大候选框Box
Exp
在包括车辆本身特征信息的基础上，还包括车辆周围的局部上下文信息；其中，x
′
和y
′
表示扩大候选框在深层车辆特征图F
Deep
Map的中心点坐标，与对应的候选框在深层车辆特征图F
Deep
Map的中心点坐标相同；width
′
和high
′
分别表示扩大候选框的宽、高；然后，将p个扩大候选框Box
Exp
映射到深层车辆特征图F
Deep
Map的对应位置，从而得到包含p个扩大候选框的车辆特征图F
BoxExp
Map；步骤S5.4，将包含p个车辆候选框的车辆特征图F
Box
Map和包含p个扩大候选框的车辆特征图F
BoxExp
Map输入至时域门控子网络中，得到每个图像块block中的车辆时域分类结果C
T
与车辆时域回归结果R
T
；将包含p个车辆候选框的车辆特征图F
Box
Map输入至空域聚集子网络中，得到车辆空域分类结果C
S
与车辆空域回归结果R
S
；其中，时域门控子网络的处理过程为：步骤A1，将包含p个车辆候选框的车辆特征图F
Box
Map中的每个车辆候选框Box，划分为a个尺寸固定为k的车辆特征图瓦片F
small
Map(1)，F
small
Map(2)，...，F
small
Map(a)；将包含p个扩大候选框的车辆特征图F
BoxExp
Map中的每个扩大候选框Box
Exp
，划分为b个尺寸固定为k的扩大特征图瓦片F
large
Map(1)，F
large
Map(2)，...，F
large
Map(b)；步骤A2，对于车辆特征图F
Box
Map，构建对象与对象关系上下文信息，具体方法为：步骤A2.1，车辆特征图F
Box
Map中包括p个车辆候选框Box，Box
i
为第i个车辆候选框；其中，i＝1，2，...，p；Box
j
为第j个车辆候选框，其中，j≠i；则：通过下式计算Box
j
对Box
i
的影响e
j
→
i
，e
j
→
i
是权重标量：其中：relu代表激活函数；W
s
代表维度为1*12的空间位置关系权重向量；表示Box
i
和Box
j
的空间位置关系；tanh为双曲正切函数；[f
i
，f
j
]表示视觉特征关系向量，维度为100*1，由车辆特征图F
Box
Map中Box
i
范围内各像素特征值f
i
和Box
j
范围内各像素特征值f
j
逐像素串联而成，若串联后维度不足100，则对该向量进行补零；其中，f
i
代表Box
i
内像素特征值；f
j
代表Box
j
内像素特征值；W
v
是维度为1*100的视觉特征关系权重向量；是12维的列向量...

【专利技术属性】
技术研发人员：吕京国，曹逸飞，白颖奇，曲宁宁，贺柳良，
申请(专利权)人：北京建筑大学，
类型：发明
国别省市：