一种道路背景建模方法、装置、电子设备和存储介质制造方法及图纸

本申请提供了一种道路背景建模方法、装置、电子设备和存储介质，方法包括：获取待检测道路的视频图像；将所述视频图像输入背景模型，获得所述视频图像的背景掩码图像；其中，所述背景模型是通过卷积神经网络对样本视频图像进行训练得到的；所述样本视频图像是在昼夜、各种季节以及各种气候下获得的。本申请训练时输入的不仅是样本和对应的标注文件，还有采集时该图像记录的采集时间、气候、季节等信息；进行背景建模时不仅考虑了图像空间上的变化，还考虑了前后帧的差异。为了减少计算量，本申请在时间序列上，对每一帧进行标记的图像，加入了从当前帧的前几秒内采集的图像范围内按以相隔2的指数次方帧数筛选出来的图像，一同进行训练。

A road background modeling method, device, electronic equipment and storage medium

【技术实现步骤摘要】
一种道路背景建模方法、装置、电子设备和存储介质
本申请涉及图像处理
，特别是涉及一种道路背景建模方法、装置、电子设备和存储介质。
技术介绍
在数字轨、车路协同、自动驾驶、环境感知、辅助驾驶等
内，其核心在于对当前行驶路况的实时检测与更新，行驶车辆能根据实时感知结果做出科学的行驶方案。目前相关技术是通过在车辆上安装多种车载传感器(如摄像头、激光雷达、毫米波雷达等)，通过传感器的组合来实现环境感知，但由于车载传感器的监控范围有限，以及车辆在不断行驶时无法细致全面地感知道路状况，难以处理城市道路的复杂场景。在具体场合中，监控场景往往比较复杂，对背景的有效建模有一定的干扰，例如，随风摆动的树叶、监控设备发生抖动使得监控视频发生轻微错位、不同时间段的光照变化和形成的投影、正在等待红绿灯的行人、不同气候条件等等。因此，亟需一种技术，可以基于道路实时监控实现对环境的大范围感知，将实时感知结果通过传输设备传输到自动驾驶车辆，供车辆使用。
技术实现思路
本申请提供一种道路背景建模方法、装置、电子设备和存储介质，以解决上述问题。本申请第一方面提供了一种道路背景建模方法，所述方法包括：获取待检测道路的视频图像；将所述视频图像输入背景模型，获得所述视频图像的背景掩码图像；其中，所述背景模型是通过卷积神经网络对样本视频图像进行训练得到的；所述样本视频图像是在昼夜、各种季节以及各种气候下获得的。进一步地，所述背景模型是按照如下方式训练得到的：对卷积神经网络进行权重初始化；向卷积神经网络输入样本视频图像，以及所述样本视频图像对应的标注文件，进行前向传播，获得在初始权重下，卷积神经网络的输出图像；其中，所述标注文件包括所述样本视频图像相应的时间信息、季节信息以及气候信息；判断所述卷积神经网络的输出图像与标准标注样本图像之间的误差是否小于等于第一期望阈值；当所述卷积神经网络的输出图像与所述标准标注样本图像之间的误差不小于第一期望阈值时，根据所述卷积神经网络的输出图像与所述标准标注样本图像之间的误差进行反向传播，调整所述卷积神经网络的权重，直至获得的卷积神经网络的输出图像与标准标注样本图像之间的误差小于等于第一期望阈值；停止所述卷积神经网络的训练，完成所述背景模型的构建。进一步地，所述样本视频图像是按照如下方式获得的：获取样本监控视频；所述样本监控视频包括在多种时间、多种季节、多种气候以及多种振动强度下获得的监控视频；根据所述样本监控视频，获得第一样本视频图像集；其中，所述第一样本视频图像集是由所述样本监控视频中的每一帧视频图像、按照拍摄时间顺序构成的；对所述第一样本视频图像集进行至少一次抽样，获得第二样本视频图像集；对第二样本视频图像集中的第二样本视频图像进行图像畸变处理，获得所述样本视频图像。进一步地，所述标准标注样本图像和所述标注文件是按照如下方式获得的：利用第三方标注工具对所述样本视频图像进行背景分割和分类标注，获得标准标注样本图像和对应的标注文件。进一步地，对所述第一样本视频图像集进行至少一次抽样，获得第二样本视频图像集，具体包括：在所述第一样本视频图像集中，按照每间隔a帧第一样本视频图像抽取一帧第一样本视频图像的方式，获得第一训练集；其中，第一训练集包含所有被抽取的第一样本视频图像；a为正整数，a小于所述第一样本视频图像集中的第一样本视频图像的总数；对所述第一训练集中的所有第一样本视频图像进行标记，获得标记第一训练集；将所述标记第一训练集中所有第一样本视频图像重新放入所述第一样本视频图像集中原来各自所处的位置，构成待选第一样本视频图像集；以所述待选第一样本视频图像集中具有标记的第一样本视频图像为节点，取所述节点前的N帧第一样本视频图像；针对每个节点获取的每组N帧第一样本视频图像，以相应的节点为起点，从该组中的N帧第一样本视频图像中，依次取间隔2n帧第一样本视频图像后的一帧第一样本视频图像，获得时序训练子集；其中n依次取自然数；根据所有的时序训练子集，获得第二训练集；根据所述第一训练集和所述第二训练集，获得第二样本视频图像集。进一步地，所述样本视频图像包括：在各个季节中多种气候下获得的视频图像；在各个季节中夜间、白天获得的视频图像；其中，所述样本视频图像中，在各个季节中获得的视频图像数量相同；在各种气候下获得的视频图像的数量相同；在夜间和白天各自获得的视频图像数量相同。进一步地，将所述视频图像输入背景模型，获得所述视频图像的背景掩码图像的同时，还包括：获得所述视频图像中所摄场景的季节概率、昼夜概率以及气候概率。本申请第二方面提供了一种道路背景建模装置，所述装置包括：获取模块，用于获取待检测道路的视频图像；背景掩码图像获取模块，用于将所述视频图像输入背景模型，获得所述视频图像的背景掩码图像；其中，所述背景模型是通过卷积神经网络对样本视频图像进行训练得到的；所述样本视频图像是在昼夜、各种季节以及各种气候下获得的。本申请第三方面提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行以实现一种道路背景建模方法。本申请第四方面提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行实现一种道路背景建模方法。与现有技术相比，本申请包括以下优点：本申请训练时输入的不仅是样本和对应的标注文件，还有采集时该图像记录的采集时间、气候、季节等信息；进行背景建模时不仅考虑了图像空间上的变化，还考虑了前后帧的差异。为了减少计算量，本申请在时间序列上，对每一帧进行标记的图像，加入了从当前帧的前几秒内采集的图像范围内按以相隔2的指数次方帧数筛选出来的图像，一同进行训练；本申请不仅能在各种气候条件下输出监控区域的背景，还能输出该测试样本的气候、季节等信息。本申请中的背景模型泛化能力强，所建立的背景模型包含了所有一年四季中几乎所有的气候条件，模型不仅能够给出背景图像，而且能够给出检测图像对应的的季节与气候等信息。本申请硬件成本大幅降低，相比于其他硬件设备，如红外传感器造价昂贵，实现大范围的普及有很大的压力，因此现在还处于小规模的研究阶段，而基于视觉的摄像头造价便宜一个数量级。本申请算法设计难度低，相比于相关技术，红外传感器基于原距离测距精度降低，使得提取障碍物较为困难；基于多传感器融合可以使障碍物检测更加精准，但算法设计难度大，并且各传感器由于各自的设计原理，很难实现真正的同步。本申请对于仅仅基于视觉的传感器不仅成本降低，算法设计难度也较低。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明为了更清楚地说明本申请各个实施例的技术方案，下面将对本申请各个实施例的描述中所需要使用的附图作简单本文档来自技高网...

【技术保护点】
1.一种道路背景建模方法，其特征在于，所述方法包括：/n获取待检测道路的视频图像；/n将所述视频图像输入背景模型，获得所述视频图像的背景掩码图像；/n其中，所述背景模型是通过卷积神经网络对样本视频图像进行训练得到的；所述样本视频图像是在昼夜、各种季节以及各种气候下获得的。/n

【技术特征摘要】
1.一种道路背景建模方法，其特征在于，所述方法包括：
获取待检测道路的视频图像；
将所述视频图像输入背景模型，获得所述视频图像的背景掩码图像；
其中，所述背景模型是通过卷积神经网络对样本视频图像进行训练得到的；所述样本视频图像是在昼夜、各种季节以及各种气候下获得的。


2.根据权利要求1所述的方法，其特征在于，所述背景模型是按照如下方式训练得到的：
对卷积神经网络进行权重初始化；
向卷积神经网络输入样本视频图像，以及所述样本视频图像对应的标注文件，进行前向传播，获得在初始权重下，卷积神经网络的输出图像；其中，所述标注文件包括所述样本视频图像相应的时间信息、季节信息以及气候信息；
判断所述卷积神经网络的输出图像与标准标注样本图像之间的误差是否小于等于第一期望阈值；
当所述卷积神经网络的输出视频图像与所述标准标注样本图像之间的误差不小于第一期望阈值时，根据所述卷积神经网络的输出图像与所述标准标注样本图像之间的误差进行反向传播，调整所述卷积神经网络的权重，直至获得的所述卷积神经网络的输出图像与标准标注样本图像之间的误差小于等于第一期望阈值；
停止所述卷积神经网络的训练，完成所述背景模型的构建。


3.根据权利要求2所述的方法，其特征在于，所述样本视频图像是按照如下方式获得的：
获取样本监控视频；所述样本监控视频包括在多种时间、多种季节、多种气候以及多种振动强度下获得的监控视频；
根据所述样本监控视频，获得第一样本视频图像集；其中，所述第一样本视频图像集是由所述样本监控视频中的每一帧视频图像、按照拍摄时间顺序构成的；
对所述第一样本视频图像集进行至少一次抽样，获得第二样本视频图像集；
对第二样本视频图像集中的第二样本视频图像进行图像畸变处理，获得所述样本视频图像。


4.根据权利要求3所述的方法，其特征在于，所述标准标注样本图像和所述标注文件是按照如下方式获得的：
利用第三方标注工具对所述样本视频图像进行背景分割和分类标注，获得标准标注样本图像和对应的标注文件。


5.根据权利要求3所述的方法，其特征在于，对所述第一样本视频图像集进行至少一次抽样，获得第二样本视频图像集，具体包括：
在所述第一样本视频图像集中，按照每间隔a帧第一样本视频图像抽取一帧第一样本...

【专利技术属性】
技术研发人员：陈瑶，程邦胜，方晓波，张辉，
申请(专利权)人：新奇点企业管理集团有限公司，
类型：发明
国别省市：浙江;33