基于高速传感的路面目标轻量化增强方法技术

本发明专利技术公开了基于高速传感的路面目标轻量化增强方法，本方法首先利用高速公路的视频传感器获取路面图像，然后设计用于图像增强的生成对抗网络，之后使用多种方式对生成对抗网络进行轻量化，减少生成对抗网络的参数量、存储体积、训练时间，使其更为高效和便捷。本发明专利技术对于道路监测和养护工程具有实际意义。对于道路监测和养护工程具有实际意义。对于道路监测和养护工程具有实际意义。

【技术实现步骤摘要】
基于高速传感的路面目标轻量化增强方法


[0001]本专利技术属于高速公路监测领域，涉及一种基于高速传感的路面目标轻量化增强方法。本专利技术适用于路面目标检测。

技术介绍

[0002]深度学习是路面目标检测的有力工具。深度学习模型的检测效果很大程度上取决于训练数据集的规模和质量。然而在实际工程中，大规模高质量的路面目标图像成本高昂且难以获得，因此通过数据增强扩充训练数据集尤为必要。
[0003]生成对抗网络对于路面目标增强是适合的、有效的。然而，复杂的生成对抗网络面临着难以训练、收敛速度慢和训练过程不稳定的问题。同时，由于其计算开销和存储体积巨大，难以在普通计算机上部署应用。而工程实践中对设备的可移动性和检测的实时性要求更高，因此需要更高效和小体积的模型。然而，目前缺少针对路面目标检测问题的轻量化生成对抗网络方法。

技术实现思路

[0004]本专利技术的目的在于通过一种基于高速传感的路面目标轻量化增强方法，对原始的小样本量的路面图像进行识别和数据增强，同时尽可能的缩减模型体积和运行时间，提高检测效率。
[0005]本专利技术采用的生成对抗网络包括生成器和判别器。生成器将随机噪声转化为路面图像，判别器根据输入的图像判断其是否为真。经过生成器和判别器的反复博弈训练，最终使得生成器可以生成逼真的路面图像。
[0006]本专利技术采用的技术方案为一种基于高速传感的路面目标轻量化增强方法，包括图像获取与准备、生成对抗网络初步设计和模型轻量化设计三大部分，如图1所示，具体步骤如下：
[0007]步骤一：图像获取与准备；
[0008]首先利用高速公路视频传感器获取路面图像，图像尺寸为160
×
160像素灰度图像。
[0009]步骤二：生成对抗网络初步设计；
[0010]为进行路面目标增强，设计初始生成对抗网络。用于数据增强的初始生成对抗网络的生成器结构如图2所示：其输入为大小为100的随机噪声。输入经过全连接层和Sigmoid激活函数后转换为102400个数字，这些数字经过维度转换后成为大小为10
×
10、维度为1024的特征图。对特征图进行三次变换，每次变换均经过转置卷积层、批量标准化和LeakyReLU(0.02)激活函数，其中转置卷积层使用的卷积核大小均为6
×
6。经过第一次变换后特征图大小变为20
×
20，维度变为512；经过第二次变换后特征图大小变为40
×
40，维度变为256；经过第三次变换后特征图大小变为80
×
80，维度变为128。之后再对特征图进行一次变换，包括使用6
×
6大小卷积核的转置卷积层和Sigmoid激活函数，输出尺寸为160
×
160
×
1的图像。
[0011]用于数据增强的初始生成对抗网络的判别器结构如图3所示：其输入为160
×
160
×
1的图像。输入经过四次变换，每次变换均经过卷积层、批量标准化和LeakyReLU(0.02)激活函数，其中卷积层使用的卷积核大小均为6
×
6。经过第一次变换后特征图大小变为80
×
80，维度变为128；经过第二层变换后特征图大小变为40
×
40，维度变为256；经过第三次变换后特征图大小变为20
×
20，维度变为512；经过第四次变换后特征图大小变为10
×
10，维度变为1024。之后对该特征图进行全局平均池化，保持其维度不变，使其大小变为1
×
1。再对此特征图进行维度转换，使其成为1024个数据。最后通过全连接层和Sigmoid激活函数将其转换为单数值输出。
[0012]步骤三：模型轻量化设计；
[0013]为实现轻量化增强，将多种方式应用于初始生成对抗网络。
[0014]利用压缩再扩展对初始生成对抗网络的生成器全连接层进行轻量化，如图4所示：降低全连接层输出节点，将隐藏层初始特征图维度由1024压缩为128，再利用1
×
1卷积层将其恢复至1024维度，同时降低全连接层输入节点，将输入随机噪声大小由100压缩为1。
[0015]利用多尺度卷积对初始生成对抗网络的生成器转置卷积层和判别器卷积层进行轻量化，具体方式如为：对于所有需要使用卷积核的层级，将原有6
×
6大小的卷积核替换为6
×
6和4
×
4大小的卷积核，且替换后卷积核的输出维度均为原卷积核的输出维度的一半，再对替换后的卷积核输出的特征图进行张量拼接，恢复原有维度。其结构如图5、6所示。
[0016]利用深度可分离卷积对初始生成对抗网络的生成器转置卷积层和判别器卷积层进行轻量化，具体方式如为：对于所有需要使用卷积核的层级，将常规卷积拆分为先进行逐通道卷积、再进行逐点卷积的深度可分离卷积，逐通道卷积与逐点卷积间不进行其他操作。其结构如图7、8所示。
[0017]本专利技术所程序算法由Python语言编写，神经网络基于Pytorch库搭建。在训练过程中，设置BatchSize为32，选择BCE损失函数和Adam优化器，学习率设为10
‑5，其余参数均保持Pytorch中的默认值。
[0018]本专利技术在初始生成对抗网络的基础上，经过多种轻量化方法的应用，实现基于高速传感的路面目标的轻量化增强。利用本专利技术可以有效减少人工成本和时间损耗，对实时、快速的道路状况分析有着重要的作用。
附图说明
[0019]图1为本方法实施的流程图。
[0020]图2为初始生成器结构图。
[0021]图3为初始判别器结构图。
[0022]图4为压缩再扩展方法示意图。
[0023]图5为多尺度卷积方法在生成器的应用示意图。
[0024]图6为多尺度卷积方法在判别器的应用示意图。
[0025]图7为深度可分离卷积方法在生成器的应用示意图。
[0026]图8为深度可分离卷积方法在判别器的应用示意图。
[0027]图9为生成的路面图像实例。
[0028]图10为训练流程图。
具体实施方式
[0029]本专利技术所使用的数据是通过高速公路视频传感器获取的，为160
×
160像素灰度图像。对生成对抗网络进行训练和测试。训练过程中，执行如下步骤：
[0030]步骤一，将高速公路视频传感器获取的真实图像输入判别器，由判别器判断其是否为真，并根据判断结果对判别器参数进行更新。
[0031]步骤二，由生成器根据随机噪声生成图像，将生成图像送入判别器，由判别器判断其是否为真，并根据判断结果对生成器参数进行更新。
[0032]步骤三，周期数自增，记录判别器损失函数值与生成器损失函数值。
[0033]重复以上步骤，直至周期数达到预设的训练周期数。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于高速传感的路面目标轻量化增强方法，其特征在于：包括图像获取与准备、生成对抗网络初步设计和模型轻量化设计三大部分，具体步骤如下：步骤一：图像获取与准备；首先利用高速公路视频传感器获取路面图像，图像尺寸为160
×
160像素灰度图像；步骤二：生成对抗网络初步设计；设计初始生成对抗网络；用于数据增强的初始生成对抗网络的生成器结构：其输入为大小为100的随机噪声；步骤三：模型轻量化设计；利用压缩再扩展对初始生成对抗网络的生成器全连接层进行轻量化，降低全连接层输出节点，将隐藏层初始特征图维度由1024压缩为128，再利用1
×
1卷积层将其恢复至1024维度，同时降低全连接层输入节点，将输入随机噪声大小由100压缩为1；利用多尺度卷积对初始生成对抗网络的生成器转置卷积层和判别器卷积层进行轻量化，具体方式如为：对于所有需要使用卷积核的层级，将原有6
×
6大小的卷积核替换为6
×
6和4
×
4大小的卷积核，且替换后卷积核的输出维度均为原卷积核的输出维度的一半，再对替换后的卷积核输出的特征图进行张量拼接，恢复原有维度。2.根据权利要求1所述的基于高速传感的路面目标轻量化增强方法，其特征在于：利用深度可分离卷积对初始生成对抗网络的生成器转置卷积层和判别器卷积层进行轻量化：对于所有需要使用卷积核的层级，将常规卷积拆分为先进行逐通道卷积、再进行逐点卷积的深度可分离卷积，逐通道卷积与逐点卷积间不进行其他操作。3.根据权利要求1所述的基于高速传感的路面目标轻量化增强方法，其特征在于：由Python语言编写，神经网络基于Pytorch库搭建；在训练过程中，设置BatchSize为32，选择BCE损失函数和Adam优化器，学习率设为10
‑5，其余参数均保持Pytorch中的默认值。4.根据权利要求1所述的基于高速传感的路面目标轻量化增强方法，其特征在于：用于数据增强的初始生成对抗网络的生成器结构为：其输入为大小为100的随机噪声；输入经过全连接层和Sigmoid激活函数后转换为102400个数字，这些数字经过维度转换后成为大小为10
×
10、维度为1024的特征图；对特征图进行三次变换，每次变换均经过转置卷积层、批量标准化和LeakyReLU(0.02)激活函数，其中转置卷积层使用的卷积核大小均为6
×
6；经过第一次变换后特征图大小变为20
×
20，维度变为512；经过第二次变换后特征图大小变为40
×
40，维度变为256；经过第三次变换后特征图...

【专利技术属性】
技术研发人员：陆由付，俄广迅，侯越，潘硕，刘卓，陈宁，牟振华，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：