本发明专利技术提供一种夜间车辆图像增强的方法、系统、设备及存储介质，属于车型识别技术领域。夜间车辆图像增强的方法包括：获得夜间车辆图像，并将夜间车辆图像进行分解，获得光照分量图像和反射分量图像；将夜间车辆图像输入至Transformer Encoder，获得夜间车辆图像的块向量；将夜间车辆图像的块向量输入至Mask Generator，获得分割图；将分割图和光照分量图像输入至Transformer Encoder，获得光照分量图像的块向量；将反射分量图像输入至Transformer Encoder，获得反射分量图像的块向量；将反射分量图像的块向量和光照分量图像的块向量输入至Transformer Decoder，获得增强特征图。实现了车体本身的光照增强，增强了后续识别任务中车辆的特征表达性区域，从而提升识别模块的准确率。升识别模块的准确率。升识别模块的准确率。
【技术实现步骤摘要】
一种夜间车辆图像增强的方法、系统、设备及存储介质
[0001]本专利技术涉及车型识别
，具体涉及一种夜间车辆图像增强的方法、系统、设备及存储介质。
技术介绍
[0002]车型识别属于目标识别领域，是计算机视觉领域的重要研究方向之一，其在智能交通、智慧城市、无人驾驶等领域均具有十分重要的应用。虽然目前车型识别方面已有成熟的产品问世，其针对日间采光充足、拍摄状况良好的车辆图片识别率较高，然而针对夜间拍摄的采光不足、环境光及车灯干扰、对比度低的车辆照片识别率却很低。夜间车型识别由于受到低光照、环境光等影响，车辆特征不明显，甚至会有伪特征的出现，从而影响车型的正确识别。此外，由于夜间车辆图像的车辆型号用肉眼都难以辨识，因而其标定困难，直接采集大量夜间车辆图像进行标定和训练的方案难以实现。
[0003]现有的车型识别技术中，大多数采用卷积神经网络深度学习方法提取强特征表达性区域。车辆数据首先进入卷积神经网络，通过特征提取模块，使用卷积层提取区域特征，激活层增强网络的非线性，提升网络参数的拟合结果，增强最终识别效果的稳健性。再输入池化层进一步提取关键特征，减少向下一个阶段传递的数据量。最后输入至特征分类模块，一般使用全连接层，对上一步传递来的特征向量使用Softmax函数进行分类，获得最终识别结果。但是车辆型号信息多分布于车尾不同区域，卷积操作的感受野范围有限，导致难以捕获图像全局的特征性区域，所以直接使用深度学习可能会导致细节信息未能进行增强，给后续的车辆型号识别带来一定难度。同样使用卷积网络在图像增强过程，对于噪声的处理可能会增强干扰特征，对后续的识别任务产生不同程度的负面影响。在某种车型样本数据稀少的情况下，负面效果体现的尤为明显。因此，需要提供一种夜间车辆图像增强的方法、系统、设备及存储介质。
技术实现思路
[0004]鉴于以上现有技术的缺点，本专利技术的目的在于提供一种夜间车辆图像增强的方法、系统、设备及存储介质，以改善现有技术中夜间车型识别过程中，由于光线较差，导致识别率较低的问题。
[0005]本专利技术提供一种夜间车辆图像增强的方法，包括以下过程：
[0006]获得夜间车辆图像，并将所述夜间车辆图像进行分解，获得光照分量图像和反射分量图像；
[0007]将所述夜间车辆图像输入至Transformer Encoder，获得夜间车辆图像的块向量；
[0008]将所述夜间车辆图像的块向量输入至Mask Generator，获得分割图；
[0009]将所述分割图和所述光照分量图像输入至所述Transformer Encoder，获得光照分量图像的块向量；
[0010]将所述反射分量图像输入至所述Transformer Encoder，获得反射分量图像的块
向量；
[0011]将所述反射分量图像的块向量和所述光照分量图像的块向量输入至Transformer Decoder，获得增强特征图。
[0012]在本专利技术一实施例中，所述将所述夜间车辆图像输入至Transformer Encoder，获得夜间车辆图像的块向量，包括以下过程：
[0013]将所述夜间车辆图像输入至第一卷积层，获得夜间车辆图像特征图；
[0014]将所述夜间车辆图像特征图进行序列化，获得夜间车辆图像特征图的序列化块向量；
[0015]将所述夜间车辆图像特征图的序列化块向量与夜间车辆图像特征图的位置编码信息输入至Transformer Encoder，获得夜间车辆图像的块向量。
[0016]在本专利技术一实施例中，所述将所述夜间车辆图像的块向量输入至Mask Generator，获得分割图，包括以下过程：
[0017]将所述夜间车辆图像的块向量与预设的车体类别向量和背景类别向量输入至Mask Generator，获得夜间车辆图像编码、车体类别编码、背景类别编码；
[0018]将所述夜间车辆图像编码和所述车体类别编码进行点乘，获得夜间车辆车体类别的掩码图；
[0019]将所述夜间车辆图像编码和所述背景类别编码进行点乘，获得夜间车辆背景类别的掩码图；
[0020]将所述夜间车辆车体类别的掩码图和所述夜间车辆背景类别的掩码图进行反卷积，获得分割图。
[0021]在本专利技术一实施例中，所述将所述分割图和所述光照分量图像输入至所述Transformer Encoder，获得光照分量图像的块向量，包括以下过程：
[0022]将所述分割图和所述光照分量图像进行拼接，获得光照分量图像的拼接图；
[0023]将所述光照分量图像的拼接图输入至第二卷积层，获得光照分量图像特征图；
[0024]将所述光照分量图像特征图进行序列化，获得光照分量图像特征图的序列化块向量；
[0025]将所述光照分量图像特征图的序列化块向量与光照分量图像特征图的位置编码信息输入至Transformer Encoder，获得光照分量图像的块向量。
[0026]在本专利技术一实施例中，所述将所述反射分量图像输入至所述Transformer Encoder，获得反射分量图像的块向量，包括以下过程：
[0027]将所述反射分量图像输入至第三卷积层，获得反射分量图像特征图；
[0028]将所述反射分量图像特征图进行序列化，获得反射分量图像特征图的序列化块向量；
[0029]将所述反射分量图像特征图的序列化块向量与反射分量图像特征图的位置编码信息输入至Transformer Encoder，获得反射分量图像的块向量。
[0030]在本专利技术一实施例中，所述将所述反射分量图像的块向量和所述光照分量图像的块向量输入至Transformer Decoder，获得增强特征图，包括以下过程：
[0031]将所述反射分量图像的块向量与预设的反射分量增强任务向量输入至所述Transformer Decoder，获得反射分量图像的增强块向量；
[0032]将所述光照分量图像的块向量与预设的光照分量增强任务向量输入至所述Transformer Decoder，获得光照分量图像的增强块向量；
[0033]将所述光照分量图像的增强块向量进行反卷积，获得增强后光照分量特征图；
[0034]将所述反射分量图像的增强块向量进行反卷积，获得增强后反射分量特征图；
[0035]将所述增强后反射分量特征图和所述增强后光照分量特征图进行点乘，获得增强特征图。
[0036]在本专利技术一实施例中，所述Mask Generator的损失函数为：Generator的损失函数为：其中，β
i
为权重参数，y
i
为真实标签样本，为预测的结果。
[0037]在本专利技术一实施例中，还提供一种夜间车辆图像增强的系统，包括车辆图像获得单元、车辆图像块向量获得单元、分割图获得单元、光照图像块向量获得单元、反射分量图像获得单元和增强特征图获得单元。
[0038]上述车辆图像获得单元用于获得夜间车本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种夜间车辆图像增强的方法，其特征在于，包括以下过程：获得夜间车辆图像，并将所述夜间车辆图像进行分解，获得光照分量图像和反射分量图像；将所述夜间车辆图像输入至Transformer Encoder，获得夜间车辆图像的块向量；将所述夜间车辆图像的块向量输入至Mask Generator，获得分割图；将所述分割图和所述光照分量图像输入至所述Transformer Encoder，获得光照分量图像的块向量；将所述反射分量图像输入至所述Transformer Encoder，获得反射分量图像的块向量；将所述反射分量图像的块向量和所述光照分量图像的块向量输入至Transformer Decoder，获得增强特征图。2.根据权利要求1所述的夜间车辆图像增强的方法，其特征在于，所述将所述夜间车辆图像输入至Transformer Encoder，获得夜间车辆图像的块向量，包括以下过程：将所述夜间车辆图像输入至第一卷积层，获得夜间车辆图像特征图；将所述夜间车辆图像特征图进行序列化，获得夜间车辆图像特征图的序列化块向量；将所述夜间车辆图像特征图的序列化块向量与夜间车辆图像特征图的位置编码信息输入至Transformer Encoder，获得夜间车辆图像的块向量。3.根据权利要求1所述的夜间车辆图像增强的方法，其特征在于，所述将所述夜间车辆图像的块向量输入至Mask Generator，获得分割图，包括以下过程：将所述夜间车辆图像的块向量与预设的车体类别向量和背景类别向量输入至Mask Generator，获得夜间车辆图像编码、车体类别编码、背景类别编码；将所述夜间车辆图像编码和所述车体类别编码进行点乘，获得夜间车辆车体类别的掩码图；将所述夜间车辆图像编码和所述背景类别编码进行点乘，获得夜间车辆背景类别的掩码图；将所述夜间车辆车体类别的掩码图和所述夜间车辆背景类别的掩码图进行反卷积，获得分割图。4.根据权利要求1所述的夜间车辆图像增强的方法，其特征在于，所述将所述分割图和所述光照分量图像输入至所述Transformer Encoder，获得光照分量图像的块向量，包括以下过程：将所述分割图和所述光照分量图像进行拼接，获得光照分量图像的拼接图；将所述光照分量图像的拼接图输入至第二卷积层，获得光照分量图像特征图；将所述光照分量图像特征图进行序列化，获得光照分量图像特征图的序列化块向量；将所述光照分量图像特征图的序列化块向量与光照分量图像特征图的位置编码信息输入至Transformer Encoder，获得光照分量图像的块向量。5.根据权利要求1所述的夜间车辆图像增强的方法，其特征在于，所述将所述反射分量图像输入至所述Transformer Encoder，获得反射分量图像的块向量...
【专利技术属性】
技术研发人员：余烨，陈维笑，路强，蔡文，陈凤欣，
申请(专利权)人：合肥工业大学智能制造技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。