【技术实现步骤摘要】
本申请涉及智能交通，尤其涉及一种车牌图像的处理方法、装置、设备及存储介质。
技术介绍
1、利用视频监控技术，可以获取车辆的抓拍图像。获取了车辆的抓拍图像之后，可以根据车辆的抓拍图像识别出车辆的车牌号，从而为高速公路的车辆管理、城市道路的车辆管理、停车场的车辆管理、以及小区或商场的地下车库的车辆管理提供技术支持。
2、为了解决视频监控技术中的夜间成像问题，在获取车辆的监控图像时通常采用多光谱融合的摄像装置。例如，该多光谱融合的摄像装置可以是可见光摄像头和红外摄像头的组合，可见光摄像头可以拍摄车辆的可见光抓拍图像，红外摄像头可以拍摄车辆的红外抓拍图像，多光谱融合的摄像装置可以将可见光抓拍图像和红外抓拍图像融合成融合抓拍图像。
3、但是，融合抓拍图像的成像效果可能存在不清晰的情况，而根据不清晰的融合抓拍图像可能无法准确识别车辆的车牌号。
技术实现思路
1、基于上述技术问题，本申请提供一种车牌图像的处理方法、装置、设备及存储介质，在获取到车牌区域的多种图像和融合图像之后，可以利用评价模型获取多种图像和融合图像的质量评分，将多种图像中质量评分较高的图像与融合图像进行融合，从而优化融合图像中车牌的成像效果。
2、第一方面，本申请提供一种车牌图像的处理方法，该方法包括：获取车牌区域的车牌区域图像，车牌区域包括车牌和车牌周围的区域；车牌区域图像包括车牌区域的多种图像和车牌区域的融合图像；融合图像为对车牌区域的多种图像融合之后得到的图像；根据评价模型对车牌区域的多
3、一种可能的实现方式中，获取掩模，包括：根据评价模型对车牌区域的多种图像进行分割评价，确定每种车牌区域的图像的分割评分；分割评分用于表征从车牌区域图像中分割出车牌的图像的难易程度；根据图像分割模型对分割评分最高的分割目标图像进行分割，得到掩模。
4、一种可能的实现方式中，当车牌区域的多种图像中，存在第一目标图像的质量评分高于车牌区域的融合图像的质量评分时，利用掩模将第一目标图像与车牌区域的融合图像进行融合，包括：当车牌区域的多种图像中，存在第一目标图像的质量评分高于车牌区域的融合图像的质量评分时，根据掩模生成权重图；对权重图进行均值处理，得到均值权重图；利用均值权重图将第一目标图像与车牌区域的融合图像进行加权融合。
5、应理解，对权重图进行均值处理(滤波)之后，得到均值权重图中的数值(权重)较小，将第一目标图像与车牌区域的融合图像相融合时，第一目标图像的边缘区域与融合图像之间的过渡较为平滑，避免融合之后的图像突兀，从而实现对车牌图像进行优化。
6、可选地，车牌区域的多种图像包括以下至少两种：可见光图像、红外图像、第一曝光时长的图像、以及第二曝光时长的图像。
7、可选地，图像分割模型包括多层网络；多层网络中的第一层网络包括编码模块、注意力模块、以及解码模块；多层网络中的末层网络包括编码模块、解码模块、以及上采样模块；多层中的中间层网络包括编码模块、注意力模块、解码模块、以及上采样模块；中间层网络为第一层网络和末层网络之间的网络层；编码模块，用于提取车牌区域图像的高层语义信息；注意力模块，用于提高特征的权重；解码模块，用于拼接输入的特征和提高特征的权重；上采样模块，用于对输入特征进行上采样。
8、可选地，图像分割模型还包括最终解码模块；所述最终解码模块，用于拼接输入的特征；第一层网络和中间层网络的编码模块均用于通过同层的注意力模块向同层的解码模块传输特征；还用于向下一层的编码模块以下采样的形式传输特征；末层网络的编码模块用于向末层网络的解码模块传输特征；中间层网络和末层网络的编码模块均用于通过同层的上采样模块向最终解码模块传输特征；还用于向上一层的解码模块以上采样的形式传输特征。
9、可选地，编码模块包括两个串联的卷积层。
10、可选地，注意力模块包括全局均值池化gap层和全连接层。
11、可选地，解码模块包括concat层、卷积层、全局均值池化gap层、以及全连接层。
12、可选地，上采样模块包括卷积层和上采样层。
13、可选地，在获取车牌区域的可见光图像和车牌区域的融合图像之前，该方法还包括：获取第一训练样本集；第一训练样本集包括多个第一训练样本；每一个第一训练样本包括一个车牌区域图像和与车牌区域图像对应的第一标签；第一标签为质量评分；基于第一训练样本集对预设的第一神经网络进行训练，得到评价模型。
14、可选地，第一训练样本还包括第二标签；第二标签包括分割评分；分割评分用于表征从车牌区域图像中分割出车牌的图像的难易程度。
15、可选地，在获取第一训练样本集之前，该方法还包括：获取多个车牌区域图像；车牌区域图像包括以下任意一种或多种：包括底色为蓝色、黄色、绿色、白色、以及黑色的车牌的车牌区域图像；包括位于不同形状的前保险杆上车牌的车牌区域图像；包括雨雪覆盖的车牌、泥土覆盖的车牌、以及磨损的车牌的车牌区域图像；车牌区域的可见光图像和车牌区域的融合图像；过暗的车牌区域图像和过曝的车牌区域图像。
16、可选地，在获取车牌区域的图像之后，该方法还包括：对获取到的车牌区域图像的副本图像执行随机上下翻转、随机左右翻转、随机调整图像饱和度、随机调整图像对比度、随机调整图像锐度、或者随机调整图像亮度中的一项或多项操作，以增加第一训练样本的数量。
17、可选地，在获取车牌区域的可见光图像和车牌区域的融合图像之前，该方法还包括：获取第二训练样本集；第二训练样本集包括多个第二训练样本；每一个第二训练样本包括一个车牌区域图像和与车牌区域图像对应的第三标签；第三标签为掩模；基于第二训练样本集，对预设的第二神经网络进行训练，得到图像分割模型。
18、本申请提供的车牌图像的处理方法，在获取到车牌区域的多种图像和车牌区域的融合图像之后，可以利用评价模型获取可见光图像和融合图像的质量评分，当融合图像受到例如红外成像过曝等的影响而导致图像的质量评分低于多种图像中的第一目标图像时，可以利用分割掩模将第一目标图像中的车牌图像融合至车牌区域的融合图像中的车牌位置处。质量评分越高，图像的成像效果越好越清晰，利用更加清晰的车牌图像代替融合抓拍图像中较不清晰的车牌图像，从而实现对车牌图像的优化。
19、第二方面，本申请提供一种车牌图像的优化装置，该装置包括用于之上第一方面所述的方法的各个模块。
20、第三方面，本申请提供一种电子设备，该设备包括：处理器和存储器；存储器存储有处理器可执行的指令；处理器被配置为执行指令时，使得电子设备实现上述第一方面所述的方法。
21、第四方面本文档来自技高网...
【技术保护点】
1.一种车牌图像的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取掩模，包括：
3.根据权利要求1所述的方法，其特征在于，所述当所述车牌区域的多种图像中，存在第一目标图像的质量评分高于所述车牌区域的融合图像的质量评分时，利用所述掩模将所述第一目标图像与所述车牌区域的融合图像进行融合，包括：
4.根据权利要求1所述的方法，其特征在于，所述车牌区域的多种图像包括以下至少两种：可见光图像、红外图像、第一曝光时长的图像、以及第二曝光时长的图像。
5.根据权利要求2所述的方法，其特征在于，所述图像分割模型包括多层网络；
6.根据权利要求5所述的方法，其特征在于，所述图像分割模型还包括最终解码模块；所述最终解码模块，用于拼接输入的特征；
7.根据权利要求5所述的方法，其特征在于，所述编码模块包括两个串联的卷积层。
8.根据权利要求5所述的方法，其特征在于，所述注意力模块包括全局均值池化GAP层和全连接层。
9.根据权利要求5所述的方法，其特征在于，所述解码模
10.根据权利要求5所述的方法，其特征在于，所述上采样模块包括卷积层和上采样层。
11.根据权利要求1所述的方法，其特征在于，在所述获取车牌区域的可见光图像和所述车牌区域的融合图像之前，所述方法还包括：
12.根据权利要求11所述的方法，其特征在于，所述第一训练样本还包括第二标签；所述第二标签包括分割评分；所述分割评分用于表征从所述车牌区域图像中分割出车牌的图像的难易程度。
13.根据权利要求11所述的方法，其特征在于，在所述获取第一训练样本集之前，所述方法还包括：
14.根据权利要求11所述的方法，其特征在于，在所述获取多个车牌区域图像之后，所述方法还包括：
15.根据权利要求1所述的方法，其特征在于，在所述获取车牌区域的可见光图像和所述车牌区域的融合图像之前，所述方法还包括：
16.一种车牌图像的处理装置，其特征在于，所述装置包括获取模块和处理模块；
17.一种电子设备，其特征在于，所述设备包括：处理器和存储器；
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括：计算机软件指令；
...【技术特征摘要】
1.一种车牌图像的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述获取掩模，包括：
3.根据权利要求1所述的方法，其特征在于，所述当所述车牌区域的多种图像中，存在第一目标图像的质量评分高于所述车牌区域的融合图像的质量评分时，利用所述掩模将所述第一目标图像与所述车牌区域的融合图像进行融合，包括：
4.根据权利要求1所述的方法，其特征在于，所述车牌区域的多种图像包括以下至少两种：可见光图像、红外图像、第一曝光时长的图像、以及第二曝光时长的图像。
5.根据权利要求2所述的方法，其特征在于，所述图像分割模型包括多层网络；
6.根据权利要求5所述的方法，其特征在于，所述图像分割模型还包括最终解码模块；所述最终解码模块，用于拼接输入的特征；
7.根据权利要求5所述的方法，其特征在于，所述编码模块包括两个串联的卷积层。
8.根据权利要求5所述的方法，其特征在于，所述注意力模块包括全局均值池化gap层和全连接层。
9.根据权利要求5所述的方法，其特征在于，所述解码模块包括concat层、卷积层、全局均值池化gap层...
【专利技术属性】
技术研发人员：王志鹏，傅斌，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。