【技术实现步骤摘要】
本专利技术属于深度学习与图像识别，尤其涉及一种车牌生成模型的训练方法、装置、设备及存储介质。
技术介绍
1、基于深度学习的车牌识别模型是数据驱动的，因此，其严重依赖于训练图像的质量，且车牌识别模型容易过拟合训练集内的车牌号，此外，由于不同的车牌分布在广阔区域内，手动收集车牌图像和注释费时费力，因此，生成车牌以补充训练数据是一种能提升车牌识别模型性能的有潜力的解决方案，其中，生成车牌的风格多样性和视觉逼真度很重要。
2、为了补充训练识别的数据，有学者提出一种基于人工合成的方法，该方法提出将随机采样得到的车牌号按照规定的字体字号渲染到空白的车牌背景上，然后再叠加人工设计的噪声以模拟真实拍摄所带来的拍摄噪声，然而，如不同的光照条件和恶劣的天气，这些在自然场景采集图像的过程中产生的复杂噪声很难被合成。因此，为了生成逼真的图像，以往的部分研究者提出基于图像翻译的方式将人工合成的车牌转化为具有真实环境噪声的车牌，这些方法将合成的车牌和真实车牌视为两个不同领域的图像，旨在学习真实域与合成域之间的转换函数。因此，对于同一张合成图像，这些方法只能生成相对应的一个真实图像，是无法生成多种风格的图像。为了解决这个问题，孙等人提出分别从不同图像中提取文本内容特征和风格样式特征，然后将两者结合起来生成逼真的车牌，然而，通过这种方法生成的车牌的风格只能与参考图像一致，无法生成任意风格的图像。综上所述，生成具有多样化风格的车牌仍然具有挑战性。
技术实现思路
1、本专利技术的目的在于提供一种车牌生成模
2、一方面，本专利技术提供了一种车牌生成模型的训练方法，所述车牌生成模型包括风格提取器、内容提取器以及生成器，所述方法包括下述步骤：
3、通过所述风格提取器从随机采样的风格向量中提取风格特征；
4、通过所述内容提取器从车牌参考图像中提取车牌内容特征；
5、根据所述风格特征和所述车牌内容特征，通过所述生成器生成车牌图像；
6、基于所述车牌图像、所述车牌生成模型的生成损失函数以及预先构建的判别器的判别损失函数，对所述车牌生成模型进行训练。
7、优选地，所述风格提取器包括风格编码模块和风格调制模块，通过所述风格提取器从随机采样的风格向量中提取风格特征的步骤，包括：
8、通过所述风格编码模块对所述风格向量进行特征提取，得到所述风格特征；
9、通过所述风格调制模块将所述风格特征广播到所述生成器不同的网络层中。
10、优选地，所述生成器的每个网络层分别对应一个所述风格调制模块，通过所述风格调制模块将所述风格特征广播到所述生成器不同的网络层中的步骤，包括：
11、根据所述生成器中各个网络层的分辨率，通过与所述生成器中网络层对应的所述风格调整模块对所述风格特征的粒度进行调整，并将调整后的所述风格特征输入至所述生成器对应的网络层中。
12、优选地，所述内容提取器包括透视变换模块和内容编码模块，通过所述内容提取器从车牌参考图像中提取车牌内容特征的步骤，包括：
13、根据所述风格特征，通过所述透视变换模块将所述车牌参考图像中的字符方向进行转换，得到转换后的所述车牌参考图像；
14、通过所述内容编码模块对转换后的所述车牌参考图像进行特征提取，得到所述车牌内容特征。
15、优选地，根据所述风格特征，通过所述透视变换模块将所述车牌参考图像中的字符方向进行转换，得到转换后的所述车牌参考图像的步骤，包括：
16、通过所述透视变换模块中的定位网络根据所述风格特征预测所述车牌参考图像的基准点的待转换位置；
17、根据所述待转换位置，采用薄板样条变换对所述车牌参考图像进行非刚性形变，得到转换后的所述车牌参考图像。
18、优选地，所述内容编码模块包括六个堆叠的残差模块，且每个残差模块后连接一个下采样模块，其中，所述残差模块用于特征提取，所述下采样模块用于对所述残差模块提取出的特征进行二倍下采样。
19、优选地，根据所述风格特征和所述车牌内容特征，通过所述生成器生成车牌图像的步骤，包括：
20、基于所述风格特征和所述车牌内容特征，通过所述生成器的每个网络层分别生成与所述网络层的分辨率对应的图像特征；
21、将所有的所述图像特征进行特征融合，得到所述车牌图像。
22、另一方面，本专利技术提供了一种车牌生成模型的训练装置，所述车牌生成模型包括风格提取器、内容提取器以及生成器，所述装置包括：
23、风格特征提取单元，用于通过所述风格提取器从随机采样的风格向量中提取风格特征；
24、内容特征提取单元，用于通过所述内容提取器从车牌参考图像中提取车牌内容特征；
25、车牌图像生成单元，用于根据所述风格特征和所述车牌内容特征，通过所述生成器生成车牌图像；
26、生成模型训练单元，用于基于所述车牌图像、所述车牌生成模型的生成损失函数以及预先构建的判别器的判别损失函数，对所述车牌生成模型进行训练。
27、另一方面，本专利技术还提供了一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述一种车牌生成模型的训练方法所述的步骤。
28、另一方面，本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述一种车牌生成模型的训练方法所述的步骤。
29、本专利技术通过车牌生成模型中的风格提取器从随机采样的风格向量中提取风格特征，通过车牌生成模型中的内容提取器从车牌参考图像中提取车牌内容特征，根据风格特征和车牌内容特征，通过车牌生成模型中的生成器生成车牌图像，基于车牌图像、车牌生成模型的生成损失函数以及预先构建的判别器的判别损失函数，对车牌生成模型进行训练，从而提高了车牌生成模型生成的车牌的逼真度和车牌风格的多样性。
本文档来自技高网...【技术保护点】
1.一种车牌生成模型的训练方法，其特征在于，所述车牌生成模型包括风格提取器、内容提取器以及生成器，所述方法包括下述步骤：
2.如权利要求1所述的方法，其特征在于，所述风格提取器包括风格编码模块和风格调制模块，通过所述风格提取器从随机采样的风格向量中提取风格特征的步骤，包括：
3.如权利要求2所述的方法，其特征在于，所述生成器的每个网络层分别对应一个所述风格调制模块，通过所述风格调制模块将所述风格特征广播到所述生成器不同的网络层中的步骤，包括：
4.如权利要求1所述的方法，其特征在于，所述内容提取器包括透视变换模块和内容编码模块，通过所述内容提取器从车牌参考图像中提取车牌内容特征的步骤，包括：
5.如权利要求4所述的方法，其特征在于，根据所述风格特征，通过所述透视变换模块将所述车牌参考图像中的字符方向进行转换，得到转换后的所述车牌参考图像的步骤，包括：
6.如权利要求4所述的方法，其特征在于，所述内容编码模块包括六个堆叠的残差模块，且每个残差模块后连接一个下采样模块，其中，所述残差模块用于特征提取，所述下采样模块用于对所述
7.如权利要求1所述的方法，其特征在于，根据所述风格特征和所述车牌内容特征，通过所述生成器生成车牌图像的步骤，包括：
8.一种车牌生成模型的训练装置，其特征在于，所述车牌生成模型包括风格提取器、内容提取器以及生成器，所述装置包括：
9.一种计算设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
...【技术特征摘要】
1.一种车牌生成模型的训练方法，其特征在于，所述车牌生成模型包括风格提取器、内容提取器以及生成器，所述方法包括下述步骤：
2.如权利要求1所述的方法，其特征在于，所述风格提取器包括风格编码模块和风格调制模块，通过所述风格提取器从随机采样的风格向量中提取风格特征的步骤，包括：
3.如权利要求2所述的方法，其特征在于，所述生成器的每个网络层分别对应一个所述风格调制模块，通过所述风格调制模块将所述风格特征广播到所述生成器不同的网络层中的步骤，包括：
4.如权利要求1所述的方法，其特征在于，所述内容提取器包括透视变换模块和内容编码模块，通过所述内容提取器从车牌参考图像中提取车牌内容特征的步骤，包括：
5.如权利要求4所述的方法，其特征在于，根据所述风格特征，通过所述透视变换模块将所述车牌参考图像中的字符方向进行转换，得到转换后的所述车牌参考图像的步骤，包括：
...
【专利技术属性】
技术研发人员：殷绪成，刘琦，陈松路，陈峰，
申请(专利权)人：珠海亿智电子科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。