一种图像识别的方法及设备技术

本发明专利技术公开了一种图像识别的方法及设备，用于实现一种更加通用的车牌识别方法，在支持国标车牌基础上支持识别各种定制车牌，减少开发工作量和开发周期。该方法包括：确定待识别的图像和所述图像中对象的外部特征；将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分支网络；根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。的识别结果。的识别结果。

【技术实现步骤摘要】
一种图像识别的方法及设备


[0001]本专利技术涉及图像识别
，特别涉及一种图像识别的方法及设备。

技术介绍

[0002]国标机动车车牌包括蓝牌，新能源，黄牌等，车牌字符格式比较统一，一般为省份简称+字母+字母或数字，长度为7位或8位，车牌全部使用字符个数不超过几十种，目前国标机动车车牌识别方案已经比较成熟，识别率较高。
[0003]但在一些工厂或园区，为方便内部车辆管理，内部车辆一般会悬挂特殊的定制车牌，很多定制车牌通常会存在新的字符，且新的字符并不在国标车牌的字符库中，针对这种定制车牌，需要搜集大量图像进行训练，重新优化针对定制车牌的识别算法，开发周期较长，消耗人力物力。

技术实现思路

[0004]本专利技术提供一种图像识别的方法及设备，用于实现一种更加通用的车牌识别方法，在支持国标车牌基础上支持识别各种定制车牌，减少开发工作量和开发周期。
[0005]第一方面，本专利技术实施例提供的一种图像识别的方法，该方法包括：
[0006]确定待识别的图像和所述图像中对象的外部特征；
[0007]将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分支网络；
[0008]根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。
[0009]本实施例提供的通用图像识别方法能够保证识别的准确率的同时，采用多任务方式，使用更低的计算力实现国标车牌和其他定制车牌的识别。
[0010]作为一种可选的实施方式，通过如下方式确定所述识别模型训练完成：
[0011]获取标注的第一训练集和标注的第二训练集；
[0012]将所述第一训练集经过主干网络输入到第一分支网络，计算第一损失值，以及将所述第二训练集经过主干网络输入到第二分支网络，计算第二损失值；
[0013]分别利用所述第一损失值和所述第二损失值，对所述识别模型进行交替训练，当所述第一损失值和所述第二损失值都满足预设条件时，确定所述识别模型训练完成。
[0014]作为一种可选的实施方式，通过如下方式确定所述第二训练集：
[0015]获取标注的真实图像，利用生成的至少一个第一字符，对所述真实图像中的至少一个第二字符进行替换，得到合成图像；
[0016]根据进行替换的至少一个第一字符标注的标签，对所述合成图像进行标注；
[0017]根据标注的合成图像，确定第二训练集。
[0018]本实施例通过生成合成图像的方式，能够减少人工标注的成本，更加便捷地生成大量的合成图像用于训练。
[0019]作为一种可选的实施方式，所述根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果，包括：
[0020]当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果，其中所述第一预设特征是根据所述第一训练集的图像中对象的外部特征确定的；或，
[0021]当所述对象的外部特征满足第二预设特征时，根据所述第二预测结果确定所述对象的识别结果，其中所述第二预设特征是根据所述第二训练集的图像中对象的外部特征确定的。
[0022]本实施例通过结果对象的外部特征选取第一预测结果或第二预测结果进行识别结果的确定，能够保证识别模型的通用性。
[0023]作为一种可选的实施方式，所述当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果，包括：
[0024]确定与所述第一预设特征对应的第一字符规则；
[0025]当所述第一预测结果符合所述第一字符规则时，根据所述第一预测结果确定所述对象的识别结果。
[0026]作为一种可选的实施方式，所述当所述对象的外部特征满足第二预设特征时，根据所述第二预测结果确定所述对象的识别结果，包括：
[0027]确定与所述第二预设特征对应的第二字符规则；
[0028]当所述第二预测结果符合所述第二字符规则时，根据所述第二预测结果确定所述对象的识别结果。
[0029]作为一种可选的实施方式，当所述第二预测结果不符合所述第二字符规则时，还包括：
[0030]确定与所述第一预设特征对应的第一字符规则；
[0031]当所述第二预测结果符合所述第一字符规则时，根据所述第二预测结果确定所述对象的识别结果。
[0032]作为一种可选的实施方式，所述第一预测结果包括至少一个置信度大于第一阈值的第一预测标签；和/或，
[0033]所述第二预测结果包括至少一个置信度大于第二阈值的第二预测标签。
[0034]本实施例通过选取多个预测标签依次进行规则匹配的方式，能够减少对网络模型鲁棒性的依赖，提升识别率。
[0035]第二方面，本专利技术实施例提供的一种图像识别的设备，包括处理器和存储器，所述存储器用于存储所述处理器可执行的程序，所述处理器用于读取所述存储器中的程序并执行如下步骤：
[0036]确定待识别的图像和所述图像中对象的外部特征；
[0037]将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分
支网络；
[0038]根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。
[0039]作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述识别模型训练完成：
[0040]获取标注的第一训练集和标注的第二训练集；
[0041]将所述第一训练集经过主干网络输入到第一分支网络，计算第一损失值，以及将所述第二训练集经过主干网络输入到第二分支网络，计算第二损失值；
[0042]分别利用所述第一损失值和所述第二损失值，对所述识别模型进行交替训练，当所述第一损失值和所述第二损失值都满足预设条件时，确定所述识别模型训练完成。
[0043]作为一种可选的实施方式，所述处理器具体被配置为通过如下方式确定所述第二训练集：
[0044]获取标注的真实图像，利用生成的至少一个第一字符，对所述真实图像中的至少一个第二字符进行替换，得到合成图像；
[0045]根据进行替换的至少一个第一字符标注的标签，对所述合成图像进行标注；
[0046]根据标注的合成图像，确定第二训练集。
[0047]作为一种可选的实施方式，所述处理器具体被配置为执行：
[0048]当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果，其中所述第一预设特征是根据所述第一训练集的图像中对象的外部特征确定的；或，
[0049]当所述对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像识别的方法，其特征在于，该方法包括：确定待识别的图像和所述图像中对象的外部特征；将所述图像输入到训练好的识别模型中，利用主干网络提取所述图像的特征得到特征图，将所述特征图分别输入到第一分支网络和第二分支网络，对应输出第一预测结果和第二预测结果；其中所述识别模型包括所述主干网络、所述第一分支网络和所述第二分支网络；根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果。2.根据权利要求1所述的方法，其特征在于，通过如下方式确定所述识别模型训练完成：获取标注的第一训练集和标注的第二训练集；将所述第一训练集经过主干网络输入到第一分支网络，计算第一损失值，以及将所述第二训练集经过主干网络输入到第二分支网络，计算第二损失值；分别利用所述第一损失值和所述第二损失值，对所述识别模型进行交替训练，当所述第一损失值和所述第二损失值都满足预设条件时，确定所述识别模型训练完成。3.根据权利要求2所述的方法，其特征在于，通过如下方式确定所述第二训练集：获取标注的真实图像，利用生成的至少一个第一字符，对所述真实图像中的至少一个第二字符进行替换，得到合成图像；根据进行替换的至少一个第一字符标注的标签，对所述合成图像进行标注；根据标注的合成图像，确定第二训练集。4.根据权利要求1所述的方法，其特征在于，所述根据所述对象的外部特征、所述第一预测结果和第二预测结果，确定所述对象的识别结果，包括：当所述对象的外部特征满足第一预设特征时，根据所述第一预测结果确定所述对象的识别结果，其中所述第一预设特征是根据所述第一训练集的图像中对象的外部特征确定的；或，当所述对象的外部特征...

【专利技术属性】
技术研发人员：朱亚伦，沈孔怀，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：