图像处理方法、装置、设备及介质制造方法及图纸

本申请实施例公开一种图像处理方法、装置、设备及介质，方法包括：获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；当基于中心点识别结果确定目标图像属于车牌图像时，根据参考点的坐标计算与目标图像的图像类型相对应的关键点的坐标；利用关键点的坐标对目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。本申请可以实现单层车牌和双层车牌行数和角度的统一，能够解决在双层车牌存在遮挡情况下进行车牌分割导致的分割错误、车牌混乱问题。

【技术实现步骤摘要】
图像处理方法、装置、设备及介质
本专利技术属于智能交通领域，尤其涉及一种图像处理方法、装置、设备及介质。
技术介绍
在智慧城市建设过程中，车牌识别是一项重要的课题，车牌识别准确率显得尤为重要，为了提高车牌识别准确率，车牌识别过程中，输入的图像应该尽量保持一致。然而，目前很多车牌识别输入对象往往包含大角度图像、单双行车牌、车牌背景复杂等等，加大了识别难度。在不增加车牌识别模型复杂度的情况下，现有技术对车牌处理进行了一些优化，但是也存在一些缺点，例如：单双行图像类型判断和车牌关键点检测串行，会增加时间开销；另外，利用车牌四个关键点对单行和双行车牌进行定位矫正后，按照国家标准车牌对双行车牌分割时，当车牌上下存在遮挡的情况时分割效果不好，影响后续车牌识别效果。
技术实现思路
为了解决现有技术的问题，本专利技术提出一种图像处理方法、装置、设备及介质，本专利技术可以实现单层车牌和双层车牌行数和角度的统一，能够解决在双层车牌存在遮挡情况下进行车牌分割导致的分割错误、车牌混乱问题，提高了后续车牌识别准确率和鲁棒性。本专利技术实施例提供的具体技术方案如下：第一方面公开了一种图像处理方法，所述方法包括：获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；当基于所述中心点识别结果确定所述目标图像属于车牌图像时，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标；利用所述关键点的坐标对所述目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。在一些实施例中，所述方法还包括：利用已标注的车牌图像生成的样本集对一基础模型进行训练，生成所述目标模型；其中，所述样本集的标签至少包括参考点标签；当图像类型为单行车牌时，所述参考点标签包括车牌图像的四个关键点标签和四个中心点标签；当图像类型为双行车牌时，所述参考点标签包括车牌图像上一行四个关键点标签和下一行四个关键点标签；所述关键点为车牌图像的角点。在一些实施例中，若图像类型为单行车牌，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标包括：在所有参考点的坐标中提取前四个参考点的坐标；将提取的前四个参考点的坐标与基于所述中心点识别结果确定的中心点的坐标相加，得到目标图像的四个关键点的坐标。在一些实施例中，若图像类型为双行车牌，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标包括：在所有参考点的坐标中提取后四个参考点的坐标；将后四个参考点的坐标与所述图像类型识别结果中的双行车牌预测概率相乘得到新的后四个参考点的坐标；将所有参考点的坐标中前四个参考点的坐标和新的后四个参考点的坐标整合；将整合后的参考点的坐标与基于所述中心点识别结果确定的中心点的坐标相加，得到目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标。在一些实施例中，利用所述关键点的坐标对图像类型为双行车牌的目标图像进行分割，得到单行图像具体包括：基于目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标，确定分割线；沿着确定的分割线将目标图像划分成上层图像和下层图像；将上层图像和下层图像进行拼接，得到单行图像。在一些实施例中，在对目标图像进行定位后还包括：确定所述目标图像的倾斜度并进行判断；对倾斜度满足阈值的目标图像进行矫正。在一些实施例中，获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标包括：将所述目标图像输入至所述目标模型的第一子网络，得到图像特征以及由第一子网络的一输出分支输出的图像类型识别结果；利用所述图像类型识别结果中的双行车牌预测概率对图像特征进行处理以得到新的图像特征；将新的图像特征传播至所述目标模型的第二子网络，得到由第二子网络的第一输出分支输出的中心点识别结果和第二输出分支输出的参考点的坐标。第二方面公开一种图像处理装置，所述装置包括：获取模块，用于获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；计算模块，用于当基于所述中心点识别结果确定所述目标图像属于车牌图像时，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标；处理模块，用于利用所述关键点的坐标对所述目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的方法。第四方面，提供一种计算机可读存储介质，其上存储有可读的指令，当利用计算机执行所述指令时执行如第一方面所述的方法。本专利技术实施例具有如下有益效果：1、本专利技术将图像输入至预先训练好的模型，得到中心点识别结果、图像类型识别结果和参考点的坐标，当判断图像为车牌图像时，可根据参考点的坐标来计算对应类型的图像的关键点从而利用关键点实现图像的定位、以及对图像类型为双行车牌的图像进行分割。相比于现有技术中利用四个关键点对单行和双行车牌进行定位、按照车牌尺寸对双行车牌进行分割的方法，解决了在车牌存在遮挡情况下分割效果不好的问题，同时，本专利技术还能同时实现单层车牌和双层车牌行数和角度的统一；2、本专利技术的目标模型具有三个输出分支，集合了车牌中心点预测、图像类型预测和车牌参考点预测的功能，在训练模型时，考虑到需要同时实现单行和双行车牌参考点预测这一功能，特别将单行车牌的参考点标签扩展到了八个，实现与双行车牌相统一；3、本专利技术利用目标模型预测得到的数据进行图像处理时，考虑训练模型时单行车牌和双行车牌参考点标签设置的独特性，单行车牌的参考点只截取前四个来计算关键点坐标，而双行车牌的后四个参考点需要乘以图像类型的概率后再计算关键点坐标，如此便能保证单行车牌和双行车牌关键点坐标的准确率；4、本专利技术在利用关键点的坐标对车牌图像进行定位后，还可以对车牌图像的倾斜度进行判断，从而对倾斜度满足阈值的车牌图像进行矫正，在不影响车牌图像识别的结果基础上，可以减小计算压力，提高处理速度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本公开实施例的目标模型训练方法的示例性流程图；图2是根据本公开实施例的目标模型的结构示意图；<本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；/n当基于所述中心点识别结果确定所述目标图像属于车牌图像时，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标；/n利用所述关键点的坐标对所述目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；/n其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取目标图像输入至预设的目标模型后识别得到的中心点识别结果、图像类型识别结果和参考点的坐标；
当基于所述中心点识别结果确定所述目标图像属于车牌图像时，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标；
利用所述关键点的坐标对所述目标图像进行定位并对图像类型为双行车牌的目标图像进行分割，得到单行图像；
其中，当图像类型为单行车牌时包括四个关键点，当图像类型为双行车牌时包括上一行四个关键点和下一行四个关键点。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用已标注的车牌图像生成的样本集对一基础模型进行训练，生成所述目标模型；其中，所述样本集的标签至少包括参考点标签；
当图像类型为单行车牌时，所述参考点标签包括车牌图像的四个关键点标签和四个中心点标签；
当图像类型为双行车牌时，所述参考点标签包括车牌图像上一行四个关键点标签和下一行四个关键点标签；
所述关键点为车牌图像的角点。


3.根据权利要求2所述的方法，其特征在于，若图像类型为单行车牌，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标包括：
在所有参考点的坐标中提取前四个参考点的坐标；
将提取的前四个参考点的坐标与基于所述中心点识别结果确定的中心点的坐标相加，得到目标图像的四个关键点的坐标。


4.根据权利要求2所述的方法，其特征在于，若图像类型为双行车牌，根据所述参考点的坐标计算与所述目标图像的图像类型相对应的关键点的坐标包括：
在所有参考点的坐标中提取后四个参考点的坐标；
将后四个参考点的坐标与所述图像类型识别结果中的双行车牌预测概率相乘得到新的后四个参考点的坐标；
将所有参考点的坐标中前四个参考点的坐标和新的后四个参考点的坐标整合；
将整合后的参考点的坐标与基于所述中心点识别结果确定的中心点的坐标相加，得到目标图像的上一行四个关键点的坐标和下一行四个关键点的坐标。


5.根据权利要求4所述的方法，其特征在于，利用所述关键点的坐标对图像...

【专利技术属性】
技术研发人员：郭腾伟，邹文艺，章勇，
申请(专利权)人：苏州科达科技股份有限公司，
类型：发明
国别省市：江苏;32