图像识别方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种图像识别方法、装置、设备及存储介质，涉及计算机技术领域。该方法包括：识别待检测图像中的车辆信息，获取第一子图；通过预训练的车牌检测模型从所述第一子图中提取第二子图，并对所述第二子图进行校正；通过预训练的字符识别模型识别校正后的所述第二子图，获取相应的字符数据。本申请通过机器学习得到的检测模型从待检测图像中识别得到的第一子图中提取包含字符的第二子图，并对该第二子图进行校正后输入字符识别模型进行识别，能够校正倾斜视角下的第二子图，减少输入图像的噪声信息，有效提高了字符识别模型的识别能力，从而解决由于输入字符识别模型的图像其噪声信息多而导致的识别率不高的问题。

【技术实现步骤摘要】
图像识别方法、装置、设备及存储介质
本申请实施例涉及计算机
，特别涉及一种图像识别方法、装置、设备及存储介质。
技术介绍
现有车牌识别方法多采用单阶段和两阶段模型，例如停车场车牌识别直接对输入图像进行字符识别提取字符信息，然后进行正则匹配，一帧图像中仅识别一张车牌，无法应用于复杂道路场景下的车牌识别。两阶段模型先提取车辆子图，然后对子图进行字符识别，该方法可以同时提取多辆车的车牌信息，但车身上的数字可能被误识别为牌照信息。为此，采用三阶段流程提高车牌识别的准确率。然而，当应用于复杂的道路场景时，由于复杂道路场景下，车辆信息往往都是侧面视角，因此车牌在图像中以不规则的四边形存在，而目前的识别模型给出的车牌子图仍然是矩形框，这使得输入字符识别模型的图像具有大量噪声信息，因此导致识别率不高。
技术实现思路
本申请实施例提供了一种图像识别方法、设备及存储介质，可以解决现有技术中输入字符识别模型的图像噪声信息多，导致识别率不高的问题。所述技术方案如下：一个方面，提供了一种图像识别方法，所述方法包括：识别待检测图像中的物体信息，获取第一子图；通过预训练的检测模型从所述第一子图中提取第二子图，并对所述第二子图进行校正，所述第二子图中包含字符；通过预训练的OCR识别模型识别校正后的所述第二子图，获取相应的字符数据。在一个可能的实现方式中，所述对所述第二子图进行校正，包括：对所述第二子图进行扭曲还原处理。在一个可能的实现方式中，所述通过预训练的车牌检测模型从所述第一子图中提取第二子图，并对所述第二子图进行扭曲还原处理，包括：将所述第一子图输入所述车牌检测模型，根据所述车牌检测模型对所述第一子图进行仿射变换得到所述第一子图包含的四点坐标，且通过概率判断得到所述四点坐标形成的四边形为目标物体时，提取得到四边形的第二子图；对四边形的所述第二子图进行透视变换，映射得到标准矩形的所述第二子图。在又一个可能的实现方式中，所述目标物体包括：车牌、车辆车架号、身份证、街景门牌。在另一个可能的实现方式中，所述通过预训练的字符识别模型识别还原后的所述第二子图，获取车牌数据，包括：将校正后的所述第二子图输入所述字符识别模型，得到所述第二子图对应字符的文本信息；根据所述字符的文本信息，获得字符识别结果和置信度。在又一个可能的实现方式中，所述方法还包括：获取连续帧的多个待检测图像的字符识别结果，并按照相应置信度对多个字符识别结果进行加权投票聚合，得到目标识别结果。在又一个可能的实现方式中，训练所述检测模型的方式，包括：对第一样本图像进行坐标标注，得到四边形目标物体的四点坐标标签，其中，所述第一样本图像中包含所述目标物体；将所述第一样本图像和所述四点坐标标签作为训练数据，对预设初始模型进行训练，输出预测到的所述第一样本图像包含的四点坐标，直至所述检测模型的第一损失函数和第二损失函数收敛，得到所述检测模型；其中，所述第一损失函数表征训练过程中所述检测模型输出的所述第一样本图像包含的四点坐标与实际标签之间的差异，所述第二损失函数表征对训练过程中所述检测模型输出的四点坐标形成的四边形是否为目标物体的概率判断。在又一个可能的实现方式中，训练所述字符识别模型的方式，包括：采用预设规则生成第二样本图像，其中，预设规则包括：目标物体的背景颜色、字符的数量、种类以及字符的排列规则，所述第二样本图像为所述目标物体的图像；采用卷积神经网络CNN和CTC损失函数对所述第二样本图像进行序列对齐与样本训练，得到所述字符识别模型。另一方面，提供了一种图像识别装置，所述装置包括：第一识别模块，用于识别待检测图像中的物体信息，获取第一子图；处理模块，用于通过预训练的检测模型从所述第一子图中提取第二子图，并对所述第二子图进行校正，所述第二子图中包含字符；第二识别模块，用于通过预训练的字符识别模型识别校正后的所述第二子图，获取相应的字符数据。在一个可能的实现方式中，所述处理模块，具体用于对所述第二子图进行扭曲还原处理。在一个可能的实现方式中，所述处理模块，具体用于：将所述第一子图输入所述检测模型，根据所述检测模型对所述第一子图进行仿射变换得到所述第一子图包含的四点坐标，且通过概率判断得到所述四点坐标形成的四边形为目标物体时，提取得到四边形的第二子图；对四边形的所述第二子图进行透视变换，映射得到标准矩形的所述第二子图。在又一个可能的实现方式中，所述目标物体包括：车牌、车辆车架号、身份证、街景门牌。在另一个可能的实现方式中，所述第二识别模块，具体用于：将校正后的所述第二子图输入所述字符识别模型，得到所述第二子图对应字符的文本信息；根据所述字符的文本信息，获得字符识别结果和置信度。在又一个可能的实现方式中，所述装置还包括：获取模块，用于获取连续帧的多个待检测图像的字符识别结果，并按照相应置信度对多个字符识别结果进行加权投票聚合，得到目标识别结果。在又一个可能的实现方式中，所述处理模块还用于训练所述检测模型，具体用于：对第一样本图像进行坐标标注，得到四边形目标物体的四点坐标标签，其中，所述第一样本图像中包含所述目标物体；将所述第一样本图像和所述四点坐标标签作为训练数据，对预设初始模型进行训练，输出预测到的所述第一样本图像包含的四点坐标，直至所述检测模型的第一损失函数和第二损失函数收敛，得到所述检测模型；其中，所述第一损失函数表征训练过程中所述检测模型输出的所述第一样本图像包含的四点坐标与实际标签之间的差异，所述第二损失函数表征对训练过程中所述检测模型输出的四点坐标形成的四边形是否为目标物体的概率判断。在又一个可能的实现方式中，所述处理模块还用于训练所述字符识别模型，具体用于：采用预设规则生成第二样本图像，其中，预设规则包括：目标物体的背景颜色、字符的数量、种类以及字符的排列规则，所述第二样本图像为所述目标物体的图像；采用卷积神经网络CNN和CTC损失函数对所述第二样本图像进行序列对齐与样本训练，得到所述字符识别模型。另一方面，提供了一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的图像识别方法。另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的图像识别方法。另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上所述的图像识别方法。本申请实施例提供的技术方案带来的有益效果至少包括：采用三阶段流程进行图像识本文档来自技高网...

【技术保护点】
1.一种图像识别方法，其特征在于，所述方法包括：/n识别待检测图像中的物体信息，获取第一子图；/n通过预训练的检测模型从所述第一子图中提取第二子图，并对所述第二子图进行校正，所述第二子图中包含字符；/n通过预训练的字符识别模型识别校正后的所述第二子图，获取相应的字符数据。/n

【技术特征摘要】
1.一种图像识别方法，其特征在于，所述方法包括：
识别待检测图像中的物体信息，获取第一子图；
通过预训练的检测模型从所述第一子图中提取第二子图，并对所述第二子图进行校正，所述第二子图中包含字符；
通过预训练的字符识别模型识别校正后的所述第二子图，获取相应的字符数据。


2.根据权利要求1的方法，其特征在于，所述对所述第二子图进行校正，包括：
对所述第二子图进行扭曲还原处理。


3.根据权利要求2的方法，其特征在于，所述通过预训练的检测模型从所述第一子图中提取第二子图，并对所述第二子图进行扭曲还原处理，包括：
将所述第一子图输入所述检测模型，根据所述检测模型对所述第一子图进行仿射变换得到所述第一子图包含的四点坐标，且通过概率判断得到所述四点坐标形成的四边形为目标物体时，提取得到四边形的第二子图；
对四边形的所述第二子图进行透视变换，映射得到标准矩形的所述第二子图。


4.根据权利要求3的方法，其特征在于，所述目标物体包括：车牌、车辆车架号、身份证、街景门牌。


5.根据权利要求1至4中任一项的方法，其特征在于，所述通过预训练的字符识别模型识别校正后的所述第二子图，获取相应的字符数据，包括：
将校正后的所述第二子图输入所述字符识别模型，得到所述第二子图对应字符的文本信息；
根据所述字符的文本信息，获得字符识别结果和置信度。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取连续帧的多个待检测图像的字符识别结果，并按照相应置信度对多个字符识别结果进行加权投票聚合，得到目标识别结果。


7.根据权利要求3或4所述的方法，其特征在于，训练所述检测模型的方式，包括：
对第一样本图像进行坐标标注，得到四边形目标物体的四点坐标标签，其中，所述第一样本图像中包含所述目标物体；
将所述第一样本图像和所述四点坐标标签作为训练数据，对预设初始模型进行训练，输出预测到的所述第一样本图像包含的四点坐标，直至所述检测模型的第一损失函数和第二损失函数收敛，得到所述检测模型；
其中，所述第一损失函数表征训练过程中所述检测模型输出的所述第一样本图像包含的四点坐标与实际标签之间的差异，所述第二损失函数表征对训练过程中所述检测模型输出的四点坐标形成的四边形是否为目标物体的概率判断。


8.根据权利要求3或4所述的方法，...

【专利技术属性】
技术研发人员：田帅，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44