图像处理方法、装置、设备及计算机可读存储介质制造方法及图纸

本公开涉及一种图像处理方法、装置、设备及计算机可读存储介质。该方法包括：获取输入图像的原始特征图；对所述原始特征图进行多个不同的几何参数变换处理，获得多个变换特征图，所述多个不同的几何参数变换处理包括至少两个不同的尺寸变换处理和/或至少两个不同的方向变换处理；对所述多个变换特征图分别进行文本检测，获得多个检测文本框；基于所述多个检测文本框，得到所述输入图像的文本检测结果。

Image processing method, device, equipment and computer readable storage medium

The present disclosure relates to an image processing method, device, device and computer readable storage medium. The method comprises the following steps: acquiring the original feature map of the input image; transforming the original feature map with multiple different geometric parameters to obtain multiple transformed feature maps; transforming the multiple different geometric parameters to include at least two different size transformation processes and / or at least two different direction transformation processes; text checking the multiple transformed feature maps separately A plurality of detection text boxes are obtained by testing, and a text detection result of the input image is obtained based on the plurality of detection text boxes.

【技术实现步骤摘要】
图像处理方法、装置、设备及计算机可读存储介质
本公开涉及计算机视觉
，具体涉及一种图像处理方法、装置、设备及计算机可读存储介质。
技术介绍
随着深度学习的迅速发展，计算机视觉技术对实际生产具有影响越来越重要的影响。对图像中的文本进行检测和识别，有助于计算机理解视觉内容。与传统的物体检测不同，文本检测除了需要获取文字行的特征外，还需要面对文字的字体、悬殊的宽高、角度带来的挑战，以及需要克服尺度、角度的剧烈变化对网络学习可能带来的影响。
技术实现思路
本公开实施例提供一种图像处理方案。第一方面，提供一种图像处理方法，所述方法包括：获取输入图像的原始特征图；对所述原始特征图进行多个不同的几何参数变换处理，获得多个变换特征图，所述多个不同的几何参数变换处理包括至少两个不同的尺寸变换处理和/或至少两个不同的方向变换处理；对所述多个变换特征图分别进行文本检测，获得多个检测文本框；基于所述多个检测文本框，得到所述输入图像的文本检测结果。结合本公开提供的任一实施方式，所述多个检测文本框中对应于不同的几何参数变换处理的检测文本框具有不同的大小和/或方向。结合本公开提供的任一实施方式，所述多个检测文本框中对应于每个几何参数变换处理的检测文本框的大小和/或方向位于所述每个几何参数变换处理的预设数值范围内，其中，每个几何参数变换处理的预设数值范围是通过对所述每个几何参数变换处理的预设几何范围进行所述每个几何参数变换处理得到的，不同的几何参数变换处理对应不同的预设几何范围。结合本公开提供的任一实施方式，所述对所述原始特征图进行多个不同的几何参数变换处理，获得多个变换特征图，包括：通过多个不同分支对所述原始特征图进行几何参数变换处理，获得多个变换特征图。结合本公开提供的任一实施方式，针对每个分支，所述方向变换处理包括以下中的至少一种：旋转、翻转、旋转加翻转、保持方向不变。结合本公开提供的任一实施方式，所述基于所述多个检测文本框，得到目标文本框，包括：将所述多个检测文本框映射回所述输入图像，得到多个映射文本框；基于所述多个映射文本框，得到所述输入图像的文本检测结果。结合本公开提供的任一实施方式，所述方法通过文本检测网络实现，还包括：根据所述多个检测文本框和所述输入图像的真值数据，确定网络损失值；基于所述网络损失值，对所述文本检测网络的网络参数进行调整。结合本公开提供的任一实施方式，所述网络损失值是基于所述多个几何参数变换处理中的至少一个几何参数变换处理所预测的检测文本框得到的，其中，所述至少一个几何参数变换处理的预设几何范围包含所述输入图像的真值数据。结合本公开提供的任一实施方式，所述根据所述多个检测文本框和所述输入图像的真值数据，确定网络损失值，包括：从所述多个检测文本框中选取至少一个检测文本框，其中，所述输入图像的真值数据位于所述至少一个检测文本框对应的几何参数变换处理的预设几何范围内；基于所述至少一个检测文本框和所述输入图像的真值数据，确定网络损失值。结合本公开提供的任一实施方式，在所述获取所述输入图像的原始特征图之前，还包括：对样本图像进行多次变换处理，获得多个变换后的样本图像，使得所述多个不同的几何参数变换处理中每个几何参数变换处理对应的几何参数范围内包括至少一个变换后的样本图像中的文本框大小。第二方面，提供一种图像处理装置，所述装置包括：获取单元，用于获取输入图像的原始特征图；几何参数变换单元，用于对所述原始特征图进行多个不同的几何参数变换处理，获得多个变换特征图，所述多个不同的几何参数变换处理包括至少两个不同的尺寸变换处理和/或至少两个不同的方向变换处理；文本检测单元，用于对所述多个变换特征图分别进行文本检测，获得多个检测文本框；目标确定单元，用于基于所述多个检测文本框，得到所述输入图像的文本检测结果。结合本公开提供的任一实施方式，所述多个检测文本框中对应于不同的几何参数变换处理的检测文本框具有不同的大小和/或方向。结合本公开提供的任一实施方式，所述多个检测文本框中对应于每个几何参数变换处理的检测文本框的大小和/或方向位于所述每个几何参数变换处理的预设数值范围内，其中，每个几何参数变换处理的预设数值范围是通过对所述每个几何参数变换处理的预设几何范围进行所述每个几何参数变换处理得到的，不同的几何参数变换处理对应不同的预设几何范围。结合本公开提供的任一实施方式，所述几何参数变换单元具体用于：通过多个不同分支对所述原始特征图进行几何参数变换处理，获得多个变换特征图。结合本公开提供的任一实施方式，针对每个分支，所述方向变换处理包括以下中的至少一种：旋转、翻转、旋转加翻转、保持方向不变。结合本公开提供的任一实施方式，所述目标确定单元具体用于：将所述多个检测文本框映射回所述输入图像，得到多个映射文本框；基于所述多个映射文本框，得到所述输入图像的文本检测结果。结合本公开提供的任一实施方式，所述装置还包括文本检测网络训练单元，用于：根据所述多个检测文本框和所述输入图像的真值数据，确定网络损失值；基于所述网络损失值，对所述文本检测网络的网络参数进行调整。结合本公开提供的任一实施方式，所述网络损失值是基于所述多个几何参数变换处理中的至少一个几何参数变换处理所预测的检测文本框得到的，其中，所述至少一个几何参数变换处理的预设几何范围包含所述输入图像的真值数据。结合本公开提供的任一实施方式，所述文本检测网络训练单元在用于根据所述多个检测文本框和所述输入图像的真值数据，确定网络损失值时，具体用于：从所述多个检测文本框中选取至少一个检测文本框，其中，所述输入图像的真值数据位于所述至少一个检测文本框对应的几何参数变换处理的预设几何范围内；基于所述至少一个检测文本框和所述输入图像的真值数据，确定网络损失值。结合本公开提供的任一实施方式，所述装置还包括样本变换单元，用于在所述获取所述输入图像的原始特征图之前，对样本图像进行多次变换处理，获得多个变换后的样本图像，使得所述多个不同的几何参数变换处理中每个几何参数变换处理对应的几何参数范围内包括至少一个变换后的样本图像中的文本框大小。第三方面，提供一种图像处理设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的图像处理方法。第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施方式所述的图像处理方法。本公开一个或多个实施例的图像处理方法、装置、设备及计算机可读存储介质，通过对输入图像的原始特征图进行多个不同的几何参数变换处理，获得多个变换特征图进行文本检测，可以将输入图像中的文本归一化到一定的几何检测范围内，从而可以适用于各种场景的文本的检测，提高文本测检的效果。附图说明为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：/n获取输入图像的原始特征图；/n对所述原始特征图进行多个不同的几何参数变换处理，获得多个变换特征图，所述多个不同的几何参数变换处理包括至少两个不同的尺寸变换处理和/或至少两个不同的方向变换处理；/n对所述多个变换特征图分别进行文本检测，获得多个检测文本框；/n基于所述多个检测文本框，得到所述输入图像的文本检测结果。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
获取输入图像的原始特征图；
对所述原始特征图进行多个不同的几何参数变换处理，获得多个变换特征图，所述多个不同的几何参数变换处理包括至少两个不同的尺寸变换处理和/或至少两个不同的方向变换处理；
对所述多个变换特征图分别进行文本检测，获得多个检测文本框；
基于所述多个检测文本框，得到所述输入图像的文本检测结果。


2.根据权利要求1所述的方法，其特征在于，所述多个检测文本框中对应于不同的几何参数变换处理的检测文本框具有不同的大小和/或方向。


3.根据权利要求1或2所述的方法，其特征在于，所述多个检测文本框中对应于每个几何参数变换处理的检测文本框的大小和/或方向位于所述每个几何参数变换处理的预设数值范围内，其中，每个几何参数变换处理的预设数值范围是通过对所述每个几何参数变换处理的预设几何范围进行所述每个几何参数变换处理得到的，不同的几何参数变换处理对应不同的预设几何范围。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述对所述原始特征图进行多个不同的几何参数变换处理，获得多个变换特征图，包括：
通过多个不同分支对所述原始特征图进行几何参数变换处理，获得多个变换特征图。


5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方向变换处理包括以下中的至少一种：旋转、翻转、旋转加翻转、保持方向不变。


6.根...

【专利技术属性】
技术研发人员：许有疆，旷章辉，张伟，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44