一种图像处理方法及其装置、设备和存储介质制造方法及图纸

本发明专利技术实施例提供一种图像处理方法及其装置、设备和存储介质，其中，所述方法包括：确定待处理图像的第一目标区域；将所述待处理图像中除所述第一目标区域之外的像素值处理为预设值，得到预处理图像；对所述预处理图像中与所述第一目标区域对应的第二目标区域进行识别，得到所述第二目标区域的识别信息；基于所述第一目标区域与所述第二目标区域之间的对应关系，根据所述识别信息对所述待处理图像中的第一目标区域进行处理。

【技术实现步骤摘要】
一种图像处理方法及其装置、设备和存储介质
本专利技术涉及图像处理
，涉及但不限于一种图像处理方法及其装置、设备和存储介质。
技术介绍
随着互联网技术和无线通信技术的发展，用户终端上会安装生活、学习、娱乐所需的各种应用，例如用户会在终端上安装各种游戏应用(Application，APP)来打发空闲时间，当用户面对从未见过或玩过的游戏APP时，可能对游戏用户交互界面(UserInterface，UI)上的可操作按钮的作用不是很熟悉，为解决这一问题，往往需要开发人员在游戏APP发布之前对各个UI图像进行标注，以便于用户理解。另外，UI图像的标注数据集可以用于UI图像检索。在标注数据集中查询某个可操作元素的名称，获得一批具有相同可操作元素的UI图像，达到图像检索的目的。目前，有两种比较常见的图像标注方法：基于多标签分类的UI图像标注方法和基于目标检测的UI图像标注方法。其中，基于多标签分类的UI图像标注方法至少存在以下缺点：1)对UI图像全局信息的标注较好，但是对UI图像局部信息的标注较差。2)标签空间维度较高，随着标签数量的增加，分类模型的训练难度增大。基于目标检测的UI图像标注方法至少存在以下缺点：只能标注UI图像中常见目标的位置和类别，难以标注UI图像中不常见的目标。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种图像处理方法及其装置、设备和存储介质，解决了现有技术方案中的进行图像标注时，标注信息不准确且效率低下的问题，采用先检测后识别的方式自动地标注图像中目标区域的名称和位置信息，不仅标注效率高，并且标注信息准确。本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供一种图像处理方法，所述方法包括：确定待处理图像的第一目标区域；将所述待处理图像中除所述第一目标区域之外的像素值处理为预设值，得到预处理图像；对所述预处理图像中与所述第一目标区域对应的第二目标区域进行识别，得到所述第二目标区域的识别信息；基于所述第一目标区域与所述第二目标区域之间的对应关系，根据所述识别信息对所述待处理图像中的第一目标区域进行处理。本专利技术实施例提供一种图像处理装置，所述装置包括：第一确定模块、预处理模块、识别模块和处理模块，其中：所述第一确定模块，用于确定待处理图像的第一目标区域；所述预处理模块，用于将所述待处理图像中除所述第一目标区域之外的像素值处理为预设值，得到预处理图像；所述识别模块，用于对所述预处理图像中与所述第一目标区域对应的第二目标区域进行识别，得到所述第二目标区域的识别信息；所述处理模块，用于基于所述第一目标区域与所述第二目标区域之间的对应关系，根据所述识别信息对所述待处理图像中的第二目标区域进行处理。本专利技术实施例提供一种图像处理设备，所述设备至少包括：存储器、通信总线和处理器，其中：所述存储器，用于存储图像处理程序；所述通信总线，用于实现处理器和存储器之间的连接通信；所述处理器，用于执行存储器中存储的图像处理程序，以实现本专利技术实施例提供的图像处理方法中的步骤。本专利技术实施例提供一种存储介质，所述存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上所述的图像处理方法的步骤。本专利技术实施例提供一种图像处理方法及其装置、设备和存储介质，其中，首先确定待处理图像的第一目标区域；然后将所述待处理图像中除所述第一目标区域之外的像素值处理为预设值，得到预处理图像；再对所述预处理图像中与所述第一目标区域对应的第二目标区域进行识别，得到所述第二目标区域的识别信息；最后基于所述第一目标区域与所述第二目标区域之间的对应关系，根据所述识别信息对所述待处理图像中的第一目标区域进行处理；如此，采用先检测后识别的方式对图像进行处理，当应用于图像标注过程中时能够自动地标注图像中目标区域的信息，不仅标注效率高，并且标注信息准确。附图说明图1为本专利技术实施例网络架构的示意图；图2为本专利技术实施例图像处理方法的实现流程示意图；图3为本专利技术实施例图像处理方法的实现流程示意图；图4为本专利技术实施例图像处理方法的实现框架示意图；图5为本专利技术实施例区域检测的实现流程示意图；图6为本专利技术实施例所使用的YOLO-V3网络结构示意图；图7为本专利技术实施例文字识别过程的实现流程示意图；图8为本专利技术实施例区域排除实现过程示意图；图9为本专利技术实施例图像识别过程的实现流程示意图；图10a为本专利技术实施例模板数据库中的模板图像的分类示意图；图10b为本专利技术实施例在游戏UI图像中显示标注信息的界面示意图；图11为本专利技术实施例图像处理装置的组成结构示意图图12为本专利技术实施例图像处理设备的组成结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对专利技术的具体技术方案做进一步详细描述。以下实施例用于说明本专利技术，但不用来限制本专利技术的范围。图1为本专利技术实施例网络架构的示意图，如图1所示，该网络架构包括图像处理设备11和服务器12，其中，图像处理设备11与服务器12之间可以建立有线或者无线网络连接，由此，图像处理设备11与服务器12之间便能够基于该网络连接进行数据传输。图像处理设备11中可以安装有各种APP，例如游戏APP、即时通讯APP、购物APP等，图像处理设备11首先获取待标注的UI图像，并进行区域检测确定出目标区域和目标区域的位置信息，进而将包含目标区域的图像发送至服务器12进行文字识别，并接收服务器12发送的识别结果进而获取包含文字的目标区域的标注信息，然后再对不包含文字的目标区域进行图像识别，获取不包含文字的目标区域的标注信息，最后基于获取到的标注信息对待处理图像进行处理。需要说明的是，在实际实现过程中，服务器12可以是一台服务器，也可以是由多台服务器构成的服务器集群、云计算中心等等，在此不加以限定。为了更好地理解本专利技术实施例，这里首先对OCR文字识别和图像识别中的相关算法进行说明。光学字符识别(OpticalCharacterRecognition，OCR)是指电子设备检查图像中的字符，然后用字符识别方法将形状翻译成计算机文字的过程，因此OCR文字识别技术可以认为是通过对图像文件进行分析处理，将图片、照片上的文字内容，直接转换为可编辑文本的一种技术。OCR识别过程主要包括以下步骤：第一步，图像输入；第二步，对图像进行二值化处理；这里，当输入的图像是彩色图像时，由于彩色图像所含信息量巨大，对于图片的内容，可以简单的分为前景与背景，为了让计算机更快的，更好的识别文字，需要先对彩色图进行处理，使图片只前景信息与背景信息，可以简单的定义前景信息为黑色，背景信息为白色，这时就得到了二值化图。第三步，噪声去除；这里，对于不同的图像，对噪声的定义可以不同，根据噪声的特征进行去噪，就叫做噪声去除。第四步，倾斜校正；这里，如果输出的图像是倾斜的，这就需要文字识别软件进行校正。第五步，字符切割：这里，如果图像中具有字符粘连或断笔的现象，会极大地限制识别系统的性能，这就需要进行字符切割。第六步，字符识别；这里，字符识别可以通过模板匹配或者特征提取的方式实现。目前在实际应用过程中，电子设备在进行ORC文字识别时，可以通过离线识别方式或者在线识别方式实现。当采用离线识别方式实现时，可以是电子设备调用OCR接口，然后通过OCR技术对图本文档来自技高网...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：确定待处理图像的第一目标区域；将所述待处理图像中除所述第一目标区域之外的像素值处理为预设值，得到预处理图像；对所述预处理图像中与所述第一目标区域对应的第二目标区域进行识别，得到所述第二目标区域的识别信息；基于所述第一目标区域与所述第二目标区域之间的对应关系，根据所述识别信息对所述待处理图像中的第一目标区域进行处理。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：确定待处理图像的第一目标区域；将所述待处理图像中除所述第一目标区域之外的像素值处理为预设值，得到预处理图像；对所述预处理图像中与所述第一目标区域对应的第二目标区域进行识别，得到所述第二目标区域的识别信息；基于所述第一目标区域与所述第二目标区域之间的对应关系，根据所述识别信息对所述待处理图像中的第一目标区域进行处理。2.根据权利要求1中所述的方法，其特征在于，确定待处理图像的第一目标区域，包括：将所述待处理图像输入训练好的卷积神经网络，得到第一输出结果；根据所述第一输出结果确定待处理图像中的第一目标区域。3.根据权利要求2中所述的方法，其特征在于，所述将待处理图像输入预设的卷积神经网络，得到第一输出结果，包括：如果所述待处理图像的尺寸为第一预设尺寸，将所述待处理图像按照第二预设尺寸进行分块，得到N个分块区域，N为大于2的自然数；将所述N个分块区域输入训练好的卷积神经网络，得到第一输出结果。4.根据权利要求3中所述的方法，其特征在于，所述第一输出结果至少包括每一分块区域的第一置信度，对应地，根据所述第一输出结果确定所述待处理图像中的第一目标区域，包括：将所述第一置信度大于第一阈值的分块区域确定为第一目标区域。5.根据权利要求3或4中所述的方法，其特征在于，所述确定待处理图像的第一目标区域，还包括：如果所述待处理图像的尺寸不为第一预设尺寸，将所述待处理图像的尺寸转换至第一预设大小，得到转换后的待处理图像；将所述转换后的待处理图像输入预设的卷积神经网络，得到第二输出结果；基于所述第二输出结果确定所述待处理图像的第一目标区域。6.根据权利要求5中所述的方法，其特征在于，所述基于所述第二输出结果确定所述待处理图像的第一目标区域，包括：根据所述第二输出结果确定所述转换后的待处理图像中的待识别区域；基于所述待处理图像与所述转换后的待处理图像之间的对应关系，根据所述待识别区域确定所述待处理图像中的第一目标区域。7.根据权利要求5中所述的方法，其特征在于，所述将所述待处理图像的尺寸转换至第一预设大小，得到转换后的待处理图像，包括：如果所述待处理图像的宽度大于待处理图像的高度，根据所述宽度和第一数值确定第一缩放比例，其中，所述第一数值为所述第一预设尺寸中的高度值；将所述待处理图像按照所述第一缩放比例进行缩放，得到第一图像；根据所述第一图像和所述第一预设尺寸确定第一填充区域；合成所述第一图像和所述第一填充区域，得到转换后的待处理图像，所述第一填充区域的像素值为预设值。8.根据权利要求7中所述的方法，其特征在于，所述将所述待处理图像的尺寸转换至第一预设大小，得到转换后的待处理图像，还包括：如果所述宽度小于所述高度，根据所述高度和所述第一数值确定第二缩放比例；将所述待处理图像按照所述第二缩放比例进行缩放，得到第二图像；根据所述第二图像和所述第一预设尺寸确定第二填充区域；合成所述第二图像和所述第二填充区域，得到转换后的待处...

【专利技术属性】
技术研发人员：李旭冬，黄盈，周大军，张力柯，丁熠，
申请(专利权)人：深圳市腾讯网络信息技术有限公司，
类型：发明
国别省市：广东,44