图像处理方法和装置制造方法及图纸

本申请实施例公开了图像处理方法和装置。该方法的一具体实施方式包括：获取图像，确定该图像所包含的目标所在的目标区域，其中，该目标区域的尺寸与图像尺寸的比例小于或等于预设比例阈值；提取该目标区域内的图像，基于所提取的图像，生成待添加图像；将该待添加图像添加到所获取的图像中，生成用于训练卷积神经网络的样本图像。本申请实施例能够通过向图像中添加包含小目标的图像，得到新的样本图像，以扩充训练样本集，让卷积神经网络得到更多检测小目标的训练，进而提高卷积神经网络检测小目标的速度和准确度。

Image Processing Method and Device

The embodiment of this application discloses an image processing method and device. One specific embodiment of the method includes: acquiring an image to determine the target area of the image, in which the ratio of the size of the target area to the size of the image is less than or equal to the preset proportional threshold; extracting the image in the target area, generating the image to be added based on the extracted image; and adding the image to the acquired image. Sample images for training convolutional neural networks are generated. In the embodiment of this application, a new sample image can be obtained by adding an image containing a small target to the image to expand the training sample set so that the convolution neural network can get more training for detecting small targets, thereby improving the speed and accuracy of detecting small targets by the convolution neural network.

【技术实现步骤摘要】
图像处理方法和装置
本申请实施例涉及计算机
，具体涉及互联网
，尤其涉及图像处理方法和装置。
技术介绍
卷积神经网络是多层神经网络，擅长处理图像。而在处理图像的过程中，往往面积较大的目标容易被卷积神经网络捕捉并进行处理。图像中较小的目标则容易被卷积神经网络忽略。
技术实现思路
本申请实施例提出了图像处理方法和装置。第一方面，本申请实施例提供了一种图像处理方法，包括：获取图像，确定图像所包含的目标所在的目标区域，其中，目标区域的尺寸与图像尺寸的比例小于或等于预设比例阈值；提取目标区域内的图像，基于所提取的图像，生成待添加图像；将待添加图像添加到所获取的图像中，生成用于训练卷积神经网络的样本图像。在一些实施例中，基于所提取的图像，生成待添加图像，包括：复制所提取的图像，将复制得到的至少一个图像作为待添加图像。在一些实施例中，基于所提取的图像，生成待添加图像，还包括：从复制得到的图像中，选取至少一个图像；采用至少一种预设变换矩阵，对所选取的图像进行仿射变换。在一些实施例中，将待添加图像添加到所获取的图像中，包括：确定所获取的图像中的待替换区域，利用待添加图像替换待替换区域。在一些实施例中，在生成用于训练卷积神经网络的样本图像之后，方法还包括：对样本图像中，所添加的目标区域进行标注，得到样本；将样本加入卷积神经网络的训练样本集；基于样本，训练卷积神经网络，得到训练后的卷积神经网络。在一些实施例中，确定图像所包含的目标所在的目标区域，包括：对图像进行目标检测，得到图像中各个目标的目标框；从所得到的目标框中，确定尺寸与图像的尺寸的比例小于或等于预设比例阈值的至少一个目标框；将所确定的目标框所包括的区域作为目标区域。第二方面，本申请实施例提供了一种图像处理装置，包括：获取单元，被配置成获取图像，确定图像所包含的目标所在的目标区域，其中，目标区域的尺寸与图像尺寸的比例小于或等于预设比例阈值；提取单元，被配置成提取目标区域内的图像，基于所提取的图像，生成待添加图像；生成单元，被配置成将待添加图像添加到所获取的图像中，生成用于训练卷积神经网络的样本图像。在一些实施例中，提取单元，包括：复制模块，被配置成复制所提取的图像，将复制得到的至少一个图像作为待添加图像。在一些实施例中，提取单元，还包括：选取模块，被配置成从复制得到的图像中，选取至少一个图像；变换模块，被配置成采用至少一种预设变换矩阵，对所选取的图像进行仿射变换。在一些实施例中，生成单元，进一步被配置成：确定所获取的图像中的待替换区域，利用待添加图像替换待替换区域。在一些实施例中，装置还包括：标注单元，被配置成对样本图像中，所添加的目标区域进行标注，得到样本；样本集扩充单元，被配置成将样本加入卷积神经网络的训练样本集；训练单元，被配置成基于样本，训练卷积神经网络，得到训练后的卷积神经网络。在一些实施例中，获取单元，进一步被配置成：对图像进行目标检测，得到图像中各个目标的目标框；从所得到的目标框中，确定尺寸与图像的尺寸的比例小于或等于预设比例阈值的至少一个目标框；将所确定的目标框所包括的区域作为目标区域。第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如图像处理方法中任一实施例的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图像处理方法中任一实施例的方法。本申请实施例提供的图像处理方案，首先，获取图像，确定图像所包含的目标所在的目标区域，其中，目标区域的尺寸与图像尺寸的比例小于或等于预设比例阈值。之后，提取目标区域内的图像，基于所提取的图像，生成待添加图像。最后，将待添加图像添加到所获取的图像中，生成用于训练卷积神经网络的样本图像。本申请实施例提供的方法能够通过向图像中添加包含小目标的图像，得到新的样本图像，以扩充训练样本集，让卷积神经网络得到更多检测小目标的训练，进而提高卷积神经网络检测小目标的速度和准确度。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1是本申请可以应用于其中的示例性系统架构图；图2是根据本申请的图像处理方法的一个实施例的流程图；图3是根据本申请的图像处理方法的一个应用场景的示意图；图4是根据本申请的图像处理方法的又一个实施例的流程图；图5是根据本申请的图像处理装置的一个实施例的结构示意图；图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用本申请的图像处理方法或图像处理装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如图像处理应用、视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。这里的终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的图像等数据进行分析等处理，并将处理结果(例如样本图像)反馈给终端设备。需要说明的是，本申请实施例所提供的图像处理方法可以由服务器105或者终端设备101、102、103执行，相应地，图像处理装置可以设置于服务器105或者终端设备101、102、103中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。继续参考图2，示出了根据本申请的图像处理方法的一个实施例的流程200。该图像处理方法，包括以下步骤：步骤201，获取图像，确定图像所包含的目标所在的目标区域，其中，目标区域的尺寸与图像尺寸的比例小于或等于预设比例阈值。在本实施例中，图像处理方法的执行主体(例如图1所示的服务器或终端设备)可以获取图像，并且确定该图像所包含的目标所在的区域，将该区域作为目标区域本文档来自技高网...

【技术保护点】
1.一种图像处理方法，包括：获取图像，确定所述图像所包含的目标所在的目标区域，其中，所述目标区域的尺寸与图像尺寸的比例小于或等于预设比例阈值；提取所述目标区域内的图像，基于所提取的图像，生成待添加图像；将所述待添加图像添加到所获取的图像中，生成用于训练卷积神经网络的样本图像。

【技术特征摘要】
1.一种图像处理方法，包括：获取图像，确定所述图像所包含的目标所在的目标区域，其中，所述目标区域的尺寸与图像尺寸的比例小于或等于预设比例阈值；提取所述目标区域内的图像，基于所提取的图像，生成待添加图像；将所述待添加图像添加到所获取的图像中，生成用于训练卷积神经网络的样本图像。2.根据权利要求1所述的方法，其中，所述基于所提取的图像，生成待添加图像，包括：复制所提取的图像，将复制得到的至少一个图像作为待添加图像。3.根据权利要求2所述的方法，其中，所述基于所提取的图像，生成待添加图像，还包括：从复制得到的图像中，选取至少一个图像；采用至少一种预设变换矩阵，对所选取的图像进行仿射变换。4.根据权利要求1所述的方法，其中，所述将所述待添加图像添加到所获取的图像中，包括：确定所获取的图像中的待替换区域，利用待添加图像替换所述待替换区域。5.根据权利要求1所述的方法，其中，在所述生成用于训练卷积神经网络的样本图像之后，所述方法还包括：对所述样本图像中，所添加的目标区域进行标注，得到样本；将所述样本加入所述卷积神经网络的训练样本集；基于样本，训练所述卷积神经网络，得到训练后的卷积神经网络。6.根据权利要求1所述的方法，其中，所述确定所述图像所包含的目标所在的目标区域，包括：对所述图像进行目标检测，得到所述图像中各个目标的目标框；从所得到的目标框中，确定尺寸与所述图像的尺寸的比例小于或等于预设比例阈值的至少一个目标框；将所确定的目标框所包括的区域作为所述目标区域。7.一种图像处理装置，包括：获取单元，被配置成获取图像，确定所述图像所包含的目标所在的目标区域，其中，所述目标区域的尺寸与图像尺寸的比例小于或等于预设比例阈值；提取单元，被...

【专利技术属性】
技术研发人员：胡耀全，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11