图像处理的方法、装置及计算机可读存储介质制造方法及图纸

本公开涉及一种图像处理的方法、装置及计算机可读存储介质，以解决相关技术中难以精准地获取图像中物体位置的技术问题。该方法包括：标记样本图像中目标点的位置，所述目标点的位置至少包括回归角度、包围所述目标点的包围盒的宽度、高度及所述包围盒中心点的坐标，所述回归角度为所述包围盒的长边与坐标系中各个坐标轴的角度中的最小角度；将所述样本图像输入训练模型以根据所述目标点对所述样本图像的目标点位置进行回归训练，得到图像目标点定位模型；将待检测图像输入所述图像目标点定位模型进行检测，以获取所述待检测图像的目标点的位置。

Image processing method, device and computer readable storage medium

The present disclosure relates to an image processing method, a device and a computer readable storage medium to solve the technical problem that is difficult to accurately obtain the position of the object in the image. The method includes: the location of the target point in the marked sample image, which includes at least the regression angle, the width and height of the encircling box that surrounds the target point, and the coordinates of the center point of the encircling box. The regression angle is the minimum in the angle of the long edge of the encircling box and the coordinate axes in the coordinate system. The sample image is input into the training model to train the target point position of the sample image according to the target point, and the target location model of the image is obtained, and the target point positioning model of the image input is detected to obtain the position of the target point of the image to be detected.

【技术实现步骤摘要】
图像处理的方法、装置及计算机可读存储介质
本公开涉及通信领域，具体地，涉及一种图像处理的方法、装置及计算机可读存储介质。
技术介绍
相关技术中，对于图像中物体的检测一般包含两类回归：类别回归和位置回归，所述类别回归是指预测物体的类别，所述位置回归是指预测物体所处的位置。其中，所述位置回归只给出了横平竖直的矩形框，即包围物体的包围盒，但是位置回归难以很精准地获取图像中物体的位置。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种图像处理的方法、装置及计算机可读存储介质。根据本公开实施例的第一方面，提供一种图像处理的方法，所述方法包括：标记样本图像中目标点的位置，所述目标点的位置至少包括回归角度、包围所述目标点的包围盒的宽度、高度及所述包围盒中心点的坐标，所述回归角度为所述包围盒的长边与坐标系中各个坐标轴的角度中的最小角度；将所述样本图像输入训练模型以根据所述目标点对所述样本图像的目标点位置进行回归训练，得到图像目标点定位模型；将待检测图像输入所述图像目标点定位模型进行检测，以获取所述待检测图像的目标点的位置。采用上述图像处理的方法，本公开可以在类别回归和位置回归的基础上，通过增加角度的回归训练，即在标记样本图像中目标点的位置时，增加了回归角度的因素，因此获得的图像目标点定位模型能够得到更加准确的目标点的角度，进而能够减少包围盒包围的无关区域，当待检测图像输入所述图像目标点定位模型进行检测时，可以更加精准地获取所述待检测图像的目标点的位置，解决了相关技术中难以精准地获取图像中物体位置的技术问题。结合第一方面，在第一方面的第一种可能的实现方式中，在获取所述待检测图像的目标点的位置后，所述方法还包括：根据所述待检测图像的目标点的位置，对所述待检测图像的目标点进行美化处理。结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述对所述待检测图像的目标点进行美化处理，包括：根据所述待检测图像的目标点的位置，确定包围该目标点的包围盒所在的区域图像；计算所述区域图像的像素在HSV(Hue，Saturation，Value；色调，饱和度，明度)空间中的色调分量、饱和度分量和明度分量的均值；获取包含所述区域图像但面积大于所述区域图像的对比区域图像；计算所述对比区域图像的像素在HSV空间中的色调分量、饱和度分量和明度分量的均值；调整所述区域图像的像素的色调分量、饱和度分量和明度分量，以使所述区域图像的像素的色调分量、饱和度分量和明度分量的均值与所述对比区域图像的均值一致。结合第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述调整所述区域图像的像素的色调分量、饱和度分量和明度分量之后，还包括：对所述脸部图像进行平滑处理。结合第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，所述将所述样本图像输入训练模型以根据所述目标点对所述样本图像的目标点位置进行回归训练，包括：将所述样本图像输入区域建议网络中，以输出带有回归角度的包围盒；将所述带有回归角度的包围盒输入FasterR-CNN中的roi-pooling层以进行池化；将池化后的包围盒输入FasterR-CNN中的全连接层，以使FasterR-CNN进行回归训练，得到图像目标点定位模型。结合第一方面的第一种可能的实现方式，在第一方面的第五种可能的实现方式中，所述样本图像和所述待检测图像包括人脸图像或者文字图像，所述目标点包括疤痕、痣、皱纹、胎记或倾斜文字。根据本公开实施例的第二方面，提供一种图像处理的装置，所述装置包括：标记模块，被配置为标记样本图像中目标点的位置，所述目标点的位置至少包括回归角度、包围所述目标点的包围盒的宽度、高度及所述包围盒中心点的坐标，所述回归角度为所述包围盒的长边与坐标系中各个坐标轴的角度中的最小角度；获取模块，被配置为将所述样本图像输入训练模型以根据所述目标点对所述样本图像的目标点位置进行回归训练，得到图像目标点定位模型；以及检测模块，被配置为将待检测图像输入所述图像目标点定位模型进行检测，以获取所述待检测图像的目标点的位置。结合第二方面，在第二方面的第一种可能的实现方式中，还包括：美化模块，被配置为在获取所述待检测图像的目标点的位置后，根据所述待检测图像的目标点的位置，对所述待检测图像的目标点进行美化处理。结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述美化模块还包括：确定子模块，被配置为根据所述待检测图像的目标点的位置，确定包围该目标点的包围盒所在的区域图像；第一计算子模块，被配置为计算所述区域图像的像素在HSV空间中的色调分量、饱和度分量和明度分量的均值；获取子模块，被配置为获取包含所述区域图像但面积大于所述区域图像的对比区域图像；第二计算子模块，被配置为计算所述对比区域图像的像素在HSV空间中的色调分量、饱和度分量和明度分量的均值；以及调整子模块，被配置为调整所述区域图像的像素的色调分量、饱和度分量和明度分量，以使所述区域图像的像素的色调分量、饱和度分量和明度分量的均值与所述对比区域图像的均值一致。结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，所述美化模块还包括：处理子模块，被配置为在调整所述区域图像的像素的色调分量、饱和度分量和明度分量之后，对所述脸部图像进行平滑处理。结合第二方面，在第二方面的第四种可能的实现方式中，所述获取模块包括：第一输入子模块，被配置为将所述样本图像输入区域建议网络中，以输出带有回归角度的包围盒；第二输入子模块，被配置为将所述带有回归角度的包围盒输入FasterR-CNN中的roi-pooling层以进行池化；以及获得子模块，被配置为将池化后的包围盒输入FasterR-CNN中的全连接层，以使FasterR-CNN进行回归训练，得到图像目标点定位模型。结合第二方面，在第二方面的第五种可能的实现方式中，所述样本图像和所述待检测图像包括人脸图像或者文字图像，所述目标点包括疤痕、痣、皱纹、胎记或倾斜文字。根据本公开实施例的第三方面，提供一种图像处理的装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：标记样本图像中目标点的位置，所述目标点的位置至少包括回归角度、包围所述目标点的包围盒的宽度、高度及所述包围盒中心点的坐标，所述回归角度为所述包围盒的长边与坐标系中各个坐标轴的角度中的最小角度；将所述样本图像输入训练模型以根据所述目标点对所述样本图像的目标点位置进行回归训练，得到图像目标点定位模型；将待检测图像输入所述图像目标点定位模型进行检测，以获取所述待检测图像的目标点的位置。根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面所提供的图像处理的方法的步骤。本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。附图说明附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：图1是根据一示例性实施例示出的一种图像处理的方法的流程图。图2是本公开根据一示例性实施例示出的一种带有疤痕的人脸图像的示意图。图3是图2中包围盒本文档来自技高网...

【技术保护点】
一种图像处理的方法，其特征在于，所述方法包括：标记样本图像中目标点的位置，所述目标点的位置至少包括回归角度、包围所述目标点的包围盒的宽度、高度及所述包围盒中心点的坐标，所述回归角度为所述包围盒的长边与坐标系中各个坐标轴的角度中的最小角度；将所述样本图像输入训练模型以根据所述目标点对所述样本图像的目标点位置进行回归训练，得到图像目标点定位模型；将待检测图像输入所述图像目标点定位模型进行检测，以获取所述待检测图像的目标点的位置。

【技术特征摘要】
1.一种图像处理的方法，其特征在于，所述方法包括：标记样本图像中目标点的位置，所述目标点的位置至少包括回归角度、包围所述目标点的包围盒的宽度、高度及所述包围盒中心点的坐标，所述回归角度为所述包围盒的长边与坐标系中各个坐标轴的角度中的最小角度；将所述样本图像输入训练模型以根据所述目标点对所述样本图像的目标点位置进行回归训练，得到图像目标点定位模型；将待检测图像输入所述图像目标点定位模型进行检测，以获取所述待检测图像的目标点的位置。2.根据权利要求1所述的方法，其特征在于，在获取所述待检测图像的目标点的位置后，所述方法还包括：根据所述待检测图像的目标点的位置，对所述待检测图像的目标点进行美化处理。3.根据权利要求2所述的方法，其特征在于，所述对所述待检测图像的目标点进行美化处理，包括：根据所述待检测图像的目标点的位置，确定包围该目标点的包围盒所在的区域图像；计算所述区域图像的像素在HSV空间中的色调分量、饱和度分量和明度分量的均值；获取包含所述区域图像但面积大于所述区域图像的对比区域图像；计算所述对比区域图像的像素在HSV空间中的色调分量、饱和度分量和明度分量的均值；调整所述区域图像的像素的色调分量、饱和度分量和明度分量，以使所述区域图像的像素的色调分量、饱和度分量和明度分量的均值与所述对比区域图像的均值一致。4.根据权利要求3所述的方法，其特征在于，所述调整所述区域图像的像素的色调分量、饱和度分量和明度分量之后，还包括：对所述脸部图像进行平滑处理。5.根据权利要求1所述的方法，其特征在于，所述将所述样本图像输入训练模型以根据所述目标点对所述样本图像的目标点位置进行回归训练，包括：将所述样本图像输入区域建议网络中，以输出带有回归角度的包围盒；将所述带有回归角度的包围盒输入FasterR-CNN中的roi-pooling层以进行池化；将池化后的包围盒输入FasterR-CNN中的全连接层，以使FasterR-CNN进行回归训练，得到图像目标点定位模型。6.根据权利要求1所述的方法，其特征在于，所述样本图像和所述待检测图像包括人脸图像或者文字图像，所述目标点包括疤痕、痣、皱纹、胎记或倾斜文字。7.一种图像处理的装置，其特征在于，所述装置包括：标记模块，被配置为标记样本图像中目标点的位置，所述目标点的位置至少包括回归角度、包围所述目标点的包围盒的宽度、高度及所述包围盒中心点的坐标，所述回归角度为所述包围盒的长边与坐标系中各个坐标轴的角度中的最小角度；获取模块，被配置为将所述样本图像输入训练模型以根据所述目标点对所述样本图像的目标点位置进行回归训练，得到图像目标点定位模型；以...

【专利技术属性】
技术研发人员：张水发，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京,11