特征点检测方法、设备和计算机可读存储介质技术

根据本公开的实施例，提供了一种使用卷积神经网络(CNN)来检测图像中的特征点的方法。所述方法包括：使用所述CNN中的第一类卷积层来处理所述图像的数据，以生成第一处理数据，所述第一类卷积层包括具有非共享权值的卷积核；使用所述CNN中的第二类卷积层来处理所述第一处理数据，以生成第二处理数据，所述第二类卷积层包括具有共享权值的卷积核；以及基于所述第二处理数据来确定所述图像中的特征点。此外，根据本公开的实施例还提供了相应的设备和计算机可读存储介质。

Feature point detection method, device and computer-readable storage medium

According to the embodiment of the present disclosure, a method for detecting feature points in an image using a convolutional neural network (CNN) is provided. The method includes: using the first class of convolution layers in the CNN to process the data of the image to generate the first processing data, the first class of coiling layers including a convolution kernel with a non shared weight value; the second class of convolution layers in the CNN are used to process the first processing data to generate second processing data, The second class of coiling layers includes convolution cores with shared weights, and the characteristic points in the images are determined based on the second processing data. In addition, according to the embodiments of the disclosure, corresponding devices and computer-readable storage media are provided.

【技术实现步骤摘要】
特征点检测方法、设备和计算机可读存储介质
本公开涉及图像处理领域，且更具体地涉及使用卷积神经网络(CNN)来检测图像中的特征点的方法、设备和计算机可读存储介质。
技术介绍
作为图像处理领域中的重要部分的人脸解析，其在各个领域中都有非常重要的作用。例如，人脸解析在人脸识别以及情绪检测方面都有重要应用。目前针对人脸解析已经存在很多方法，例如：形状限制(shapeconstraints)、回归树、纹理信息、以及多种方法的结合。此外，还有一些浅层的机器学习方法。
技术实现思路
然而，这些方法都或多或少的存在一些问题。例如，梯度提升树(GradientBoostingTree)方法的运算速度快，但是其在复杂环境下容易受到干扰。此外，人脸具有很强的结构化信息，即面部的各个特征(如眼睛、鼻子、耳朵、嘴等)的轮廓、颜色、大小、及其相对位置等大体固定。因此，如何有效地利用这些信息来提高人脸特征点的检测精度和速度就成为了一个重要的课题。为了至少部分解决上述问题，提供了根据本公开实施例的使用卷积神经网络(CNN)来检测图像中的特征点的方法、设备和计算机可读存储介质。根据本公开的第一方面，提供了一种使用卷积神经网络(CNN)来检测图像中的特征点的方法。所述方法包括：使用所述CNN中的第一类卷积层来处理所述图像的数据，以生成第一处理数据，所述第一类卷积层包括具有非共享权值的卷积核；使用所述CNN中的第二类卷积层来处理所述第一处理数据，以生成第二处理数据，所述第二类卷积层包括具有共享权值的卷积核；以及基于所述第二处理数据来确定所述图像中的特征点。在一些实施例中，所述CNN中在前的第一类卷积层的卷积核的大小大于等于在后的第一类卷积层的卷积核的大小，以及所述CNN中在前的第一类卷积层的卷积核的数量小于等于在后的第一类卷积层的卷积核的数量。在一些实施例中，所述第一类卷积层的数量为3～5层。在一些实施例中，所述第二类卷积层的数量为3～7层。在一些实施例中，在所述CNN中，所述第一类卷积层在所述第二类卷积层之前。在一些实施例中，所述CNN中包括4个第一类卷积层，分别为包括20个4x4卷积核、40个3x3卷积核、60个3x3卷积核、和80个2x2卷积核。在一些实施例中，所述CNN中包括5个第二类卷积层，分别为包括80个3x3卷积核、80个3x3卷积核、80个3x3卷积核、80个2x2卷积核、和80个2x2卷积核。在一些实施例中，基于所述第二处理数据来确定所述图像中的特征点的步骤还包括：使用所述CNN中的第三类卷积层来处理所述第二处理数据，以生成第三处理数据，所述第三类卷积层是全连接卷积层；以及基于所述第三处理数据来确定所述图像中的特征点。在一些实施例中，紧接在每个所述第一类卷积层和/或每个所述第二类卷积层之后，所述CNN还包括激活层，所述激活层采用以下各激活函数之一：Sigmoid函数、双曲正切函数、和/或纠正线性单元“ReLU”函数。在一些实施例中，紧接在每个所述第一类卷积层和/或每个所述第二类卷积层之后，所述CNN还包括池化层，所述池化层采用以下各池化函数之一：最大池化函数和/或平均池化函数。在一些实施例中，所述CNN是使用随机梯度下降法“SGD”来训练的。在一些实施例中，初始学习速率为10-2。在一些实施例中，所述CNN中的各卷积层的初始权重值是使用以0为平均值且方差为0.01的高斯随机数来初始化的。根据本公开的第二方面，提供了一种使用卷积神经网络(CNN)来检测图像中的特征点的设备。所述设备包括：第一卷积处理单元，用于使用所述CNN中的第一类卷积层来处理所述图像的数据，以生成第一处理数据，所述第一类卷积层包括具有非共享权值的卷积核；第二卷积处理单元，用于使用所述CNN中的第二类卷积层来处理所述第一处理数据，以生成第二处理数据，所述第二类卷积层包括具有共享权值的卷积核；以及特征点确定单元，用于基于所述第二处理数据来确定所述图像中的特征点。在一些实施例中，所述CNN中在前的第一类卷积层的卷积核的大小大于等于在后的第一类卷积层的卷积核的大小，以及所述CNN中在前的第一类卷积层的卷积核的数量小于等于在后的第一类卷积层的卷积核的数量。在一些实施例中，所述第一类卷积层的数量为3～5层。在一些实施例中，所述第二类卷积层的数量为3～7层。在一些实施例中，在所述CNN中，所述第一类卷积层在所述第二类卷积层之前。在一些实施例中，所述CNN中包括4个第一类卷积层，分别为包括20个4x4卷积核、40个3x3卷积核、60个3x3卷积核、和80个2x2卷积核。在一些实施例中，所述CNN中包括5个第二类卷积层，分别为包括80个3x3卷积核、80个3x3卷积核、80个3x3卷积核、80个2x2卷积核、和80个2x2卷积核。在一些实施例中，所述特征点确定单元还用于：使用所述CNN中的第三类卷积层来处理所述第二处理数据，以生成第三处理数据，所述第三类卷积层是全连接卷积层；以及基于所述第三处理数据来确定所述图像中的特征点。在一些实施例中，紧接在每个所述第一类卷积层和/或每个所述第二类卷积层之后，所述CNN还包括激活层，所述激活层采用以下各激活函数之一：Sigmoid函数、双曲正切函数、和/或纠正线性单元“ReLU”函数。在一些实施例中，紧接在每个所述第一类卷积层和/或每个所述第二类卷积层之后，所述CNN还包括池化层，所述池化层采用以下各池化函数之一：最大池化函数和/或平均池化函数。在一些实施例中，所述CNN是使用随机梯度下降法“SGD”来训练的。在一些实施例中，初始学习速率为10-2。在一些实施例中，所述CNN中的各卷积层的初始权重值是使用以0为平均值且方差为0.01的高斯随机数来初始化的。根据本公开的第三方面，提供了一种存储指令的计算机可读存储介质。当所述指令在由计算机执行时，使得所述计算机：使用卷积神经网络(CNN)中的第一类卷积层来处理图像的数据，以生成第一处理数据，所述第一类卷积层包括具有非共享权值的卷积核；使用所述CNN中的第二类卷积层来处理所述第一处理数据，以生成第二处理数据，所述第二类卷积层包括具有共享权值的卷积核；以及基于所述第二处理数据来确定所述图像中的特征点。在一些实施例中，所述CNN中在前的第一类卷积层的卷积核的大小大于等于在后的第一类卷积层的卷积核的大小，以及所述CNN中在前的第一类卷积层的卷积核的数量小于等于在后的第一类卷积层的卷积核的数量。在一些实施例中，所述第一类卷积层的数量为3～5层。在一些实施例中，所述第二类卷积层的数量为3～7层。在一些实施例中，在所述CNN中，所述第一类卷积层在所述第二类卷积层之前。在一些实施例中，所述CNN中包括4个第一类卷积层，分别为包括20个4x4卷积核、40个3x3卷积核、60个3x3卷积核、和80个2x2卷积核。在一些实施例中，所述CNN中包括5个第二类卷积层，分别为包括80个3x3卷积核、80个3x3卷积核、80个3x3卷积核、80个2x2卷积核、和80个2x2卷积核。在一些实施例中，所述指令在由计算机执行时，还使得所述计算机：使用所述CNN中的第三类卷积层来处理所述第二处理数据，以生成第三处理数据，所述第三类卷积层是全连接卷积层；以及基于所述第三处理数据来确定所述图像中的特征点。在一些实施例中本文档来自技高网...

【技术保护点】
1.一种使用卷积神经网络“CNN”来检测图像中的特征点的方法，包括：使用所述CNN中的第一类卷积层来处理所述图像的数据，以生成第一处理数据，所述第一类卷积层包括具有非共享权值的卷积核；使用所述CNN中的第二类卷积层来处理所述第一处理数据，以生成第二处理数据，所述第二类卷积层包括具有共享权值的卷积核；以及基于所述第二处理数据来确定所述图像中的特征点。

【技术特征摘要】
1.一种使用卷积神经网络“CNN”来检测图像中的特征点的方法，包括：使用所述CNN中的第一类卷积层来处理所述图像的数据，以生成第一处理数据，所述第一类卷积层包括具有非共享权值的卷积核；使用所述CNN中的第二类卷积层来处理所述第一处理数据，以生成第二处理数据，所述第二类卷积层包括具有共享权值的卷积核；以及基于所述第二处理数据来确定所述图像中的特征点。2.根据权利要求1所述的方法，其中，所述CNN中在前的第一类卷积层的卷积核的大小大于等于在后的第一类卷积层的卷积核的大小，以及所述CNN中在前的第一类卷积层的卷积核的数量小于等于在后的第一类卷积层的卷积核的数量。3.根据权利要求1所述的方法，其中，所述第一类卷积层的数量为3～5层。4.根据权利要求3所述的方法，其中，所述CNN中包括4个第一类卷积层，分别为包括20个4x4卷积核、40个3x3卷积核、60个3x3卷积核、和80个2x2卷积核。5.根据权利要求1所述的方法，其中，所述第二类卷积层的数量为3～7层。6.根据权利要求5所述的方法，其中，所述CNN中包括5个第二类卷积层，分别为包括80个3x3卷积核、80个3x3卷积核、80个3x3卷积核、80个2x2卷积核、和80个2x2卷积核。7.根据权利要求1所述的方法，其中，在所述CNN中，所述第一类卷积层在所述第二类卷积层之前。8.根据权利要求1所述的方法，其中，基于所述第二处理数据来确定所述图像中的特征点的步骤还包括：使用所述CNN中的第三类卷积层来处理所述第二处理数据，以生成第三处理数据，所述第三类卷积层是全连接卷积层；以及基于所述第三处理数据来确定所述图像中的特征点。9.根据权利要求1所述的方法，其中，紧接在每个...

【专利技术属性】
技术研发人员：孙蒙蒙，李正龙，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：北京,11