【技术实现步骤摘要】
嘴唇检测和跟踪方法及设备
本专利技术涉及图像识别领域。更具体地讲，涉及一种嘴唇检测和跟踪方法及设备。
技术介绍
在基于视频的人机交互应用中，人脸的动作和表情是需要检测和跟踪的重要目标。例如，使用面部器官运动和形变驱动动画模型，在交互娱乐、游戏制作和电影工业中有很多应用。在很多数码相机中，都有通过检测笑容和眨眼控制快门的功能。另外，在语音识别领域，嘴唇的形状和运动可以对语音识别起到辅助作用，尤其在背景噪声较强的环境中，可以提高语音识别的准确率。在所有的面部器官中，嘴部是形变最复杂的。当做出各种不同的面部表情时，在面部肌肉的控制下，嘴唇的形状可以产生各种不同的变化。所以，对嘴唇的位置和形状进行精确定位和跟踪，是一个十分困难的问题。早期的嘴唇检测和跟踪技术通常采用直接对人脸图像进行处理的方式实现，例如利用嘴唇与面部皮肤颜色不同的特点进行图像分割，找到嘴唇所在区域，进而从这一区域中找到对应于嘴角和嘴唇上下边缘的关键点的位置。或者首先对面部图像的边缘进行提取，再使用投影的方法找到嘴唇的轮廓。近期的嘴唇检测和跟踪技术常常使用一个参数化的模版或者模型，通过调整参数，可以改变模版或者模型的形状。现有的技术虽然可以实现在人脸视频和图像中找到嘴唇位置，并对其大致形状进行定位和跟踪，但在准确程度和鲁棒性方面存在问题。嘴唇可以发生非常复杂的形变，嘴唇在视频和图像中的形状还受到头部姿态的影响，如果希望跟踪嘴唇的模版或者模型能够适应这些变化，就会使需要调整的参数变得很多，算法的稳定性将会下降，容易产生定位和跟踪错误。反之，如果约束模版或者模型的自由度，定位和跟踪的精度就会受到...
【技术保护点】
一种嘴唇检测方法，包括：从输入图像估计头部姿态；从多个嘴唇粗糙模型中选择与估计的头部姿态相应的嘴唇粗糙模型；使用选择的嘴唇粗糙模型初步检测嘴唇；从多个嘴唇精细模型中选择一个具有与初步检测的嘴唇的形状最接近的嘴唇形状的嘴唇精细模型；使用选择的嘴唇精细模型检测嘴唇。
【技术特征摘要】
1.一种嘴唇检测方法，包括: 从输入图像估计头部姿态； 从多个嘴唇粗糙模型中选择与估计的头部姿态相应的嘴唇粗糙模型； 使用选择的嘴唇粗糙模型初步检测嘴唇； 从多个嘴唇精细模型中选择一个具有与初步检测的嘴唇的形状最接近的嘴唇形状的嘴唇精细模型； 使用选择的嘴唇精细模型检测嘴唇。2.如权利要求1所述的方法，其中，利用第一多组嘴唇图像作为训练样本训练而得到多个嘴唇粗糙模型，每组嘴唇图像作为一个训练样本集合训练一个嘴唇粗糙模型，每组嘴唇图像具有相同或相近的头部姿态； 其中，利用第二多组嘴唇图像作为训练样本训练而得到多个嘴唇精细模型，每组嘴唇图像作为一个训练样本集合训练一个嘴唇精细模型，每组嘴唇图像具有相同或相近的嘴唇形状，或者，根据嘴唇形状将第二多组嘴唇图像中的每组嘴唇图像分别划分为多个子集，利用划分的子集训练嘴唇精细模型，每个子集作为一个训练样本集合训练一个嘴唇精细模型。3.如权利要求1所述的方法，其中，每个嘴唇粗糙模型和每个嘴唇精细模型包括形状模型和表观模型中的至少一个， 其中，形状模型用于对嘴唇的形状建模，被表示为:平均形状与反映形状变化的至少一个形状基的加权和之和的相似变换，其中，平均形状和形状基作为形状模型的固定参数，用于各个形状基加权的形状参数的形状参数向量和用于相似变化的参数为形状模型的变量; 其中，表观模型用于对嘴唇的表观进行建模，被表不为:嘴唇的平均表观与反映表观变化的至少一个表观基的加权和之和，其中，平均表观和表观基作为表观模型的固定参数，用于表观基加权的权重为表观模型的变量。4.如权利要求3所述的方法，其中，使用嘴唇粗糙模型的步骤包括:最小化表观约束项、内部形变约束项、形状约束项中的至少一个之间的加权和， 其中，表观约束项表示检测的嘴唇的表观与表观模型的差异；内部形变约束项表示检测的嘴唇的形状与平均形状的差异；形状约束项表示检测的嘴唇的形状与预先从输入图像估计的嘴部位置的差异。5.如权利要求3所述的方法，其中，使用嘴唇精细模型检测嘴唇的步骤包括:最小化表观约束项、内部形变约束项、形状约束项、纹理约束项中的至少一个之间的加权和， 其中，表观约束项表示检测的嘴唇的表观与表观模型的差异；内部形变约束项表示检测的嘴唇的形状与平均形状的差异；形状约束项表示检测的嘴唇的形状与初步检测的嘴唇的形状的差异，纹理约束项表示当前帧与先前帧之间的纹理变化。6.如权利要求3述的方法，其中，平均形状表示用于训练形状模型的训练样本集合中的嘴唇的平均形状，每个形状基表示对平均形状的一个变化。7.如权利要求3述的方法，其中，选取训练样本集合中的全部或部分训练样本的形状向量的协方差矩阵的特征向量来作为形状基。8.如权利要求7述的方法，其中，如果训练样本集合中的预定数量训练样本的形状向量的协方差矩阵的特征值之和大于训练样本集合中的所有训练样本的形状向量的协方差矩阵的特征值之和的预定百分比，则所述预定数量训练样本的形状向量的协方差矩阵的特征向量作为预定数量的形状基。9.如权利要求3所述的方法,其中，平均表观表不用于训练表观模型的训练样本集合的表观向量的平均值，表观基表示对平均表观向量的一个变化。10.如权利要求3所述的方法，其中，选取训练样本集合中的全部或部分训练样本的表观向量的协方差矩阵的特征向量来作为表观基。11.如权利要求10所述的方法，其中，如果训练样本集合中的预定数量训练样本的表观向量的协方差矩阵的特征值之和大于训练样本集合中的所有训练样本的表观向量的协方差矩阵的特征值之和的预定百分比，则所述预定数量训练样本的表观向量的协方差矩阵的特征向量作为预定数量的表观基。12.如权利要求3所述的方法，其中，表观向量包括形状无关嘴唇纹理图像中的像素的像素值。13.如权利要求12所述的方法，其中，在训练时获取表观向量的步骤包括: 根据训练样本 中标记的嘴唇轮廓关键点的位置，将嘴唇内部像素和嘴唇外部预定范围内的像素映射到嘴唇的平均形状中，得到形状无关嘴唇纹理图像； 计算形状无关嘴唇纹理图像的不同方向的多个梯度图像； 将形状无关嘴唇纹理图像和所述多个梯度图像转换成向量的形式，并将转换的向量连接在一起，从而得到表观向量。14.如权利要求12所述的方法，其中，在训练时获取形状无关嘴唇纹理图像的步骤包括:以训练样本和平均形状中的嘴唇轮廓关键点为参考，将训练样本上的嘴唇内部像素和嘴唇外部预定范围内的像素的像素值映射到平均形状中的对应像素。15.如权利要求12所述的方法，其中，在训练时获取形状无关嘴唇纹理图像的步骤包括: 在嘴唇的平均形状上，基于表示嘴唇的平均形状的嘴唇轮廓关键点，以预定方式划分网格； 在标注了嘴唇轮廓关键点的训练样本上，基于所述嘴唇轮廓关键点以所述预定方式划分网格； 以划分的网格作为参考，将训练样本上...
【专利技术属性】
技术研发人员：冯雪涛，沈晓璐，张辉，金培亭，金智渊，
申请(专利权)人：北京三星通信技术研究有限公司，三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。