一种人脸毛孔跟踪方法及系统技术方案

本申请所提供的一种人脸毛孔跟踪方法，包括：获取表情变化视频连续的两帧图片；利用稠密光流算法对两帧图片进行计算得出光流图；对两帧图片进行SLIC超像素分割得到二维超像素块集；利用光流图对二维超像素块集进行处理分别得到三维超像素块集以及对应的变换矩阵；利用组合优化函数对三维超像素块集及变换矩阵进行处理得到优化变换矩阵；利用各个毛孔特征点的坐标以及优化变换矩阵分别得到各个毛孔特征点对应的三维变化向量。可见，该方法获取了毛孔特征点运动轨迹的优化变换矩阵即精确的运动轨迹参数，进而提高毛孔特征点跟踪的准确率。本申请还提供一种表情变化人脸毛孔跟踪系统、计算机及计算机可读存储介质，均具有上述有益效果。

A Face Pore Tracking Method and System

A facial pore tracking method provided in this application includes: acquiring two consecutive frames of video with changing expression; calculating two frames of images using dense optical flow algorithm to obtain optical flow maps; SLIC super-pixel segmentation of two frames of images to obtain two-dimensional super-pixel block sets; processing two-dimensional super-pixel block sets with optical flow maps to obtain three-dimensional super-pixel block sets and corresponding ones respectively. The transformation matrix is obtained by processing the three-dimensional super-pixel block set and transformation matrix with combinatorial optimization function, and the three-dimensional variation vectors corresponding to each pore feature point are obtained by using the coordinates of each pore feature point and the optimization transformation matrix. It can be seen that the method obtains the optimal transformation matrix of pore feature point trajectory, i. e. the precise trajectory parameters, and then improves the accuracy of pore feature point tracking. The application also provides a facial pore tracking system with facial expression changes, a computer and a computer readable storage medium, all of which have the above beneficial effects.

【技术实现步骤摘要】
一种人脸毛孔跟踪方法及系统
本申请涉及毛孔跟踪领域，特别涉及一种人脸毛孔跟踪方法、系统、计算机及计算机可读存储介质。
技术介绍
目前，人脸毛孔跟踪的相关技术为：二维图像上提取SIFT特征点等作为毛孔特征点，然后在相邻两帧的图像之间通过RANSAC算法寻找匹配度最高的毛孔特征点作为最佳匹配点，最后最佳匹配点在两帧之间的变化为毛孔特征点的运动轨迹。但是，由于相关技术获取的毛孔特征点运动轨迹的参数不够精确，导致毛孔特征点跟踪的准确率不高。因此，如何更加精确地获取毛孔特征点运动轨迹的参数，进而提高毛孔特征点跟踪的准确率是本领域技术人员需要解决的技术问题。
技术实现思路
本申请的目的是提供一种人脸毛孔跟踪方法、系统、计算机及计算机可读存储介质，能够更加精确地获取毛孔特征点运动轨迹的参数，进而提高毛孔特征点跟踪的准确率。为解决上述技术问题，本申请提供一种人脸毛孔跟踪方法，包括：获取表情变化视频连续的两帧图片；利用稠密光流算法对所述两帧图片进行计算得出光流图；对所述两帧图片进行SLIC超像素分割得到二维超像素块集；利用所述光流图对所述二维超像素块集进行处理分别得到三维超像素块集以及对应的变换矩阵；利用组合优化函数对所述三维超像素块集及所述变换矩阵进行处理得到优化变换矩阵；利用各个毛孔特征点的坐标以及所述优化变换矩阵分别得到各个所述毛孔特征点对应的三维变化向量。优选地，所述利用所述光流图对所述二维超像素块集进行处理分别得到三维超像素块集以及对应的变换矩阵，包括：利用所述光流图将所述二维超像素块集中的所有二维超像素块映射到三维空间，得到所述三维超像素块集；将所述三维超像素块集中的各个三维超像素块的旋转矩阵和平移矩阵组合成对应的变换矩阵。优选地，所述利用各个毛孔特征点的坐标以及所述优化变换矩阵分别得到各个所述毛孔特征点对应的三维变化向量，包括：将所述三维超像素块集中的所有三维超像素块的中点确定为各个所述毛孔特征点；利用各个所述毛孔特征点的坐标以及所述优化变换矩阵分别得到对应的三维变化向量。优选地，所述利用组合优化函数对所述三维超像素块集及所述变换矩阵进行处理得到优化变换矩阵，包括：将局部刚性优化函数和重投影优化函数相加得到所述组合优化函数；将所述三维超像素块集及所述变换矩阵带入所述组合优化函数进行迭代得到所述优化变换矩阵。本申请还提供一种人脸毛孔跟踪系统，包括：获取模块，用于获取表情变化视频连续的两帧图片；稠密光流算法模块，用于利用稠密光流算法对所述两帧图片进行计算得出光流图；SLIC超像素分割模块，用于对所述两帧图片进行SLIC超像素分割得到二维超像素块集；处理模块，用于利用所述光流图对所述二维超像素块集进行处理分别得到三维超像素块集以及对应的变换矩阵；组合优化函数处理模块，用于利用组合优化函数对所述三维超像素块集及所述变换矩阵进行处理得到优化变换矩阵；三维变化向量获取模块，用于利用各个毛孔特征点的坐标以及所述优化变换矩阵分别得到各个所述毛孔特征点对应的三维变化向量。优选地，所述处理模块，包括：映射单元，用于利用所述光流图将所述二维超像素块集中的所有二维超像素块映射到三维空间，得到所述三维超像素块集；合成单元，用于将所述三维超像素块集中的各个三维超像素块的旋转矩阵和平移矩阵组合成对应的变换矩阵。优选地，所述三维变化向量获取模块，包括：毛孔特征点确定单元，用于将所述三维超像素块集中的所有三维超像素块的中点确定为各个所述毛孔特征点；三维变化向量获取单元，用于利用各个所述毛孔特征点的坐标以及所述优化变换矩阵分别得到对应的三维变化向量。优选地，所述组合优化函数处理模块，包括：叠加单元，用于将局部刚性优化函数和重投影优化函数相加得到所述组合优化函数；迭代单元，用于将所述三维超像素块集及所述变换矩阵带入所述组合优化函数进行迭代得到所述优化变换矩阵。本申请还提供一种计算机，包括：存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现上述所述的人脸毛孔跟踪方法的步骤。本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的人脸毛孔跟踪方法的步骤。本申请所提供的一种人脸毛孔跟踪方法，包括：获取表情变化视频连续的两帧图片；利用稠密光流算法对所述两帧图片进行计算得出光流图；对所述两帧图片进行SLIC超像素分割得到二维超像素块集；利用所述光流图对所述二维超像素块集进行处理分别得到三维超像素块集以及对应的变换矩阵；利用组合优化函数对所述三维超像素块集及所述变换矩阵进行处理得到优化变换矩阵；利用各个毛孔特征点的坐标以及所述优化变换矩阵分别得到各个所述毛孔特征点对应的三维变化向量。该方法先是利用获取的表情变化视频连续的两帧图片分别得到光流图和二维超像素块集，然后利用光流图对二维超像素块集进行处理分别得到三维超像素块集以及对应的变换矩阵，再利用组合优化函数对三维超像素块集及变换矩阵进行处理得到优化变换矩阵，最后利用各个毛孔特征点的坐标以及优化变换矩阵分别得到各个毛孔特征点对应的三维变化向量。可见，该方法利用组合优化函数获取了毛孔特征点运动轨迹的优化变换矩阵即精确的运动轨迹参数，进而提高毛孔特征点跟踪的准确率。本申请还提供一种表情变化人脸毛孔跟踪系统、计算机及计算机可读存储介质，均具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的一种人脸毛孔跟踪方法的流程图；图2为本申请实施例所提供的一种人脸毛孔跟踪系统的结构框图。具体实施方式本申请的核心是提供一种人脸毛孔跟踪方法，能够更加精确地获取毛孔特征点运动轨迹的参数，进而提高毛孔特征点跟踪的准确率。本申请的另一核心是提供一种人脸毛孔跟踪系统、计算机及计算机可读存储介质。为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。目前，人脸毛孔跟踪的相关技术为：二维图像上提取SIFT特征点等作为毛孔特征点，然后在相邻两帧的图像之间通过RANSAC算法寻找匹配度最高的毛孔特征点作为最佳匹配点，最后最佳匹配点在两帧之间的变化为毛孔特征点的运动轨迹。但是，由于相关技术获取的毛孔特征点运动轨迹的参数不够精确，导致毛孔特征点跟踪的准确率不高。本申请实施例利用组合优化函数获取了毛孔特征点运动轨迹的优化变换矩阵即精确的运动轨迹参数，进而提高毛孔特征点跟踪的准确率。具体请参考图1，图1为本申请实施例所提供的一种人脸毛孔跟踪方法的流程图，该人脸毛孔跟踪方法具体包括：S101、获取表情变化视频连续的两帧图片；本申请实施例先获取表情变化视频连续的两帧图片，在此对表情变化视频的类型不作具体限定，应由本领域技术人员根据实际情况本文档来自技高网...

【技术保护点】
1.一种人脸毛孔跟踪方法，其特征在于，包括：获取表情变化视频连续的两帧图片；利用稠密光流算法对所述两帧图片进行计算得出光流图；对所述两帧图片进行SLIC超像素分割得到二维超像素块集；利用所述光流图对所述二维超像素块集进行处理分别得到三维超像素块集以及对应的变换矩阵；利用组合优化函数对所述三维超像素块集及所述变换矩阵进行处理得到优化变换矩阵；利用各个毛孔特征点的坐标以及所述优化变换矩阵分别得到各个所述毛孔特征点对应的三维变化向量。

【技术特征摘要】
1.一种人脸毛孔跟踪方法，其特征在于，包括：获取表情变化视频连续的两帧图片；利用稠密光流算法对所述两帧图片进行计算得出光流图；对所述两帧图片进行SLIC超像素分割得到二维超像素块集；利用所述光流图对所述二维超像素块集进行处理分别得到三维超像素块集以及对应的变换矩阵；利用组合优化函数对所述三维超像素块集及所述变换矩阵进行处理得到优化变换矩阵；利用各个毛孔特征点的坐标以及所述优化变换矩阵分别得到各个所述毛孔特征点对应的三维变化向量。2.根据权利要求1所述的表情变化人脸毛孔跟踪方法，其特征在于，所述利用所述光流图对所述二维超像素块集进行处理分别得到三维超像素块集以及对应的变换矩阵，包括：利用所述光流图将所述二维超像素块集中的所有二维超像素块映射到三维空间，得到所述三维超像素块集；将所述三维超像素块集中的各个三维超像素块的旋转矩阵和平移矩阵组合成对应的变换矩阵。3.根据权利要求1所述的表情变化人脸毛孔跟踪方法，其特征在于，所述利用各个毛孔特征点的坐标以及所述优化变换矩阵分别得到各个所述毛孔特征点对应的三维变化向量，包括：将所述三维超像素块集中的所有三维超像素块的中点确定为各个所述毛孔特征点；利用各个所述毛孔特征点的坐标以及所述优化变换矩阵分别得到对应的三维变化向量。4.根据权利要求1所述的表情变化人脸毛孔跟踪方法，其特征在于，所述利用组合优化函数对所述三维超像素块集及所述变换矩阵进行处理得到优化变换矩阵，包括：将局部刚性优化函数和重投影优化函数相加得到所述组合优化函数；将所述三维超像素块集及所述变换矩阵带入所述组合优化函数进行迭代得到所述优化变换矩阵。5.一种人脸毛孔跟踪系统，其特征在于，包括：获取模块，用于获取表情变化视频连续的两帧图片；稠密光流算法模块，用于利用稠密光流算法对所述两帧图片进行计算得出光流图；SLIC超像素分割模块，用于...

【专利技术属性】
技术研发人员：冯省城，李东，王颖，王永华，庄洪生，汪生，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44