一种实时的人脸交互方法及其系统技术方案

本公开涉及一种实时的人脸交互方法及其系统，所述方法通过获取电子哈哈镜前的实时视频，并对视频图像中的人脸进行识别，使用级联回归模型提取人脸特征，在进行人脸变形后，在电子哈哈镜上实时呈现当前用户的哈哈镜视觉画面。如果人脸有实时面部动作，就实时变化哈哈镜中的视觉画面。所述系统基于所述方法实现，方便方法的应用。所述方法及系统能够通过脸部动作状态智能控制视频中的输出对象，通过输出对象真实地反映操作者的喜怒哀乐等脸部动作变化。

【技术实现步骤摘要】

本公开涉及计算机图形图像处理领域，特别是一种实时的人脸交互方法及其系统。
技术介绍
随着科技的发展，硬件设备的性能提升和图像处理技术的增强，使得很多摄像头设备可以自身进行图像处理，而其中一些图像处理可以产生卡通或文字渲染，但是当前这类处理都是基于静态图片，且是通过人工添加卡通或文字渲染，也不能对视频进行实时处理，更不能进行人机交互。目前大多人机交互的系统，都是基于语音或者肢体的动作，不能真实地反映操作者的喜怒哀乐。
技术实现思路
针对上述部分问题，本公开提供了一种实时的人脸交互方法及系统，所述方法及系统能够通过脸部动作状态智能控制视频中的输出对象，通过输出对象真实地反映操作者的喜怒哀乐等脸部动作变化。一种实时的人脸交互方法，所述方法包括下述步骤：S100、获取电子哈哈镜前的、当前用户的实时视频；S200、基于所述实时视频获取视频帧图像，对所述视频帧图像进行人脸检测识别；S300、在人脸检测识别之后，使用级联回归模型提取人脸特征，并进行人脸变形；S400、在电子哈哈镜上实时呈现当前用户人脸变形后的哈哈镜视觉画面。基于所述方法，实现了一种实时的人脸交互系统，所述系统包括下述模块：M100、视频获取模块：获取电子哈哈镜前的、当前用户的实时视频；M200、人脸检测识别模块：基于所述实时视频获取视频帧图像，对所述视频帧图像进行人脸检测识别；M300、人脸变形模块：在人脸检测识别之后，使用级联回归模型提取人脸特征，并进行人脸变形；M400、视觉呈现模块：在电子哈哈镜上实时呈现当前用户人脸变形后的哈哈镜视觉画面。附图说明图1本公开一个实施例中的方法流程示意图。具体实施方式在一个基础的实施例中，提供了一种实时的人脸交互方法，所述方法包括下述步骤，如图1所示：S100、获取电子哈哈镜前的、当前用户的实时视频；S200、基于所述实时视频获取视频帧图像，对所述视频帧图像进行人脸检测识别；S300、在人脸检测识别之后，使用级联回归模型提取人脸特征，并进行人脸变形；S400、在电子哈哈镜上实时呈现当前用户人脸变形后的哈哈镜视觉画面。在这个实施例中，所述方法可以应用于手机、平板、带摄像头的广告机、带摄像头的电脑等场合，能够通过脸部动作状态智能控制视频中的输出对象，通过输出对象真实地反映操作者的喜怒哀乐等脸部动作变化。在通过摄像头拍摄获得脸部后，摄像机拍摄的同时，就完全实时地对屏幕上的视频做出同步脸部动作控制效果。比如在捕捉到摄像头前对象的眨眼动作，每捕捉到一次，将在视频输出时重新生成并实时显示另一对象同样的眨眼动作。摄像头前对象和重新生成的另一对象可以是人，也可以是动物，或者其他具有脸部的对象。当摄像头前对象是人，重新生成的另一对象是动物或卡通形象时，就相当于把摄像头前对象拟动物化或拟卡通化。优选的，所述S300中所述使用级联回归模型提取人脸特征包括下述步骤：S301、通过自动识别方式确定要提取的特征点的数量；S302、获取包括眼球中心点、眼角、鼻尖、嘴角9个点在内的特征点，并根据该9个点的位置关系评估人脸角度；S303、根据所述人脸角度选择适合该人脸角度范围的级联回归模型，将检测的图像作为输入，获取人脸特征点。优选的，所述S300中所述人脸变形包括下述步骤：S311、确定某个要变形五官的特征点，基于确定的特征点及其影响半径，计算受变形影响的每个像素点的新位置和新灰度值；S312、利用步骤S311中计算得到的每个像素点的新位置和新灰度值更新图像上相关的像素点。在通过摄像头拍摄获得人脸后，检测人脸，并对人脸进行跟踪，对体现五官、人脸轮廓的特征点进行提取，所述特征点的数量可以是21点，106点，或者是196点。在提取到特征点后，可以基于多个要变形的五官的特征点，按照不同影响半径，计算变形区域像素点的几何位置变化，制作出一些变形效果，比如五官的放大缩小，脸型正反三角，方形圆形，嘴角上扬下垂等等，类似哈哈镜，可以变成独眼龙、蛤蟆嘴，大方脸，大鼻子，等等搞笑的结果。摄像机拍摄的同时，就对屏幕上的视频作出效果，完全实时。这里的变形是指在人脸图像的一小部分区域内做变形，只改变某些范围的特征，但是保持其它区域不发生变化。在现有技术中常用的变形方法有：基于网格的变形，即在图像上嵌入一张网格，通过改变网格的形状实现图像变形，包括后续发展出的自由变形(FFD)和建立网格的层次结构等；基于特征线的变形，如Beier和Neely等人提出的根据像素点相对于图像中一系列线段的位置而决定变形的方法；基于散乱点插值的变形，即在图像上指定一系列点后，用径向基函数方法完成指定点对的插值。对后一个问题，主要使用插值技术来解决，包括三次卷积、sinc函数、线性函数和三次B样条等。优选的，所述步骤S311中新灰度值计算使用双线性插值进行求解，可使变形自然。设(x,y)的4个最邻近像素为A，B，C，D，它们的坐标分别为(i,j)，(i+1,j)，(i,j+1),(i+1,j+1)，它们的灰度值分别为g(A)，g(B)，g(C)，g(D)，则插值点(x,y)的灰度值为：G(x,y)＝(x-i){(y-j)[g(D)-g(B)]+g(B)-(y-j)[g(C)-g(A)]-g(A)本文档来自技高网...

【技术保护点】
一种实时的人脸交互方法，其特征在于，所述方法包括下述步骤：S100、获取电子哈哈镜前的、当前用户的实时视频；S200、基于所述实时视频获取视频帧图像，对所述视频帧图像进行人脸检测识别；S300、在人脸检测识别之后，使用级联回归模型提取人脸特征，并进行人脸变形；S400、在电子哈哈镜上实时呈现当前用户人脸变形后的哈哈镜视觉画面。

【技术特征摘要】
1.一种实时的人脸交互方法，其特征在于，所述方法包括下述步骤：
S100、获取电子哈哈镜前的、当前用户的实时视频；
S200、基于所述实时视频获取视频帧图像，对所述视频帧图像进行人脸检测识别；
S300、在人脸检测识别之后，使用级联回归模型提取人脸特征，并进行人脸变形；
S400、在电子哈哈镜上实时呈现当前用户人脸变形后的哈哈镜视觉画面。
2.根据权利要求1所述的方法，其特征在于，优选的，所述S300中所述使用级联回归模
型提取人脸特征包括下述步骤：
S301、通过自动识别方式确定要提取的特征点的数量；
S302、获取眼球中心点、眼角、鼻尖、嘴角部位的多个点在内的特征点，并根据这些特征
点的位置关系评估人脸角度；
S303、根据所述人脸角度选择适合该人脸角度范围的级联回归模型，将检测的图像作
为输入，获取人脸特征点。
3.根据权利要求1所述的方法，其特征在于，所述S300中所述人脸变形包括下述步骤：
S311、确定多个要变形五官的特征点，基于确定的特征点及其影响半径，在各个变形五
官的影响半径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值；
S312、利用步骤S311中计算得到的每个像素点的新位置和新灰度值更新图像上相关的
像素点。
4.根据权利要求1所述的方法，其特征在于，所述步骤S400之后，还包括：
S500、进行动作检测，用于捕捉当前用户的面部动作，如果捕捉到预设动作，实时将当
前用户的哈哈镜视觉画面变化为当前同一用户的另一种不同的哈哈镜视觉画面。
5.根据权利要求4所述的方法，其特征在于，所述S500中实时将当前用户的哈哈镜视觉
画面变化为当前同一用户的另一种不同的哈哈镜视觉画面，包括下述步骤：
S501、基于前次确定的特征点，改变多个特征点的影响半径，在各个变形五官的影响半
径不完全相同的情况下，计算受变形影响的每个像素点的新位置和新灰度值；
S502、利用步骤S501中计算得到的每个像素点的新位置和新灰度值更新图像上相关的
像素点。
6.根据权利要求4所述的方法，其特征在于，所述动作检测包括下述步骤：
S511、基于提取的特征点，利用神经网络来判断面部动作状态，并对人脸图像的连续性
进行判断；
S512、在连续的若干视频帧图像中寻找所述面部动作状态的值连续增大的图像序列；
S513、通过所述图像序列的所述面部动作状态的值的变化来判断面部动作状态的完成
情况。
7.根据权利要求2所述的方法，其特征在于，所述步骤S300在在人脸检测识别之后，还
包括进行跟踪检测；所述跟踪检测，用于判断当前检测到的人脸是否与先前检测到的人脸
相同。
8.根据权利要求7所述的方法，其特征在于，所述步骤S303在跟踪检测到相同人脸时，
利用之前已提取的同一人脸的特征点结合当前人脸角度进行特征点匹配。
9.根据权利要求7所述的方法，其特征在于，所述跟踪检测的步骤包括：
S3011、计算当前检测到人脸的人脸区域与先前检测到人脸的人脸区域的面积重合度；
S3012、若所述面积重合度大于指定阈值，则认为当前检测到人脸与先前检测到的人脸
相同。
10.根据权利要求1～9任一所述的方法，其特征在于，所述哈哈镜视觉画面还包括文
字。
11.一种实时的...

【专利技术属性】
技术研发人员：左冬冬，郭玉京，马堃，王贵杰，徐立，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44