视频面部贴图特效处理方法及生成系统技术方案

本发明专利技术公开了一种视频面部贴图特效处理方法及生成系统，属于视频特效领域，要解决的技术问题为如何实现用户自行编辑贴图效果、调整贴图位置及尺寸；其方法包括如下步骤：对视频中人脸进行特征定位，获取人脸的面部特征点；将选取的图像导入视频中人脸上作为贴图，贴图包括贴图图像和贴图控制点，通过贴图控制点和与其对应的人脸的面部特征点计算贴图控制点的位置参数，通过贴图控制点的位置参数对贴图图像进行变换处理，贴图控制点的位置参数能够标识贴图图像与视频中人脸的指定贴图区域之间的相对位置关系；将变换处理后的贴图叠加至视频中人脸的指定贴图区域。其结构包括显示模块、功能模块和提示模块。用户可自行编辑贴图的效果、位置和尺寸。

【技术实现步骤摘要】
视频面部贴图特效处理方法及生成系统
本专利技术涉及视频特效领域，具体地说是一种视频面部贴图特效处理方法及生成系统。
技术介绍
随着信息的膨胀和同质化，人们希望在视频中能体现个性化的特色，以更快的获得认同，同时满足内心体验，传达自身的情感。例如在视频的人脸面部上快速叠加贴图特效并保持在面部的相对位置。由于视频处理的复杂性，若使用通用的视频后处理软件进行处理，其操作难度较大，且需要专业的知识和大量的人工操作，并不适合普通家庭用户使用。目前已有的应用主要是将一些预定义的美颜效果或者动态特效加入到个人视频中，使用者可以从给定的特效中进行选择，选择好后特效即按预先设定的位置加入到视频人脸上，一般不支持自行添加、编辑效果或修改变形位置等，通常效果也不会跟随光线明暗产生变化。如何提供一种视频面部特效处理方法，支持用户自行编辑贴图效果、调整贴图位置及尺寸，是需要解决的技术问题。
技术实现思路
本专利技术的技术任务是针对以上不足，提供一种视频面部贴图特效处理方法及生成系统，来解决如何实现用户自行编辑贴图效果、调整贴图位置及尺寸的问题。本专利技术的技术任务是按以下方式实现的：视频面部贴图特效处理方法，将任意图像作为贴图附于输入的视频中人脸的任意位置上，且贴图在视频中保持与人脸的指定贴图区域相对位置的固定，包括如下步骤：S1、对视频中人脸进行特征定位，获取人脸的面部特征点；S2、将选取的图像导入视频中人脸上作为贴图，贴图包括贴图图像和贴图控制点，通过贴图控制点和与其对应的人脸的面部特征点计算贴图控制点的位置参数，通过贴图控制点的位置参数对贴图图像进行变换处理，贴图控制点的位置参数能够标识贴图图像与视频中人脸的指定贴图区域之间的相对位置关系；S3、将变换处理后的贴图叠加至视频中人脸的指定贴图区域。进一步的，步骤S1包括如下步骤：S11、通过人脸检测方法对视频进行人脸检测，如果确定视频中存在人脸，则返回人脸在视频图像中的位置和范围，视频包括摄像头实时输入的视频和录制好的视频；S12、通过面部特征定位法对视频中人脸进行面部特征点定位，并保存每个面部特征点的编号及坐标，生成面部特征点点集。进一步的，步骤S2包括如下步骤：S21、导入贴图：选取一个图像导入视频中人脸上，该图像为贴图图像，获取围成贴图图像的贴图控制点，并记载贴图控制点在当前帧视频图像中人脸上的坐标；S22、计算每个贴图控制点的位置参数：在上述定位的面部特征点中选取多个面部特征点，上述选取的多个面部特征点为在当前帧视频图像中人脸上与贴图控制点所在像素点接近的面部特征点，且上述选取的多个面部特征点不共线，通过上述选取的多个面部特征点在人脸上的位置以及相互之间的相对比例关系计算贴图控制点的位置参数，通过贴图控制点的位置参数能够计算贴图控制点在每一帧视频图像中人脸上的坐标；S23、在每一帧视频图像中，通过贴图控制点的坐标对贴图图像进行透视变换。进一步的，步骤S22包括如下分步骤：S221、在上述定位的人脸的面部特征点中选取三个面部特征点Pi、Pj和Pk，上述三个面部特征点为在当前帧视频图像中人脸上与贴图控制点所在的像素点接近的三个面部特征点，三个面部特征点的编号分别为n1、n2和n3，面部特征点Pi的坐标为(Pi.x,Pi.y)，面部特征点Pj的坐标为((Pj.x,Pj.y)，面部特征点Pk的坐标为((Pk.x,Pk.y)；S222、判断上述三个面部特征点是否共线，如果上述三个面部特征点共线，替换其中的一个面部特征点，如果上述三个面部特征点不共线，通过分段线性仿射计算上述三个面部特征点的仿射参数α和β,其中，(P.x,P.y)为贴图控制点在当前视频帧中人脸上的坐标；S223、通过上述三个面部特征点的编号以及仿射参数组成对应的贴图控制点的位置参数，贴图控制点的位置参数为(n1,n2,n3,α,β)；S224、通过贴图控制点的位置参数计算与其对应的贴图控制点在每帧视频图像中人脸上的坐标。进一步的，步骤S23中，通过贴图控制点的坐标对贴图图像进行透视变换包括如下步骤：S231、采集对应原始贴图图像的贴图控制点的坐标，并采集人脸上指定的面部特征点的坐标，采集的贴图控制点和指定的面部特征点均多个，且上述贴图控制点和指定的面部特征点一一对应；S232、以上述指定的面部特征点的坐标中的最小值为透视变换原点，以上述指定的面部特征点的坐标中的最大值为透视变换的范围限制，通过上述选取的贴图控制点的坐标以及与其对应的指定的面部特征点的坐标计算透视变换矩阵；S233、对原始贴图图像应用透视变换矩阵，实现原始贴图图像的变形。S234、通过线性插值对变形后的贴图图像进行填充，填充后的贴图图像无缺失点。进一步的，步骤S3中，通过视频中人脸的指定贴图区域的HSV颜色空间的V分量对变形后的贴图图像进行明暗处理，明暗处理后的贴图图像的亮度与视频中人脸上指定贴图区域的亮度接近，将明暗处理后的贴图通过线性叠加的方式叠加至视频中人脸的指定贴图区域。进一步的，通过视频中人脸的指定贴图区域的HSV颜色空间的V分量对变形后的贴图图像进行明暗处理，包括如下步骤：S311、对视频进行颜色空间转换，视频由RGB颜色空间转换为HSV颜色空间，对变形后的贴图进行颜色空间转换，贴图由RGB颜色空间转换为HSV颜色空间；S312、对视频进行分解，得到视频的H通道、视频的S通道和视频的V通道，对变换后的贴图进行分解，得到贴图的H通道、贴图的S通道和贴图的V通道；S313、对视频的V通道进行除均值，得到视频的像素的V值相对于视频的像素的均值的均值倍率图，将均值倍率图叠加至贴图的V通道，得到贴图的W通道；S314、将贴图的W通道、贴图的H通道和贴图的S通道合并；S315、对视频进行颜色空间转换，视频由HSV颜色空间转换为RGB颜色空间，对贴图进行颜色空间转换，视频由HSV颜色空间转换为RGB颜色空间。视频面部贴图特效生成系统，包括显示模块、功能模块和提示模块，功能模块包括视频导入编辑子模块、贴图定义编辑子模块和效果调整子模块；视频导入编辑子模块与显示模块连接，能够选择视频源并导入视频，能够对每帧视频图像编号，并能够对视频进行人脸检测和人脸面部特征点定位；贴图定义编辑子模块与显示模块连接，能够载入作为贴图的图像，并能够编辑并保存贴图控制点的位置参数；效果调整子模块分别与视频导入编辑子模块、贴图定义编辑子模块及显示模块连接，能够调整视频和贴图的透明度和亮度，并能够选择显示视频中人脸的面部特征点或选择不显示视频中人脸的面部特征点；提示模块分别与视频导入编辑子模块和显示模块连接，能够通过显示当前帧视频的计算时间，并能够通过显示鼠标当前位置在视频上的坐标实现辅助调整贴图控制点的位置；显示模块能够显示视频以及导入的贴图，并能够显示上述视频导入编辑子模块、贴图定义编辑子模块、效果调整子模块以及提示模块的操作界面。在视频导入编辑子模块中，可选择视频源导入视频，即选择导入实时录制的视频或录制好的视频，对视频进行人脸检测，如果视频中存在人脸，则对人脸进行面部特征点定位，形成面部特征点点集；在贴图定义编辑子模块，用户自主选择一个图像导入视频中，形成包括贴图图像和围成贴图图像的贴图控制点，通过贴图控制点和与其临近的面部特征点的相对位置关系计算贴图控制点的位置参数，通过本文档来自技高网...

【技术保护点】
视频面部贴图特效处理方法，其特征在于将任意图像作为贴图附于输入的视频中人脸的任意位置上，且贴图在视频中保持与人脸的指定贴图区域相对位置的固定，包括如下步骤：S1、对视频中人脸进行特征定位，获取人脸的面部特征点；S2、将选取的图像导入视频中人脸上作为贴图，贴图包括贴图图像和贴图控制点，通过贴图控制点和与其对应的人脸的面部特征点计算贴图控制点的位置参数，通过贴图控制点的位置参数对贴图图像进行变换处理，贴图控制点的位置参数能够标识贴图图像与视频中人脸的指定贴图区域之间的相对位置关系；S3、将变换处理后的贴图叠加至视频中人脸的指定贴图区域。

【技术特征摘要】
1.视频面部贴图特效处理方法，其特征在于将任意图像作为贴图附于输入的视频中人脸的任意位置上，且贴图在视频中保持与人脸的指定贴图区域相对位置的固定，包括如下步骤：S1、对视频中人脸进行特征定位，获取人脸的面部特征点；S2、将选取的图像导入视频中人脸上作为贴图，贴图包括贴图图像和贴图控制点，通过贴图控制点和与其对应的人脸的面部特征点计算贴图控制点的位置参数，通过贴图控制点的位置参数对贴图图像进行变换处理，贴图控制点的位置参数能够标识贴图图像与视频中人脸的指定贴图区域之间的相对位置关系；S3、将变换处理后的贴图叠加至视频中人脸的指定贴图区域。2.根据权利要求1所述的视频面部贴图特效处理方法，其特征在于步骤S1包括如下步骤：S11、通过人脸检测方法对视频进行人脸检测，如果确定视频中存在人脸，则返回人脸在视频图像中的位置和范围，视频包括摄像头实时输入的视频和录制好的视频；S12、通过面部特征定位法对视频中人脸进行面部特征点定位，并保存每个面部特征点的编号及坐标，生成面部特征点点集。3.根据权利要求2所述的视频面部贴图特效处理方法，其特征在于步骤S2包括如下步骤：S21、导入贴图：选取一个图像导入视频中人脸上，该图像为贴图图像，获取围成贴图图像的贴图控制点，并记载贴图控制点在当前帧视频图像中人脸上的坐标；S22、计算每个贴图控制点的位置参数：在上述定位的面部特征点中选取多个面部特征点，上述选取的多个面部特征点为在当前帧视频图像中人脸上与贴图控制点所在像素点接近的面部特征点，且上述选取的多个面部特征点不共线，通过上述选取的多个面部特征点在人脸上的位置以及相互之间的相对比例关系计算贴图控制点的位置参数，通过贴图控制点的位置参数能够计算贴图控制点在每一帧视频图像中人脸上的坐标；S23、在每一帧视频图像中，通过贴图控制点的坐标对贴图图像进行透视变换。4.根据权利要求3所述的视频面部贴图特效处理方法，其特征在于步骤S22包括如下分步骤：S221、在上述定位的人脸的面部特征点中选取三个面部特征点Pi、Pj和Pk，上述三个面部特征点为在当前帧视频图像中人脸上与贴图控制点所在的像素点接近的三个面部特征点，三个面部特征点的编号分别为n1、n2和n3，面部特征点Pi的坐标为(Pi.x,Pi.y)，面部特征点Pj的坐标为((Pj.x,Pj.y)，面部特征点Pk的坐标为((Pk.x,Pk.y)；S222、判断上述三个面部特征点是否共线，如果上述三个面部特征点共线，替换其中的一个面部特征点，如果上述三个面部特征点不共线，通过分段线性仿射计算上述三个面部特征点的仿射参数α和β,其中，(P.x,P.y)为贴图控制点在当前视频帧中人脸上的坐标；S223、通过上述三个面部特征点的编号以及仿射参数组成对应的贴图控制点的位置参数，贴图控制点的位置参数为(n1,n2,n3,α,β)；S224、通过贴图控制点的位置参数计算与其对应的贴图控制点在每帧视频图像中人脸上的坐标。5.根据权利要求3所述的视频面部贴图特效处理方法，其特征在于步骤S23中，通过贴图控制点的坐标对贴图图像进行透视变换包括如下步骤：S231、采集对应原始贴图图像的贴图控制点的坐标，并采集人脸上指定的面部特征点的坐标，采集的贴图控制点和指定的面部特征点均多个，且上述贴图控制点和指定的面部特征点一一对应；S232、以上述指定的面部特征点的坐标中的最小值为透视变换原点，以上述指定的面部特征点的坐标中的最大值为透视变换的范围限制，通过上述选取的贴图控制点的坐标以及与其对应的指定的面部特征点的坐标计算透视变换矩阵；S233、对原始贴图图像应用透视变换矩阵，实现原始贴...

【专利技术属性】
技术研发人员：王庆祥，韩萌萌，
申请(专利权)人：齐鲁工业大学，
类型：发明
国别省市：山东,37