基于表情动态模板库的虚拟角色表情卡通化算法制造技术

技术编号:20243815 阅读:28 留言:0更新日期:2019-01-29 23:44
本发明专利技术涉及一种基于表情动态模板库的虚拟角色表情卡通化算法,属于动画在线生产领域。基于表情动态模板库的虚拟角色表情卡通化算法,包含人脸的位置定位模块、表情捕捉模块两部分,用户首先进行表情输入,在表情动态模板库中进行检索,如果有可用的表情则直接进行角色的合成,生成新的卡通表情;否则将通过摄像头进行表情的捕捉和合成,生成新的卡通表情。优点在于:创造性地探索和运用互联网搜索和匹配技术,解决目前动画生产工艺中表情制作效率低、成本高、生产周期长、动作不自然和质量粗糙等问题,有利于动画智能在线生产平台的建设,推动了动画产业的发展。

【技术实现步骤摘要】
基于表情动态模板库的虚拟角色表情卡通化算法
本专利技术涉及动画在线生产领域,特别涉及一种基于表情动态模板库的虚拟角色表情卡通化算法。
技术介绍
由于传统的动漫生产需要消耗大量的人力财力物力,生产效率低下、影片质量粗糙,传统的半自动化动漫生产模式已经不能满足经济发展的需要了。随着技术的升级换代,动漫的生产方式由集中化、自上而下的线下逐渐向扁平化、多元化的线上智能化生产模式转型。对动漫智能在线生产平台的研究有助于打破国外动漫技术在国内市场的垄断地位,在功能、性能、安全、服务上都能满足国内外企业的发展需要,并且可以促进企业的技术升级和行业的工艺进步,从而增强中国动漫产品的国际竞争力。
技术实现思路
本专利技术的目的在于提供一种基于表情动态模板库的虚拟角色表情卡通化算法,解决了现有技术存在的上述问题。本专利技术的上述目的通过以下技术方案实现:基于表情动态模板库的虚拟角色表情卡通化算法,包含人脸的位置定位模块、表情捕捉模块两部分,用户首先进行表情输入,在表情动态模板库中进行检索,如果有可用的表情则直接进行角色的合成,生成新的卡通表情;否则将通过摄像头进行表情的捕捉和合成,生成新的卡通表情。所述的人脸的位置定位模块在读取摄像头提供的RGB彩色视频后,利用人脸的肤色信息对视频中的每一帧图像进行粗检测,获得人脸所在区域的范围;然后使用Haar分类器,并通过Boosting算法对每一帧图像进行人脸检测,从而得到人脸所在的具体位置信息。所述的表情捕捉模块包含个人模板建立模块、面部表情记录模块、实时表情捕捉模块三个部分,所述个人模板建立模块通过用户正面面对摄像头做出一个正式的表情,采集到用户的面部数据;所述面部表情记录模块需要用户做出包括笑、哭、咧嘴、皱眉最多26个基准表情,通过这些图像信息,得到人脸的旋转和平移信息,在每一个点上对人脸的旋转和平移信息进行叠加,从而将每一个表情图像映射到标准表情图像上,且在此基础上对表情继续进行重构;所述实时表情捕捉模块通过主成分分析PCA对面部表情空间进行降维处理,同时人为的将面部区域分为嘴部、下巴、眼睛和前额四个区域进行单独处理来减少计算量,从而达到实时捕捉的效果。所述的个人模板建立模块通过图像处理技术以及手工选取的方法,在数据中选取最多24个参考点,包括眼睛、鼻头、嘴唇、下巴的位置,作为模型的刚性约束点来对生成的模型进行刚性约束。所述的个人模板建立模块根据参考点的距离定义出一个模型能量公式,对每一个赋予一个初始权重值,对能量公式进行迭代直到点的权重值达到设定的值,从而生成用户面部的标准模板。所述的个人模板建立模块定义一个显性扩散反射模型来对模板进行纹理重构。所述的面部表情记录模块通过将所有的可见顶点重投影到模型平面,并使用标准的Sobel过滤器重新计算空间图像的梯度信息,从而生成每一个基准表情的模型。所述的面部表情记录模块采用二进制线性判别分析LDA方法将模板和表情图像关联起来,从而对嘴部及眼部区域这两个最容易产生漂移现象的区域进行约束。所述的面部表情记录模块对整个表情模型使用模型能量公式重新将图像数据上的点映射到模型上,再通过密集光流约束来优化模型效果。本专利技术的有益效果在于:创造性地探索和运用互联网搜索和匹配技术,解决目前动画生产工艺中表情制作效率低、成本高、生产周期长、动作不自然和质量粗糙等问题,有利于动画智能在线生产平台的建设,推动了动画产业的发展。附图说明此处所说明的附图用来提供对本专利技术的进一步理解,构成本申请的一部分,本专利技术的示意性实例及其说明用于解释本专利技术,并不构成对本专利技术的不当限定。图1为本专利技术的整体结构框图;图2为本专利技术的表情动态模板库检索示意图;图3为本专利技术的流程图。具体实施方式下面结合附图进一步说明本专利技术的详细内容及其具体实施方式。参见图1至图3所示,本专利技术的基于表情动态模板库的虚拟角色表情卡通化算法,包含人脸的位置定位模块、表情捕捉模块两部分,用户首先进行表情输入,在表情动态模板库中进行检索,如果有相关可用的表情则直接进行角色的合成,生成新的卡通表情;否则将通过摄像头进行表情的捕捉和合成,生成新的卡通表情。所述的人脸的位置定位模块在读取摄像头提供的RGB彩色视频后,利用人脸的肤色信息对视频中的每一帧图像进行粗检测,获得人脸所在区域的大致范围;然后使用Haar分类器,并通过Boosting算法对每一帧图像进行人脸检测,从而得到人脸所在的具体位置信息。所述的表情捕捉模块包含个人模板建立模块、面部表情记录模块、实时表情捕捉模块三个部分,所述个人模板建立模块通过用户正面面对摄像头做出一个正式的表情,采集到用户的面部数据;所述面部表情记录模块需要用户做出包括笑、哭、咧嘴、皱眉等最多26个基准表情,通过这些图像信息,得到人脸的旋转和平移信息,在每一个点上对人脸的旋转和平移信息进行叠加,从而将每一个表情图像映射到标准表情图像上,且在此基础上对其他表情继续进行重构;所述实时表情捕捉模块通过主成分分析(PCA,PrincipalComponentsAnalysis)对面部表情空间进行降维处理,同时人为的将面部区域分为嘴部、下巴、眼睛和前额四个区域进行单独处理来减少计算量,从而达到实时捕捉的效果。所述的个人模板建立模块通过图像处理技术以及手工选取的方法,在数据中选取最多24个参考点,包括眼睛、鼻头、嘴唇、下巴等位置,作为模型的刚性约束点来对生成的模型进行刚性约束。个人模板建立模块根据参考点的距离定义出一个模型能量公式,对每一个点赋予一个初始权重值,对能量公式进行迭代直到点的权重值达到设定的值,从而生成用户面部的标准模板。个人模板建立模块需在此基础上,定义一个显性扩散反射模型来对模板进行纹理重构。所述的面部表情记录模块通过将所有的可见顶点重投影到模型平面,并使用标准的Sobel过滤器重新计算空间图像的梯度信息,从而生成每一个基准表情的模型。面部表情记录模块为了减少漂移现象的发生,采用二进制线性判别分析(LDA,LinearDiscriminantAnalysis)方法将模板和表情图像关联起来,从而对嘴部及眼部区域这两个最容易产生漂移现象的区域进行约束。面部表情记录模块在此基础之上,对整个表情模型使用模型能量公式重新将图像数据上的点映射到模型上,再通过密集光流约束来优化模型效果。实施例:参见图1所示,本专利技术的基于表情动态模板库的虚拟角色表情卡通化算法,包含人脸的位置定位模块、表情捕捉模块两部分。人脸的位置定位模块利用人脸的肤色信息对视频中的每一帧图像进行检测,并利用相关算法对每一帧图像进行人脸检测,得到人脸所在的具体位置信息;实时表情捕捉模块包含个人模板建立、面部表情记录和实时表情捕捉三个部分。参见图2所示,用户首先进行表情输入,在表情动态模板库中进行检索,如果有相关的表情则直接进行角色的合成,生成新的卡通表情;否则将通过摄像头进行表情的捕捉和合成,生成新的卡通表情。参见图3所示,对本专利技术的技术流程进行详细说明。首先用户进行表情输入,在表情动态模板库中进行检索,观察是否有相关的表情。如果有相关的表情直接进行角色的合成,生成新的卡通表情;如果没有相关的表情,可以通过摄像头进行表情的捕捉和合成,生成新的卡通表情。人脸的位置定位模块在读取摄像头提供的RGB彩色视频后,利用人脸的肤色信息对视频中本文档来自技高网...

【技术保护点】
1.一种基于表情动态模板库的虚拟角色表情卡通化算法,其特征在于:包含人脸的位置定位模块、表情捕捉模块两部分,用户首先进行表情输入,在表情动态模板库中进行检索,如果有可用的表情则直接进行角色的合成,生成新的卡通表情;否则将通过摄像头进行表情的捕捉和合成,生成新的卡通表情。

【技术特征摘要】
1.一种基于表情动态模板库的虚拟角色表情卡通化算法,其特征在于:包含人脸的位置定位模块、表情捕捉模块两部分,用户首先进行表情输入,在表情动态模板库中进行检索,如果有可用的表情则直接进行角色的合成,生成新的卡通表情;否则将通过摄像头进行表情的捕捉和合成,生成新的卡通表情。2.根据权利要求1所述的基于表情动态模板库的虚拟角色表情卡通化算法,其特征在于:所述的人脸的位置定位模块在读取摄像头提供的RGB彩色视频后,利用人脸的肤色信息对视频中的每一帧图像进行粗检测,获得人脸所在区域的范围;然后使用Haar分类器,并通过Boosting算法对每一帧图像进行人脸检测,从而得到人脸所在的具体位置信息。3.根据权利要求1所述的基于表情动态模板库的虚拟角色表情卡通化算法,其特征在于:所述的表情捕捉模块包含个人模板建立模块、面部表情记录模块、实时表情捕捉模块三个部分,所述个人模板建立模块通过用户正面面对摄像头做出一个正式的表情,采集到用户的面部数据;所述面部表情记录模块需要用户做出包括笑、哭、咧嘴、皱眉最多26个基准表情,通过这些图像信息,得到人脸的旋转和平移信息,在每一个点上对人脸的旋转和平移信息进行叠加,从而将每一个表情图像映射到标准表情图像上,且在此基础上对表情继续进行重构;所述实时表情捕捉模块通过主成分分析PCA对面部表情空间进行降维处理,同时人为的将面部区域分为嘴部、下巴、眼睛和前额四个区域进行单独处理来减少计算量,从而达到实时捕捉的效果。4.根据权利要求3所...

【专利技术属性】
技术研发人员:罗江林行长印
申请(专利权)人:吉林动画学院
类型:发明
国别省市:吉林,22

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1