基于异构特征降维的二维角色卡通生成方法技术

本发明专利技术公开了一种基于非负风格分解的风格化二维卡通生成方法。本发明专利技术利用了机器学习的知识，实现了基于非负风格分解的风格化二维卡通生成的功能。首先输入二维卡通动画人物的二维卡通关键帧序列，系统提取对应的二维骨骼特征表达式，并分解成二维卡通动作的风格基向量和隐组件；将得到的风格基向量与异构的隐组件结合来重新生成具有特定卡通动画人物风格的二维骨骼特征表达式，并驱动二维卡通动画人物的形体形成风格化的二维卡通关键帧。本发明专利技术通过分解二维卡通动作至风格基向量与隐组件，减少了传统方法分离动作本体与风格带来的实施困难；同时解决了传统非负矩阵分解方法不能保持卡通数据基于语义连贯性的问题，提高了准确性、扩大了应用范围。

【技术实现步骤摘要】

本专利技术涉及一种基于非负风格分解的风格化二维卡通生成方法，具体涉及一种二维骨骼特征表达式的非负风格分解及其解法以及二维卡通动画的风格化生成方法，属于计算机动画和计算机机器学习的综合领域。
技术介绍
随着关于计算机二维卡通动画和机器学习的研究在工业、娱乐领域内的大量投入应用，基于已有二维卡通角色视频数据重用的二维卡通生成方法逐渐成为了一个重要的、 综合的研究热点。尽管目前关于这个领域的研究还是处于探索未成形的阶段，但是已经产生了一些非常具有参考价值的方法。研究者已经开发了一些二维卡通数据重用的合成方法。比如，发表在2004年会议 SIGGRAPH上的论文《Cartoon textures》所提出的方法是，使用者必须首先提供所需要合成的新的卡通序列中的首帧和尾帧，整个合成的过程通过对已有卡通帧的计算重排获得，用户无法按照自己的需求控制合成的结果。发表在2002年会议SIGGRAPH上的论文《Motion texture :a two-level statistical modelfor character motion synthesis》，石if究者成功地通过重用三维运动数据来获得新的三维卡通运动。以上的方法激发了我们开发一种基于二维角色卡通数据重用的生成方法。目前已经有一些比较成熟的二维和三维动作风格化分解以及迁移的方法，这些方法代表了目前比较流行的风格化生成技术。比如，发表在2000年会议SIGGRAPH上的论文 ((Style machines》，利用隐马尔科夫模型(HMM)来生成高度非线性的某些常规动作，比如该方法以舞蹈动作作为例子，通过生成一系列具有各种差异性风格的舞蹈动作展现了方法的有效性。发表在期刊ACM ToG上的论文《Style translation for human motion》，作者建立了线性时间可变(LTI)模型来描述所输入的各种动作以及输出的动作风格，并提出了迭代式运动扭曲(IMW)算法来对齐不同的动作。前面所述的这些方法，主要是用来针对真实环境下利用三维运动捕获技术所获得的真实三维动作的，不适用于本方法所针对的具有夸张特性的二维卡通动作数据。发表在2002 年会议 SIGGRAPH 上的论文《Turning to the masters motioncapturing cartoons》，提出了一种构建三维真实动作和夸张的卡通风格之间联系的方法；作者通过将关键帧插值技术与仿射变换技术进行结合，将具有非刚性特性的形体变化进行捕获，同时重定向到目标形体上；但是，该项技术依然需要用户自己手工定义若干帧变化形体的关键帧。类似地，发表在2003年会议SCA上的论文《Stylizing motion with drawings》提出了一种将三维捕获数据赋以夸张化的风格生成机制，这种生成机制中包括了骨骼和几何的变换，从而形成三维的动画效果。在最近这些年，利用非负矩阵分解方法结合L-I范式来获得特征表达式的有效分解也得到了研究者的重视，形成了一些比较有代表性的方法。在期刊NeuralComputationWifei((Separating style and content with bilinear models〉〉，了一禾中过面部表情数据捕获技术所获取的面部运动，通过双线性模型(BM)分解成动作本体以及动作风格的方法。发表在2009年会议SCA上的论文《Style learning and transferring for facial animation editing》，作者提出了基于限制的高斯过程模型(CBGPM)来学习面部运动的编辑风格。以上针对面部运动风格矩阵分解的方法，都是通过深入研究如光照、 朝向、肤色等变换因素对于风格的影响来进行学习的。发表在2007年会议ICML上的论文 ((Multifactorgaussian process models for style-content separation)) i^iiS 于多模态高斯过程模型(MGPM)来学习三维真实人物模型的周期性运动及其风格；实际上， 这种多模态高斯过程模型，本质上是高斯过程隐变量模型的一种变化形式。发表在2009年会议 SIGGRAPH 上的论文《Face poser !Interactive modeling of 3dfacial expressions using facial priors》，作者提出并详述了基于核函数的非线性分解方法，并将人脸的表情化运动的分解成为动作实体以及表情表征两个互相影响的因素。
技术实现思路
本专利技术的目的是为了克服目前风格化生成中基于本体和风格分离的二维卡通合成方法的局限性，提供了一种基于非负风格分解的风格化二维卡通生成方法。基于非负风格分解的风格化二维卡通生成方法的步骤如下1)从某个二维卡通动画人物的二维卡通视频中提取包含卡通人物完整动作的视频段，对视频段经过视频图像技术处理后，利用自定义的关键帧提取方法提取卡通人物的二维卡通关键帧序列，并对二维卡通关键帧序列进行归一化与中心化处理；对经过处理的二维卡通关键帧序列利用自定义的特征提取方法，获得对应的二维骨骼特征表达式；获得几个二维卡通动画人物对应的二维骨骼特征表达式，并对这些二维骨骼特征表达式按照自定义的动作类别进行分类，建立二维卡通人物的动作数据库；2)针对某个二维卡通动画人物的二维骨骼特征表达式，利用自定义的非负风格分解的目标函数及其解法，通过迭代的求取方法来获得该二维骨骼特征表达式对应的风格基向量和隐组件；利用已获得的隐组件，通过二次函数求导的方式，获得对应的保持基于语义理解的降维矩阵；3)按照用户指定需要进行生成二维卡通动作的二维卡通动画人物，从二维卡通动画人物的动作数据库中提取对应的二维骨骼特征表达式，用非负风格分解方法获得对应的隐组件，并与别的二维骨骼特征表达式用非负风格分解方法获得的风格基向量进行重合成，形成异构的二维骨骼特征表达式；用异构的二维骨骼特征表达式按照自定义的特征点驱动方法，通过关键点形变技术来获得某二维卡通动画人物风格化的二维卡通关键帧进而获得基于非负风格分解的风格化二维卡通。所述步骤1)包括从某个二维卡通动画人物的二维卡通视频中，提取包含卡通人物完整动作的视频段v。art，对^^进行傅里叶变化降噪处理，消除背景以及视频噪声对于后面处理的影响；从 Vcart中渲染出来的视频帧，利用Hausdorff距离算法获得卡通视频序列中帧与帧之间的距离矩阵M。 t = Rnxn，其中η为V。art所渲染出来的帧数量，Mirt表示卡通视频帧中第i帧和第j帧之间的Hausdorff距离，矩阵M。 t中的每一项分别乘以系数1 一 McW来完f ^cart_max成Hausdorff距离的归一化处理，其中的d。art _为矩阵M。 t中的最大值，在获得经过归一化的M—之后，按照设定的阈值deart来过滤矩阵中的对角值，分别将得到的MHt > dcart 所对应的第i帧作为关键帧，由此得到二维卡通关键帧序列D^rt, I art ..., GrJ，其中m为关键帧的数量；针对已经获得的二维卡通关键帧序列0iart,Ifart, ...,i^rtl·定义Ai为每一帧关键帧Ikrt对应的包含本文档来自技高网...

【技术保护点】
１．一种基于非负风格分解的风格化二维卡通生成方法，其特征在于它的步骤如下：１）从某个二维卡通动画人物的二维卡通视频中提取包含卡通人物完整动作的视频段，对视频段经过视频图像技术处理后，利用自定义的关键帧提取方法提取卡通人物的二维卡通关键帧序列，并对二维卡通关键帧序列进行归一化与中心化处理；对经过处理的二维卡通关键帧序列利用自定义的特征提取方法，获得对应的二维骨骼特征表达式；获得几个二维卡通动画人物对应的二维骨骼特征表达式，并对这些二维骨骼特征表达式按照自定义的动作类别进行分类，建立二维卡通人物的动作数据库；２）针对某个二维卡通动画人物的二维骨骼特征表达式，利用自定义的非负风格分解的目标函数及其解法，通过迭代的求取方法来获得该二维骨骼特征表达式对应的风格基向量和隐组件；利用已获得的隐组件，通过二次函数求导的方式，获得对应的保持基于语义理解的降维矩阵；３）按照用户指定需要进行生成二维卡通动作的二维卡通动画人物，从二维卡通动画人物的动作数据库中提取对应的二维骨骼特征表达式，用非负风格分解方法获得对应的隐组件，并与别的二维骨骼特征表达式用非负风格分解方法获得的风格基向量进行重合成，形成异构的二维骨骼特征表达式；用异构的二维骨骼特征表达式按照自定义的特征点驱动方法，通过关键点形变技术来获得某二维卡通动画人物风格化的二维卡通关键帧进而获得基于非负风格分解的风格化二维卡通。...

【技术特征摘要】

【专利技术属性】
技术研发人员：肖俊，梁璋，庄越挺，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86