基于异构特征降维的二维角色卡通生成方法技术

本发明专利技术公开了一种基于异构特征降维的二维角色卡通生成方法。利用机器学习和特征提取的知识，实现基于真实视频图片对数据库中含有相似姿态卡通图片的索引和编辑的功能。首先输入一段由真实人表演的动作序列关键帧，系统提取它们的特征表达式；将特征表达式辅以经过该方法训练的投影矩阵并在投影空间计算其和卡通邻节点的欧氏距离，并返回最为接近的卡通邻节点作为检索结果；用户在所得到的卡通关键帧序列上进行编辑。本发明专利技术通过以真实拍摄视频图片作为索引，降低了传统方法以卡通图片作为索引带来的实施困难；同时通过提出异构特征降维方法，解决了传统方法只能针对同构特征降维带来的适用性狭窄的问题，提高了准确性、扩大了应用的范围。

Method for generating two-dimensional character cartoon based on reducing dimension of heterogeneous feature

The invention discloses a two-dimensional character cartoon generation method based on reducing dimension of heterogeneous features. With the knowledge of machine learning and feature extraction, the indexing and editing of cartoon images containing similar poses in a database are implemented based on real video images. The first input by a real man performing the action sequence of key frames, their expression feature extraction system; projection matrix feature expression with the method after training and in the projection space and calculate the cartoon neighbor nodes of the Euclidean distance, and returns the most close to the cartoon neighbor node as the retrieval result; the user edit sequence get the key frame cartoon. The present invention by real video images as the index, the traditional method to reduce the cartoon pictures as the implementation of difficulties brought by this index; at the same time, the heterogeneous features of dimensionality reduction methods, to solve the traditional method only for the isomorphic feature reduction problem for stenosis caused by the dimensional, improve the accuracy and expand the scope of application.

【技术实现步骤摘要】

本专利技术涉及一种，具体涉及一种基于 异构特征处理与检索的二维卡通角色生成方法，属于计算机动画和计算机机器学习的综合 领域。
技术介绍
随着计算机二维动画和计算机机器学习在工业和娱乐领域内的大量应用，基于已 有二维卡通角色视频数据重用的二维卡通生成方法逐渐成为了一个重要的研究热点。尽 管目前关于这个领域的研究还是处于探索的阶段，但是已经产生了一些比较有代表性的方 法。研究者已经开发了一些基于多媒体数据重用的二维卡通合成方法。比如，发表 在2000年会议SIGGRAPH上的论文《Video Textures》，提取出了首先分析卡通视频片段， 进而通过改变原有的视频帧排列顺序来合成新的卡通视频的方法。发表在2002年会议 SIGGRAPH 上的论文《Motion texture :a two-level statistical model for character motion synthesis》，研究者成功地通过重用三维运动数据来获得新的三维卡通运动。以上 的方法激发了我们开发一种基于二维角色卡通数据重用的生成方法。目前已经有几个比较成熟的基于二维卡通角色数据重用的方法，这些方法代表了 目前比较流行的基于内容分析进行检索的合成技术。比如，发表在2004年会议SCA上的论 文《Cartoon Textures》，需要用户手工指定需合成的卡通视频帧中的初始帧和末端帧，提 高了合成的效率和实用性。但是，由此导致的问题是所合成的结果会被用户的指定很大程 度上限定，并且用户无法控制合成的方向和结果。由于方法本身不能进行迭代或者反复，如 果出现用户不满意的结果，将无法进行修改和反馈处理，并且合成过程中也存在着对于如 何指定动画角色与背景帧结合的具体实施细节交待不清的问题。发表在2008年期刊CAVW 上的论文《Perspective-aware Cartoon Clips Synthesis》，二维卡通资源的重用是集中 在卡通视频段这个层面上的，没有真正深入到帧的层次，通过拼接已有的二维卡通片段来 合成新的卡通视频。问题是，新合成的卡通视频中，原有片段内部帧的顺序并没有进行修改 过，并且也存在着用户无法控制合成过程的情况。基于上述两种方法的缺陷，我们希望开发 出一种基于内容分析检索、并且能够实现全程用户可控的二维角色卡通生成方法。我们所提出方法的关键点，除了上面所分析的如何设计基于内容分析的卡通检 索，还在于如何完成异构特征情况下基于姿态识别的卡通合成，比如如何量化地衡量真实 视频关键帧与卡通视频关键帧之间姿态的相似度，而这方面的研究目前比较少。为了能够 实现更高的姿态识别准确率，我们采用了不同的特征提取方法。发表在2010年期刊IVC 上白勺论文〈〈Silhouette representation and matching for 3D pose discrimination—A comparative study》，提出了在姿态识别领域中几种比较常用的特征提取方法，并针对不 同的朝向做了细致深入的比较试验。在我们的方法中，通过对比实验，最终利用了该论文中 所提到的方向性梯度直方图(HOG)特征提取方法来获得卡通角色的特征表达矩阵；占据图(OM)特征提取方法来获得真实人物的特征表达矩阵。
技术实现思路
本专利技术的目的是为了克服目前基于内容分析检索的二维卡通合成方法的局限性， 提供了一种基于异构特征分析与降维来完成卡通姿势识别的二维卡通生成方法。的步骤如下1)从二维卡通视频中提取包含角色卡通完整动作的视频段，并按照角色卡通的动 作内容和朝向，拍摄对应的由真实人物表演的动作视频，对角色卡通的动作视频和真实人 物表演的动作视频经过视频图像技术处理后，利用自定义的关键帧提取方法提取角色卡通 的动作视频和真实人物表演的动作视频的关键帧，得到卡通关键帧和真实关键帧，并对卡 通关键帧和真实关键帧进行归一化与中心化处理；对卡通关键帧和真实关键帧利用不同的 特征提取方法，获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵，并对特征表达 矩阵按照自定义的动作类别进行分类，建立“卡通-真实”角色数据库；2)从拍摄的真实人物表演的动作视频中，利用自定义的关键帧提取方法提取真实 人物表演的动作视频的关键帧，得到检索真实关键帧，并对检索真实关键帧进行归一化与 中心化处理；对检索真实关键帧利用特征提取方法获得检索真实关键帧特征表达矩阵；3)卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵通过自定义的异构特征 降维算法，经过训练获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵对应的卡通 关键帧特征表达矩阵的降维投影方向矩阵和真实关键帧特征表达矩阵的降维投影方向矩 阵；检索真实关键帧序列特征表达矩阵，用检索真实关键帧序列特征表达矩阵乘以真实关 键帧特征表达矩阵的降维投影方向矩阵获得检索真实关键帧序列降维特征表达矩阵，并在 投影空间中计算获得的“卡通-真实”角色数据库中和检索真实关键帧序列降维特征表达 矩阵距离最近的卡通关键帧序列，最后将计算得到的卡通关键帧序列返回；用户在返回的 卡通关键帧序列上进行编辑和插值，来获得最终的卡通效果视频。所述步骤1)包括从二维卡通角色视频中，提取包含完整卡通角色动作片段的卡通视频V。art，来由 真实人物按照V。art中卡通角色的动作内容和朝向在单目摄像机前进行模仿表演，获得包含 有完整真实人物动作片段的真实视频Vral ；对从V。art和Vral中渲染出来的视频帧，利用Hausdorff距离算法特征获得卡通 距离矩阵Meart = Rnixi11和真实距离矩阵 ⑷=Rn2Xn2，其中ηι和n2分别为卡通和真实视频所渲染出来的帧数量，M^lt表示卡通视频帧中第i帧和第j帧之间的Hausdorff 距离，M^al表示真实视频帧中第i帧和第j帧之间的Hausdorff距离，矩阵M。art和MMal中的每一项分别乘以系数1 — M$art/H和1 —来完成归一化，I acart一max‘ areal_max其中的d。 t—_和_分别为矩阵M。art和Mreal中的最大值，在获得经过归一化的距离 矩阵Mcart和Mreal之后，按照设定的阈值来过滤矩阵中的对角值，分别将得到的M&rt乏> 丨所对应的第i帧作为关键帧，由此得到卡通关键帧(Icart, Ic2art,…JirJ和真实关键巾贞…，!；^)，其中n为两者的数量；针对卡通关键帧II^rtdIart,...,ParJ按照方向性梯度直方图特征提取方法获得卡通关键帧特征表达矩阵X1 = [xhx^.yXl^eRnxds其中Cl1为每一关键帧对应的特征 表达向量xi的维度；同样地，针对真实关键帧I^iealJieal, ...,IJ1eal)按照占据图特征提取方法获得真实关键帧特征表达矩阵X2 = fxfx·,…,XfleRnxdZ，其中d2为每一关键帧对应 的特征表达向量xi的维度；将&和\中所有的关键帧都按照动作内容的不同分为r类， 使得每一类中都有相同数量的卡通和真实关键帧从而形成&和\在类别层面上的一一对 应；对所获得的\和X2,分别经过如下变换获得中心化的矩阵X1 = -.HX1H5X2 = -^HX2H1其中H = I本文档来自技高网...

【技术保护点】
１．一种基于异构特征降维的二维角色卡通生成方法，其特征在于它的步骤如下：１）从二维卡通视频中提取包含角色卡通完整动作的视频段，并按照角色卡通的动作内容和朝向，拍摄对应的由真实人物表演的动作视频，对角色卡通的动作视频和真实人物表演的动作视频经过视频图像技术处理后，利用自定义的关键帧提取方法提取角色卡通的动作视频和真实人物表演的动作视频的关键帧，得到卡通关键帧和真实关键帧，并对卡通关键帧和真实关键帧进行归一化与中心化处理；对卡通关键帧和真实关键帧利用不同的特征提取方法，获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵，并对特征表达矩阵按照自定义的动作类别进行分类，建立“卡通－真实”角色数据库；２）从拍摄的真实人物表演的动作视频中，利用自定义的关键帧提取方法提取真实人物表演的动作视频的关键帧，得到检索真实关键帧，并对检索真实关键帧进行归一化与中心化处理；对检索真实关键帧利用特征提取方法获得检索真实关键帧特征表达矩阵；３）卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵通过自定义的异构特征降维算法，经过训练获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵对应的卡通关键帧特征表达矩阵的降维投影方向矩阵和真实关键帧特征表达矩阵的降维投影方向矩阵；检索真实关键帧序列特征表达矩阵，用检索真实关键帧序列特征表达矩阵乘以真实关键帧特征表达矩阵的降维投影方向矩阵获得检索真实关键帧序列降维特征表达矩阵，并在投影空间中计算获得的“卡通－真实”角色数据库中和检索真实关键帧序列降维特征表达矩阵距离最近的卡通关键帧序列，最后将计算得到的卡通关键帧序列返回；用户在返回的卡通关键帧序列上进行编辑和插值，来获得最终的卡通效果视频。...

【技术特征摘要】

【专利技术属性】
技术研发人员：肖俊，梁璋，庄越挺，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86