一种人体口型视频重构系统与重构方法技术方案

本发明专利技术提供一种基于环形弹性空间动力学时间演化的人体口型视频重构系统及相应的方法。本发明专利技术方法包括信息读入、预处理、口型重构和视频输出这四个步骤，有关联反演法和逻辑修正法两种实现方式。本发明专利技术提供的重构方法及系统既可以在该单帧图像上实现读入口型信息的反演，生成重构后的人体口型视频，也可以在多帧图像组成的视频上实现读入口型信息的修正，生成重构后的人体口型视频。相比传统的口型重构方法及系统，本发明专利技术方法和系统准确高效，无需数据库，在节省了空间的同时也增强了口型变换的灵活度。更优选地，本发明专利技术的系统的所有单元可以集成在一个智能终端上，所述的智能终端可以是各种智能手机、平板电脑（如iPad等）、掌上电脑、智能掌上游戏机等。

【技术实现步骤摘要】
【专利摘要】本专利技术提供一种基于环形弹性空间动力学时间演化的人体口型视频重构系统及相应的方法。本专利技术方法包括信息读入、预处理、口型重构和视频输出这四个步骤，有关联反演法和逻辑修正法两种实现方式。本专利技术提供的重构方法及系统既可以在该单帧图像上实现读入口型信息的反演，生成重构后的人体口型视频，也可以在多帧图像组成的视频上实现读入口型信息的修正，生成重构后的人体口型视频。相比传统的口型重构方法及系统，本专利技术方法和系统准确高效，无需数据库，在节省了空间的同时也增强了口型变换的灵活度。更优选地，本专利技术的系统的所有单元可以集成在一个智能终端上，所述的智能终端可以是各种智能手机、平板电脑（如iPad等）、掌上电脑、智能掌上游戏机等。【专利说明】
本专利技术涉及视频图像处理领域，具体涉及一种基于环形弹性空间动力学时间演化的人体口型视频重构系统及重构方法。
技术介绍
随着计算机技术的发展和日趋完善，人脸的造型和动画作为计算机图形学中的一个独特分支也越来越受到人们的关注，其中针对视频、图像中人体口型的变化更是有广泛的应用。许多场合需要将现有的视频或图像中的人的口型进行重构，即由一张静止的图像生成一系列口型动作，或对现有视频里的口型进行修正。为了达到这样的目的，现有的技术方法一般都是通过对已有的大量视频图像信息加以分析处理，建立口型数据库，再针对具体问题进行从所述的口型数据库中调用相关的信息。这样的技术手段虽然能够较为准确地对视频、图像中的人体口型进行变换，但是它的局限性也是明显的。一方面，它的实现依赖于事先构建好的庞大的口型数据库，需要规模巨大的数据样本，可移植性较差；另一方面，算法的实现涉及大量的计算分析，复杂度很高，也限制了它的应用范围。
技术实现思路
针对现有技术的不足，本专利技术所要解决的技术问题是提供一种精度高、可移植性好的人体口型视频重构方法和系统，以根据所需要的口型实现目标对象单帧图像向视频的演化，或实现目标对象多帧图像组成的视频的修改和反演。传统的口型变换技术依赖于庞大的口型数据库，该口型数据库中包含了语音库以及与之对应的口型图像，以便于在变换中加以调用，一方面占用了大量的空间；另一方面由于该口型数据库本身不能自主构建出新的口型，实际运用中无法处理数据库中未包含口型的变换问题。本专利技术系统区别于传统的口型变换系统，不需要这样的口型数据库，即可快速、准确地完成人体口型的视频重构。本专利技术采用的技术方案如下: 一种人体口型视频重构方法，具体包括以下四个步骤: (1)信息读入:从输入口读入人体信息和口型信息，所述的人体信息选自目标对象的单帧图像或多帧图像组成的视频，所述的口型信息选自文字、声音、图像、视频的任意一种或任意多种； (2)预处理:对输入口读入的口型信息进行识别转换并将识别转换后的口型信息在显示模块实时显示，并对输入口读入的人体信息进行分析并锁定口部的位置； (3)口型重构:基于环形弹性空间动力学的时间演化法，根据预处理后的口型信息和人体信息进行人体口型视频重构； (4)视频输出:在输出口输出重构完成后的人体口型视频。本专利技术技术方案的流程图如图1所示。所述的步骤(3)中，所述口型重构的方法是基于环形弹性空间动力学时间演化。所述的环形弹性空间是一种定义了点的顺序和距离的平面空间，其具有以下4条性质:1、环形弹性空间里的任意两点P1和P2，其间距离可变。2、环形弹性空间里的任意两点P1和P2，其顺序严格不变，即:选取环形弹性空间里异于PpP2的任一点P3,这三点顺时针(或逆时针)的顺序在任意变换中都不会发生变化。3、环形弹性空间里的任意一点P可以受与水平轴夹角为α、大小为f的力F的作用，并因此产生位置上的变化，表现为相对原始位置沿与水平轴夹角为α的方向产生一定的位移。4、当环形弹性空间里的任意一点P受到一个力F的作用时，该力F在影响P的同时也会影响到环形弹性空间中其他的点，使其等同于受到一个与水平轴夹角为^、大小为f‘的力的作用，称作关联作用。该点相对于P的空间位置决定了 α,的大小，该点和P的距离决定了 f,的大小，当该点和P的距离大于的影响范围R时，认为其不受力F的关联作用影响。环形弹性空间示意图如图2所示。口型的变换是唇部的口轮匝肌由面神经颊支支配牵动产生，因此对于口型可以建立所述的环形弹性空间模型来研究。当t时刻口型发生变化，可以认为是此时该环形弹性空间上某η个点P1, P2,…，Pn分别受到了力F1, F2,…，Fn的作用，这η个力的共同作用使得该环形弹性空间发生局部的位移、旋转或拉伸，即产生口型的变换。所述的步骤(3)中，系统处理模块能辨识出视频、图像中口型的位置和基于时间序列的变化，建立对应的环形弹性空间模型，提取出各个t时刻在该模型各个区域上产生的力的作用。同时，再利用所述的人体信息建立新的环形弹性空间模型，将所提取出的力按照对应时间作用在新的环形弹性空间模型上的对应位置，即可完成人体口型视频重构。所述的对应位置可以通过口型的4条轮廓线及轮廓线上的特征点确定，为了保证变换的精度，实际操作中每条轮廓线上的特征点应大于等于3个，如图3所示。所述的确定对应位置的过程即为基于环形弹性空间的关联。作为优选，所述的步骤(3)中的基于环形弹性空间动力学时间演化法为关联反演法，即由现场真人作为同步对象模拟显示模块显示出的口型信息，再通过实时采集模块采集模拟视频，和已经读取的人体信息进行基于环形弹性空间的匹配，从而完成人体口型视频的重构。如图4所示，本方法中，同步对象现场模拟待重构的口型信息，这一过程作为模拟视频被采集，基于该模拟视频建立环形弹性空间模型然后对其进行分析处理，即可使待重构的口型信息被准确、高效地重现在目标对象的人体信息上，从而实现该口型在目标对象口部的重构。本方法流程示意图如图6所示。具体地，同步对象根据显示模块显示出的口型信息模拟口型，例如，读出显示的一段文字或模仿显示的若干口型图片，此时，处理模块控制实时采集模块采集同步对象的模拟视频，作为口型重构的依据。采集完成后，处理模块将采集到的模拟视频按照一定的帧数N平均分割为η帧(当所述的样例口型视频时长为T秒时，有η=ΤΝ)，分别对应时间t1; t2，…，tn，定位每一帧的口型，并且把口型的轮廓和特征点和已经读取的人体信息中口型的轮廓和特征点进行联动对应。所述的帧数N可根据实际情况确定，要满足采样定理以保证分割后的图像能够反映出所需重构的口型信息；分割的频率越高，口型重构的复杂度越高，重构的精度也越高；分割的频率越低，口型重构的复杂度越低，重构的精度也越低。当步骤(1)中读入的人体信息为单帧图像时，所述的联动对应是指把模拟视频每一帧中的口型特征点都对应到单帧人体信息图像上；当步骤(1)中读Λ的人体信息为多帧图像组成的视频时，所述的联动对应是指把模拟视频每一帧中的口型特征点都对应到人体信息视频的对应帧上。所述的对应帧可以由下面的方法确定:将人体信息视频分割出的帧图和模拟视频分割出的帧图都进行编号，如果人体信息视频和模拟视频的帧数相等，所述的对应帧即为编号相同的帧；如果人体信息视频和模拟视频的帧数不相等，所述的对应帧则为在总数中所占比例位置相同的帧。当模拟视频的帧数大于人体信息视频帧数时，对多余的帧按比例舍去；当模拟视频的帧数小本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：孟濬，黄吉羊，刘琼，
申请(专利权)人：浙江大学，
类型：发明
国别省市：