一种基于TPS变形算法的中国画动画自动生成方法技术

一种基于TPS变形算法的中国画动画自动生成方法。所述方法包括：步骤一，通过上传图片按钮收集动画生成的中国画对象；步骤二，对中国画进行识别与检测，检测出画中的人脸，花草等各种意象；步骤三，对于人脸对象，进行特征点信息识别，并获取用户的表情变形目标；步骤四，根据特征点规律计算出目标表情下的特征点信息，使用TPS变形算法进行求解，得到表情变形的最终状态；步骤五，使用线性插值法补充中间态的特征点坐标信息，分别使用TPS变形算法进行求解，得到表情变形的图片序列；步骤六，将图片序列按顺序播放，形成一段表情变形动画。针对于绘画文物遗产开发一个集数字化传承、保护，价值再挖掘等功能于一体的动画自动生成方法。

【技术实现步骤摘要】
一种基于TPS变形算法的中国画动画自动生成方法
本申请一般涉及图像处理领域，尤其涉及一种基于TPS变形算法的中国画动画自动生成方法。
技术介绍
中国传统绘画作品作为我国文化艺术的精髓，不仅具有历史和文化价值，且具有“不可再生”的特点，显得极为珍贵。因此，保护和传承这些绘画的文化遗产就变得极为重要和迫切。目前对图像处理的技术很多也相对很成熟，但鲜有将其应用到中国画领域的，或者说远达不到中国画动画应用的需求——古画有其自成一派的绘画风格，适用于现实照片的诸多技术往往会在古画当中“失灵”。基于上述大背景，我们的想法应运而生。由于中国画种类繁多，特点鲜明，我们将其大致分为山水画，花鸟画，人物画这三大块。其中人物画又可以精确到人物的表情。对这些种类不同的中国画，要处理的对象不同，使用的技术也不尽相同：如人物涉及到表情与姿态的识别与变化、山水花鸟涉及到图像分割，特征点识别等技术。中国画自动化——其中最重要的就是如何让静态的画作“动”起来，例如表情变换，活体位移，伸缩变换等，呈现出一个连续且动态的过程，按照我们对中国画动画的设想逐步实现各个功能点，将图像处理技术灵活运用与结合，用技术为中国画赋能。
技术实现思路
鉴于现有技术中的缺陷或不足，我们提供一种基于TPS变形的中国画动画自动生成方法。该方法结合多种图像处理技术：TPS人脸表情变形技术，图像语义分割技术，缺失图像修复技术等通过对要处理的目标由识别，抠像，处理，动态化处理等一系列操作，完成由静态画向动态化的转变，生成一个自动上传图画，选择变形方式并生成变形后的动画的一整个流畅完备的方法。第一方面，本申请实施例提供了一种基于TPS变形算法的中国画动画自动生成方法，该方法包括：步骤一，通过上传图片按钮收集动画生成的中国画对象，并将图片存储为bitmap格式；步骤二，对中国画进行识别与检测，检测出画中的对象；步骤三，对于对象中的人脸对象，进行特征点信息识别，并获取用户的表情变形目标，特征点识别使用的是Dlib库，将获取到的特征点坐标信息存入数组中；步骤四，根据特征点规律计算出目标表情下的特征点信息，使用TPS算法进行求解，得到表情变形的最终状态，特征点规律是特征点相关的参数以及公式，每种表情都有特定的特征点规律；步骤五，使用线性插值法补充中间态的特征点坐标信息，分别使用TPS算法进行求解，得到表情变形的图片序列；步骤六，将图片序列按顺序播放，形成一段表情变形动画，播放过程中，用户可以随时暂停，并可以选择查看任一图片序列。第二方面，本申请实施例提供了一种基于TPS变形的中国画动画自动生成系统，该系统包括：分割模块，通过图像的语义分割，精准的识别到要处理的对象；人脸识别模块，用于对中国画进行人脸识别和检测，识别出其中的人脸，并对识别出的人脸进行标记68个特征点；变形模块，对特征点或图层进行变化处理，达到自然的动态效果；显示模块，用于将做好的动画以视频的形式进行个性化呈现。第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例描述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于：所述计算机程序被处理器执行时实现如本申请实施例描述的方法。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出了本申请实施例提供的中国画动画自动生成流程图；图2示出了本申请表情动画功能图；图3示出了本申请位移动画功能图；图4示出了本申请人脸68个特征点分布。具体实施方式为了能够使得本专利技术的专利技术目的、技术流程及技术创新点进行更加清晰的阐述，以下结合附图及实例，对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。此外，下面所描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。为达到以上目的，本专利技术提供了一种基于TPS变形算法的中国画动画自动生成方法，请参考图1，图1示出了本申请实施例提供的中国画动画自动生成流程示意图，该方法包括：步骤一，通过上传图片按钮收集动画生成的中国画对象，并将图片存储为bitmap格式；步骤二，对中国画进行识别与检测，检测出画中的对象；步骤三，对于对象中的人脸对象，进行特征点信息识别，并获取用户的表情变形目标，特征点识别使用的是Dlib库，将获取到的特征点坐标信息存入数组中；步骤四，根据特征点规律计算出目标表情下的特征点信息，使用TPS算法进行求解，得到表情变形的最终状态，特征点规律是特征点相关的参数以及公式，每种表情都有特定的特征点规律；步骤五，使用线性插值法补充中间态的特征点坐标信息，分别使用TPS算法进行求解，得到表情变形的图片序列；步骤六，将图片序列按顺序播放，形成一段表情变形动画，播放过程中，用户可以随时暂停，并可以选择查看任一图片序列。具体的，进行对象检测具体包括：使用PixelLib实现语义分割：在pascalvoc数据集上训练deeplabv3+模型来实现语义分割的代码，该数据集有20个对象类别，可以准确识别对象，并返回分割输出的数组，打印出输出的形状；进行表情变形具体包括：使用Dlib定义的人脸识别检测算子detector获取识别出的人脸对象的68个特征点坐标信息，使用二维数组来存储坐标点信息；根据用户的表情变形需求，使用特征点规律计算出目标表情下的特征点坐标信息，根据得到的特征点坐标信息，使用TPS变形算法进行求解，并使用双三次插值方法改变原人脸图像的像素信息，得到表情变形结果；再根据线性插值的原则进行中间态特征点坐标信息的补充，并使用TPS变形算法求解出中间态，按顺序播放形成表情变形动画。具体的，使用TPS变形算法求解具体包括：将人脸正常状态下的68特征点编号为P1(x1,y1)，P2(x2,y2),……,P68(x68,y68),将根据特征点规律计算出来的目标表情下的特征点编号为P1’(x1’,y1’)，P2’(x2’,y2’)……，P68’(x68’,y68’)，TPS变形算法的目标是求解一个函数f，使得f(Pi)＝Pi’，其中1≤i≤68，，并且弯曲能量函数最小，同时图像上的其它点也可以通过插值得到校正，可以把形变函数想象成弯折一块薄钢板，使这块钢板穿过给定的n个点，弯曲钢板所需能量可表示为：TPS变形算法的插值函数就是弯曲能量最小的函数：其中，a1，a2，a3，wi在矩阵求解过程中得到，上式中只要求出a1，a2，a3和wi(1≤i≤68)，就可以确定f(x,y)，其中U为基函数：rij即为坐标点i,j之间的距离；记矩阵本文档来自技高网...

【技术保护点】
1.一种基于TPS变形算法的中国画动画自动生成方法，该方法包括：/n步骤一，通过上传图片按钮收集动画生成的中国画对象，并将图片存储为bitmap格式；/n步骤二，对中国画进行识别与检测，检测出画中的对象；/n步骤三，对于对象中的人脸对象，进行特征点信息识别，并获取用户的表情变形目标，特征点识别使用的是Dlib库，将获取到的特征点坐标信息存入数组中；/n步骤四，根据特征点规律计算出目标表情下的特征点信息，使用TPS算法进行求解，得到表情变形的最终状态，特征点规律是特征点相关的参数以及公式，每种表情都有特定的特征点规律；/n步骤五，使用线性插值法补充中间态的特征点坐标信息，分别使用TPS算法进行求解，得到表情变形的图片序列；/n步骤六，将图片序列按顺序播放，形成一段表情变形动画，播放过程中，用户可以随时暂停，并可以选择查看任一图片序列。/n

【技术特征摘要】
1.一种基于TPS变形算法的中国画动画自动生成方法，该方法包括：
步骤一，通过上传图片按钮收集动画生成的中国画对象，并将图片存储为bitmap格式；
步骤二，对中国画进行识别与检测，检测出画中的对象；
步骤三，对于对象中的人脸对象，进行特征点信息识别，并获取用户的表情变形目标，特征点识别使用的是Dlib库，将获取到的特征点坐标信息存入数组中；
步骤四，根据特征点规律计算出目标表情下的特征点信息，使用TPS算法进行求解，得到表情变形的最终状态，特征点规律是特征点相关的参数以及公式，每种表情都有特定的特征点规律；
步骤五，使用线性插值法补充中间态的特征点坐标信息，分别使用TPS算法进行求解，得到表情变形的图片序列；
步骤六，将图片序列按顺序播放，形成一段表情变形动画，播放过程中，用户可以随时暂停，并可以选择查看任一图片序列。


2.根据权利要求1所述的方法，进行对象检测具体包括：使用PixelLib实现语义分割：在pascalvoc数据集上训练deeplabv3+模型来实现语义分割的代码，该数据集有20个对象类别，可以准确识别对象，并返回分割输出的数组，打印出输出的形状；
进行表情变形具体包括：使用Dlib定义的人脸识别检测算子detector获取识别出的人脸对象的68个特征点坐标信息，使用二维数组来存储坐标点信息；根据用户的表情变形需求，使用特征点规律计算出目标表情下的特征点坐标信息，根据得到的特征点坐标信息，使用TPS变形算法进行求解，并使用双三次插值方法改变原人脸图像的像素信息，得到表情变形结果；再根据线性插值的原则进行中间态特征点坐标信息的补充，并使用TPS变形算法求解出中间态，按顺序播放形成表情变形动画。


3.根据权利要求1所述的方法，使用TPS变形算法求解具体包括：
将人脸正常状态下的68特征点编号为P1(x1,y1)，P2(x2,y2),……,P68(x68,y68),将根据特征点规律计算出来的目标表情下的特征点编号为P1’(x1’,y1’)，P2’(x2’,y2’)……，P68’(x68’,y68’)，TPS变形算法的目标是求解一个函数f，使得f(Pi)＝Pi’，其中1≤i≤68，，并且弯曲能量函数最小，同时图像上的其它点也可以通过插值得到校正，可以把形变函数想象成弯折一块薄钢板，使这块钢板穿过给定的n个点，弯曲钢板所需能量可表示为：



TPS变形算法的插值函数就是弯曲能量最小的函数：

其中，a1，a2，a3，wi在矩阵求解过程中得到，
上式中只要求出a1，a2，a3和wi(1≤i≤68)，就可以确定f(x,y)，其中U为基函数：






其中，rij即为坐标点i,j之间的距离；
记矩阵K、L、Y为：



其中，rij中i,j分别代表正常状态下第i,j个特征点，

xi,yi分别指代正常状态下第i个特征点坐标的x值和y值，




xi'，yi'分别指代指定表情下第i个特征点坐标的x值和y值，
由LW＝Y解得W矩阵：



从而有正常状态下的特征点坐标(xi,yi)到指定表情下的特征点坐标(xi’,yi’)的映射：





4.根据权利要求3所述的方法，进行双三次差值具体包括：
图像中任意一点的像素由它周围16个点的像素确定，具体关系为：
f(i+u,j+v)＝ABCT，i,j表示x,y坐标值的整数部分；u,v表示x,y坐标值的小数部分
其中矩阵A、B、C分别为：
A＝[S(u+1)S(u)S(u-1)S(u-2)]，
B＝f(i-1:i+2,j-1:j+2)，
C＝[S(v+1)S(v)S(v-1)S(v-2)]，
S(x)为

【专利技术属性】
技术研发人员：陈俐燕，夏文雁，唐砺恒，朱梓杰，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35