一种扩大卷积分区的高准确率识别戏曲人物动作的方法技术

本发明专利技术公开了一种扩大卷积分区的高准确率识别戏曲人物动作的方法，首先对输入的原戏曲视频中表演者的动作进行基于open pose的姿态提取，然后利用拓扑图的框架结构对提取的骨架姿态序列信息进行建模；其次，将图结构中2D或3D坐标下的关节序列联合坐标向量作为网络的输入，并对该输入数据进行归一化、标准化预处理，随后，进行时间和空间的卷积网络处理，最后，将逐帧角色动作预测结果，融合到原视频提取出的逐帧角色肢体骨架帧对应的位置，将融合后的视频帧合成一个新的戏曲动作识别视频，极大提高了识别的准确度，提升算法运行的速度，简化戏曲视频中角色动作识别的步骤，使戏曲角色的动作类别识别的更快、更准确。更准确。更准确。

【技术实现步骤摘要】
一种扩大卷积分区的高准确率识别戏曲人物动作的方法


[0001]本专利技术属于图像识别
，涉及深度学习技术，具体涉及一种扩大卷积分区的高准确率识别戏曲人物动作的方法。

技术介绍

[0002]戏曲是中国传统艺术之一，剧种繁多有趣，表演形式载歌载舞，有说有唱，有文有武，集“唱、做、念、打”于一体，在世界戏剧史上独树一帜。戏曲起源于原始歌舞，它的特点是将众多艺术形式以一种标准聚合在一起，在共同具有的性质中体现其各自的个性。综合性、虚拟性、程式性，是中国戏曲的主要艺术特征。这些特征，凝聚着中国传统文化的美学思想精髓，构成了独特的戏剧观，使中国戏曲在世界戏曲文化的大舞台上闪耀着它的独特的艺术光辉。
[0003]然而戏曲艺术由于其独特风格和鲜明的地域特征，使得创作演出门槛加高，并且戏曲本身表达晦涩，也使得很多年轻人难以感受到其中魅力，能够模仿和学习戏曲中人物角色表演动作的人更是少之又少。
[0004]目前，大多数现有的戏曲角色动作识别方法对视频素材要求高，处理过程繁琐，存在因戏服遮挡等因素而造成的对戏曲人物动作识别效果不准确等问题。也有一些处理过程相对简单的方法，但是效果都不佳，很难达到预期效果。

技术实现思路

[0005]针对现有技术存在的不足，本专利技术的目在于提供一种扩大卷积分区的高准确率识别戏曲人物动作的方法，处理过程简单、快捷，提高了戏曲视频角色动作的识别速度，使戏曲视频的动作识别准确率更高。
[0006]为了实现上述目的，本专利技术采用以下技术方案予以实现：
[0007]一种扩大卷积分区的高准确率识别戏曲人物动作的方法，包括如下步骤：
[0008]步骤1：输入待进行动作识别的带有人物的戏曲视频，并对输入的戏曲视频进行帧提取，得到视频帧a；
[0009]步骤2：对步骤1中提取出的视频帧a进行基于人体姿态估计算法openpose的人体骨架姿态提取，得到骨骼姿态序列帧b，并用联合坐标分别表示每一帧骨架姿态数据信息；
[0010]步骤3：利用步骤2中关节联合坐标数据构建拓扑图结构；
[0011]其中，图结构G＝(V，E)由两种类型的边组成：一种帧内边，建立在每一帧人体骨架的自然连接节点上，形成节点集V＝{V
ti
|t＝1,2,...T,i＝1,2,...N}；一种帧间边，将连续两帧中相同节点连接起来，形成边集ES＝{V
ti
V
tj
|(i,j)∈N}，以及E
F
＝{V
ti
V
(t+1)j
|i∈N}；
[0012]步骤4：将步骤3中得到的图结构中2D或3D坐标下的关节序列联合坐标向量作为网络的输入，并对该输入数据进行归一化、标准化预处理；
[0013]步骤5：对步骤4中经过预处理的数据进行自适应图卷积操作；
[0014]步骤6：把经过步骤5处理的输入数据交叉应用9层空间图卷积网络Sparegraph
ConventionNetwork和时间图卷积网络Temple Graph ConventionNetwork操作，生成更高级别的特征图输出；
[0015]其中，在每一层的空间图卷积操作(SGC)中，采用二维的空间卷积操作，在卷积之前，首先对步骤3得到的图结构划分其进行图卷积的卷积分区子集数，分区子集分别为：a.当前关节点，b.近邻当前关节的邻接点，c.远离当前关节的邻接点， d.与b类关节点相邻且在距离上临近a类节点的点，e.与b类关节点相邻且在距离上远离a类节点的点，然后，对这五类子集执行不同参数卷积操作，之后，对输出结果进行标准化层的处理，并利用ReLu激活函数进行激活，随后将结果作为时间卷积操作的输入，输入时间图卷积中；
[0016]在每一层的时间图卷积操作(TGC)中，利用一维的时间卷积操作，其卷积核的大小为：卷积核尺寸
×
1，每次完成1个节点，关键帧的卷积数量为卷积核尺寸；步长设置为1，每次移动1帧，完成1个节点后进行下1个节点的卷积处理，随后对经过时间卷积处理的数据输出进行标准化层的处理，并利用ReLu激活函数进行激活；
[0017]步骤7：将经过步骤6处理后的高级特征图输出经过平均池化POOL和全连接 FC处理，将处理后的结果通过Soft Max分类器分类处理得到逐帧动作对应的动作类别预测结果；
[0018]步骤8：将步骤7得到的逐帧动作预测结果与所对应的原视频中提取出的角色肢体骨骼姿态序列帧b进行融合，得到融合后的视频帧，即将动作预测结果与骨骼姿态帧相融合；
[0019]步骤9：以步骤8中的视频帧为元素，设置合成参数，得到一个新的角色动作类别识别视频。
[0020]进一步，所述步骤1中将带有人物的戏曲视频进行帧提取，得到视频帧a的每一帧的像素值设置为1920
×
1080。
[0021]进一步，所述步骤5中对步骤4中经过预处理的数据首先进行自适应图卷积操作
[0022]其中，图卷积的邻接矩阵由三部份之和组成：
[0023]A
k
为N*N的邻接矩阵；B
k
为可训练的权重且没有进行归一化等任何约束条件，指从数据学习得来参数；C
k
为N*N的矩阵，指的是一个唯一图，它为每一个骨骼样本学习一个唯一的图，通过归一化嵌入高斯函数来计算两个骨骼关键点之间的相似度用于确定两个骨骼关键点间是否存在连接和连接的强弱。
[0024]进一步，所述步骤6中进行空间图卷积处理的卷积函数为：
[0025][0026]其中，归一化项：
[0027]Z
ti
(v
tj
)＝|[V
tk
|l
ti
(v
tk
)＝l
ti
(v
tj
)}|
[0028]等价于对应子集的积，两式合并可以得到：
[0029][0030]其中v
ti
表示第t帧中的第i个节点，v
tj
表示与v
ti
相邻的第t帧的第j个节点； Z
ti
(v
tj
)为归一化的输出结果表示；p(v
ti
，v
tj
)表示以v
ti
、v
tj
作为参数的采样函数，在图像中，采样函数p(v
ti
，v
tj
)指以x像素为中心的周围邻居像素，在图中，邻接像素集合被定义为：B(v
ti
)＝{v
tj
|d(v
tj
，v
ti
)≤D}，d(v
tj
，v
ti
)指的是从v
tj
到v
ti
的最短距离；W(v
ti
，v
tj
)表示权重函数，类比2D卷积，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种扩大卷积分区的高准确率识别戏曲人物动作的方法，其特征在于包括如下步骤：步骤1：输入待进行动作识别的带有人物的戏曲视频，并对输入的戏曲视频进行帧提取，得到视频帧a；步骤2：对步骤1中提取出的视频帧a进行基于人体姿态估计算法openpose的人体骨架姿态提取，得到骨骼姿态序列帧b，并用联合坐标分别表示每一帧骨架姿态数据信息；步骤3：利用步骤2中关节联合坐标数据构建拓扑图结构；其中，图结构G＝(V，E)由两种类型的边组成：一种帧内边，建立在每一帧人体骨架的自然连接节点上，形成节点集V＝{V
ti
│
t＝1,2,...T,i＝1,2,...N}；一种帧间边，将连续两帧中相同节点连接起来，形成边集E
S
＝{V
ti
V
tj
│
(i,j)∈N}，以及E
F
＝{V
ti
V
(t+1)j
│
i∈N}；步骤4：将步骤3中得到的图结构中2D或3D坐标下的关节序列联合坐标向量作为网络的输入，并对该输入数据进行归一化、标准化预处理；步骤5：对步骤4中经过预处理的数据进行自适应图卷积操作；步骤6：把经过步骤5处理的输入数据交叉应用9层空间图卷积网络Spare graph ConventionNetwork和时间图卷积网络Temple Graph ConventionNetwork操作，生成更高级别的特征图输出；其中，在每一层的空间图卷积操作(SGC)中，采用二维的空间卷积操作，在卷积之前，首先对步骤3得到的图结构划分其进行图卷积的卷积分区子集数，分区子集分别为：a.当前关节点，b.近邻当前关节的邻接点，c.远离当前关节的邻接点，d.与b类关节点相邻且在距离上临近a类节点的点，e.与b类关节点相邻且在距离上远离a类节点的点，然后，对这五类子集执行不同参数卷积操作，之后，对输出结果进行标准化层的处理，并利用ReLu激活函数进行激活，随后将结果作为时间卷积操作的输入，输入时间图卷积中；在每一层的时间图卷积操作(TGC)中，利用一维的时间卷积操作，其卷积核的大小为：卷积核尺寸
×
1，每次完成1个节点，关键帧的卷积数量为卷积核尺寸；步长设置为1，每次移动1帧，完成1个节点后进行下1个节点的卷积处理，随后对经过时间卷积处理的数据输出进行标准化层的处理，并利用ReLu激活函数进行激活；步骤7：将经过步骤6处理后的高级特征图输出经过平均池化POOL和全连接FC处理，将处理后的结果通过Soft Max分类器分类处理得到逐帧动作对应的动作类别预测结果；步骤8：将步骤7得到的逐帧动作预测结果与所对应的原视频中提取出的角色肢体骨骼姿态序列帧b进行融合，得到融合后的视频帧，即将动作预测结果与骨骼姿态帧相融合；步骤9：以步骤8中的视频帧为元素，设置合成参数，得到一个新的角色动作类别识别视频。2.根据权利要求1所述的扩大卷积分区的高准确率识别戏曲人物动作的方法，其特征在于：所述步...

【专利技术属性】
技术研发人员：耿国华，杨滢，王小凤，周蓬勃，田蓉蓉，赵卓屹，余帆，吴思冬，
申请(专利权)人：西北大学，
类型：发明
国别省市：