【技术实现步骤摘要】
本专利技术涉及动作识别，尤其涉及一种基于多角度下的表演动作识别方法、系统、设备及介质。
技术介绍
1、传统的动作识别视频系统通常包括视频采集、预处理、动作检测、特征提取、分类与识别以及后处理等步骤。然而，这些方法在处理多人同时表演的套路动作时面临更为复杂的挑战，可能导致对表演者部位动作的遗漏。
2、这些遗漏可能由于以下原因引起：表演者动作不标准时，与模型训练时使用的标准动作存在较大差异，可能导致模型难以正确识别。摄像机安装问题涉及位置和角度，可能导致动作部位被遮挡或拍摄的角度不佳，使模型难以准确提取动作信息。光照不足或背景复杂可能导致图像质量下降，进而影响模型性能。
3、随之而来的模型泛化问题可能使在模型训练过程中不能很好地适应新的表演者、场景或动作变化，导致对新条件无法进行准确识别。为了满足实时性要求，系统可能采用较短的时间窗口进行动作识别，但是又会出现对较长或复杂的动作无法完整捕捉。因此，这些因素可能共同导致对表演者部位动作的遗漏。
技术实现思路
1、本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
2、鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术提供了一种基于多角度下的表演动作识别方法、系统、设备及介质，本专利技术考虑了表演动作的周期性特
3、为解决上述技术问题，本专利技术提供如下技术方案：
4、第一方面，本专利技术提供了一种基于多角度下的表演动作识别方法，包括：
5、采集表演中的视频数据，得到每个视频中的表演图像，根据所述表演图像得到人体部位的关键点坐标；
6、对所述表演图像进行动作分类，在分类后的表演图像中标注关键点，得到每个人体部位的动作点坐标，并利用动作的周期性特征，确定采样间隔，捕捉表演图像中分类图像的关键帧；
7、利用多角度摄像机制，为所述人体部位的关键点坐标和人体部位的动作点坐标建立三维坐标，判断处理后的人体部位的关键点坐标和人体部位的动作点坐标所建立的三维坐标是否一致。
8、作为优选的技术方案，根据所述表演图像得到人体部位的关键点坐标，包括：
9、剔除每张表演图像中人体部位以外的图像，对人体部位进行标记，把剩下含有人体部位的图像分为5个子图像，并基于所述5个子图像分别定义人体部位的关键点坐标；所述5个子图像分别为头部、身体部位、左胳膊、右胳膊和腿部。
10、作为优选的技术方案，得到每个人体部位的动作点坐标，包括：
11、创建动作分类模型，将表演动作作为数据集输入至所述动作分类模型中；
12、所述动作分类模型自动识别出数据集中的图像类型，若所述图像为rgb或深度图像，则动作分类模型中采用卷积神经网络进行处理；若所述图像中包含骨架信息或光流数据，则动作分类模型中采用循环神经网络进行处理；
13、通过选择不同的神经网络类型，对所述表演动作进行标注，得到每个人体部位的动作点坐标。
14、作为优选的技术方案，将表演动作作为数据集输入至分类模型前，需要提前将表演的动作名称作为关键字，并通过自然语言处理技术，提取出表演动作中包含的表演项目，通过表演项目设定参考表演动作，用以标记实际表演动作。
15、作为优选的技术方案，利用动作的周期性特征，确定采样间隔，捕捉表演图像中分类图像的关键帧，包括：
16、通过相对位置公式考虑邻近光流轨迹，并结合光流估计法捕捉图像相邻帧之间像素点的运动信息，得到采样间隔时间；
17、将所述采样间隔时间代入动作分类模型选择好的神经网络中，得到表演图像中分类图像的关键帧；所述关键帧表示表演图像中每个像素点在相邻两帧之间的运动差异，将运动差异大于设定阈值的表演图像设定为关键帧；
18、将关键帧作为人体部位的动作点坐标的更新条件，对原人体部位的动作点坐标进行更新。
19、作为优选的技术方案，利用多角度摄像机制，为所述人体部位的关键点坐标和人体部位的动作点坐标建立三维坐标，包括：
20、设定多角度相机数量，将相机数量与对应投影到的点进行关联，设置相机的内部参数，将更新后的人体部位的动作点坐标和人体部位的关键点坐标作为投影坐标的参考值；
21、当所有相机数量与对应投影到的点都关联完成，形成多角度的投影图像以及投影坐标，将所述投影坐标转换为世界坐标，根据所述世界坐标转换为三维坐标；
22、得到人体部位的动作点坐标和人体部位的关键点坐标的三维形式。
23、作为优选的技术方案，判断处理后的人体部位的关键点坐标和人体部位的动作点坐标所建立的三维坐标是否一致，得到判断结果，包括：
24、将人体部位的动作点坐标和人体部位的关键点坐标的三维形式分别依次相连，得到关于人体部位的动作点坐标的多边形和人体部位的关键点坐标的多边形；
25、设置时间戳，分别获取多边形和的外部连接点，计算多边形的体积和；
26、若所述多边形的体积和相等，则人体部位的关键点坐标和人体部位的动作点坐标所建立的三维坐标一致；否则，返回至创建动作分类模型处，继续执行。
27、第二方面，本专利技术提供了一种基于多角度下的表演动作识别系统，基于所述的基于多角度下的表演动作识别方法，包括：
28、表演图像获取模块，采集表演中的视频数据，得到每个视频中的表演图像，同时根据所述表演图像得到人体部位的关键点坐标；
29、表演图像处理模块，对所述表演图像进行动作分类，在分类后的表演图像中标注关键点，得到每个人体部位的动作点坐标，并利用动作的周期性特征，确定采样间隔，捕捉表演图像中分类图像的关键帧；
30、表演图像判断模块，利用多角度摄像机制，为所述人体部位的关键点坐标和人体部位的动作点坐标建立三维坐标，判断处理后的人体部位的关键点坐标和人体部位的动作点坐标所建立的三维坐标是否一致。
31、第三方面，本专利技术提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
32、第四方面，本专利技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述方法的步骤。
33、与现有技术相比，专利技术有益效果为：
34、本专利技术通过采集表演中的视频数据，得到每个视频中的表演图像，同时根据表演图像得到人体部位的关键点坐标；对表演图像进行动作分类，在分类后的表演图像中标注关键点，得到人体部位的动作点坐标，利用动作的周期性特征，确定采样间隔，捕捉表演图像中分类图像的关键帧；多角度摄像机制，为人体部位的关键点坐标和人体部位的动作点坐标建立三维坐标，判断处理后的人体部位的关本文档来自技高网...
【技术保护点】
1.一种基于多角度下的表演动作识别方法，其特征在于，包括：
2.如权利要求1所述的基于多角度下的表演动作识别方法，其特征在于，根据所述表演图像得到人体部位的关键点坐标，包括：
3.如权利要求2所述的基于多角度下的表演动作识别方法，其特征在于，得到每个人体部位的动作点坐标，包括：
4.如权利要求3所述的基于多角度下的表演动作识别方法，其特征在于，将表演动作作为数据集输入至分类模型前，需要提前将表演的动作名称作为关键字，并通过自然语言处理技术，提取出表演动作中包含的表演项目，通过表演项目设定参考表演动作，用以标记实际表演动作。
5.如权利要求1所述的基于多角度下的表演动作识别方法，其特征在于，利用动作的周期性特征，确定采样间隔，捕捉表演图像中分类图像的关键帧，包括：
6.如权利要求1所述的基于多角度下的表演动作识别方法，其特征在于，利用多角度摄像机制，为所述人体部位的关键点坐标和人体部位的动作点坐标建立三维坐标，包括：
7.如权利要求5所述的基于多角度下的表演动作识别方法，其特征在于，判断处理后的人体部位的关键点
8.一种基于多角度下的表演动作识别系统，基于权利要求1~7任一所述的基于多角度下的表演动作识别方法，其特征在于，包括：
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1~7任一所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1~7任一所述方法的步骤。
...【技术特征摘要】
1.一种基于多角度下的表演动作识别方法，其特征在于，包括：
2.如权利要求1所述的基于多角度下的表演动作识别方法，其特征在于，根据所述表演图像得到人体部位的关键点坐标，包括：
3.如权利要求2所述的基于多角度下的表演动作识别方法，其特征在于，得到每个人体部位的动作点坐标，包括：
4.如权利要求3所述的基于多角度下的表演动作识别方法，其特征在于，将表演动作作为数据集输入至分类模型前，需要提前将表演的动作名称作为关键字，并通过自然语言处理技术，提取出表演动作中包含的表演项目，通过表演项目设定参考表演动作，用以标记实际表演动作。
5.如权利要求1所述的基于多角度下的表演动作识别方法，其特征在于，利用动作的周期性特征，确定采样间隔，捕捉表演图像中分类图像的关键帧，包括：
6.如权利要求1所述...
【专利技术属性】
技术研发人员：容为，王胤哲，宋益善，綦羽，邱少健，谢旅毅，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。