动作识别方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本申请提供了动作识别方法、装置、电子设备及计算机可读存储介质，该方法包括：将待测数据流输入至动作识别模型，以得到待测数据流的动作识别结果；动作识别模型的训练过程包括：获取训练集，训练集包括多个训练数据，每个训练数据包括至少一个样本数据流以及样本数据流的动作识别结果的标注数据；将训练数据中的样本数据流输入预设的深度学习模型，以得到样本数据流的动作识别结果的预测数据；对深度学习模型的模型参数进行更新；检测是否满足预设的训练结束条件；如果是，将训练出的深度学习模型作为动作识别模型；如果否，利用下一个训练数据继续训练深度学习模型。该方法克服了传统骨架动作识别的缺陷，识别精度提高。识别精度提高。识别精度提高。

【技术实现步骤摘要】
动作识别方法、装置、电子设备及计算机可读存储介质


[0001]本申请涉及计算机
，尤其涉及动作识别方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]人体骨架动作识别通常是指通过深度摄像头如微软Kinect或先进的人体姿态估计算法如OpenPose得到的人体骨架数据作为输入，再使用深度学习算法进行分类识别。人体骨架动作识别可以应用于社会治安、安全监控、智能家居和日常娱乐方面，具有广阔的研究前景。
[0003]现有技术精度不高，动作识别效果不佳。基于此，本申请提供了动作识别方法、装置、电子设备及计算机可读存储介质，以改进现有技术。

技术实现思路

[0004]本申请的目的在于提供动作识别方法、装置、电子设备及计算机可读存储介质，该方法克服了传统骨架动作识别的缺陷，识别精度提高，识别效果好。
[0005]本申请的目的采用以下技术方案实现：
[0006]第一方面，本申请提供了一种动作识别方法，用于对人体骨架进行动作识别，所述方法包括：
[0007]将待测数据流输入至动作识别模型，以得到所述待测数据流的动作识别结果，所述待测数据流包括样本骨架数据流和预设运动数据流，所述待测数据流的动作识别结果用于指示所述待测数据流对应的至少一个动作类型；
[0008]其中，所述动作识别模型的训练过程包括：
[0009]获取训练集，所述训练集包括多个训练数据，每个所述训练数据包括至少一个样本数据流以及所述样本数据流的动作识别结果的标注数据，所述样本数据流的动作识别结果用于指示所述样本数据流对应的至少一个动作类型；
[0010]针对所述训练集中的每个训练数据，执行以下处理：
[0011]将所述训练数据中的样本数据流输入预设的深度学习模型，以得到所述样本数据流的动作识别结果的预测数据；
[0012]基于所述样本数据流的动作识别结果的预测数据和标注数据，对所述深度学习模型的模型参数进行更新；
[0013]检测是否满足预设的训练结束条件；如果是，则将训练出的所述深度学习模型作为所述动作识别模型；如果否，则利用下一个所述训练数据继续训练所述深度学习模型。
[0014]该技术方案的有益效果在于：通过动作识别模型对人体骨架进行动作识别的步骤可以是，将待测数据流输入动作识别模型以获取待测数据流的动作识别结果。其中，训练过程可以包括：首先获取训练集，所述训练集包括多个训练数据，待测数据流的动作识别结果用于指示待测数据流对应的至少一个动作类型。可以直观高效地显示出待测数据流对应的
动作类型，智能化程度高。可以将所述训练数据中的样本数据输入预设的深度学习模型，通过训练获取动作识别模型，从而进行识别。该方法基于计算机技术，利用深度学习模型，可以更好地拟合数据和实际情况。深度学习模型具有强大的拟合能力，可以逼近复杂的函数，达到无穷维，进一步提升测试的精度。所述方法克服了传统骨架动作识别的缺陷，识别精度提高。
[0015]在一些可选的实施方式中，所述获取训练集，包括：
[0016]利用录制设备获取多个样本骨架数据流；
[0017]对多个所述样本骨架数据流执行数据预处理，以去除多个所述样本骨架数据流中的录制失败和/或录制质量差的所述样本骨架数据流；
[0018]将预处理后的多个所述样本骨架数据流和所述预设运动数据流制作成压缩文件作为所述训练集。
[0019]该技术方案的有益效果在于：利用录制设备录制多个样本骨架数据流并对样本骨架数据流进行数据预处理，去除录制失败和/或录制质量差的样本骨架数据流，保留录制成功和/或录制质量好的样本骨架数据流，并将于预处理后的多个样本骨架数据流和预设运动数据流制作成压缩文件作为训练集。数据预处理有助于提升数据的质量，减少冗余的质量差的样本骨架数据流，从而减少训练的时间，使后续的数据处理、分析和模型的训练过程更加容易、有效，提升数据的精确程度，最大程度地保证数据的有效性，避免浪费计算资源；还可以给模型带来的更强的泛化能力，使得训练数据尽可能得接近测试数据，从而提高预测精度，还可以使模型学习到更鲁棒性的特征。数据预处理可以突出样本数据流中目标物体的某些特点、动作类型的特征参数等，这些都有利于对样本数据流中目标的识别、跟踪和理解。在本申请中，利用录制设备获取多个样本骨架数据流，可以大量节约人力成本、减低人工采集数据时存在的安全隐患，具有全面、高效、高质量采集图像的效果，还可以实现实时自动录制和获取，同时实现对骨架运动的规划、监控和样本数据流的压缩和自动传输。
[0020]在一些可选的实施方式中，所述深度学习模型包括浅层特征提取网络、第一时空融合模块、深层特征提取网络和第二时空融合模块；
[0021]所述将所述训练数据中的样本数据流输入预设的深度学习模型，以得到所述样本数据流的动作识别结果的预测数据，包括：
[0022]利用所述浅层特征提取网络对所述样本骨架数据流和所述预设运动数据流进行浅层特征提取以得到骨架特征信息和运动特征信息；
[0023]利用所述第一时空融合模块对所述骨架特征信息和所述运动特征信息进行第一时空融合以得到骨架
‑
运动融合数据流和运动
‑
骨架融合数据流；
[0024]利用所述深层特征提取网络对所述骨架
‑
运动融合数据流进行深层特征提取以得到第一融合特征信息；
[0025]利用所述深层特征提取网络对所述运动
‑
骨架融合数据流进行深层特征提取以得到第二融合特征信息；
[0026]利用所述第二时空融合模块对所述第一融合特征信息和第二融合特征信息进行融合以得到所述骨架数据流的动作识别结果的预测数据。
[0027]该技术方案的有益效果在于：将样本数据流输入预设的深度学习模型，深度学习模型包括浅层特征提取网络、第一时空融合模块、深层特征提取网络和第二时空融合模块；
利用浅层特征提取网络对样本骨架数据流进行浅层特征提取，从而得到骨架特征信息，利用浅层特征提取网络对预设运动数据流进行浅层特征提取，从而得到运动特征信息；将骨架特征信息和运动特征信息利用第一时空融合模块进行第一时空融合，从而得到骨架
‑
运动融合数据流和运动
‑
骨架融合数据流；再利用深层特征提取网络分别对骨架
‑
运动融合数据流和运动
‑
骨架融合数据流进行深层特征提取，从而得到第一融合特征信息和第二融合特征信息；最后，将第一融合特征信息和第二融合特征信息用第二时空融合模块进行融合以得到所述骨架数据流的动作识别结果的预测数据。分别利用浅层特征提取网络、第一时空融合模块、深层特征提取网络和第二时空融合模块对样本数据流进行处理，可以高效地获取动作识别结果的预测数据，智能化程度高。基于骨架的动作识别模型中要使用平均精度更高、融合效率更好的网络和模块，可以做到更有针对性地获取骨架与动作的联系，找到关键信息，一步定位到骨架所对应的动作类型。使用时空融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法，其特征在于，用于对人体骨架进行动作识别，所述方法包括：将待测数据流输入至动作识别模型，以得到所述待测数据流的动作识别结果，所述待测数据流包括样本骨架数据流和预设运动数据流，所述待测数据流的动作识别结果用于指示所述待测数据流对应的至少一个动作类型；其中，所述动作识别模型的训练过程包括：获取训练集，所述训练集包括多个训练数据，每个所述训练数据包括至少一个样本数据流以及所述样本数据流的动作识别结果的标注数据，所述样本数据流的动作识别结果用于指示所述样本数据流对应的至少一个动作类型；针对所述训练集中的每个训练数据，执行以下处理：将所述训练数据中的样本数据流输入预设的深度学习模型，以得到所述样本数据流的动作识别结果的预测数据；基于所述样本数据流的动作识别结果的预测数据和标注数据，对所述深度学习模型的模型参数进行更新；检测是否满足预设的训练结束条件；如果是，则将训练出的所述深度学习模型作为所述动作识别模型；如果否，则利用下一个所述训练数据继续训练所述深度学习模型。2.根据权利要求1所述的动作识别方法，其特征在于，所述获取训练集，包括：利用录制设备获取多个样本骨架数据流；对多个所述样本骨架数据流执行数据预处理，以去除多个所述样本骨架数据流中的录制失败和/或录制质量差的所述样本骨架数据流；将预处理后的多个所述样本骨架数据流和所述预设运动数据流制作成压缩文件作为所述训练集。3.根据权利要求1所述的动作识别方法，其特征在于，所述深度学习模型包括浅层特征提取网络、第一时空融合模块、第二时空融合模块和深层特征提取网络；所述将所述训练数据中的样本数据流输入预设的深度学习模型，以得到所述样本数据流的动作识别结果的预测数据，包括：利用所述浅层特征提取网络对所述样本骨架数据流和所述预设运动数据流进行浅层特征提取以得到骨架特征信息和运动特征信息；利用所述第一时空融合模块对所述骨架特征信息和所述运动特征信息进行第一时空融合以得到骨架
‑
运动融合数据流和运动
‑
骨架融合数据流；利用所述深层特征提取网络对所述骨架
‑
运动融合数据流进行深层特征提取以得到第一融合特征信息；利用所述深层特征提取网络对所述运动
‑
骨架融合数据流进行深层特征提取以得到第二融合特征信息；利用所述第二时空融合模块对所述第一融合特征信息和第二融合特征信息进行融合以得到所述骨架数据流的动作识别结果的预测数据。4.根据权利要求3所述的动作识别方法，其特征在于，获取所述骨架
‑
运动融合数据流的过程包括：对所述骨架特征信息进行降采样以得到低维骨架数据；基于所述低维骨架数据、第一激活函数获取第一自注意力权重；
基于所述骨架特征信息、所述第一自注意力权重和所述运动特征信息，获取所述骨架
‑
运动融合数据流；获取所述运动
‑
骨架融合数据流的过程包括：对所述运动特征信息进行降采样以得到低维运动数据；基于所述低维运动数据和第二激活函数获取第二自注意力权重；基于所述运动特征信息、所述第二自注意力权重和所述骨架特征信息，获取所述运动
‑
骨架融合数据流。5.根据权利要求4所述的动作识别方法，其特征在于，所述深层特征提取网络包括多个CNN层和多个Transformer层；所述利用所述深层特征提取网...

【专利技术属性】
技术研发人员：鲍文霞，王钧毅，陈和木，王年，林安，高秋月，
申请(专利权)人：安徽医科大学第一附属医院，
类型：发明
国别省市：