本发明专利技术提供了一种动作类型的识别方法以及识别装置。该动作类型的识别方法具备：待识别视频处理步骤,针对待识别视频中的每一帧，检测人体目标并提取关节；有效性判断步骤，根据所述关节的提取结果与人体目标的检测结果的关联程度，判断提取到的所述关节是否有效；以及识别步骤，获取判断为有效的所述关节的关节坐标，使用所述关节坐标、预先训练好的训练模型和训练权重，对待识别视频中的人体动作类型进行识别。根据本发明专利技术，由于对关节坐标的提取进行了过滤，提高了关节坐标提取质量，保证了训练数据的可靠性，并针对视频中的每一帧，检测人体目标并提取关节，避免关键帧抽取造成的数据损失，从而能够提高动作识别的鲁棒性和准确率。准确率。准确率。
【技术实现步骤摘要】
一种动作类型的识别方法及装置
[0001]本专利技术涉及一种人体的动作类型的识别方法及系统。
技术介绍
[0002]人体动作识别一直是计算机视觉、人工智能和模式识别等热门研究方向，在人机交互、虚拟现实、视频检索和安防监控等领域中有着十分广泛的应用。目前主流的研究方向是基于计算机视觉的人体动作识别方法，通过计算机对摄像机采集的原始图像或图像序列数据进行处理和分析，从而理解人的行为。在视觉动作识别领域，基于openpose或alphapose等算法提取人体的骨架信息数据，并通过监督训练从而识别动作，由于模型轻量的特点吸引了越来越多人的注意。但是，在实际的工业应用中，生产场景复杂，一方面，提取的人体骨架信息会因为光线反射等情况而出现异常，由此建立的识别模型会出现识别异常或者训练无法收敛的情况；另一方面，工业现场作业人员的动作类型具有偶然性，基于监督学习建立的识别模型其性能受限于训练数据的规模，因而在应用中的准确率偏低。
[0003]对此，在专利文献CN112926522A中，提供了一种基于骨骼姿态与时空图卷积网络的行为识别方法，能够利用时间与空间两个维度的节点特征训练更精确的完成行为识别的任务，提高识别的准确性与实时性。它是这样进行动作识别的：首先建立包含若干视频段的数据集；然后是数据处理和训练阶段：利用改进的ViBe算法，提取数据集视频段中的关键帧，并计算关键帧中的前景区域的质心；使用OpenPose算法对关键帧进行骨骼数据提取得到若干个关节点坐标，计算上述质心与关节点的距离，根据距离优先原则分配关节点置信度；将以上处理的数据送入ST_GCN算法模型中进行训练；最后，利用经过训练的ST_GCN算法模型对采集的实时视频进行动作检测。
技术实现思路
[0004]专利技术要解决的问题
[0005]然而，在上述专利文献的专利技术中，首先，专利技术的核心在于关键帧获取并对获取到的关节点进行处理，而未有对关键帧中关节数据的提取质量进行约束或者过滤，潜在的噪点数据会限制识别精度；其次，关节点置信度特征以及训练数据集的规模等静态特性也限制了识别精度的提升。
[0006]对此，本专利技术提供了一种动作类型的识别方法及装置，其能够提高关节坐标提取质量，并能够提高动作识别的鲁棒性和准确率。
[0007]解决问题的技术手段
[0008]为了实现上述目的，本专利技术的一实施方式为一种动作类型的识别方法，具备：待识别视频处理步骤,针对待识别视频中的每一帧，检测人体目标并提取关节；有效性判断步骤，根据所述关节的提取结果与人体目标的检测结果的关联程度，判断提取到的所述关节是否有效；以及识别步骤，获取判断为有效的所述关节的关节坐标，使用所述关节坐标、预先训练好的训练模型和训练权重，对待识别视频中的人体动作类型进行识别。
[0009]本专利技术的另一实施方式为一种动作类型的识别装置，具备：输入部，其输入待识别视频；存储部，其存储有训练好的训练模型以及训练权重；以及识别部，其针对所述待识别视频中的每一帧，检测人体目标并提取关节，根据所述关节的提取结果与人体目标的检测结果的关联程度，判断提取到的所述关节是否有效，并获取判断为有效的所述关节的关节坐标，使用所述关节坐标、预先训练好的训练模型和训练权重，对待识别视频中的人体动作类型进行识别。
[0010]专利技术的效果
[0011]根据本专利技术，由于对关节坐标的提取进行了过滤，提高了关节坐标提取质量，保证了训练数据的可靠性，并针对视频中的每一帧，检测人体目标并提取关节，避免关键帧抽取造成的数据损失，从而能够提高动作识别的鲁棒性和准确率。
附图说明
[0012]图1为表示本专利技术的动作类型的识别装置的功能框图。
[0013]图2为本专利技术的动作类型的识别流程的流程图。
[0014]图3为表示本专利技术的关节坐标的提取以及处理的流程图。
[0015]图4为表示本专利技术的获得训练好的训练模型的流程图。
[0016]图5为说明本专利技术的时间分支处理以及增加关节相对坐标的效果的示意图。
[0017]图6为说明人体的动作和位置随时间变化示意图。
[0018]图7为说明本专利技术在时间序列上对各关节进行卷积操作的示意图。
[0019]图8为说明本专利技术横向拼接特征的示意图。
具体实施方式
[0020]以下由特定的具体实施例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本专利技术的其他优点及功效。虽然本专利技术的描述将结合较佳实施例一起介绍，但这并不代表本专利技术的特征仅限于该实施方式。恰恰相反，结合实施方式作本专利技术介绍的目的是为了覆盖基于本专利技术的权利要求而有可能延伸出的其它选择或改造。为了提供对本专利技术的深度了解，以下描述中将包含许多具体的细节。本专利技术也可以不使用这些细节实施。此外，为了避免混乱或模糊本专利技术的重点，有些具体细节将在描述中被省略。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0021]图1为表示本专利技术的动作类型的识别装置的功能框图。
[0022]如图1所示，本专利技术的动作类型的识别装置1具有存储部11、输入部12、识别部13、以及显示部14。
[0023]存储部11存储有训练好的训练模型以及训练权重，例如由硬盘等存储器构成。
[0024]输入部12用于输入待识别视频等。在本专利技术中，输入部12可以为摄像头等，识别装置1可以内置有输入部12，或是通过有线或者无线网络与输入部12连接，对由输入部12输入的待识别视频进行实时识别。输入部12也可以为数据接口等，经由网络或是移动存储设备获取待识别视频。
[0025]识别部13针对所述待识别视频中的每一帧，检测人体目标并提取关节，根据所述关节的提取结果与人体目标的检测结果的关联程度，判断提取到的所述关节是否有效，并
获取判断为有效的所述关节的关节坐标，使用所述关节坐标、预先训练好的训练模型和训练权重，对待识别视频中的人体动作类型进行识别。识别部13可以由CPU等处理部构成。
[0026]显示部14用于显示识别部13的识别结果，可以由液晶显示器等构成。
[0027]图2展示了本专利技术的动作类型的识别流程的流程图。如图2所示，在本专利技术中，从训练视频中提取视频帧，进而进行关节坐标的提取和处理，随后将处理后的关节坐标输入到构建的训练模型中，对训练模型进行训练，得到训练好的训练模型，生成训练权重。另一方面，从待识别视频中提取视频帧，同样地进行关节坐标的提取和处理，随后将处理后的关节坐标输入到训练好的训练模型中，输出动作类型。
[0028]因而，在本专利技术中，识别装置1对待识别视频进行识别的流程，即识别方法，具有以下步骤：
[0029]待识别视频处理步骤,针对待识别视频中的每一帧，检测人体目标并提取关节；
[0030]有效性判断步骤，根据所述关节的提取结果与人体目标的检测结果的关联程度，判断提取到的所述关节是否有效；
[0031]识别步骤，获取判断为有效的所述关节的关节坐标本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种动作类型的识别方法，其特征在于，具备：待识别视频处理步骤,针对待识别视频中的每一帧，检测人体目标并提取关节；有效性判断步骤，根据所述关节的提取结果与人体目标的检测结果的关联程度，判断提取到的所述关节是否有效；以及识别步骤，获取判断为有效的所述关节的关节坐标，使用所述关节坐标、预先训练好的训练模型和训练权重，对待识别视频中的人体动作类型进行识别。2.如权利要求1所述的识别方法，其特征在于，训练好的所述训练模型通过以下步骤获得：针对训练视频中的每一帧，检测人体目标并提取关节；根据所述关节的提取结果与人体目标的检测结果的关联程度，判断提取到的所述关节是否有效；获取判断为有效的所述关节的关节坐标；将所述关节坐标按照时间序列分支和空间序列分支分别进行处理，在时间序列分支的处理上，将所述关节坐标使用注意力层进行处理，学习每个所述关节坐标对动作分类的权重，随后使用LSTM层进行处理，输出时间序列分支特征，在空间序列分支的处理上，将所述关节坐标使用CNN层进行处理，获得空间序列分支特征，随后使用注意力层进行处理，学习每个所述空间序列分支特征对动作分类的权重；将所述时间序列分支特征与所述空间序列分支特征进行拼接；使用全连接层处理拼接后的特征，进行动作类型的分类，从而获得训练好的所述训练模型，并生成所述训练权重。3.如权利要求1或2所述的识别方法，其特征在于，在所述识别步骤中，通过以下步骤获得所述关节坐标：针对每一帧的视频帧，进行人体目标的检测以及关节的提取；在检测到人体目标且提取到的关节的数量占规定关节数量的比例超过阈值时，算出人体目标的中心坐标以及每个关节的中心坐标；通过最近距离匹配，判断提取到的所述关节的中心坐标是否位于所述人体目标的中心坐标的边界框内；在判断提取到的关节的中心坐标位于人体目标的中心坐标的边界框内时，判断提取到的关节为有效，获取各个关节的关节绝对坐标，并将所述关节绝对坐标进行数据增广；根据数据增广后的所述关节绝对坐标，算出判断为有效的每个关节的关节相对坐标；将同一关节的所述关节绝对坐标以及所述关节相对坐标进行拼接，作为所述关节坐标。4.如权利要求2所述的识别方法，其特征在于，所述空间序列分支的处理包括以下步骤：在时间序列上对各个关节的关节坐标进行卷积；在空间上对各个关节的相互关系进行卷积，提取出所述空间序列分支特征；将提取到的所述空间序列分支特征拉平，使用注意力层进行处理，学习每个所述空间序列分支特征对动作分类的权重。5.如权利要求2所述的识别方法，其特征在于，
所述时间序列分支特征的数量与所述空间序列分支特征的数量相同，将所述时间序列分支特征与所述空间序列分支特征横向拼接。6.一种动作类型...
【专利技术属性】
技术研发人员：郑淼，原纯一，
申请(专利权)人：北京日立控制系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。