动作识别方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种动作识别方法、装置、设备及可读存储介质，属于人工智能技术领域。包括：获取多帧图像，检测多帧图像包含的对象的关键点信息；获取多帧图像包含的对象中的目标对象的关键点信息；根据目标对象的关键点信息，生成目标对象的关键点时序图；基于关键点时序图对包含目标对象的每帧目标图像进行动作分类和进程回归，得到每帧目标图像的动作分类结果和动作进程结果；根据每帧目标图像的动作分类结果和动作进程结果输出目标对象的动作识别结果。本发明专利技术可适用于通过单目相机采集的图像，成本较低。可自动检测目标的挥手、握手等动态手势，准确性和效率均较高。在人机交互时，可辅助机器人自动识别人体手势，为作出相应响应提供触发信号。

【技术实现步骤摘要】
动作识别方法、装置、设备及可读存储介质
本专利技术涉及人工智能
，特别涉及一种动作识别方法、装置、设备及可读存储介质。
技术介绍
随着人工智能技术的发展，各种新兴的交互方式正逐渐代替传统的输入设备，并在人机交互领域得到了广泛的应用。基于动作识别的人机交互方式，可以让用户摆脱传统便携式硬件的束缚，直接通过动作与机器人进行交互，实现更为自然、便捷的交互体验。目前，相关技术提供了一种通过手势识别装置进行手势识别的方法，该手势识别装置侦测对象的形状及运动轨迹，当手势识别装置判断手势识别装置中的线材模组装置缠绕于使用者的手上时，手势识别装置进入手势识别模式，根据手势数据查找表以确定当前使用者的手势。然而，采用手势识别装置进行手势识别时，需要在手部携带线材模组装置，便携性差，识别准确率依赖预存手势数据查找表，漏检率和误检率高。
技术实现思路
本专利技术实施例提供了一种动作识别方法、装置、设备及可读存储介质，以解决相关技术中的问题。所述技术方案如下：一方面，提供了一种动作识别方法，所述方法包括：获取多帧图像，检测所述多帧图像包含的对象的关键点信息；获取所述多帧图像包含的对象中的目标对象的关键点信息；根据所述目标对象的关键点信息，生成所述目标对象的关键点时序图；基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类和进程回归，得到每帧目标图像的动作分类结果和动作进程结果；根据所述每帧目标图像的动作分类结果和动作进程结果输出所述目标对象的动作识别结果。可选地，所述检测所述多帧图像包含的对象的关键点信息，包括：获取关键点识别模型，采用所述关键点识别模型对所述多帧图像包含的对象的关键点进行识别，得到所述多帧图像包含的对象的关键点信息。可选地，所述方法还包括：对每帧图像进行尺寸调整；采用所述关键点识别模型对所述多帧图像包含的对象的关键点进行识别，包括：采用所述关键点识别模型对尺寸调整后的多帧图像包含的对象的关键点进行识别。可选地，所述获取所述多帧图像包含的对象中的目标对象的关键点信息，包括：根据所述多帧图像包含的对象的关键点信息确定每个对象的外接矩形框；根据每个对象的外接矩形框对目标对象进行跟踪匹配，基于跟踪匹配结果得到所述目标对象的关键点信息。可选地，所述根据所述目标对象的关键点信息，生成所述目标对象的关键点时序图，包括：对所述目标对象的关键点信息按照时序进行累计，得到所述目标对象的关键点时序图，所述关键点时序图的行数为包含所述目标对象的图像的帧数，所述关键点时序图的列数为关键点个数，所述关键点时序图的通道数为坐标维度。可选地，所述基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类和进程回归，得到每帧目标图像的动作分类结果和动作进程结果，包括：获取动作分类模型，采用所述动作分类模型，基于所述关键点时序图中包含所述目标对象的每帧目标图像的关键点信息对每帧目标图像进行动作分类，得到每帧目标图像的动作分类结果；对于所述关键点时序图中的每帧目标图像，根据动作开始帧、动作结束帧的位置及每帧的位置确定每帧的动作进程，得到每帧目标图像的动作进程结果。可选地，所述采用所述动作分类模型，基于所述关键点时序图中包含所述目标对象的每帧目标图像的关键点信息对每帧目标图像进行动作分类，得到每帧目标图像的动作分类结果，包括：采用所述动作分类模型提取所述关键点时序图中包含所述目标对象的每帧目标图像的骨架数据，根据每帧目标图像的骨架数据获取每帧目标图像的骨架运动数据；提取所述骨架运动数据的特征，将提取的特征在通道维度上进行拼接，得到拼接后的特征；基于拼接后的特征对每帧目标图像进行动作分类。可选地，所述根据所述每帧目标图像的动作分类结果和所述每帧图像的动作进程结果输出所述目标对象的动作识别结果，包括：若第一参考数量帧的目标图像中，动作分类结果和动作进程结果均满足条件，且对于相同动作分类结果的图像数量达到第二参考数量帧，则将所述相同的动作分类结果对应的动作作为识别结果进行输出。还提供了一种动作识别装置，所述装置包括：第一获取模块，用于获取多帧图像；检测模块，用于检测所述多帧图像包含的对象的关键点信息；第二获取模块，用于获取所述多帧图像包含的对象中的目标对象的关键点信息；生成模块，用于根据所述目标对象的关键点信息，生成所述目标对象的关键点时序图；分类回归模块，用于基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类和进程回归，得到每帧目标图像的动作分类结果和动作进程结果；输出模块，用于根据所述每帧目标图像的动作分类结果和动作进程结果输出所述目标对象的动作识别结果。可选地，所述检测模块，用于获取关键点识别模型，采用所述关键点识别模型对所述多帧图像包含的对象的关键点进行识别，得到所述多帧图像包含的对象的关键点信息。可选地，所述装置还包括：调整模块，用于对每帧图像进行尺寸调整；所述检测模块，用于采用所述关键点识别模型对尺寸调整后的多帧图像包含的对象的关键点进行识别。可选地，所述第二获取模块，用于根据所述多帧图像包含的对象的关键点信息确定每个对象的外接矩形框；根据每个对象的外接矩形框对目标对象进行跟踪匹配，基于跟踪匹配结果得到所述目标对象的关键点信息。可选地，所述生成模块，用于对所述目标对象的关键点信息按照时序进行累计，得到所述目标对象的关键点时序图，所述关键点时序图的行数为包含所述目标对象的图像的帧数，所述关键点时序图的列数为关键点个数，所述关键点时序图的通道数为坐标维度。可选地，所述分类回归模块，包括：分类单元，用于获取动作分类模型，采用所述动作分类模型，基于所述关键点时序图中包含所述目标对象的每帧目标图像的关键点信息对每帧目标图像进行动作分类，得到每帧目标图像的动作分类结果；回归单元，用于对于所述关键点时序图中的每帧目标图像，根据动作开始帧、动作结束帧的位置及每帧的位置确定每帧的动作进程，得到每帧目标图像的动作进程结果。可选地，所述分类单元，用于采用所述动作分类模型提取所述关键点时序图中包含所述目标对象的每帧目标图像的骨架数据，根据每帧目标图像的骨架数据获取每帧目标图像的骨架运动数据；提取所述骨架运动数据的特征，将提取的特征在通道维度上进行拼接，得到拼接后的特征；基于拼接后的特征对每帧目标图像进行动作分类。可选地，所述输出模块，用于若第一参考数量帧的目标图像中，动作分类结果和动作进程结果均满足条件，且对于相同动作分类结果的图像数量达到第二参考数量帧，则将所述相同的动作分类结果对应的动作作为识别结果进行输出。一方面，提供了一种动作识别装置，所述装置包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上任一所述的动作识别方法。一方面，提供了一种计本文档来自技高网...

【技术保护点】
1.一种动作识别方法，其特征在于，所述方法包括：/n获取多帧图像，检测所述多帧图像包含的对象的关键点信息；/n获取所述多帧图像包含的对象中的目标对象的关键点信息；/n根据所述目标对象的关键点信息，生成所述目标对象的关键点时序图；/n基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类和进程回归，得到每帧目标图像的动作分类结果和动作进程结果；/n根据所述每帧目标图像的动作分类结果和动作进程结果输出所述目标对象的动作识别结果。/n

【技术特征摘要】
1.一种动作识别方法，其特征在于，所述方法包括：
获取多帧图像，检测所述多帧图像包含的对象的关键点信息；
获取所述多帧图像包含的对象中的目标对象的关键点信息；
根据所述目标对象的关键点信息，生成所述目标对象的关键点时序图；
基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类和进程回归，得到每帧目标图像的动作分类结果和动作进程结果；
根据所述每帧目标图像的动作分类结果和动作进程结果输出所述目标对象的动作识别结果。


2.根据权利要求1所述的方法，其特征在于，所述检测所述多帧图像包含的对象的关键点信息，包括：
获取关键点识别模型，采用所述关键点识别模型对所述多帧图像包含的对象的关键点进行识别，得到所述多帧图像包含的对象的关键点信息。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对每帧图像进行尺寸调整；
采用所述关键点识别模型对所述多帧图像包含的对象的关键点进行识别，包括：
采用所述关键点识别模型对尺寸调整后的多帧图像包含的对象的关键点进行识别。


4.根据权利要求1所述的方法，其特征在于，所述获取所述多帧图像包含的对象中的目标对象的关键点信息，包括：
根据所述多帧图像包含的对象的关键点信息确定每个对象的外接矩形框；
根据每个对象的外接矩形框对目标对象进行跟踪匹配，基于跟踪匹配结果得到所述目标对象的关键点信息。


5.根据权利要求1所述的方法，其特征在于，所述根据所述目标对象的关键点信息，生成所述目标对象的关键点时序图，包括：
对所述目标对象的关键点信息按照时序进行累计，得到所述目标对象的关键点时序图，所述关键点时序图的行数为包含所述目标对象的图像的帧数，所述关键点时序图的列数为关键点个数，所述关键点时序图的通道数为坐标维度。


6.根据权利要求1所述的方法，其特征在于，所述基于所述关键点时序图对包含所述目标对象的每帧目标图像进行动作分类和进程回归，得到每帧目标图像的动作分类结果和动作进程结果，包括：
获取动作分类模型，采用所述动作分类模型，基于所述关键点时序图中包含所述目标对象的每帧目标图像的关键点信息对每帧目标图像进行动作分类，得到每帧目标图像的动作分类结果；
对于所述关键点时序图中的每帧目标图像，根据动作开始帧、动作结束帧的位置及每帧的位置确定每帧的动作进程，得到每帧目标图像的动作进程结果。


7.根据权利要求6所述的方法，其特征在于，所述采用所述动作分类模型，基于所述关键点时序图中包含所述目标对象的每帧目标图像的关键点信息对每帧目标图像进行动作分类，得到每帧目标图像的动作分类结果，包括：
采用所述动作分类模型提取所述关键点时序图中包含所述目标对象的每帧目标图像的骨架数据，根据每帧目标图像的骨架数据获取每帧目标图像的骨架运动数据；
提取所述骨架运动数据的特征，将提取的特征在通道维度上进行拼接，得到拼接后的特征；
基于拼接后的特征对每帧目标图像进行动作分类。


8.根据权利要求1所述的方法，其特征在于，所述根据所述每帧目标图像的动作分类结果和动作进程结果输出所述目标对象的动作识别结果，包括：
若第一参考数量帧的目标图像中，动作分类结果和动作进程结果均满足条件，且对于相同动作分类结果的图像数量达到第二参考数量帧，则将所述相同的动作分类结果对应的动作作为识别结果进行输...

【专利技术属性】
技术研发人员：吕瑞，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33