动作理解方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种动作理解方法、装置、计算机设备及存储介质，包括：获取待识别的目标图像，其中，所述目标图像中包括目标用户的肢体动作图像；提取所述目标图像中所述肢体动作图像中的关键点信息；将所述关键点信息输入至预设的动作分析模型中；读取所述动作分析模型中输出的分类结果，其中，所述分类结果中包括所述肢体动作图像的理解信息。由于，长短期记忆神经网络模型在图像处理时具有记忆性，因此，当对连续的用户动作进行判断识别，能够记忆上一个识别节点的处理结果，并将其与当前处理的目标图像内容进行关联性识别，使图像识别在时序上具有关联性，提高了动作分析模型对连续关联图像识别的准确率。

【技术实现步骤摘要】
动作理解方法、装置、计算机设备及存储介质
本专利技术实施例涉及图像处理领域，尤其是一种动作理解方法、装置、计算机设备及存储介质。
技术介绍
模拟人类实际神经网络的数学方法问世以来，人们已慢慢习惯了把这种人工神经网络直接称为神经网络。神经网络在系统辨识、模式识别、智能控制等领域有着广泛而吸引人的前景，特别在智能控制中，人们对神经网络的自学习功能尤其感兴趣，并且把神经网络这一重要特点看作是解决自动控制中控制器适应能力这个难题的关键钥匙之一。现有技术中，神经网络模型在图像处理领域具有较好的表现，通过采用大量同类型的图片反复的对神经网络模型进行训练，使神经网络模型学习到识别一种或多种图像类别的能力。神经网络模型能够对输入的图片进行较为准确的分类，但是，神经网络模型对图像的理解是独立的不具有连贯性的，因此，神经网络模型对于连续关联图像的判断准确率较低。
技术实现思路
本专利技术实施例提供一种能够基于图像的输入时序，对输入图像进行连贯性理解的动作理解方法、装置、计算机设备及存储介质。为解决上述技术问题，本专利技术创造的实施例采用的一个技术方案是：提供一种动作理解方法，包括：获取待识别的目标图像，其中，所述目标图像中包括目标用户的肢体动作图像；提取所述目标图像中所述肢体动作图像中的关键点信息；将所述关键点信息输入至预设的动作分析模型中，其中，所述动作分析模型为预先训练至收敛状态，用于对人体的肢体动作进行图像分析的长短期记忆神经网络模型；读取所述动作分析模型中输出的分类结果，其中，所述分类结果中包括所述肢体动作图像的理解信息。可选地，所述提取所述目标图像中所述肢体动作图像中的关键点信息包括：将所述目标图像输入至预设的图像提取模型中，其中，所述图像提取模型为预先训练至收敛状态，用于提取图像中关键点信息的神经网络模型；读取所述图像提取模型中输出的特征信息，其中，所述特征信息中包括所述肢体动作图像的关键点信息。可选地，所述读取所述动作分析模型中输出的分类结果之后，包括：将所述分类结果反馈输入至所述动作分析模型的输入接口，以使所述动作分析模型将所述分类结果传递至下一个动作理解的理解节点中，使动作理解在时序上具有连贯性。可选地，所述分类结果为所述人体在未来时序中的肢体动作的预测结果，所述将所述分类结果反馈输入至所述动作分析模型的输入接口之后，包括：获取预设的动作映射列表，其中，所述动作映射列表中记载动作行为与危险性数值之间的映射关系；以所述分类结果为检索条件在所述动作映射列表查找与所述动作行为具有映射关系的危险性数值；根据所述危险性数值识别所述目标用户在未来时序中的动作是否具有危险性，当所述目标用户在未来时序中的动作具有危险性时，执行预设的警示指令。可选地，所述动作分析模型的训练方法包括；获取标记有分类参照信息的训练样本数据，其中，所述训练样本数据包括若干人体关键点图像；将所述训练样本数据输入初始化的长短期记忆神经网络模型中，以获取所述训练样本数据的分类判断信息；比对所述训练样本数据内同一人体关键点图像中所述分类参照信息与所述分类判断信息是否一致；当所述分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述长短期记忆神经网络模型中的权重，至所述分类参照信息与所述分类判断信息一致时结束。可选地，所述若干人体关键点图像在时序上具有连贯性，所述分类判断信息为各个人体关键点图像的标定信息，且所述各个人体关键点图像的标定信息为下一个时序节点处人体关键点图像表征的肢体动作信息。可选地，所述当所述分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述长短期记忆神经网络模型中的权重，至所述分类参照信息与所述分类判断信息一致时结束之后，包括：统计所述长短期记忆神经网络模型输出的分类判断信息的准确率；将所述准确率与设定的第一阈值进行比对；当所述准确率大于所述第一阈值进时，所述长短期记忆神经网络模型训练至收敛状态。为解决上述技术问题，本专利技术实施例还提供一种动作理解装置，包括：获取模块，用于获取待识别的目标图像，其中，所述目标图像中包括目标用户的肢体动作图像；提取模块，用于提取所述目标图像中所述肢体动作图像中的关键点信息；处理模块，用于将所述关键点信息输入至预设的动作分析模型中，其中，所述动作分析模型为预先训练至收敛状态，用于对人体的肢体动作进行图像分析的长短期记忆神经网络模型；执行模块，用于读取所述动作分析模型中输出的分类结果，其中，所述分类结果中包括所述肢体动作图像的理解信息。可选地，所述动作理解装置还包括：第一处理子模块，用于将所述目标图像输入至预设的图像提取模型中，其中，所述图像提取模型为预先训练至收敛状态，用于提取图像中关键点信息的神经网络模型；第一执行子模块，用于读取所述图像提取模型中输出的特征信息，其中，所述特征信息中包括所述肢体动作图像的关键点信息。可选地，所述动作理解装置还包括：第二处理子模块，用于将所述分类结果反馈输入至所述动作分析模型的输入接口，以使所述动作分析模型将所述分类结果传递至下一个动作理解的理解节点中，使动作理解在时序上具有连贯性。可选地，所述动作理解装置还包括：第一获取子模块，用于获取预设的动作映射列表，其中，所述动作映射列表中记载动作行为与危险性数值之间的映射关系；第一查找子模块，用于以所述分类结果为检索条件在所述动作映射列表查找与所述动作行为具有映射关系的危险性数值；第二执行子模块，用于根据所述危险性数值识别所述目标用户在未来时序中的动作是否具有危险性，当所述目标用户在未来时序中的动作具有危险性时，执行预设的警示指令。可选地，所述动作理解装置还包括：第二获取子模块，用于获取标记有分类参照信息的训练样本数据，其中，所述训练样本数据包括若干人体关键点图像；第三处理子模块，用于将所述训练样本数据输入初始化的长短期记忆神经网络模型中，以获取所述训练样本数据的分类判断信息；第一比对子模块，用于比对所述训练样本数据内同一人体关键点图像中所述分类参照信息与所述分类判断信息是否一致；第三执行子模块，用于当所述分类参照信息与所述分类判断信息不一致时，反复循环迭代的更新所述长短期记忆神经网络模型中的权重，至所述分类参照信息与所述分类判断信息一致时结束。可选地，所述若干人体关键点图像在时序上具有连贯性，所述分类判断信息为各个人体关键点图像的标定信息，且所述各个人体关键点图像的标定信息为下一个时序节点处人体关键点图像表征的肢体动作信息。可选地，所述动作理解装置还包括：第四处理子模块，用于统计所述长短期记忆神经网络模型输出的分类判断信息的准确率；第二比对子模块，用于将所述准确率与设定的第一阈值进行比对；第四执行子模块，用于当所述准确率大于所述第一阈值进时，所述长短期记忆本文档来自技高网...

【技术保护点】
1.一种动作理解方法，其特征在于，包括：/n获取待识别的目标图像，其中，所述目标图像中包括目标用户的肢体动作图像；/n提取所述目标图像中所述肢体动作图像中的关键点信息；/n将所述关键点信息输入至预设的动作分析模型中，其中，所述动作分析模型为预先训练至收敛状态，用于对人体的肢体动作进行图像分析的长短期记忆神经网络模型；/n读取所述动作分析模型中输出的分类结果，其中，所述分类结果中包括所述肢体动作图像的理解信息。/n

【技术特征摘要】
1.一种动作理解方法，其特征在于，包括：
获取待识别的目标图像，其中，所述目标图像中包括目标用户的肢体动作图像；
提取所述目标图像中所述肢体动作图像中的关键点信息；
将所述关键点信息输入至预设的动作分析模型中，其中，所述动作分析模型为预先训练至收敛状态，用于对人体的肢体动作进行图像分析的长短期记忆神经网络模型；
读取所述动作分析模型中输出的分类结果，其中，所述分类结果中包括所述肢体动作图像的理解信息。


2.根据权利要求1所述的动作理解方法，其特征在于，所述提取所述目标图像中所述肢体动作图像中的关键点信息包括：
将所述目标图像输入至预设的图像提取模型中，其中，所述图像提取模型为预先训练至收敛状态，用于提取图像中关键点信息的神经网络模型；
读取所述图像提取模型中输出的特征信息，其中，所述特征信息中包括所述肢体动作图像的关键点信息。


3.根据权利要求1所述的动作理解方法，其特征在于，所述读取所述动作分析模型中输出的分类结果之后，包括：
将所述分类结果反馈输入至所述动作分析模型的输入接口，以使所述动作分析模型将所述分类结果传递至下一个动作理解的理解节点中，使动作理解在时序上具有连贯性。


4.根据权利要求3所述的动作理解方法，其特征在于，所述分类结果为所述人体在未来时序中的肢体动作的预测结果，所述将所述分类结果反馈输入至所述动作分析模型的输入接口之后，包括：
获取预设的动作映射列表，其中，所述动作映射列表中记载动作行为与危险性数值之间的映射关系；
以所述分类结果为检索条件在所述动作映射列表查找与所述动作行为具有映射关系的危险性数值；
根据所述危险性数值识别所述目标用户在未来时序中的动作是否具有危险性，当所述目标用户在未来时序中的动作具有危险性时，执行预设的警示指令。


5.根据权利要求1-4任意一项所述的动作理解方法，其特征在于，所述动作分析模型的训练方法包括；
获取标记有分类参照信息的训练样本数据，其中，所述训练样本数据包括若干人体关键点图像；
将所述训练样本数据输入初始化的长短期记忆神经网络模型中...

【专利技术属性】
技术研发人员：赵鑫，刘洛麒，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京;11