动作识别方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种动作识别方法，所述方法包括：获取待识别图像；从所述待识别图像中提取得到目标图像特征，所述目标图像特征关联了目标对象执行动作的关键部位、及与所述关键部位具有关联关系的关联部位；根据所述目标图像特征，对所述待识别图像中所述目标对象执行动作的部位进行检测，得到部位检测结果；根据所述部位检测结果，对所述待识别图像中所述目标对象执行的动作进行识别，得到动作识别结果。采用本申请所提供的方法，能够有效地解决现有技术中存在的动作识别准确率不高的问题。题。题。

【技术实现步骤摘要】
动作识别方法、装置、电子设备及存储介质


[0001]本申请涉及图像识别
，具体涉及一种动作识别方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，动作识别主要应用在公共场所、医院、安全、控制等交互/监测场景，以此来提供一种更为直观、自然友好并更为人们所熟悉的交互/监测方式。可以理解，尤其是在一些交互场景中，例如家居场景中，为了更好地控制智能家居设备，可以为居家用户设计较为复杂的动作，以此区别不同的智能家居设备或者控制相同的智能家居设备执行不同操作。当然，也存在一些交互场景中，例如博物馆、展览馆等公共场所，由于参观者都是未经训练的用户，为其设计的动作大都简单直观。
[0003]现有的动作识别通常采用检测+分类的方法，然而，无论是较为复杂的动作，还是简单直观的动作，在针对执行动作的关键部位(例如手)进行检测时，尤其是在弱光或者存在一些与关键部位相似的物体(例如手玩具)情况下，很容易发生关键部位的误检测，进而使得在动作分类时，基于前述误检测结果也容易发生动作的误识别，最终造成交互场景中出现误触发的现象。
[0004]由此可见，现有的动作识别仍存在准确率不高的缺陷。

技术实现思路

[0005]本申请各实施例提供了一种动作识别方法、装置、电子设备及存储介质，可以解决相关技术中存在的动作识别的准确率不高的问题。
[0006]本申请采用的技术方案如下：
[0007]根据本申请实施例的一个方面，一种动作识别方法，包括：获取待识别图像；从所述待识别图像中提取得到目标图像特征，所述目标图像特征关联了目标对象执行动作的关键部位、及与所述关键部位具有关联关系的关联部位；根据所述目标图像特征，对所述待识别图像中所述目标对象执行动作的部位进行检测，得到部位检测结果；根据所述部位检测结果，对所述待识别图像中所述目标对象执行的动作进行识别，得到动作识别结果。
[0008]根据本申请实施例的一个方面，一种动作识别装置，包括：图像获取模块，用于获取待识别图像；特征提取模块，用于从所述待识别图像中提取得到目标图像特征，所述目标图像特征关联了目标对象执行动作的关键部位、及与所述关键部位具有关联关系的关联部位；部位检测模块，用于根据所述目标图像特征，对所述待识别图像中所述目标对象执行动作的部位进行检测，得到部位检测结果；动作识别模块，用于根据所述部位检测结果，对所述待识别图像中所述目标对象执行的动作进行识别，得到动作识别结果。
[0009]在一个示例性的实施例中，部位检测模块包括：关键部位检测单元，用于根据所述目标图像特征，对所述待识别图像中所述目标对象执行动作的关键部位进行检测，得到关键部位检测结果；关联部位检测单元，用于根据所述目标图像特征，对所述待识别图像中与
所述关键部位具有关联关系的关联部位进行检测，得到关联部位检测结果；部位检测结果确定单元，用于根据所述关键部位检测结果和所述关联部位检测结果，确定所述部位检测结果。
[0010]在一个示例性的实施例中，关联部位检测单元包括：位置确定子单元，用于根据所述目标图像特征，确定所述关联部位在所述待识别图像中相对于所述关键部位的相对位置；关联部位确定子单元，用于基于所述关联部位相对于所述关键部位的相对位置，确定所述关联部位检测结果。
[0011]在一个示例性的实施例中，部位检测模块包括：位置定位单元，用于基于所述目标图像特征，对所述目标对象执行动作的关键部位在所述待识别图像中的区域进行定位，得到所述目标对象执行动作的关键部位的位置；关键部位确定单元，用于根据所述目标对象执行动作的关键部位的位置，确定关键部位检测结果；结果确定单元，用于根据所述关键部位检测结果确定所述部位检测结果。
[0012]在一个示例性的实施例中，动作识别模块包括：区域确定单元，用于根据所述部位检测结果，确定所述目标对象执行动作的部位在所述待识别图像中的区域；类别预测单元，用于基于所述目标对象执行动作的部位在所述待识别图像中的区域，对所述待识别图像中所述目标对象执行的动作进行动作类别预测，得到所述目标对象执行动作的动作类别；动作识别结果确定单元，用于根据所述目标对象执行动作的动作类别，确定所述动作识别结果。
[0013]在一个示例性的实施例中，所述动作识别结果通过调用动作识别模型得到；所述动作识别模型通过训练模块得到；所述训练模块，用于基于至少一个样本图像，对初始的机器学习模型进行训练；所述训练模块至少包括：第一监督训练单元，用于在部位检测阶段，基于所述样本图像携带的第一标签和第二标签，对所述机器学习模型进行关于关键部位检测和关联部位检测的监督训练，所述第一标签用于指示所述样本对象执行动作的关键部位的位置，所述第二标签用于指示关联部位相对于关键部位的相对位置。
[0014]在一个示例性的实施例中，所述第一监督训练单元包括：特征提取子单元，用于从所述样本图像中提取得到样本图像特征；第一预测子单元，用于根据所述样本图像特征，预测所述样本图像中所述样本对象执行动作的关键部位的位置，得到第一预测信息，并预测关联部位在所述样本图像中相对于所述关键部位的相对位置，得到第二预测信息；第一损失确定子单元，用于基于所述第一标签与所述第一预测信息之间的差异确定第一损失，并基于所述第二标签与所述第二预测信息之间的差异确定第二损失；第一参数调整子单元，用于根据所述第一损失和所述第二损失，调整所述机器学习模型对应于所述部位检测阶段的参数。
[0015]在一个示例性的实施例中，所述训练模块还包括：第二监督训练单元，用于在动作分类阶段，基于所述样本图像携带的第三标签、及所述部位检测阶段的监督训练结果，对所述机器学习模型进行关于动作识别的监督训练，所述第三标签用于指示所述样本对象执行动作的动作类别；所述第二监督训练单元包括：第二预测子单元，用于根据所述监督训练结果中的所述第一预测信息和所述第二预测信息，预测所述样本图像中所述样本对象执行动作的动作类别，得到第三预测信息；第二损失确定子单元，用于基于所述第三标签与所述第三预测信息之间的差异确定第三损失；第二参数调整子单元，用于根据所述第三损失，和/
或，所述监督训练结果中的所述第一损失和所述第二损失，调整所述机器学习模型对应于所述动作分类阶段的参数；模型生成子单元，用于当训练停止条件满足时，得到完成训练的机器学习模型，作为所述动作识别模型。
[0016]在一个示例性的实施例中，所述装置还包括：损失反馈模块，用于将所述第三损失反馈至所述部位检测阶段；第一参数调整子单元包括：联合调整子单元，用于根据所述第一损失、所述第二损失和所述第三损失，调整所述机器学习模型对应于所述部位检测阶段的参数。
[0017]在一个示例性的实施例中，所述第一预测信息是通过所述机器学习模型中的关键部位检测分支预测得到的，所述第二预测信息是通过所述机器学习模型中的关联部位检测分支预测得到的；联合调整子单元包括：第一分支参数调整子单元，用于根据所述第一损失、所述第二损失和所述第三损失，调整所述关键部位检测分支的参数；及第二分支参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种动作识别方法，其特征在于，所述方法包括：获取待识别图像；从所述待识别图像中提取得到目标图像特征，所述目标图像特征关联了目标对象执行动作的关键部位、及与所述关键部位具有关联关系的关联部位；根据所述目标图像特征，对所述待识别图像中所述目标对象执行动作的部位进行检测，得到部位检测结果；根据所述部位检测结果，对所述待识别图像中所述目标对象执行的动作进行识别，得到动作识别结果。2.如权利要求1所述的方法，其特征在于，所述根据所述目标图像特征，对所述待识别图像中所述目标对象执行动作的部位进行检测，得到部位检测结果，包括：基于所述目标图像特征，对所述目标对象执行动作的关键部位在所述待识别图像中的区域进行定位，得到所述目标对象执行动作的关键部位的位置；根据所述目标对象执行动作的关键部位的位置，确定关键部位检测结果；根据所述关键部位检测结果确定所述部位检测结果。3.如权利要求1所述的方法，其特征在于，所述根据所述目标图像特征，对所述待识别图像中所述目标对象执行动作的部位进行检测，得到部位检测结果，包括：根据所述目标图像特征，对所述待识别图像中所述目标对象执行动作的关键部位进行检测，得到关键部位检测结果；根据所述目标图像特征，对所述待识别图像中与所述关键部位具有关联关系的关联部位进行检测，得到关联部位检测结果；根据所述关键部位检测结果和所述关联部位检测结果，确定所述部位检测结果。4.如权利要求3所述的方法，其特征在于，所述根据所述目标图像特征，对所述待识别图像中与所述关键部位具有关联关系的关联部位进行检测，得到关联部位检测结果，包括：根据所述目标图像特征，确定所述关联部位在所述待识别图像中相对于所述关键部位的相对位置；基于所述关联部位相对于所述关键部位的相对位置，确定所述关联部位检测结果。5.如权利要求1所述的方法，其特征在于，所述根据所述部位检测结果，对所述待识别图像中所述目标对象执行的动作进行识别，得到动作识别结果，包括：根据所述部位检测结果，确定所述目标对象执行动作的部位在所述待识别图像中的区域；基于所述目标对象执行动作的部位在所述待识别图像中的区域，对所述待识别图像中所述目标对象执行的动作进行动作类别预测，得到所述目标对象执行动作的动作类别；根据所述目标对象执行动作的动作类别，确定所述动作识别结果。6.如权利要求1至5任一项所述的方法，其特征在于，所述动作识别结果通过调用动作识别模型得到；所述动作识别模型是基于至少一个样本图像，对初始的机器学习模型进行训练得到的；所述训练至少包括：在部位检测阶段，基于所述样本图像携带的第一标签和第二标签，对所述机器学习模型进行关于关键部位检测和关联部位检测的监督训练，所述第一标签用于指示所述样本对
象执行动作的关键部位的位置，所述第二标签用于指示关联部位相对于关键部位的相对位置。7.如权利要求6所述的方法，其特征在于，所述在部位检测阶段，基于所述样本图像携带的第一标签和第二标签，对所述机器学习模型进行关于关键部位检测和关联部位检测的监督训练，包括：从所述样本图像中提取得到样本图像特征；根据所述样本图像特征，预...

【专利技术属性】
技术研发人员：张纯阳，
申请(专利权)人：深圳绿米联创科技有限公司，
类型：发明
国别省市：