交互检测模型的训练方法、交互检测方法及相关设备技术

技术编号:34534190 阅读:27 留言:0更新日期:2022-08-13 21:28
本申请公开了一种交互检测模型的训练方法、交互检测方法及相关设备,该方法包括:基于交互检测模型的特征提取网络对样本视频数据中样本图像进行处理,得到样本图像中样本人体的样本人体特征;基于交互检测模型的动作分类网络对样本人体特征进行分类,得到样本人体的第一预测交互动作;基于样本物体的二维位置和样本人体的形态参数进行定位,得到样本物体的三维位置;基于形态参数和三维位置进行预测,得到样本物体的预测分值;基于样本交互动作与第一预测交互动作的差异,以及样本分值与预测分值的差异,调整交互检测模型的网络参数。上述方案,能够提高人物交互关系的检测精度。能够提高人物交互关系的检测精度。能够提高人物交互关系的检测精度。

【技术实现步骤摘要】
交互检测模型的训练方法、交互检测方法及相关设备


[0001]本申请涉及计算机视觉
,特别是涉及一种交互检测模型的训练方法、交互检测方法及相关设备。

技术介绍

[0002]时空人物关系检测旨在检测视频中发生的人物交互关系,时空人物关系检测对于视频行为理解来说尤为重要。在日常的人物交互过程中,人可能会和周围环境中存在的各种各样的物体产生交互,例如,在做家务时可能会拿起或者触碰数十种不同的家具。
[0003]目前,对时空人物关系检测的方式通常只关注人本身的动作,限制了人物交互关系检测精度的提升。

技术实现思路

[0004]本申请至少提供一种交互检测模型的训练方法、交互检测方法及相关设备。
[0005]本申请第一方面提供了一种交互检测模型的训练方法,该方法包括:基于交互检测模型的特征提取网络对样本视频数据中样本图像进行处理,得到样本图像中样本人体的样本人体特征;其中,样本视频数据标注有表征样本物体是否与样本人体发生交互的样本分值,以及与样本物体发生交互的样本人体的样本交互动作;基于交互检测模型的动作分类网络对样本人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种交互检测模型的训练方法,其特征在于,包括:基于交互检测模型的特征提取网络对样本视频数据中样本图像进行处理,得到所述样本图像中样本人体的样本人体特征;其中,所述样本视频数据标注有表征样本物体是否与所述样本人体发生交互的样本分值,以及与所述样本物体发生交互的样本人体的样本交互动作;基于所述交互检测模型的动作分类网络对所述样本人体特征进行分类,得到所述样本人体的第一预测交互动作;基于所述样本物体的二维位置和所述样本人体的形态参数进行定位,得到所述样本物体的三维位置;其中,所述二维位置基于所述样本人体特征定位得到;基于所述形态参数和所述三维位置进行预测,得到所述样本物体的预测分值;其中,所述预测分值表示所述样本物体存在人物交互的可能性;基于所述样本交互动作与所述第一预测交互动作的差异,以及所述样本分值与所述预测分值的差异,调整所述交互检测模型的网络参数。2.根据权利要求1所述的方法,其特征在于,所述基于所述样本人体特征定位得到二维位置,包括:基于所述样本人体特征和所述样本物体的样本物体特征共同定位得到所述样本物体的二维位置。3.根据权利要求2所述的方法,其特征在于,所述基于所述样本人体特征和所述样本物体的样本物体特征共同定位得到所述样本物体的二维位置,包括:基于所述样本图像的样本图像特征和所述样本图像中检测到的物体区域,提取得到所述物体区域中所述样本物体的样本物体特征;基于所述样本物体特征和所述样本人体特征进行预测,得到交互分值;其中,所述交互分值表示所述样本人体特征所属的样本人体与所述物体区域中所述样本物体的交互紧密程度;基于满足预设条件的交互分值所对应的物体区域,得到所述样本物体的二维位置。4.根据权利要求3所述的方法,其特征在于,所述基于所述样本图像的样本图像特征和所述样本图像中检测到的物体区域,提取得到所述物体区域中所述样本物体的样本物体特征,包括:基于所述样本图像进行物体检测,得到若干候选区域;基于所述第一预测交互动作,选择所述候选区域作为所述物体区域;基于所述物体区域,从所述样本图像特征提取所述样本物体特征。5.根据权利要求1至4任一项所述的方法,其特征在于,所述基于交互检测模型的特征提取网络对样本视频数据中样本图像进行处理,得到所述样本图像中样本人体的样本人体特征,包括:基于所述特征提取网络提取所述样本图像的样本图像特征,并对所述样本图像进行人体检测,得到所述样本人体的人体区域;基于所述人体区域,从所述样本图像特征提取所述样本人体特征。6.根据权利要求1至5任一项所述的方法,其特征在于,所述基于所述样本物体的二维位置和所述样本人体的形态参数进行定位,得到所述样本物体的三维位置,包括:
基于所述二维位置,预测所述样本物体在三维空间的初始位置;基于所述初始位置和所述形态参数,构建以所述初始位置的修正参数为优化目标的动作分类损失;基于所述动作分类损失,优化得到所述修正参数,并基于所述修正参数对所述初始位置进行位置修正,得到所述三维位置。7.根据权利要求6任一项所述的方法,其特征在于,在所述基于所述样本交互动作与所述第一预测交互动作的差异,以及所述样本分值与所述预测分值的差异,调整所述交互检测模型的网络参数之前,所述方法还包括:基于所述形态参数和所述初始位置进行预测,得到所述样本人体的第二预测交互动作;所述基于所述样本交互动作与所述第一预测交互动作的差异,以及所述样本分值与所述预测分值的差...

【专利技术属性】
技术研发人员:苏海昇范弘炜
申请(专利权)人:上海商汤智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1