一种人物交互检测方法及装置制造方法及图纸

本申请提供了一种人物交互检测方法，包括：本申请提供的人物交互检测方法，包括：获取待检测图像的视觉模态向量；根据所述物体对象的视觉向量，获取所述物体对象对应的语义模态向量；对所述视觉模态向量和所述语义模态向量进行模态间校准；根据校准后的视觉模态向量和校准后的语义模态向量预测所述待检测图像中的所述人物对象针对所述物体对象的动词类别。该方法通过获取待检测图像的视觉模态向量及语义模态向量，并对视觉模态向量和语义模态向量进行校准与融合，能够将待检测图像中的物体对象与人物对象针对物体对象的动作紧密关联，提高了人物交互检测的精准度。提高了人物交互检测的精准度。提高了人物交互检测的精准度。

【技术实现步骤摘要】
一种人物交互检测方法及装置


[0001]本申请涉及计算机
，尤其涉及一种人物交互检测方法、检测装置、虚拟现实设备、电子设备以及计算机可读存储介质。

技术介绍

[0002]随着计算机科技的快速发展，利用计算机技术对视频或图片中的图像进行检测被广泛应用于智能机器人、直播/短视频主体商品检测、危险行为检测、信息检测、人机交互等多种领域。人物交互检测一般包括对图像中的人物对象、物体对象的检测，还包括对人物
‑
物体的交互关系的检测。
[0003]现有的人物交互检测方法通常包括两个部分：人物对象、物体对象检测部分和人物/物体交互动作检测部分。在人物交互检测过程中，这两个部分的检测是独立进行的，往往会导致检测出的人物对象针对物体对象的动作与物体对象无法关联，检测结果与真实图像不符，检测结果不准确。

技术实现思路

[0004]有鉴于此，本申请提供了一种人物交互检测方法以及装置，以解决现有技术中检测出的人物对象针对物体对象的动作与物体对象无法关联，检测结果与真实图像不符，检测结果不准确的技术问题。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人物交互检测方法，其特征在于，包括：获取待检测图像的视觉模态向量；所述视觉模态向量，包括：人物对象的视觉向量，及物体对象的视觉向量；根据所述物体对象的视觉向量，获取所述物体对象对应的语义模态向量；所述语义模态向量，包括：所述物体对象对应的候选动词的动词向量；对所述视觉模态向量和所述语义模态向量进行模态间校准，获得校准后的视觉模态向量和校准后的语义模态向量；根据所述校准后的视觉模态向量和所述校准后的语义模态向量预测所述待检测图像中的所述人物对象针对所述物体对象的动词类别。2.根据权利要求1所述的方法，其特征在于，所述对所述视觉模态向量和所述语义模态向量进行模态间校准，获得校准后的视觉模态向量和校准后的语义模态向量，包括：采用通道注意力机制对所述视觉模态向量和所述语义模态向量进行对应校准。3.根据权利要求1所述的方法，其特征在于，所述对所述视觉模态向量和所述语义模态向量进行模态间校准，获得校准后的视觉模态向量和校准后的语义模态向量，还包括：对所述视觉模态向量和所述语义模态向量进行模态间校准后，采用信息传递机制对所述视觉模态向量进行模态内校准。4.根据权利要求1所述的方法，其特征在于，所述对所述视觉模态向量和所述语义模态向量进行模态间校准，获得校准后的视觉模态向量和校准后的语义模态向量，还包括：对所述视觉模态向量和所述语义模态向量进行模态间校准后，采用信息传递机制对所述语义模态向量进行模态内校准。5.根据权利要求1所述的方法，其特征在于，所述根据所述校准后的视觉模态向量和所述校准后的语义模态向量预测所述待检测图像中的所述人物对象针对所述物体对象的动词类别，包括：将所述校准后的视觉模态向量与所述校准后的语义模态向量进行融合处理，得到候选动词的动词特征；根据所述候选动词的动词特征预测所述待检测图像中的所述人物对象针对所述物体对象的动词类别。6.根据权利要求5所述的方法，其特征在于，所述将所述校准后的视觉模态向量与所述校准后的语义模态向量进行融合处理，得到候选动词的动词特征，包括：将所述校准后的视觉模态向量与所述校准后的语义模态向量作为序列元素生成所述候选动词的动词序列。7.根据权利要求1所述的方法，其特征在于，所述根据所述物体对象的视觉向量，获取所述物体对象对应的语义模态向量，包括：获取所述物体对象对应的候选动词的原始向量；获取所述物体对象对应的候选动词相对于所述物体对象的动词条件概率；根据所述候选动词的原始向量和所述动词条件概率，获取所述物体对象对应的语义模态向量。8.一种人物交互检测方法，其特征在于，包括：获取待检测图像的视觉模态向量；所述视觉模态向量，包括：人物对象的视觉向量，及物体对象的视觉向量；
获取所述物体对象对应的候选动词的原始向量，并获取所述物体对象对应的候选动词相对于所述物体对象的动词条件概率；根据所述候选动词的原始向量和所述动词条件概率获取所述物体对象对应的语义模态向量；所述语义模态向量，包括：所述物体对象对应的候选动词的动词向量；根据所述视觉模态向量与所述语义模态向量，获取所述人物对象针对所述物体对象的动词类别。9.根据权利要求8所述的方法，其特征在于，所述获取所述物体对象对应的候选动词的原始向量，包括：根据所述物体对象的视觉向量从动词向量数据库中获取所述候选动词的原始向量。10.根据权利要求8所述的方法，其特征在于，所述获取所述物体对象对应的候选动词相对于所述物体对象的动词条件概率，包括：根据所述物体对象的视觉向量获取所述候选动词相对于所述物体对象的动词条件概率。11.根据权利要求8所述的方法，其特征在于，所述根据所述候选动词的原始向量和所述动词条件概率获取所述物体对象对应的语义模态向量，包括：将所述候选动词的原始向量与所述动词条件概率的乘积作为所述物体对象对应的语...

【专利技术属性】
技术研发人员：袁杭杰，王莽，徐良鹏，唐铭谦，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：