物体可供性的检测方法和装置制造方法及图纸

本公开提出一种物体可供性的检测方法和装置，涉及计算机领域。该方法包括：获取参考图像和待检测图像，所述参考图像包括人和人动作的第一物体；提取所述参考图像的特征和所述待检测图像的特征；根据所述参考图像的特征，提取所述参考图像中人对第一物体的动作意图信息；根据所述参考图像中人对第一物体的动作意图信息和所述待检测图像的特征，将所述动作意图信息迁移到所述待检测图像，从所述待检测图像中分割出能够完成所述动作意图信息的第二物体。提高未见过物体的可供性的检测能力。提高未见过物体的可供性的检测能力。提高未见过物体的可供性的检测能力。

【技术实现步骤摘要】
物体可供性的检测方法和装置


[0001]本公开涉及计算机领域，特别涉及一种物体可供性的检测方法和装置。

技术介绍

[0002]可供性(Affordance)是由心理学吉普森于1966年提出的，它描述了如何直接感知环境中物体的内在价值和意义，并解释了这些信息如何与环境提供的有机体的行动可能性相联系。
[0003]在实际应用中，感知未知环境中各个物体的可供性是非常重要的，在场景理解、动作识别、人机交互等方面都有着重要的应用价值。

技术实现思路

[0004]本公开实施例基于包括人和物体的参考图像来捕获人对物体的动作意图，并将其迁移到所有待检测图像，从中分割出能完成该动作意图的所有物体，提高未见过物体的可供性的检测能力。此外，通过协同方法捕获具有相同可供性的不同物体之间的共同特征(即内在联系)，基于共同特征检测具有该可供性的多种物体，提高物体可供性检测的鲁棒性。
[0005]本公开一些实施例提出一种物体可供性的检测方法，包括：
[0006]获取参考图像和待检测图像，所述参考图像包括人和人动作的第一物体；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体可供性的检测方法，其特征在于，包括：获取参考图像和待检测图像，所述参考图像包括人和人动作的第一物体；提取所述参考图像的特征和所述待检测图像的特征；根据所述参考图像的特征，提取所述参考图像中人对第一物体的动作意图信息；根据所述参考图像中人对第一物体的动作意图信息和所述待检测图像的特征，将所述动作意图信息迁移到所述待检测图像，从所述待检测图像中分割出能够完成所述动作意图信息的第二物体。2.根据权利要求1所述的方法，其特征在于，提取所述参考图像中人对第一物体的动作意图信息，包括：根据所述参考图像中人的特征表示，对所述参考图像的特征进行加权运算，得到第一输出；根据所述参考图像中第一物体的特征表示，对所述参考图像的特征进行加权运算，得到第二输出；根据所述参考图像中人的特征表示和第一物体的特征表示，获得描述人对第一物体动作的相关位置的第三输出；根据所述第一输出、所述第二输出、所述第三输出，确定所述参考图像中人对第一物体的动作意图编码。3.根据权利要求2所述的方法，其特征在于，根据所述参考图像中人的特征表示，对所述参考图像的特征进行加权运算，得到第一输出，包括：将所述参考图像中人的特征表示池化后与所述参考图像的特征每个位置做相关运算，相关运算结果经过归一化后得到每个位置的权重，每个位置的权重与所述参考图像的特征相乘得到第一输出。4.根据权利要求2所述的方法，其特征在于，根据所述参考图像中第一物体的特征表示，对所述参考图像的特征进行加权运算，得到第二输出，包括：将所述参考图像中第一物体的特征表示池化后与所述参考图像的特征每个位置做相关运算，相关运算结果经过归一化后得到每个位置的权重，每个位置的权重与所述参考图像的特征相乘得到第二输出。5.根据权利要求2所述的方法，其特征在于，根据所述参考图像中人的特征表示和第一物体的特征表示，获得描述人对第一物体动作的相关位置的第三输出，包括：将第一物体的特征表示池化后与人的特征表示做相关运算，相关运算结果经过卷积处理，获得描述人对第一物体动作的相关位置的第三输出。6.根据权利要求2所述的方法，其特征在于，根据所述第一输出、所述第二输出、所述第三输出，确定所述参考图像中人对第一物体的动作意图编码，包括：将所述第三输出与所述第一输出相乘并池化，得到第一动作意图子信息；将所述第三输出与所述第二输出相乘并池化，得到第二动作意图子信息；将第一动作意图子信息和第二动作意图子信息相加，得到所述参考图像中人对第一物体的动作意图编码。7.根据权利要求2所述的方法，其特征在于，所述参考图像中人的边框与所述参考图像的特征相乘，得到所述参考图像中人的特征
表示；所述参考图像中第一物体的边框与所述参考图像的特征相乘，得到所述...

【专利技术属性】
技术研发人员：陶大程，翟伟，
申请(专利权)人：北京沃东天骏信息技术有限公司，
类型：发明
国别省市：