一种基于新型递进式图推理的社交关系识别方法技术

本发明专利技术提出了一种基于新型递进式图推理的社交关系识别方法。目前基于图像的方法主要是在二元层面识别社会关系。事实上，社会关系结构是分层嵌套的，即个体和二元组是嵌套在群体结构中的。然而，现有的基于计算机视觉的研究没有考虑到层次嵌套结构，因此忽略了个体、二元组和群体之间的内在交互，导致关系推理效果不佳。为了解决这一问题，提出了一种新颖的递进式图推理模型。方法包括：人物之间亲密度的计算方法，构建个体‑二元图和二元‑群体图来加强社交关系的推理，利用Transformer融合视觉特征和图推理知识以形成社会关系的综合表示。实验证明，该方法具有很好的实用性，可广泛应用于社交媒体图像中社交关系的准确识别。

【技术实现步骤摘要】

本专利技术涉及计算机视觉领域中的图像识别问题，尤其是涉及一种基于多媒体图像的社交关系识别方法。

技术介绍

1、人存在于社会中难免会与周围的人产生交互，这些多种多样的交互形成了不同的社交关系，具体而言社会关系是在两个或更多人互动时形成的。有效和准确地识别这些关系不仅对社会心理学研究至关重要，而且对改善和保持身体和心理健康也很重要。此外，社会关系还被广泛应用于测量城市空间的活力、预测时尚趋势、探索人类的轨迹等诸多领域。

2、随着多媒体和视觉技术的快速发展，越来越多的研究开始关注图像中人与人之间社会关系。目前，主流的基于图像的方法可以分为两个框架：直接利用人物和场景的视觉特征分别预测每一对人的关系，或者利用图神经网络探索多对人物之间的逻辑限制。具体而言，这些方法更侧重于使用个体(如面部、服装、姿势)、物体(如包、杯子)和场景的特征来识别成对的社会关系，而忽略了个人、二元组和群体之间的内在交互。换言之，很少有研究探讨人类集体是如何影响其中的个体和二元组的。这样存在的问题是显而易见的，现有的方法忽略了一些隐含在图像中多层次的信息，从而导致所识别的社交关系本文档来自技高网...

【技术保护点】

1.一种基于新型递进式图推理的社交关系识别方法，其特征在于：

2.如权利要求1所述的基于新型递进式图推理的社交关系识别方法，其特征在于在步骤(3)中的亲密度计算方法，该方法将亲密度的大小定义为：每对人物之间的亲密度大小与人物之间距离的平方成反比，与人物的社交影响力成正比；该公式的输入为两个单独个体的视觉特征和两者之间的欧氏距离，即：个体的视觉特征作为人物的社交影响力，人物之间的欧氏距离作为人物之间的距离。

3.如权利要求1所述的基于新型递进式图推理的社交关系识别方法，其特征在于在步骤(4)中的递进式图推理框架，该结构由三部分组成：个体交互特征计算、个体-二元图推理...

【技术特征摘要】

1.一种基于新型递进式图推理的社交关系识别方法，其特征在于：

2.如权利要求1所述的基于新型递进式图推理的社交关系识别方法，其特征在于在步骤(3)中的亲密度计算方法，该方法将亲密度的大小定义为：每对人物之间的亲密度大小与人物之间距离的平方成反比，与人物的社交影响力成正比；该公式的输入为两个单独个体的视觉特征和两者之间的欧氏距离，即：个体的视觉特征作为人物的社交影响力，人物之间的欧氏距离作为人物之间的距离。

3.如权利要求1所述的基于新型递进式图推理的社交关系识别方法，其特征在于在步骤(4)中的递进式图推理框架，该结构由三部分组成：个体交互特征计算、个体-二元图推理和二元-群组图推理；具体而言：该模块首先将...

【专利技术属性】
技术研发人员：卿粼波，唐旺，陈洪刚，任超，李林东，王昱晨，
申请(专利权)人：四川大学，
类型：发明
国别省市：