社交关系识别方法、装置、设备及存储介质制造方法及图纸

本申请是关于一种社交关系识别方法、装置、设备及存储介质，具体涉及图像识别领域。所述方法包括：获取目标图像的目标图像特征，并在目标图像特征中提取出各个目标人物特征；根据各个目标人物特征以及目标图像特征，构建人物特征关系图；根据人物特征关系图中的各个节点，生成各个目标查询向量将目标图像特征进行维度变换后，通过编码器进行编码处理，获得目标编码向量；根据各个目标查询向量以及目标编码向量，通过具有自注意力层的解码器进行解码处理，获得各个目标人物之间的社交关系。上述方案可以在目标图像的整体特征中更加关注与人物有关的特征，从而提高获取到的社交关系的准确性。准确性。准确性。

【技术实现步骤摘要】
社交关系识别方法、装置、设备及存储介质


[0001]本专利技术涉及计算机视觉领域，具体涉及一种社交关系识别方法、装置、设备及存储介质。

技术介绍

[0002]图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。
[0003]在社交关系类型识别的任务中，给定一张图片以及图片中多个人体框的坐标，模型需要预测出图中每两个人体框对应的人物之间的社交关系类型。常见的社交关系类型包含朋友、家人、情侣、不认识等。该任务需要模型对图片进行高级的语义理解，例如理解场景，物体以及人物之间的交互动作。在社交关系类型预测这一领域，传统的使用注意力机制的模型，先使用物体检测算法检测出物体，再在检测出的物体上面使用注意力机制，判断检测的物体之间的关系。
[0004]上述方案中，先通过目标检测检测算法检测出目标，再在检测出的目标上面使用注意力机制，在确定社交关系时无法考虑到场景的影响，社交关系识别准确率较低。

技术实现思路

[0005]本申请提供了一种社交关系识别方法、装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种社交关系识别方法，其特征在于，所述方法包括：获取目标图像；通过特征提取模型对目标图像进行特征提取，获得目标图像特征，并在所述目标图像特征中提取出各个目标人物特征；根据所述各个目标人物特征以及所述目标图像特征，构建人物特征关系图；所述人物特征关系图中的各个节点用于指示各个目标人物的图像特征；根据所述人物特征关系图中的所述各个节点，生成各个目标查询向量；所述目标查询向量用于指示人物特征关系图中两两节点之间的关系；将所述目标图像特征进行维度变换后，通过编码器进行编码处理，获得目标编码向量；根据所述各个目标查询向量以及目标编码向量，通过具有自注意力层的解码器进行解码处理，获得所述各个目标人物之间的社交关系。2.根据权利要求1所述的方法，其特征在于，所述在所述目标图像特征中提取出各个目标人物特征，包括：通过兴趣区域池化层ROIP对所述目标图像特征进行数据处理，获得各个兴趣区域；将所述各个兴趣区域中的图像特征进行池化操作，分别获得各个目标人物特征。3.根据权利要求1所述的方法，其特征在于，所述根据所述各个所述目标人物特征以及所述目标图像特征，构建人物特征关系图，包括：将所述各个目标人物特征作为所述各个节点的初始特征；通过全局平均池化层所述目标图像特征进行数据处理，并将处理结果作为所述各个节点之间的边的初始特征。4.根据权利要求3所述的方法，其特征在于，所述根据所述人物特征关系图中的所述各个节点，生成各个目标查询向量之前，还包括：对所述人物特征关系图，进行迭代图卷积操作，以更新所述人物特征关系图中的各个节点的特征；所述根据所述人物特征关系图中的所述各个节点两两之间的节点特征，生成各个目标查询向量，包括：将更新后的人物特征关系图中，两两节点之间进行向量拼接，获得各个所述目标查询向量。5.根据权利要求4所述的方法，其特征在于，所述对所述人物特征关系图，进行迭代图卷积操作，包括：根据第T轮中第一节点的特征、第T轮中第二节点的特征以及第T轮中所述第一节点与所述第二节点之间的边的特征进行运算，获取第T+1轮中第一节点与所述第二节点之间的边的特征；所述第一节点与所述第二节点是所述人物特征关系图中的任意两个节点；根据第T轮第一节点的特征、第T轮中与所述第一节点相邻的各个目标节点的特征，以及第T轮中各个所述目标节点与所述第一节点之间的边特征进行运算，获得第T+1轮中第一节点的特征。6.根据权利要求1至5任一所述的方法，...

【专利技术属性】
技术研发人员：蚁韩羚，唐锲，黄坤，余晓填，王孝宇，陈宁，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：