一种人物社交关系演化捕捉的方法、装置及相关产品制造方法及图纸

本申请公开了一种人物社交关系演化捕捉的方法、装置及相关产品。该方法包括：首先将目标视频处理成视频剪辑帧序列，并根据预设算法，提取视频剪辑帧序列中每个视频剪辑帧的多视角视觉特征，生成剪辑级图。然后基于第一预设注意力机制处理剪辑级图，确定场景级人物特征和人物对特征。利用上述特征确定人物角色的场景级社交关系图。如此，通过视频剪辑帧序列、预设算法和第一预设注意力机制处理，使得获取的场景级人物特征和人物对特征包含多视角和多模态信息，且所述特征包含了时间维度的变化。由此，克服了现有技术只考虑短视频中的人物关系识别而忽略时序演化因素带来的技术问题，提高了社交关系演化捕捉的准确度。提高了社交关系演化捕捉的准确度。提高了社交关系演化捕捉的准确度。

【技术实现步骤摘要】
一种人物社交关系演化捕捉的方法、装置及相关产品


[0001]本申请涉及计算机视觉和自然语言处理领域，尤其涉及一种人物社交关系演化捕捉的方法、装置及相关产品。

技术介绍

[0002]随着在线视频媒体平台提供的智能服务日渐增多，比如语义驱动的视频检索和推荐等，研究视频人物之间的社会关系，以获得更好的观看体验日渐重要。
[0003]现有研究视频人物之间的社会关系的技术，旨在研究短视频中的人物社会关系识别。然而对于完整视频，由于视频输入长度较长，现有技术难以将多模态线索总结为整个视频的整体语义表示，且没有考虑时序演化因素，这导致现有技术难以完全总结出人物社交关系演变线索，从而导致捕捉的人物社交演化关系准确度低。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种人物社交关系演化捕捉的方法、装置及相关产品，旨在完全总结出人物社交关系演变线索，从而提高捕捉的人物社交演化关系的准确度。
[0005]第一方面，本申请实施例提供了一种人物社交关系演化捕捉的方法，所述方法包括：
[0006]响应于获取的目标视频，生成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人物社交关系演化捕捉的方法，其特征在于，所述方法包括：响应于获取的目标视频，生成具有关联关系的视频剪辑帧序列；所述视频剪辑帧序列包含人物角色；根据预设算法，提取所述视频剪辑帧序列中每个视频剪辑帧的多视角视觉特征，构建每个视频剪辑的剪辑级图；所述剪辑级图用于表示人物社交关系的状态；基于第一预设注意力机制处理所述剪辑级图，确定场景级人物特征和人物对特征；其中，所述第一预设注意力机制为包含各时段的历史信息演变趋势，用于使所述场景级人物特征和人物对特征包含时间维度信息；根据所述场景级人物特征和人物对特征，确定所述人物角色的场景级社交关系图，以捕捉所述目标视频的人物社交关系演化。2.根据权利要求1所述方法，其特征在于，所述根据预设算法，提取所述视频剪辑帧序列中每个视频剪辑帧的多视角视觉特征，构建每个视频剪辑的剪辑级图，包括：基于第一预设算法从所述视频剪辑帧序列中提取人物特征、人物对特征和片段视频特征；所述片段视频特征包含场景信息；基于第二预设算法从所述视频剪辑帧序列中的对话文件中提取对话特征；其中，所述人物特征、人物对特征、片段视频特征和对话特征组成所述多视角视觉特征；根据所述多视角视觉特征和第二预设注意力机制，构建所述每个视频剪辑的剪辑级图；所述剪辑级图由所述多视角视觉特征组成；所述第二预设注意力机制为图注意力机制，用于构建所述剪辑级图。3.根据权利要求2所述方法，其特征在于，所述根据所述多视角视觉特征和第二预设注意力机制，构建所述每个视频剪辑的剪辑级图，包括：将所述多视角视觉特征作为所述剪辑级图的不同节点，利用第二预设注意力机制传播所述不同节点的信息；对所述不同节点分配不同权重，并对相邻节点传递信息，生成所述每个视频剪辑的剪辑级图。4.根据权利要求1所述方法，其特征在于，所述根据所述场景级人物特征和人物对特征，确定所述人物角色的场景级社交关系图，包括：将所述场景级人物特征和人物对特征输入至预设的第三预设注意力机制，调整所述场景级人物对特征；将调整后的所述场景级人物对特征发送至全连接层，对人物对的社交关系进行分类，获取人物角色的场景级社交关系图。5.根据权利要求4所述方法，其特征在于，所述方法还包括：根据确定的所述人物角色的场景级社交关系和时间维度滑动窗口，生成不同视频剪辑帧序列的人物角色的场景级的社交关系图；依照时间演化顺序合并所述人物角色的场景级的社交关系图，生成全局演化社交关系图。...

【专利技术属性】
技术研发人员：徐童，陈恩红，秦鹏刚，吴世伟，郝艳宾，冯福利，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：