【技术实现步骤摘要】
一种视频中的社交关系识别方法和装置
[0001]本申请涉及视频
，尤其涉及一种视频中的社交关系识别方法和装置。
技术介绍
[0002]影视剧场景下的社交关系理解是利用技术手段和方法对视频画面进行分析，从而挖掘出高级语义信息，帮助人们快速地理解多媒体信息中的社交关系。社交关系指人与人之间的关系，比如父子、上下级、夫妻等。识别出画面中人物之间的社会关系有助于促进视频内容理解、知识图谱构建等丰富的商业服务的应用。
[0003]现有社交关系识别的技术主要由两大方向，一类是基于图像进行识别，要求图像中包含待识别的人物，通过对人物和画面特征进行识别从而判断人物之间的关系，常见于用户自己上传的相册照片中或合影，而影视剧视频画面是一直运动的，相关人物画面在同一时刻很少同时出现，即使在同一画面另一个人物也做了虚化处理，也无法捕捉到有用信息；
[0004]还有一类是基于视频进行识别，现有技术针对一个视频片段只能输出一种关系，但实际影视剧中一个片段经常会出现多种关系，比如夫妻，亲子等，导致最终社交关系识别效果不好。
【技术保护点】
【技术特征摘要】
1.一种视频中的社交关系识别方法，其特征在于，所述方法包括：通过对视频进行角色聚类，得到每个角色的视频片段合集；根据不同角色之间重合的视频片段，对全部角色的视频片段合集进行重整，得到社交片段合集，其中，所述社交片段合集中的每个社交片段包含至少两个角色；将所述社交片段合集输入目标识别模型，通过所述社交片段合集中的特征，识别出所述社交片段合集中角色对之间的社交关系，其中，所述角色对包括两个角色。2.根据权利要求1所述的方法，其特征在于，将所述社交片段合集输入目标识别模型，通过所述社交片段合集中的特征，识别出所述社交片段合集中角色对之间的社交关系包括：确定所述社交片段合集中的角色；从所述视频中，查找所述社交片段合集中每个角色的角色图像，其中，所述角色图像是通过人物检测框得到的；将所述角色图像和所述社交片段合集输入所述目标识别模型；通过所述目标识别模型对所述社交片段合集的特征和所述角色图像的特征进行分析，得到所述社交片段合集中角色对之间的社交关系。3.根据权利要求1所述的方法，其特征在于，所述通过对视频进行角色聚类，得到每个角色的视频片段合集包括：通过角色聚类方法，将所述视频中同一人物在同一场景下的视频帧进行聚类，得到多个聚类中心的视频帧合集，其中，每个聚类中心指示一个人物；将视频帧合集按照包含的视频帧数量由大到小进行排序；选取前n个视频帧合集作为主要角色的视频片段合集。4.根据权利要求3所述的方法，其特征在于，将视频帧合集按照包含的视频帧数量由大到小进行排序之前，所述方法还包括：将每两个视频帧合集中的聚类中心进行相似度计算；若相似度小于预设阈值，则确定所述两个视频帧合集中的聚类中心为同一个人物；将所述两个视频帧合合集并为一个视频帧合集。5.根据权利要求3所述的方法，其特征在于，选取前n个视频帧合集作为主要角色的视频片段合集包括：从排序的多个视频帧合集中，选取前n个视频帧合集；删除所述前n个视频帧合集中不符合预设要求的目标视频帧合集，其中，所述目标视频帧合集中的人物模糊或背影遮挡；按照所述排序选取视频帧合集，以补齐n个视频帧合集；将补齐后的n个视频帧合集作为主要角色的视频片段...
【专利技术属性】
技术研发人员：毕泊，
申请(专利权)人：北京爱奇艺科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。