【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种视频中对象关系的检测方法、装置、设备及存储介质。
技术介绍
1、视频场景图是对视觉信息的细粒度描述，以结构化的形式展现视频中对象以及对象间的关系，场景图中的节点表示对象，边表示关系。例如，网点的监控视频反应了网点的日常工作情况，通过视频场景图技术，能够有效识别网点经理违规着装与不合规行为，大大减少了日常管理成本，有效提高网点工作人员的形象与素养。
2、多年来，研究人员不断探索视频内容理解相关任务，包括动作识别、时间动作定位、时空动作检测等等。这些方法大多只是简单地为视频序列中的每个动作实例提供单个标签或时空范围。而理想的视频理解任务要求不仅能识别动作类型，还要通过将事件分解为不同实体之间的一系列交互关系来提供对整个场景的详细和结构化的解释。这种结构化的视频表示称为视频场景图。现有技术对于检测视频中对象之间的关系，生成视频场景图的准确性和效率有待提升。
技术实现思路
1、本专利技术提供了一种视频中对象关系的检测方法、装置、设备及存储介质，以实现对视频中对象之间的交互关系进行检测。
2、根据本专利技术的一方面，提供了一种视频中对象关系的检测方法，包括：
3、获取待检测视频，所述待检测视频中包含至少两帧待检测图像；
4、识别所述待检测视频中的目标对象，针对各所述目标对象分别生成目标对象轨迹；
5、对所述目标对象轨迹两两之间进行关联度评价，提取关联度大于设定关联度阈值的两个目标对象轨迹作为目标
6、对所述目标轨迹对对应的两个目标对象进行特征提取，根据提取的特征并结合设定关系检测模型，确定所述目标轨迹对对应的两个目标对象之间的关系。
7、进一步地，识别所述待检测视频中的目标对象，针对各所述目标对象分别生成目标对象轨迹，包括：
8、对所述待检测视频中的各所述待检测图像进行目标检测，得到至少一个候选对象；
9、合并所述候选对象中的相同对象，得到至少一个目标对象；
10、针对每个所述目标对象，提取所述待检测视频中包含所述目标对象的至少两帧相邻图像作为目标图像，连接所述目标图像得到对应的目标对象轨迹。
11、进一步地，合并所述候选对象中的相同对象，包括：
12、针对每两个候选对象，分别提取所述两个候选对象的位置特征与视觉特征，并确定所述两个候选对象之间的时间间隔；
13、根据所述两个候选对象的位置特征、视觉特征与时间间隔确定所述两个候选对象之间的相似度；
14、若所述两个候选对象之间的相似度大于设定相似度阈值，则确定所述两个候选对象为相同对象并进行合并。
15、进一步地，对所述目标对象轨迹两两之间进行关联度评价，包括：
16、针对每两个目标对象轨迹，将同时包含所述两个目标对象轨迹对应的目标对象的图像作为共现帧图像，根据所述共现帧图像确定所述两个目标对象轨迹的时空交叠率；
17、根据预设数据集，确定所述两个目标对象轨迹对应的两个目标对象在所述预设数据集中的关联概率；
18、根据所述时空交叠率与所述关联概率确定所述两个目标对象轨迹的关联度。
19、进一步地，根据所述共现帧图像确定所述两个目标对象轨迹的时空交叠率，包括：
20、确定所述两个目标对象轨迹中所述共现帧图像的帧数；
21、在所述共现帧图像中分别提取所述两个目标对象轨迹对应的目标对象的对象框，并确定两个对象框的对象框交叠率；
22、根据所述共现帧图像的帧数与所述对象框交叠率确定所述两个目标对象轨迹的时空交叠率。
23、进一步地，对所述目标轨迹对对应的两个目标对象进行特征提取，包括：
24、将所述共现帧图像中所述目标轨迹对对应的两个目标对象的对象框合并生成公共框；
25、在所述公共框中分别提取所述目标轨迹对对应的两个目标对象的视觉特征、位置特征和时序特征。
26、进一步地，确定所述目标轨迹对对应的两个目标对象之间的关系之后，还包括：
27、根据所述设定长度的时间窗口确定所述目标轨迹对对应的两个目标对象之间的关系变化情况。
28、根据本专利技术的另一方面，提供了一种视频中对象关系的检测装置，包括：
29、待检测视频获取模块，用于获取待检测视频，所述待检测视频中包含至少两帧待检测图像；
30、目标对象轨迹生成模块，用于识别所述待检测视频中的目标对象，针对各所述目标对象分别生成目标对象轨迹；
31、目标轨迹对确定模块，用于对所述目标对象轨迹两两之间进行关联度评价，提取关联度大于设定关联度阈值的两个目标对象轨迹作为目标轨迹对；
32、关系确定模块，用于对所述目标轨迹对对应的两个目标对象进行特征提取，根据提取的特征并结合设定关系检测模型，确定所述目标轨迹对对应的两个目标对象之间的关系。
33、可选的，目标对象轨迹生成模块还用于：
34、对所述待检测视频中的各所述待检测图像进行目标检测，得到至少一个候选对象；
35、合并所述候选对象中的相同对象，得到至少一个目标对象；
36、针对每个所述目标对象，提取所述待检测视频中包含所述目标对象的至少两帧相邻图像作为目标图像，连接所述目标图像得到对应的目标对象轨迹。
37、可选的，目标对象轨迹生成模块还用于：
38、针对每两个候选对象，分别提取所述两个候选对象的位置特征与视觉特征，并确定所述两个候选对象之间的时间间隔；
39、根据所述两个候选对象的位置特征、视觉特征与时间间隔确定所述两个候选对象之间的相似度；
40、若所述两个候选对象之间的相似度大于设定相似度阈值，则确定所述两个候选对象为相同对象并进行合并。
41、可选的，目标轨迹对确定模块还用于：
42、针对每两个目标对象轨迹，将同时包含所述两个目标对象轨迹对应的目标对象的图像作为共现帧图像，根据所述共现帧图像确定所述两个目标对象轨迹的时空交叠率；
43、根据预设数据集，确定所述两个目标对象轨迹对应的两个目标对象在所述预设数据集中的关联概率；
44、根据所述时空交叠率与所述关联概率确定所述两个目标对象轨迹的关联度。
45、可选的，目标轨迹对确定模块还用于：
46、确定所述两个目标对象轨迹中所述共现帧图像的帧数；
47、在所述共现帧图像中分别提取所述两个目标对象轨迹对应的目标对象的对象框，并确定两个对象框的对象框交叠率；
48、根据所述共现帧图像的帧数与所述对象框交叠率确定所述两个目标对象轨迹的时空交叠率。
49、可选的，关系确定模块还用于：
50、将所述共现帧图像中所述目标轨迹对对应的两个目标对象的对象框合并生成公共框；
51、在所述公共框中分别提取所述目标轨迹对对应本文档来自技高网...
【技术保护点】
1.一种视频中对象关系的检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，识别所述待检测视频中的目标对象，针对各所述目标对象分别生成目标对象轨迹，包括：
3.根据权利要求2所述的方法，其特征在于，合并所述候选对象中的相同对象，包括：
4.根据权利要求1所述的方法，其特征在于，对所述目标对象轨迹两两之间进行关联度评价，包括：
5.根据权利要求4所述的方法，其特征在于，根据所述共现帧图像确定所述两个目标对象轨迹的时空交叠率，包括：
6.根据权利要求4所述的方法，其特征在于，对所述目标轨迹对对应的两个目标对象进行特征提取，包括：
7.根据权利要求6所述的方法，其特征在于，确定所述目标轨迹对对应的两个目标对象之间的关系之后，还包括：
8.一种视频中对象关系的检测装置，其特征在于，包括：
9.一种电子设备，其特征在于，所述电子设备包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求
...【技术特征摘要】
1.一种视频中对象关系的检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，识别所述待检测视频中的目标对象，针对各所述目标对象分别生成目标对象轨迹，包括：
3.根据权利要求2所述的方法，其特征在于，合并所述候选对象中的相同对象，包括：
4.根据权利要求1所述的方法，其特征在于，对所述目标对象轨迹两两之间进行关联度评价，包括：
5.根据权利要求4所述的方法，其特征在于，根据所述共现帧图像确定所述两个目标对象轨迹的时空交叠率，包括：
6.根...
【专利技术属性】
技术研发人员：梁雨欣，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。