【技术实现步骤摘要】
本专利技术实施例涉及人工智能，特别涉及一种面向空间操作的无监督事件抽取方法及装置。
技术介绍
1、空间操作是空间机器人为完成空间规定动作或任务而从事的在轨活动，如在轨维修、在轨装配等。事件是指在特定时间、特定地点发生的涉及一个或多个参与者的特定事件，是描述环境状态变化的主要方式。因此，机器人如何自主识别各种事件的发生是空间场景理解中的关键技术。
2、由于事件是一种抽象且复杂的概念，目前事件抽取仅局限于文本范畴，采用关键字匹配的方式。而在视频理解领域中，如何能够从视频中实现无监督事件的抽取，成为亟需解决的问题。
技术实现思路
1、本专利技术实施例提供了一种面向空间操作的无监督事件抽取方法及装置，能够实现从视频中进行无监督事件的抽取。
2、第一方面，本专利技术实施例提供了一种面向空间操作的无监督事件抽取方法，包括：
3、获取面向空间操作的多个样本视频序列，每一个样本视频序列的时间长度相同；
4、针对每一个样本视频序列，均执行：针对该样本视频序列中多帧图像一一对应的生成多个语义关系图，得到该样本视频序列的语义关系图序列；所述语义关系图包括相应图像中多个物体形成的拓扑结构；基于该样本视频序列的语义关系图序列，确定该样本视频序列所对应的拓扑结构变化状态；
5、对多个样本视频序列分别对应的拓扑结构变化状态进行聚类，根据聚类结果得到多个训练样本对；其中，所述训练样本对包括作为输入的拓扑结构变化状态和作为输出的该拓扑结构变化状态所属类的事
6、利用所述多个训练样本对对事件抽取网络进行训练，以利用训练好的事件抽取网络进行事件抽取。
7、在一种可能的设计中，所述获取面向空间操作的多个样本视频序列，包括：
8、获取面向空间操作的时间连续的初始视频序列；
9、将所述初始视频序列切分为时间长度相同的多个样本视频序列；所述多个样本视频序列是连续的。
10、在一种可能的设计中，所述利用训练好的事件抽取网络进行事件抽取，包括：
11、获取待处理视频序列；所述待处理视频序列的时间长度与所述样本视频序列的时间长度相同；
12、针对该待处理视频序列中多帧图像一一对应的生成语义关系图，得到该待处理视频序列的语义关系图序列；
13、基于该待处理视频序列的语义关系图序列，确定该待处理视频序列所对应的拓扑结构变化状态；
14、将该待处理视频序列所对应的拓扑结构变化状态输入至所述事件抽取网络中，以输出得到该待处理视频序列的事件类别。
15、在一种可能的设计中，所述语义关系图的生成方式包括：
16、利用目标检测识别算法识别当前帧图像中每一个物体的物体类别；
17、利用位姿估计算法计算该当前帧图像中每一个物体的位姿；
18、基于每一个物体的位姿确定任意两个物体之间的相对位姿；
19、将该当前帧图像中的物体作为节点，将节点两两相连形成的拓扑结构作为该当前帧图像的语义关系图；所述拓扑结构中边为相应两个物体之间的相对位姿，所述拓扑结构中的节点标识有相应物体类别。
20、在一种可能的设计中，所述拓扑结构变化状态的确定方式包括：
21、根据语义关系图序列中每一个语义关系图的拓扑结构，确定每一个语义关系图的静态场景特征，所述静态场景特征包括物体数量、物体类别和任意两个物体之间的相对位姿中的至少一种；
22、按照语义关系图序列中的时间顺序，确定静态场景特征在时空关系上的变化特征，得到拓扑结构变化状态。
23、在一种可能的设计中，所述拓扑结构变化状态通过时空图卷积神经网络提取的时空特征向量来表示。
24、在一种可能的设计中，所述对多个样本视频序列分别对应的拓扑结构变化状态进行聚类，包括：
25、基于多个样本视频序列的时空特征向量，将相似的时空特征向量聚为一类。
26、第二方面，本专利技术实施例还提供了一种面向空间操作的无监督事件抽取装置，包括：
27、获取模块，用于获取面向空间操作的多个样本视频序列，每一个样本视频序列的时间长度相同；
28、处理模块，用于针对每一个样本视频序列，均执行：针对该样本视频序列中多帧图像一一对应的生成多个语义关系图，得到该样本视频序列的语义关系图序列；所述语义关系图包括相应图像中多个物体形成的拓扑结构；基于该样本视频序列的语义关系图序列，确定该样本视频序列所对应的拓扑结构变化状态；
29、聚类模块，对多个样本视频序列分别对应的拓扑结构变化状态进行聚类，根据聚类结果得到多个训练样本对；其中，所述训练样本对包括作为输入的拓扑结构变化状态和作为输出的该拓扑结构变化状态所属类的事件类别；
30、训练模块，用于利用所述多个训练样本对对事件抽取网络进行训练；
31、抽取模块，用于利用训练好的事件抽取网络进行事件抽取。
32、第三方面，本专利技术实施例还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本说明书任一实施例所述的方法。
33、第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书任一实施例所述的方法。
34、本专利技术实施例提供了一种面向空间操作的无监督事件抽取方法及装置，对样本视频序列中多帧图像一一对应的生成语义关系图，由于语义关系图中包括相应图像中多个物体形成的拓扑结构，因此针对样本视频序列对应的语义关系图序列可以确定出拓扑结构变化状态，而事件的发生可以看作是拓扑结构的变化，通过将多个拓扑结构变化状态进行聚类，那么同一类中的拓扑结构变化状态可以看作是发生了相同的事件，因此，利用聚类能够无监督的得到多个训练样本对，利用该多个训练样本对可以实现对事件抽取网络的训练，进而可以利用训练好的事件抽取网络从视频序列中进行无监督事件的抽取。
本文档来自技高网...【技术保护点】
1.一种面向空间操作的无监督事件抽取方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取面向空间操作的多个样本视频序列，包括：
3.根据权利要求1所述的方法，其特征在于，所述利用训练好的事件抽取网络进行事件抽取，包括：
4.根据权利要求1或3所述的方法，其特征在于，所述语义关系图的生成方式包括：
5.根据权利要求4所述的方法，其特征在于，所述拓扑结构变化状态的确定方式包括：
6.根据权利要求5所述的方法，其特征在于，所述拓扑结构变化状态通过时空图卷积神经网络提取的时空特征向量来表示。
7.根据权利要求6所述的方法，其特征在于，所述对多个样本视频序列分别对应的拓扑结构变化状态进行聚类，包括：
8.一种面向空间操作的无监督事件抽取装置，其特征在于，包括：
9.一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，当所述计
...【技术特征摘要】
1.一种面向空间操作的无监督事件抽取方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述获取面向空间操作的多个样本视频序列，包括：
3.根据权利要求1所述的方法，其特征在于，所述利用训练好的事件抽取网络进行事件抽取，包括：
4.根据权利要求1或3所述的方法，其特征在于，所述语义关系图的生成方式包括：
5.根据权利要求4所述的方法，其特征在于，所述拓扑结构变化状态的确定方式包括：
6.根据权利要求5所述的方法，其特征在于，所述拓扑结构变化状态通过时空图...
【专利技术属性】
技术研发人员：王勇，解永春，王敏，于欣欣，孟斌，陈长青，
申请(专利权)人：北京控制工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。