一种面向空间操作的无监督事件抽取方法及装置制造方法及图纸

本发明专利技术提供了一种面向空间操作的无监督事件抽取方法及装置，其中方法包括：对样本视频序列中多帧图像一一对应的生成语义关系图，由于语义关系图中包括相应图像中多个物体形成的拓扑结构，因此针对样本视频序列对应的语义关系图序列可以确定出拓扑结构变化状态，而事件的发生可以看作是拓扑结构的变化，通过将多个拓扑结构变化状态进行聚类，那么同一类中的拓扑结构变化状态可以看作是发生了相同的事件，因此，利用聚类能够无监督的得到多个训练样本对，利用该多个训练样本对可以实现对事件抽取网络的训练，进而本方案可以利用训练好的事件抽取网络实现从视频序列中进行无监督事件的抽取。

【技术实现步骤摘要】

本专利技术实施例涉及人工智能，特别涉及一种面向空间操作的无监督事件抽取方法及装置。

技术介绍

1、空间操作是空间机器人为完成空间规定动作或任务而从事的在轨活动，如在轨维修、在轨装配等。事件是指在特定时间、特定地点发生的涉及一个或多个参与者的特定事件，是描述环境状态变化的主要方式。因此，机器人如何自主识别各种事件的发生是空间场景理解中的关键技术。

2、由于事件是一种抽象且复杂的概念，目前事件抽取仅局限于文本范畴，采用关键字匹配的方式。而在视频理解领域中，如何能够从视频中实现无监督事件的抽取，成为亟需解决的问题。

技术实现思路

1、本专利技术实施例提供了一种面向空间操作的无监督事件抽取方法及装置，能够实现从视频中进行无监督事件的抽取。

2、第一方面，本专利技术实施例提供了一种面向空间操作的无监督事件抽取方法，包括：

3、获取面向空间操作的多个样本视频序列，每一个样本视频序列的时间长度相同；

4、针对每一个样本视频序列，均执行：针对该样本视频序列中多帧图像一一对应的生本文档来自技高网...

【技术保护点】

1.一种面向空间操作的无监督事件抽取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取面向空间操作的多个样本视频序列，包括：

3.根据权利要求1所述的方法，其特征在于，所述利用训练好的事件抽取网络进行事件抽取，包括：

4.根据权利要求1或3所述的方法，其特征在于，所述语义关系图的生成方式包括：

5.根据权利要求4所述的方法，其特征在于，所述拓扑结构变化状态的确定方式包括：

6.根据权利要求5所述的方法，其特征在于，所述拓扑结构变化状态通过时空图卷积神经网络提取的时空特征向量来表示。</p>

7.根据...

【技术特征摘要】

1.一种面向空间操作的无监督事件抽取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取面向空间操作的多个样本视频序列，包括：

3.根据权利要求1所述的方法，其特征在于，所述利用训练好的事件抽取网络进行事件抽取，包括：

4.根据权利要求1或3所述的方法，其特征在于，所述语义关系图的生成方式包括：

5.根据权利要求4所述的方法，其特征在于，所述拓扑结构变化状态的确定方式包括：

6.根据权利要求5所述的方法，其特征在于，所述拓扑结构变化状态通过时空图...

【专利技术属性】
技术研发人员：王勇，解永春，王敏，于欣欣，孟斌，陈长青，
申请(专利权)人：北京控制工程研究所，
类型：发明
国别省市：