时序行为检测方法、时序行为检测装置及终端设备制造方法及图纸

本申请适用于计算机视觉技术领域，提供了一种时序行为检测方法、时序行为检测装置及终端设备，包括：从待检测视频中提取出多个行为片段；确定所述多个行为片段中每两个行为片段之间的时间相关系数；根据所述时间相关系数和所述多个行为片段生成图结构数据，其中，所述图结构数据中包括用于表示所述行为片段的节点数据和用于表示两个行为片段之间的时间关联关系的连接数据；根据所述图结构数据检测所述多个行为片段各自的行为标签和时间边界。通过上述方法，能够有效提高时序行为检测的精度。

【技术实现步骤摘要】
时序行为检测方法、时序行为检测装置及终端设备
本申请属于计算机视觉
，尤其涉及一种时序行为检测方法、时序行为检测装置及终端设备。
技术介绍
时序行为检测技术是一种检测视频中的行为片段的行为类别和时间界限(开始时间和结束时间)的技术。该项技术是理解视频中目标对象的行为的一种重要技术手段，是理解视频内容的关键。例如，可以基于时序行为检测技术快速定位出球赛视频中某个运动行为(如点球等)的视频片段，以便于对该运动行为进行分析。现有的时序行为检测方法，通常是提取一段视频中的行为片段，然后针对每个行为片段进行分类和回归分析，获得每个行为片段的行为类别和时间界限。由于行为之间可能存在关联，而现有方法中是对每个行为片段进行单独处理，这将会丢失掉部分行为特征，无法获得准确的检测结果。
技术实现思路
本申请实施例提供了一种时序行为检测方法、时序行为检测装置及终端设备，可以提高时序行为检测的精度。第一方面，本申请实施例提供了一种时序行为检测方法，包括：从待检测视频中提取出多个行为片段；确定所述多个行为片段中每本文档来自技高网...

【技术保护点】
1.一种时序行为检测方法，其特征在于，包括：/n从待检测视频中提取出多个行为片段；/n确定所述多个行为片段中每两个行为片段之间的时间相关系数；/n根据所述时间相关系数和所述多个行为片段生成图结构数据，其中，所述图结构数据中包括用于表示所述行为片段的节点数据和用于表示两个行为片段之间的时间关联关系的连接数据；/n根据所述图结构数据检测所述多个行为片段各自的行为标签和时间边界。/n

【技术特征摘要】
1.一种时序行为检测方法，其特征在于，包括：
从待检测视频中提取出多个行为片段；
确定所述多个行为片段中每两个行为片段之间的时间相关系数；
根据所述时间相关系数和所述多个行为片段生成图结构数据，其中，所述图结构数据中包括用于表示所述行为片段的节点数据和用于表示两个行为片段之间的时间关联关系的连接数据；
根据所述图结构数据检测所述多个行为片段各自的行为标签和时间边界。


2.如权利要求1所述的时序行为检测方法，其特征在于，在所述确定所述多个行为片段中每两个行为片段之间的时间相关系数的步骤中，任意两个行为片段之间的时间相关系数的确定方法，包括：
计算所述两个行为片段之间的时间交并比；
将所述时间交并比确定为所述两个行为片段之间的时间相关系数。


3.如权利要求1或2所述的时序行为检测方法，其特征在于，所述根据所述时间相关系数和所述多个行为片段生成图结构数据，包括：
生成满足预设条件的每两个行为片段之间的时间关联关系，其中，两个行为片段满足所述预设条件表示所述两个行为片段之间的所述时间相关系数大于或等于预设阈值；
将所述多个行为片段中的每个行为片段确定为所述图结构数据中的所述节点数据，将所述时间关联关系确定为所述图结构数据中的所述连接数据。


4.如权利要求1所述的时序行为检测方法，其特征在于，所述根据所述图结构数据检测所述多个行为片段各自的行为标签和时间边界，包括：
获取所述多个行为片段各自的第一特征向量；
将所述第一特征向量和所述图结构数据输入到训练后的检测模型中，输出所述多个行为片段各自的所述行为标签和所述时间边界。


5.如权利要求4所述的时序行为检测方法，其特征在于，所述获取所述多个行为片段各自的第一特征向量，包括：
对于目标片段，获取所述目标片段的第二特征向量和每个相邻片段的第三特征向量，其中，所述目标片段为所述多个行为片段中的任意一个行为片段，所述相邻片段为所述多个行为片段中与所述目标片段存在所述时间关...

【专利技术属性】
技术研发人员：林灿然，程骏，郭渺辰，邵池，庞建新，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44