检测视频中的动作的方法、装置和系统制造方法及图纸

本申请公开了检测视频中的动作的方法、装置和系统。检测视频中的动作的方法包括：获取视频中多个片段分别对应的动作度估值；根据所述多个片段分别对应的动作度估值，生成所述视频的时序动作度序列；以及基于所述时序动作度序列，聚合得到所述视频中的动作预测时域区间。

【技术实现步骤摘要】
检测视频中的动作的方法、装置和系统
本申请涉及计算机视觉(CV)领域，具体涉及检测视频中的动作的方法、装置和系统。
技术介绍
理解人的行为和动作是计算机视觉系统的一项重要任务。目前，利用计算机视觉系统的动作识别技术以视频作为输入数据，但仅能处理经过剪辑后只包含与动作相关的内容的视频片段。在动作识别的过程中，动作识别系统主要使用深度学习的方法来分析动态变化的视频内容，并克服距离、视角变化、相机移动以及场景变化等因素造成的影响。动作识别技术通过用深度学习的方法来融合形状信息、运动特征以及长程时序关系等视频内容，能够识别经过剪辑的视频中的动作类别。但是将动作识别技术运用到实际中时，系统需要处理的视频往往是未经过剪辑的原始视频。这就要求动作识别系统不再局限于仅能够识别动作的类别，而还需要能够在未经剪辑的原始视频中检测到每个动作实例的开始和结束时间。这个任务可称为时域动作检测，即在视频中检测出所有动作实例的开始、结束时间以及它们所属的动作类别。时域动作检测技术在安全监控、网络视频分析、视频直播分析乃至无人驾驶等领域都具有巨大的应用价值。当前，对于时域动作检测的研究并不充分，尤其是还缺少较理想的方法能够准确地检测出所有动作实例的开始时间和结束时间。
技术实现思路
本申请提供了检测视频中的动作的方法、装置和系统。根据本申请的一个方面，检测视频中的动作的方法包括：获取视频中多个片段分别对应的动作度估值；根据所述多个片段分别对应的动作度估值，生成所述视频的时序动作度序列；以及基于所述时序动作度序列，聚合得到所述视频中的动作预测时域区间。根据一个实施方式，所述获取视频中多个片段分别对应的动作度估值包括：利用第一卷积神经网络计算所述视频中多个片段中的每个片段分别对应的第一动作度估值，所述第一动作度估值由所述片段中任意一帧图像得到；利用第二卷积神经网络计算所述每个片段分别对应的第二动作度估值，所述第二动作度估值由所述片段的光流场图像得到，所述光流场图像由所述片段中任意多帧图像提取的光流场合并形成；以及根据所述每个片段分别对应的第一动作度估值及第二动作度估值，得到所述每个片段分别对应的动作度估值。根据一个实施方式，所述根据所述每个片段分别对应的第一动作度估值及第二动作度估值，得到所述每个片段分别对应的动作度估值包括：将所述每个片段分别对应的第一动作度估值及第二动作度估值相加，得到所述每个片段分别对应的动作度估值。根据一个实施方式，所述根据所述多个片段分别对应的动作度估值，生成所述视频的时序动作度序列包括：对所述多个片段分别对应的动作度估值进行归一化处理，并根据归一化处理后的各动作度估值，生成所述视频的时序动作度序列。根据一个实施方式，所述基于所述时序动作度序列，聚合得到所述视频中的动作预测时域区间包括：获取所述时序动作度序列中的各前景片段，所述前景片段对应的动作度估值大于或等于动作度阈值；基于容忍度阈值，将相邻的多个所述前景片段聚合为所述动作预测时域区间。根据一个实施方式，所述容忍度阈值用于表征在所述动作预测时域区间中所述前景片段的比例。根据一个实施方式，所述方法还包括：根据所述动作预测时域区间中包含的片段，确定所述动作预测时域区间对应的动作类别。根据一个实施方式，所述根据所述动作预测时域区间中包含的片段，确定所述动作预测时域区间对应的动作类别包括：分别基于每个动作类别，获取所述动作预测时域区间中各片段的得分，并将所述各片段的得分合并，得到当前动作类别的总得分；以及根据所述每个动作类别的总得分，确定所述动作预测时域区间的目标动作类别。根据一个实施方式，所述根据所述每个动作类别的总得分，确定所述动作预测时域区间的目标动作类别包括：将总得分最高的动作类别，确定为所述动作预测时域区间的目标动作类别。根据一个实施方式，所述方法还包括：根据所述动作预测时域区间中包含的各片段以及所述动作预测时域区间的邻近片段，确定所述动作预测时域区间的动作完整度。根据一个实施方式，所述根据所述动作预测时域区间中包含的各片段以及所述动作预测时域区间的邻近片段，确定所述动作预测时域区间的动作完整度包括：基于所述目标动作类别，获取所述动作预测时域区间的各邻近片段的得分；根据所述动作预测时域区间中的各片段以及所述各邻近片段的得分，确定所述动作预测时域区间的动作完整度。根据一个实施方式，所述动作预测时域区间包括动作预测起始时间及动作预测结束时间。根据本申请的另一方面，检测视频中的动作的装置包括：获取模块，用于获取视频中多个片段分别对应的动作度估值；生成模块，用于根据所述多个片段分别对应的动作度估值，生成所述视频的时序动作度序列；以及聚合模块，用于基于所述时序动作度序列，聚合得到所述视频中的动作预测时域区间。根据一个实施方式，所述获取模块包括：第一卷积神经网络，用于计算所述视频中多个片段中的每个片段分别对应的第一动作度估值，所述第一动作度估值由所述片段中任意一帧图像得到；第二卷积神经网络，用于计算所述每个片段分别对应的第二动作度估值，所述第二动作度估值由所述片段的光流场图像得到，所述光流场图像由所述片段中任意多帧图像提取的光流场合并形成；以及第一获取子模块，用于根据所述每个片段分别对应的第一动作度估值及第二动作度估值，得到所述每个片段分别对应的动作度估值。根据一个实施方式，所述第一获取子模块将所述每个片段分别对应的第一动作度估值及第二动作度估值相加，得到所述每个片段分别对应的动作度估值。根据一个实施方式，所述生成模块对所述多个片段分别对应的动作度估值进行归一化处理，并根据归一化处理后的各动作度估值，生成所述视频的时序动作度序列。根据一个实施方式，所述聚合模块包括：第二获取子模块，用于获取所述时序动作度序列中的各前景片段，所述前景片段对应的动作度估值大于或等于动作度阈值；以及聚合子模块，用于基于容忍度阈值，将相邻的多个所述前景片段聚合为所述动作预测时域区间。根据一个实施方式，所述容忍度阈值用于表征在所述动作预测时域区间中所述前景片段的比例。根据一个实施方式，所述装置还包括：动作类别确定模块，用于根据所述动作预测时域区间中包含的片段，确定所述动作预测时域区间对应的动作类别。根据一个实施方式，所述动作类别确定模块包括：得分计算子模块，用于分别基于每个动作类别，获取所述动作预测时域区间中各片段的得分，并将所述各片段的得分合并，得到当前动作类别的总得分；以及第一确定子模块，用于根据所述每个动作类别的总得分，确定所述动作预测时域区间的目标动作类别。根据一个实施方式，所述第一确定子模块将总得分最高的动作类别，确定为所述动作预测时域区间的目标动作类别。根据一个实施方式所述装置还包括：动作完整度确定模块，用于根据所述动作预测时域区间中包含的各片段以及所述动作预测时域区间的邻近片段，确定所述动作预测时域区间的动作完整度。根据一个实施方式，所述动作完整度确定模块包括：第三获取子模块，用于基于所述目标动作类别，获取所述动作预测时域区间的各邻近片段的得分；以及第二确定子模块，用于根据所述动作预测时域区间中的各片段以及所述各邻近片段的得分，确定所述动作预测时域区间的动作完整度。根据一个实施方式，所述动作预测时域区间包括动作预测起始时间及动作预测结束时间。根据本申请的又一方面，检测视频本文档来自技高网...

【技术保护点】
1.一种检测视频中的动作的方法，包括：获取视频中多个片段分别对应的动作度估值；根据所述多个片段分别对应的动作度估值，生成所述视频的时序动作度序列；以及基于所述时序动作度序列，聚合得到所述视频中的动作预测时域区间。

【技术特征摘要】
1.一种检测视频中的动作的方法，包括：获取视频中多个片段分别对应的动作度估值；根据所述多个片段分别对应的动作度估值，生成所述视频的时序动作度序列；以及基于所述时序动作度序列，聚合得到所述视频中的动作预测时域区间。2.如权利要求1所述的方法，其中，所述获取视频中多个片段分别对应的动作度估值包括：利用第一卷积神经网络计算所述视频中多个片段中的每个片段分别对应的第一动作度估值，所述第一动作度估值由所述片段中任意一帧图像得到；利用第二卷积神经网络计算所述每个片段分别对应的第二动作度估值，所述第二动作度估值由所述片段的光流场图像得到，所述光流场图像由所述片段中任意多帧图像提取的光流场合并形成；以及根据所述每个片段分别对应的第一动作度估值及第二动作度估值，得到所述每个片段分别对应的动作度估值。3.如权利要求2所述的方法，其中，所述根据所述每个片段分别对应的第一动作度估值及第二动作度估值，得到所述每个片段分别对应的动作度估值包括：将所述每个片段分别对应的第一动作度估值及第二动作度估值相加，得到所述每个片段分别对应的动作度估值。4.如权利要求1所述的方法，其中，所述根据所述多个片段分别对应的动作度估值，生成所述视频的时序动作度序列包括：对所述多个片段分别对应的动作度估值进行归一化处理，并根据归一化处理后的各动作度估值，生成所述视频的时序动作度序列。5.如权利要求1所述的方法，其中，所述基于所述时序动作度序列，聚合得到所述视频中的动作预测时域区间包括...

【专利技术属性】
技术研发人员：熊元骏，赵岳，王利民，林达华，汤晓鸥，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11