视频行为检测方法与系统、精彩视频回播系统及存储介质技术方案

本发明专利技术涉及视频行为检测方法与系统、精彩视频回播系及存储介质，其中，视频行为检测方法包括：对输入视频进行预处理，得到视频帧流；利用3D卷积神经网络，对视频帧流进行特征提取，得到3D特征图；对3D特征图进行空间和时间多尺度的特征提取操作，得到多个层级的时空特征图；针对每个层级的时空特征图，获取预设锚点候选框，利用候选框预测层级网络，生成预测候选框；利用行为分类网络，对预测候选框进行分类，得到行为检测结果。可以适应多尺度的目标以及多种时序的行为，确定的视频中行为的时间片段更加准确。

Video behavior detection method and system, wonderful video playback system and storage medium

【技术实现步骤摘要】
视频行为检测方法与系统、精彩视频回播系统及存储介质
本专利技术涉及视频分析领域，特别是涉及一种视频行为检测方法与系统、精彩视频回播系统及存储介质。
技术介绍
在交通管理、安防监控、视频搜索等领域中，存在并大量使用了视频数据。视频中包含有大量的信息，但同时也包含了相当大量的无用噪声。在进一步处理之前，先对视频进行分割，比如定位感兴趣的行为的视频片段，以方便后续分析和处理，就显得非常重要。现有视频行为检测方法中，一般采用时间轴候选框来定位视频内的行为。但是，现有方案存在定位精度较低，与行为片段的重叠率较低，可能包含有大量无用的背景视频片段等。
技术实现思路
基于此，有必要针对现有视频行为检测方法存在的行为定位精度较低的问题，提供一种视频行为检测方法与系统、精彩视频回播系统及存储介质。本申请一实施例提供了一种视频行为检测方法，包括：对输入视频进行预处理，得到视频帧流；利用3D卷积神经网络，对视频帧流进行特征提取，得到3D特征图；对3D特征图进行空间和时间多尺度的特征提取操作，得到多个层级的时本文档来自技高网...

【技术保护点】
1.一种视频行为检测方法，其特征在于，包括：/n对输入视频进行预处理，得到视频帧流；/n利用3D卷积神经网络，对视频帧流进行特征提取，得到3D特征图；/n对3D特征图进行空间和时间多尺度的特征提取操作，得到多个层级的时空特征图；/n针对每个层级的时空特征图，获取预设锚点候选框，利用候选框预测层级网络，生成预测候选框；/n利用行为分类网络，对预测候选框进行分类，得到行为检测结果。/n

【技术特征摘要】
1.一种视频行为检测方法，其特征在于，包括：
对输入视频进行预处理，得到视频帧流；
利用3D卷积神经网络，对视频帧流进行特征提取，得到3D特征图；
对3D特征图进行空间和时间多尺度的特征提取操作，得到多个层级的时空特征图；
针对每个层级的时空特征图，获取预设锚点候选框，利用候选框预测层级网络，生成预测候选框；
利用行为分类网络，对预测候选框进行分类，得到行为检测结果。


2.根据权利要求1所述的视频行为检测方法，其特征在于，所述候选框预测层级网络包括候选框分类预测网络和候选框回归网络，所述候选框分类预测网络，用于确定每个预设锚点候选框的候选框置信度；所述候选框回归网络，用于预测预设锚点候选框的偏移量；根据所述候选框置信度和偏移量，确定预测候选框。


3.根据权利要求1所述的视频行为检测方法，其特征在于，所述预测候选框具有置信度；所述利用行为分类网络，对预测候选框进行分类，得到行为检测结果的步骤，具体包括：
基于置信度和重叠度，对所有层级的预测候选框进行筛选，得到筛选后的预测候选框；
对筛选后的预测候选框进行池化操作，得到预测候选框的固定维度特征；
利用行为分类网络，基于预测候选框的固定维度特征，对预测候选框进行分类，得到行为检测结果。


4.根据权利要求3所述的视频行为检测方法，其特征在于，所述基于置信度和重叠度，对所有层级的预测候选框进行筛选的步骤，采用非极大值抑制方法。


5.一种精彩视频回播方法，其特征在于，包括：
获取输入视频；
对输入视频进行预处理，得到视频帧流；
利用3D卷积神经网络，对视频帧流进行特征提取，得到3D特征图；
对3D特征图进行空间和时间多尺度的特征提取操作，得到多个层级的时空特征图；
针对每个层级的时空特征图，获取预设锚点候选框，利用候选框预测层级网络，生成预测候选框；
利用行为分类网络，对预测候选框进行分类，得到行为检测结果；
利用...

【专利技术属性】
技术研发人员：邹月娴，陈广，张粲，孙非凡，孙信中，吴涵渠，
申请(专利权)人：深圳市奥拓电子股份有限公司，
类型：发明
国别省市：广东;44