动作区域提取方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种动作区域提取方法，涉及图像处理技术领域，该方法包括：获取待修剪视频，对所述待修剪视频进行特征提取，得到第一特征序列；将所述第一特征序列输入至预设时序评估模型，得到时序信息；检测所述时序信息是否符合预设条件，并根据检测结果得到动作区域的时间段信息；根据所述时间段信息从所述待修改视频中提取出对应的动作区域。本发明专利技术还提供一种动作区域提取装置、设备及计算机可读存储介质。本发明专利技术能够解决现有的动作区域提取方法精确性较差的问题。

Method, device, device and computer-readable storage medium for extracting action region

【技术实现步骤摘要】
动作区域提取方法、装置、设备及计算机可读存储介质
本专利技术涉及图像处理
，尤其涉及一种动作区域提取方法、装置、设备及计算机可读存储介质。
技术介绍
视频内容分析是当前AI(ArtificialIntelligence，人工智能)领域比较热门的研究课题，其中，行动识别作为视频分析的其中一个重要分支，在智能视频监控、人机交互、运动分析、视频检索等诸多领域，具有广阔的应用前景，受到了国内外学者的广泛关注。在行动识别的过程中，需先对视频进行剪辑，得到多个仅包含一个动作实例的视频剪辑。但是现实场景中录制得到的视频通常很长、并且包含很多与动作实例无关的内容。此时，通常会通过时序检测的手段来检测未修剪视频中的动作实例。具体的，时序检测任务可以分为两个阶段：动作区域的提取和分类。其中，动作区域的提取阶段旨在提取出包含动作实例的视频区域，分类阶段则是对动作区域进行分类。因此，获取高质量的动作区域，是保证动作实例检测结果准确性的关键。目前，通常是使用多个持续时间的滑动时间窗口以固定的间隔进行滑动，以提取动作区域，但是，使用预定义的持续时间和间隔提取的动作区域具有以下缺陷：1)时间通常不精确；2)真实场景下动作实例的持续时间是复杂多变的，不能够灵活覆盖，尤其是在时间范围很大的情况下。因此，现有的动作区域提取方法精确性较差的问题。
技术实现思路
本专利技术的主要目的在于提供一种动作区域提取方法、装置、设备及计算机可读存储介质，旨在解决现有的动作区域提取方法精确性较差的问题。为实现上述目的，本专利技术提供一种动作区域提取方法，所述动作区域提取方法包括：获取待修剪视频，对所述待修剪视频进行特征提取，得到第一特征序列；将所述第一特征序列输入至预设时序评估模型，得到时序信息；检测所述时序信息是否符合预设条件，并根据检测结果得到动作区域的时间段信息；根据所述时间段信息从所述待修改视频中提取出对应的动作区域。可选地，所述获取待修剪视频，对所述待修剪视频进行特征提取，得到第一特征序列的步骤包括：获取待修剪视频，对所述待修剪视频进行分帧处理，得到视频图像序列；在所述视频图像序列中每隔预设帧数获取目标视频图像，提取所述目标视频图像的红绿蓝RGB特征和光流特征，得到RGB特征序列和光流特征序列；对所述RGB特征序列和所述光流特征序列进行拼接，得到第一特征序列。可选地，所述时序信息包括各目标视频图像对应的动作片段开始概率和动作片段结束概率，所述检测所述时序信息是否符合预设条件，并根据检测结果得到动作区域的时间段信息的步骤包括：检测所述动作片段开始概率中是否存在大于第一预设阈值的概率值，得到第一检测结果，并根据所述第一检测结果得到动作片段开始时间数组；检测所述动作片段结束概率中是否存在大于第二预设阈值的概率值，得到第二检测结果，并根据所述第二检测结果得到动作片段结束时间数组；根据所述动作片段开始时间数组、所述动作片段结束时间数组，组合得到动作区域的时间段信息。可选地，所述根据所述时间段信息从所述待修改视频中提取出对应的动作区域的步骤之前，还包括：基于所述第一特征序列和所述时间段信息对各动作区域的特征进行采样，得到第二特征序列；将所述第二特征序列输入至预设动作区域评估模型，得到动作区域评估分数；所述根据所述时间段信息从所述待修改视频中提取出对应的动作区域的步骤包括：根据所述动作区域评估分数和所述时间段信息，从所述待修改视频中提取出对应的动作区域。可选地，所述基于所述第一特征序列和所述时间段信息对各动作区域的特征进行采样，得到第二特征序列的步骤包括：基于所述第一特征序列和所述时间段信息、采用线性差值方法对各动作区域的特征进行采样，得到第一预设数量的特征数据；对所述第一预设数量的特征数据进行拼接，得到第二特征序列。可选地，所述根据所述动作区域评估分数和所述时间段信息，从所述待修改视频中提取出对应的动作区域的步骤包括：按照从大到小的顺序对所述动作区域评估分数进行排序；根据排序结果获取前第二预设数量的动作区域评估分数，作为目标动作区域评估分数；从所述时间段信息中获取所述目标动作区域评估分数对应的目标时间段信息；根据所述目标时间段信息从所述待修改视频中提取出对应的动作区域。此外，为实现上述目的，本专利技术还提供一种动作区域提取装置，所述动作区域提取装置包括：特征提取模块，用于获取待修剪视频，对所述待修剪视频进行特征提取，得到第一特征序列；信息获取模块，用于将所述第一特征序列输入至预设时序评估模型，得到时序信息；信息检测模块，用于检测所述时序信息是否符合预设条件，并根据检测结果得到动作区域的时间段信息；区域提取模块，用于根据所述时间段信息从所述待修改视频中提取出对应的动作区域。可选地，所述动作区域提取装置还包括：特征采样模块，用于基于所述第一特征序列和所述时间段信息对各动作区域的特征进行采样，得到第二特征序列；分数评估模块，用于将所述第二特征序列输入至预设动作区域评估模型，得到动作区域评估分数；所述区域提取模块，具体用于根据所述动作区域评估分数和所述时间段信息，从所述待修改视频中提取出对应的动作区域。此外，为实现上述目的，本专利技术还提供一种动作区域提取设备，所述动作区域提取设备包括存储器、处理器以及存储在所述存储器上并可被所述处理器执行的动作区域提取程序，其中所述动作区域提取程序被所述处理器执行时，实现如上所述的动作区域提取方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有动作区域提取程序，其中所述动作区域提取程序被处理器执行时，实现如上所述的动作区域提取方法的步骤。本专利技术提供一种动作区域提取方法、装置、设备及计算机可读存储介质，通过获取待修剪视频，对待修剪视频进行特征提取，得到第一特征序列；然后，将第一特征序列输入至预设时序评估模型，得到时序信息；检测时序信息是否符合预设条件，并根据检测结果得到动作区域的时间段信息；进而根据时间段信息从待修改视频中提取出对应的动作区域。本专利技术实施例中通过提取特征，然后获取对应的时序信息，即各特征对应的时间位置分别属于动作片段开始、中间和结束的概率，进而筛选出高概率的边界位置，即动作区域的开始时间和结束时间，以提取得到精确的动作区域，相比于现有技术中采用使用多个持续时间的滑动时间窗口以固定的间隔进行滑动来提取动作区域，本专利技术的动作区域提取方法更加灵活，提取结果的精确性和准确性更高。附图说明图1为本专利技术实施例方案涉及的硬件运行环境的设备结构示意图；图2为本专利技术动作区域提取方法第一实施例的流程示意图；图3为本专利技术第一实施例中步骤S10的细化流程示意图；图4为本专利技术第一实施例中步骤S30的细化流程示意图；图5为本专利技术动作区域提取方法第二实施例的流程示意图本文档来自技高网...

【技术保护点】
1.一种动作区域提取方法，其特征在于，所述动作区域提取方法包括以下步骤：/n获取待修剪视频，对所述待修剪视频进行特征提取，得到第一特征序列；/n将所述第一特征序列输入至预设时序评估模型，得到时序信息；/n检测所述时序信息是否符合预设条件，并根据检测结果得到动作区域的时间段信息；/n根据所述时间段信息从所述待修改视频中提取出对应的动作区域。/n

【技术特征摘要】
1.一种动作区域提取方法，其特征在于，所述动作区域提取方法包括以下步骤：
获取待修剪视频，对所述待修剪视频进行特征提取，得到第一特征序列；
将所述第一特征序列输入至预设时序评估模型，得到时序信息；
检测所述时序信息是否符合预设条件，并根据检测结果得到动作区域的时间段信息；
根据所述时间段信息从所述待修改视频中提取出对应的动作区域。


2.如权利要求1所述的动作区域提取方法，其特征在于，所述获取待修剪视频，对所述待修剪视频进行特征提取，得到第一特征序列的步骤包括：
获取待修剪视频，对所述待修剪视频进行分帧处理，得到视频图像序列；
在所述视频图像序列中每隔预设帧数获取目标视频图像，提取所述目标视频图像的红绿蓝RGB特征和光流特征，得到RGB特征序列和光流特征序列；
对所述RGB特征序列和所述光流特征序列进行拼接，得到第一特征序列。


3.如权利要求2所述的动作区域提取方法，其特征在于，所述时序信息包括各目标视频图像对应的动作片段开始概率和动作片段结束概率，所述检测所述时序信息是否符合预设条件，并根据检测结果得到动作区域的时间段信息的步骤包括：
检测所述动作片段开始概率中是否存在大于第一预设阈值的概率值，得到第一检测结果，并根据所述第一检测结果得到动作片段开始时间数组；
检测所述动作片段结束概率中是否存在大于第二预设阈值的概率值，得到第二检测结果，并根据所述第二检测结果得到动作片段结束时间数组；
根据所述动作片段开始时间数组、所述动作片段结束时间数组，组合得到动作区域的时间段信息。


4.如权利要求1至3中任一项所述的动作区域提取方法，其特征在于，所述根据所述时间段信息从所述待修改视频中提取出对应的动作区域的步骤之前，还包括：
基于所述第一特征序列和所述时间段信息对各动作区域的特征进行采样，得到第二特征序列；
将所述第二特征序列输入至预设动作区域评估模型，得到动作区域评估分数；
所述根据所述时间段信息从所述待修改视频中提取出对应的动作区域的步骤包括：
根据所述动作区域评估分数和所述时间段信息，从所述待修改视频中提取出对应的动作区域。


5.如权利要求4所述的动作区域提取方法，其特征在于，所述基于所述第一特征序列和所述时间段信息对各动作区域...

【专利技术属性】
技术研发人员：张国辉，朱文和，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44