针对长时视频监控的感兴趣动物行为片段捕获与识别方法技术

本发明专利技术公开了一种针对长时视频监控的感兴趣动物行为片段捕获与识别方法，所述方法如下：获取视频直播流视频数据；利用动作敏感检测器发现具有意义的视频片段与素材；输出处理后的运动区域列表，写入日志；构建SlowFast的语义分析模型；对视频数据进行分割，并记录时间戳信息；获取与单个视频片段对应的视频帧组；获取各个视频片段的语义；将捕获到的运动画面分类为背景以及各种素材类别，输出发生运动的不同时间戳信息，写入日志，并且得到动物动作剪辑，提交信息至后端服务器，以便于后期处理与调度；根据运动类别结果驱动摄像头转动。该方法能够帮助媒体从业人员获取动物运动素材，减少媒体从业人员对大量视频进行二次编辑的工作量。辑的工作量。辑的工作量。

【技术实现步骤摘要】
针对长时视频监控的感兴趣动物行为片段捕获与识别方法


[0001]本专利技术属于人工智能
，涉及一种视频内容分析方法，具体涉及一种针对长时视频监控的感兴趣动物行为片段捕获与识别方法。

技术介绍

[0002]随着视频处理技术的不断发展，以及各种直播媒体流的涌现，视频内容分析方法已经引起了学术界和工业界的兴趣。目前比较成熟的产品已成功应用于各类监控系统，实现自动检测和自动报警等功能，然而对于动物监控视频，由于其数据稀少且种类繁多，目前主流的动物媒体节目或直播仍需要人工分析剪辑，使用人工智能算法进行事件检测仍是领域内具有挑战的问题，具有以下技术难点：1、对于24小时直播信号，监控视频存在较长时间的冗余片段，且采集出的画面存在光线、阴影、遮挡等影响，视频画面质量参差不齐。这限制了算法在复杂日常视频中的部署与应用。
[0003]2、目前国内外对于运动分析与理解研究目标主要基于人类，对于动物的运动分析尚缺乏成熟的技术与数据支撑。
[0004]3、同一种动作在不同动物种类中的表现形式不同，如“老虎跑动”与“袋鼠跑动”，导致动物的动作被单独本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种针对长时视频监控的感兴趣动物行为片段捕获与识别方法，其特征在于所述方法包括如下步骤：步骤S1：获取视频直播流视频数据；步骤S2：提出基于运动区域关注的动作敏感检测器，利用动作敏感检测器发现具有意义的视频片段与素材，同时将语义表达显著的目标所在镜头中位置进行定位；步骤S3：输出处理后的运动区域列表，写入日志；步骤S4：构建SlowFast的语义分析模型；步骤S5：对步骤S1中的视频数据进行分割获取一个或多个视频片段，并记录所述一个或多个视频片段的时间戳信息；步骤S6：对所述一个或多个视频片段进行抽帧处理，获取与单个视频片段对应的视频帧组；步骤S7：将所述一个或多个视频片段对应的视频帧组输入到步骤S4构建好的SlowFast模型中，以获取各个视频片段的语义；步骤S8：通过语义信息，将步骤S3中捕获到的运动画面分类为背景以及各种素材类别，输出发生运动的不同时间戳信息，写入日志，并且得到动物动作剪辑，提交信息至后端服务器，以便于后期处理与调度；步骤S9：根据步骤S8的运动类别结果驱动摄像头转动。2.根据权利要求1所述的针对长时视频监控的感兴趣动物行为片段捕获与识别方法，其特征在于所述步骤S1中，通过调用提供的接口获取直播视频流。3.根据权利要求1所述的针对长时视频监控的感兴趣动物行为片段捕获与识别方法，其特征在于所述步骤S2的具体步骤如下：步骤S21：进行灰度图像处理；步骤S22：使用基于KNN模型的前景检测，去除小变化噪声；步骤S23：使用膨胀腐蚀算子、区域绘制方式使得临近运动区域连接在一起，并保存检测出运动的区域列表；步骤S24：为防止由于光照剧烈变化引起的异常帧，敏感运动检测器通过判断关联帧之间的运动梯度、关联帧面积变化斜率、帧运动面积与关联帧平均运动区域面积的比值以及帧区域数目变化幅度来检测异常变化帧；步骤S25：如果S24中出现异常变化帧，则认为该帧为非动作帧；反之，则认为是正常帧，该帧是否为非动作帧取决于S23中得到的检测结果。4.根据权利要求3所述的针对长时视频监控的感兴趣动物行为片段捕获与识别方法，其特征在于所述步骤S21中，使用OpenCV
‑
python库进行图像灰度化处理。5.根据权利要求3所述的针对长时视频监控的感兴趣动物行为片段捕获与识别方法，其特征在于所述步骤...

【专利技术属性】
技术研发人员：姚鸿勋，王力凝，江经，朱健坤，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：