一种场景自适应视频数据集的构建方法及系统技术方案

本发明专利技术提供了一种场景自适应视频数据集的构建方法及系统，基于已有场景的各种行为视频数据，对目标场景与现有场景进行语义分析和相似度匹配，利用预训练好的行为分类模型对现有行为数据进行分类，获取目标行为视频数据，提出场景自适应机制，设计基于视频序列内容的目标跟踪算法，获取行为目标序列信息，利用背景抠除算法对目标序列检测框进行前景目标提取，再根据目标场景的属性与内容进行场景自适应转换、目标序列迁移与优化，生成目标场景下所需目标行为的高质量视频数据。本发明专利技术可以快速实现多种场景的自适应数据生成，无需目标场景提供大量视频数据，对目标场景数据量的要求较低，有助于行为检测与识别等应用。有助于行为检测与识别等应用。有助于行为检测与识别等应用。

【技术实现步骤摘要】
一种场景自适应视频数据集的构建方法及系统


[0001]本专利技术属于计算机视觉
，涉及一种场景自适应视频数据集的构建方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]近年来，随着对深度学习理论的研究和计算机算力的不断提升，计算机视觉技术得到了迅猛发展。行为检测与识别作为计算机视觉的一个重要分支，也正在蓬勃兴起，并广泛应用于智能监管、无人驾驶、社会安防等生活中的各个领域，为社会公众提供了更加便捷高效的生活方式，并大幅度推进了与其他计算机技术相结合的进程。
[0004]为了实现计算机自动、准确地识别监控视频中的行为，首先就要获取大量带有行为标签的视频数据集。对于一个行为识别网络模型，拥有越多的训练数据对模型的训练以及模型准确率的提升具有重要意义。由于在现实生活中，需要识别某些特定行为(如打架、聚集、久坐等)的应用场景各式各样，然而，就目前来看，现有的行为视频数据集仅包含有限个场景。要想在各种不同的场景下实现某些行为的检测识别，就需要获取在特定场景下的行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景自适应视频数据集的构建方法，其特征是，包括以下步骤：基于已有场景的各种行为视频数据，对目标场景与已有场景进行语义分析和相似度匹配；获取相似度超过预定值的已有场景的行为数据，利用预训练好的行为分类模型进行分类，获取目标行为视频数据；对目标行为视频数据进行目标跟踪，得到行为目标序列信息，对目标序列检测框进行前景目标提取；根据目标场景的属性与内容，对行为目标序列进行场景自适应转换，获得与目标场景更加相似的目标序列；将目标序列与目标背景图进行合成、拼接，得到具有连续行为动作的目标场景下所需行为的视频数据集。2.如权利要求1所述的一种场景自适应视频数据集的构建方法，其特征是，基于已有场景的各种行为视频数据，对目标场景与已有场景进行语义分析和相似度匹配的具体过程包括：将目标场景与已有场景进行语义分析，获取场景内容属性特征，并将目标场景与已有场景进行场景相似度匹配，获取与目标场景相似的已有场景行为数据。3.如权利要求1所述的一种场景自适应视频数据集的构建方法，其特征是，利用预训练好的行为分类模型进行分类的具体过程包括，将相似的已有场景的行为视频数据送入行为分类网络模型中进行批量分类，依次对视频流进行编码，通过卷积计算特征，以特征作为输入，生成不同长度的可能包含行为的时间范围，对时间范围进行过滤，将特征和不同长度的时间范围段转换成固定长度的特征图，最后进行行为类别分类并预测精修后的行为边界。4.如权利要求1所述的一种场景自适应视频数据集的构建方法，其特征是，对目标行为视频数据进行目标跟踪的具体过程包括：利用目标跟踪算法，对视频中的运动实体进行跟踪，逐帧或隔帧分别获取各运动目标的检测框与坐标位置，并分别将各个运动对象的目标检测框进行保存，获得连续的具有时间关联信息的行为目标序列检测框图像。5.如权利要求1所述的一种场景自适应视频数据集的构建方法，其特征是，对目标序列检测框进行前景目标提取的具体过程包括，利用背景抠除方法，将每一帧中各目标序列检测框图像中的前景信息和背景信息分离，去除图像背景，获取感兴趣的...

【专利技术属性】
技术研发人员：杨阳，张南南，刘云霞，孙齐悦，李雪，雷良健，
申请(专利权)人：山东大学，
类型：发明
国别省市：