一种基于双通道加载机制的视频检测方法及系统技术方案

本发明专利技术涉及视频检测技术领域，具体公开了一种基于双通道加载机制的视频检测方法及系统，包括获取具有标注信息的视频数据并进行预处理，以获得具有标注信息的第一数据集和第二数据集；将第一数据集和第二数据集中的数据输入双通道加载机制中，从而获得第一增强数据和第二增强数据；构建目标检测模型，将第一增强数据和第二增强数据分别输入到模型中，以获得物体的预测位置和预测类别；基于标注信息训练目标检测模型；基于训练好的目标检测模型对待检测的视频数据进行检测；该方法通过双通道加载机制同时加载二份数据并且使用不同的数据增强策略进行最大化扩充数据的多样性，增强模型的检测能力。型的检测能力。型的检测能力。

【技术实现步骤摘要】
一种基于双通道加载机制的视频检测方法及系统


[0001]本专利技术涉及视频检测
，具体涉及一种基于双通道加载机制的视频检测方法及系统。

技术介绍

[0002]在现有的视频检测中，生成的模型主要受到视频训练的限制，视频训练目前包括采用间隔采样的帧用于训练和采用全部帧都用于训练；视频数据具有高度的连续性，采用间隔采样的帧用于训练（即每间隔一定帧数取一帧图像作为训练数据）会导致数据量不多，如果视频数据采集量不多的情况下用来生成的训练数据总量就很少，从而导致模型的检测效果较低；而采用全部帧都用于训练（即全帧数据训练）时，由于视频帧十分连续，即使视频数据量不多也可能产生大量的图片，会导致训练时间很久，模型拟合泛化能力极差，效果一般不佳。
[0003]为了利用少量视频数据获得较好的模型检测效果，目前视频检测中使用的视频数据增强的方法来增加视频数据的多样性，但视频数据增强也只能使用少量的策略，如果单通道同时使用多种数据增强策略进行增强，图像经历多种增强算法的叠加，将会导致与原图分布差异较大，模型的性能不能随着使用更多的增强算法而提升。

技术实现思路

[0004]针对上述问题，本专利技术的一个目的是提供一种基于双通道加载机制的视频检测方法，该方法通过双通道加载机制同时加载二份数据并且使用不同的数据增强策略进行最大化扩充数据的多样性，弥补视频数据由于连续性导致样本差异过小，提取有效图像数据不足的缺点，从而增强目标检测模型的检测能力。
[0005]本专利技术的第二个目的是提供一种基于双通道加载机制的视频检测系统。
[0006]本专利技术所采用的第一个技术方案是：一种基于双通道加载机制的视频检测方法，包括以下步骤：S100：获取具有标注信息的视频数据并进行预处理，以获得具有标注信息的第一数据集和第二数据集；所述标注信息标注了物体的类别和位置；S200：将所述第一数据集和第二数据集中的数据输入双通道加载机制中，采用不同的数据增强策略进行数据增强，从而获得第一增强数据和第二增强数据；S300：构建目标检测模型，将第一增强数据和第二增强数据分别输入到所述目标检测模型中，以获得物体的预测位置和预测类别；S400：基于物体的类别和预测类别，以及物体的位置和预测位置训练所述目标检测模型，以获得训练好的目标检测模型；S500：基于所述训练好的目标检测模型对待检测的视频数据进行检测。
[0007]优选地，所述步骤S100中的预处理包括：1）将标注信息进行格式转换，从而形成coco格式的标注信息；
2）将具有coco格式标注信息的视频数据分别以50帧和37帧为间隔进行间隔取帧，以获得具有标注信息的第一数据集和第二数据集。
[0008]优选地，所述步骤S200中的数据增强操作在双通道中实现，第一数据集中的数据和第二数据集中的数据各自对应不同的数据增强通道。
[0009]优选地，所述双通道中的第一通道中包括图像大小调整、第一自搜索数据增强策略、图像数值归一化、图像填充和图像数值类型转换；第二通道中包括图像大小调整、第二自搜索数据增强策略、图像数值归一化、图像填充和图像数值类型转换。
[0010]优选地，所述步骤S300中的目标检测模型为基于atss
‑
convnext的目标检测模型；所述基于atss
‑
convnext的目标检测模型包括backbone层、neck层和head层。
[0011]优选地，所述步骤S300包括以下子步骤：S310：将所述第一增强数据和第二增强数据分别输入backbone层进行特征提取，以获得三层特征图；S320：将所述三层特征图输入到neck层进行FPN特征加强融合，以生成加强特征图；S330：将所述加强特征图输入到head层，以获得物体的预测位置和预测类别。
[0012]优选地，所述步骤S400包括：基于物体的类别和预测类别通过Focal Loss进行训练；基于物体的位置和预测位置通过GIOU Loss进行训练。
[0013]优选地，所述步骤S400还包括：使用公开数据集对所述目标检测模型进行预训练，从而生成初始化权重；获得初始化权重后，再基于物体的类别和预测类别，以及物体的位置和预测位置训练所述目标检测模型，以获得训练好的目标检测模型。
[0014]本专利技术所采用的第二个技术方案是：一种基于双通道加载机制的视频检测系统，包括预处理模块、数据增强模块、目标检测模型构建模块、训练模块和检测模块；所述预处理模块用于获取具有标注信息的视频数据并进行预处理，以获得具有标注信息的第一数据集和第二数据集；所述标注信息标注了物体的类别和位置；所述数据增强模块用于将所述第一数据集和第二数据集中的数据输入双通道加载机制中，采用不同的数据增强策略进行数据增强，从而获得第一增强数据和第二增强数据；所述目标检测模型构建模块用于构建目标检测模型，将第一增强数据和第二增强数据分别输入到所述目标检测模型中，以获得物体的预测位置和预测类别；所述训练模块用于基于物体的类别和预测类别，以及物体的位置和预测位置训练所述目标检测模型，以获得训练好的目标检测模型；所述检测模块用于基于所述训练好的目标检测模型对待检测的视频数据进行检测。
[0015]优选地，所述数据增强模块在双通道中进行数据增强，其中第一数据集中的数据和第二数据集中的数据各自对应不同的数据增强通道。
[0016]上述技术方案的有益效果：
（1）本专利技术公开的一种基于双通道加载机制的视频检测方法根据视频数据分别每间隔37帧和50帧生成两份图像数据，通过双通道加载机制同时加载二份数据，并且使用不同的数据增强策略进行最大化扩充数据的多样性，弥补视频数据由于连续性导致样本差异过小、提取有效图像数据不足的缺点；从而增强目标检测模型的检测能力。
[0017]（2）本专利技术通过改进船载视频数据的数据增强策略（即采用双通道加载机制进行数据增强）来扩展更多数据和使用更多的数据增强，从而提高目标检测模型的检测精度。
[0018]（3）本专利技术通过获取视频数据进行不同间隔提取图像，能够提取两份分布不同的数据集，同时使用二种数据预处理通道（即双通道加载机制）进行数据预处理，每个数据预处理通道使用的数据增强策略不同，两份分布不同的数据集经过不同的数据预处理通道产生不同增强后的图像；通过该双通道加载的方式，能够在同一视频数据中扩展生成更多数据来增强目标检测模型的鲁棒性，提高目标检测模型的检测准确度。
附图说明
[0019]图1为本专利技术的一个实施例提供的一种基于双通道加载机制的视频检测方法的流程示意图；图2为本专利技术一个实施例提供的双通道加载机制的示意图；图3为本专利技术一个实施例提供的neck层的结构示意图；图4为本专利技术的一个实施例提供的一种基于双通道加载机制的视频检测系统的结构示意图。
具体实施方式
[0020]下面结合附图和实施例对本专利技术的实施方式作进一步详细描述。以下实施例的详细描述和附图用于示例性地说明本专利技术的原理，但不能用来限制本专利技术的范围，即本专利技术不限于所描述的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双通道加载机制的视频检测方法，其特征在于，包括以下步骤：S100：获取具有标注信息的视频数据并进行预处理，以获得具有标注信息的第一数据集和第二数据集；所述标注信息标注了物体的类别和位置；S200：将所述第一数据集和第二数据集中的数据输入双通道加载机制中，采用不同的数据增强策略进行数据增强，从而获得第一增强数据和第二增强数据；S300：构建目标检测模型，将第一增强数据和第二增强数据分别输入到所述目标检测模型中，以获得物体的预测位置和预测类别；S400：基于物体的类别和预测类别，以及物体的位置和预测位置训练所述目标检测模型，以获得训练好的目标检测模型；S500：基于所述训练好的目标检测模型对待检测的视频数据进行检测。2.根据权利要求1所述的视频检测方法，其特征在于，所述步骤S100中的预处理包括：1）将标注信息进行格式转换，从而形成coco格式的标注信息；2）将具有coco格式标注信息的视频数据分别以50帧和37帧为间隔进行间隔取帧，以获得具有标注信息的第一数据集和第二数据集。3.根据权利要求1所述的视频检测方法，其特征在于，所述步骤S200中的数据增强操作在双通道中实现，第一数据集中的数据和第二数据集中的数据各自对应不同的数据增强通道。4.根据权利要求3所述的视频检测方法，其特征在于，所述双通道中的第一通道中包括图像大小调整、第一自搜索数据增强策略、图像数值归一化、图像填充和图像数值类型转换；第二通道中包括图像大小调整、第二自搜索数据增强策略、图像数值归一化、图像填充和图像数值类型转换。5.根据权利要求1所述的视频检测方法，其特征在于，所述步骤S300中的目标检测模型为基于atss
‑
convnext的目标检测模型；所述基于atss
‑
convnext的目标检测模型包括backbone层、neck层和head层。6.根据权利要求5所述的视频检测方法，其特征在于，所述步...

【专利技术属性】
技术研发人员：柯登峰，程鹏，徐艳艳，王运峰，
申请(专利权)人：澳克多普有限公司，
类型：发明
国别省市：