本发明专利技术公开的基于目标检测的交通视觉抗遮挡训练方法、装置及系统，涉及视频图像处理技术领域，包括：S1按采样系数对输入的视频序列进行图像采样和标注，获得原始图像及标注信息；S2利用卷积神经网络处理原始图像，获得相应的浅层特征图；S3将浅层特征图送入难样本级联区域推荐网络，获取难样本区域特征，并采用难样本级联区域推荐网络损失函数计算难样本级联损失。该方法适用于智能监控、智慧交通中的各个方面，显著提升了现有算法对遮挡目标的检测能力，解决了因目标受遮挡导致的算法训练成本高、复杂度高的问题，避免了人工特征的复杂度以及多特征融合的计算消耗，灵活性强，可根据具体的应用场景训练获得高性能的模型。根据具体的应用场景训练获得高性能的模型。根据具体的应用场景训练获得高性能的模型。
【技术实现步骤摘要】
基于目标检测的交通视觉抗遮挡训练方法、装置及系统
[0001]本专利技术涉及视频图像处理
，具体为基于目标检测的交通视觉抗遮挡训练方法、装置及系统。
技术介绍
[0002]基于深度学习的目标检测算法训练方法及系统目的是训练目标检测算法，使其能够从给定的视频采样帧中精确定位和识别视觉目标。该技术在智能监控、智慧交通中有着很大应用前景，是对行人、车辆等视觉目标开展跟踪、分析、检索的基础。
[0003]然而，实际交通场景中的视觉目标形态各异，并且受到拍摄视角等影响而伴有大量遮挡，这使得构建实用化的目标检测算法训练方法及系统具有极大的挑战性，极易造成被检测目标的特征信息丢失，导致训练成本高、效果差，进而在目标检测时造成误检、漏检结果，并影响后续功能的准确性。具体地，交通场景中的视觉目标遮挡体现为视觉目标被环境物体(如建筑、道路指示牌)遮挡，视觉目标之间的相互遮挡。现阶段的目标检测算法训练系统在处理目标遮挡时主要采用多特征融合以及数据增广的方法。其中，多特征融合方法将深度网络中的多层特征进行融合，或联合使用人工视觉特征和深度网络特征。该方法通过大量人工、机器标注和生成的方式扩大训练数据集提升训练效果，缺点在于需要消耗更高的经济、人工成本进行数据标注，且泛化性能有限，训练复杂度高，额外计算量大。
技术实现思路
[0004]解决的技术问题
[0005]针对现有技术的不足，本专利技术提供了基于目标检测的交通视觉抗遮挡训练方法、装置及系统，解决了因目标受遮挡导致的算法训练成本高、性能差，算法复杂度高，依赖数据增广、泛化能力差的问题，以期能够高效地实现交通场景目标检测算法的抗遮挡训练。
[0006]技术方案
[0007]为实现以上目的，本专利技术通过以下技术方案予以实现：一种基于目标检测的交通视觉抗遮挡训练方法，包括：
[0008]S1:按采样系数对输入的视频序列进行图像采样和标注，获得原始图像及标注信息；
[0009]S2:利用卷积神经网络处理原始图像，获得相应的浅层特征图；
[0010]S3:将浅层特征图送入难样本级联区域推荐网络，获取难样本区域特征，并采用难样本级联区域推荐网络损失函数计算难样本级联损失；
[0011]S4:在难样本区域特征上进行预测操作，得到难样本区域的位置及检测置信度，结合原始图像标注信息、难样本级联区域推荐网络计算得到的样本损失，使用反向传播算法进行网络训练；
[0012]S5：输出算法训练结果。
[0013]进一步地，所述S1中视频序列、原始图像及标注信息的特点为：
[0014]输入原始的视频序列为3通道RGB彩色图像；原始图像为按照采样系数获取的3通道RGB彩色图像；原始图像标注信息指该原始图像中视觉目标的类别信息及位置信息，其中类别信息表示为类别标签，位置信息表示为对应视觉目标的二维边界框。
[0015]进一步地，所述S1中采样系数的特点为：
[0016]采样系数N为预先设定好的大于1的整数。
[0017]进一步地，所述S2中卷积神经网络的特点为：
[0018]包括卷积层、批正则化层、ReLU层、Concat层、池化层等，输入是单个原始图像，输出是卷积神经网络特定层对应原始图像的特征图，所述特征图作为原始图像在特征空间上的外观表征。
[0019]进一步地，所述S3中难样本级联区域推荐网络获取难样本区域特征的特点为：将区域划分为前景候选区域以及背景候选区域的概率得分与预设好的阈值进行比较判断，获得难样本区域特征。
[0020]进一步地，所述难样本级联区域推荐网络获取难样本区域特征的比较判断包含四个阶段：
[0021]第1阶段，生成每批1024个区域，并对这些区域采用softmax函数来完成分类，获得其为前景候选区域以及背景候选区域的概率得分，若得分高于设定的阈值，则该区域被判定为简单样本且被拒绝参与后续网络训练，否则进入第2阶段，其中，设定的阈值是0.5
‑
0.999之间的数；
[0022]第2阶段，抽取样本区域在该阶段网络的特征并使用softmax函数进行分类，并通过设定阈值判断是否拒绝该阶段的简单样本，若不拒绝，则进入第3阶段；
[0023]第3、第4阶段依此类推；其中，经过难样本级联区域推荐网络后输出的样本区域特征则称为难样本区域特征。
[0024]进一步地，所述S3中难样本级联区域推荐网络损失函数，包含一个级联二分类损失函数和一个回归损失函数。
[0025]进一步地，所述S4中预测操作的特点为：
[0026]对难样本区域进行视觉目标的类别分类并计算位置信息，所述反向传播算法指随机梯度下降算法。
[0027]本专利技术还提供了一种基于目标检测的交通场景抗遮挡虚拟训练装置，包括：
[0028]图像采样及标注单元，用于按采样系数对输入的视频序列进行图像采
[0029]样和标注，获得原始图像及标注信息；
[0030]视觉表征提取模块，用于利用卷积神经网络处理原始图像，获得相应的浅层特征图；
[0031]难样本级联区域推荐网络模块，用于将浅层特征图送入难样本级联区域推荐网络，获取难样本区域特征，并采用难样本级联区域推荐网络损失函数计算难样本级联损失；
[0032]难样本预测及反向传播训练模块，用于在难样本区域特征上进行预测操作，得到难样本区域的位置及检测置信度，结合原始图像标注信息、难样本级联区域推荐网络计算得到的样本损失，使用反向传播算法进行网络训练；
[0033]训练模型输出模块，用于输出算法训练结果。
[0034]本专利技术还提供了一种基于目标检测的交通场景抗遮挡训练系统，包括：
[0035]图像采样及标注单元，对视频序列进行采样处理，其输出作为视觉表征提取单元的输入；
[0036]视觉表征提取单元，利用卷积神经网络对原始图像进行抽象化处理，其输出作为难样本级联区域推荐网络单元的输入；
[0037]难样本级联区域推荐网络单元，获取难样本区域特征并计算难样本级联损失，其输出作为难样本预测及反向传播训练单元的输入；
[0038]难样本预测及反向传播训练单元，实现网络的反向传播及训练，其输出作为训练模型输出单元的输入；
[0039]训练模型输出单元，输出训练模型。
[0040]有益效果
[0041]本专利技术具有以下有益效果：
[0042](1)、该基于目标检测的交通视觉抗遮挡训练方法、装置及系统，通过卷积神经网络处理原始图像获得相应的浅层特征图，难样本级联区域推荐网络处理浅层特征图获取难样本区域特征，难样本级联区域推荐网络损失函数计算难样本级联损失，对难样本区域特征进行预测得到难样本区域的位置及检测置信度，结合原始图像标注信息、难样本级联区域推荐网络计算得到的样本损失，使用反向传播算法进行网络训练并输出算法训练结果，尤其显著提升了现有算法对遮挡目标的检测能力，能够在交通场景中获得更加优秀的性能。
[0043本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于目标检测的交通场景抗遮挡训练方法，其特征在于，所述方法是按如下步骤进行:S1:按采样系数对输入的视频序列进行图像采样和标注，获得原始图像及标注信息；S2:利用卷积神经网络处理原始图像，获得相应的浅层特征图；S3:将浅层特征图送入难样本级联区域推荐网络，获取难样本区域特征，并采用难样本级联区域推荐网络损失函数计算难样本级联损失；S4:在难样本区域特征上进行预测操作，得到难样本区域的位置及检测置信度，结合原始图像标注信息、难样本级联区域推荐网络计算得到的样本损失，使用反向传播算法进行网络训练；S5：输出算法训练结果。2.根据权利要求1所述的一种基于目标检测的交通场景抗遮挡训练方法，其特征在于，所述S1中视频序列、原始图像及标注信息的特点为：输入原始的视频序列为3通道RGB彩色图像；原始图像为按照采样系数获取的3通道RGB彩色图像；原始图像标注信息指该原始图像中视觉目标的类别信息及位置信息，其中类别信息表示为类别标签，位置信息表示为对应视觉目标的二维边界框。3.根据权利要求1所述的一种基于目标检测的交通场景抗遮挡训练方法，其特征在于，所述S1中采样系数的特点为：采样系数N为预先设定好的大于1的整数。4.根据权利要求1所述的一种基于目标检测的交通场景抗遮挡训练方法，其特征在于，所述S2中卷积神经网络的特点为：包括卷积层、批正则化层、ReLU层、Concat层、池化层等，输入是单个原始图像，输出是卷积神经网络特定层对应原始图像的特征图，所述特征图作为原始图像在特征空间上的外观表征。5.根据权利要求1所述的一种基于目标检测的交通场景抗遮挡训练方法，其特征在于，所述S3中难样本级联区域推荐网络获取难样本区域特征的特点为：将区域划分为前景候选区域以及背景候选区域的概率得分与预设好的阈值进行比较判断，获得难样本区域特征。6.根据权利要求5所述的一种基于目标检测的交通场景抗遮挡训练方法，其特征在于，所述难样本级联区域推荐网络获取难样本区域特征的比较判断包含四个阶段：第1阶段，生成每批1024个区域，并对这些区域采用softmax函数来完成分类，获得其为前景候选区域以及背景候选区域的概率得分，若得分高于设定的阈值，则该区域被判定为简单样本且...
【专利技术属性】
技术研发人员：杨东明，侯圣文，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。