一种深度神经网络模型的在线训练方法技术

本发明专利技术公开了一种深度神经网络模型的在线训练方法，涉及深度学习技术领域，解决了网络模型在训练完成后无法使用新的数据集对模型进行及时优化调整的技术问题，其技术方案要点是通过离线训练的实例分割网络对采集图像进行实例分割，基于多假设跟踪算法对多目标进行数据关联，再基于卡尔曼滤波算法对每个目标的运动状态进行估计，当漏检情况发生时，利用生成式对抗网络生成样本图像，实例分割网络利用新样本(即样本图像)进行在线训练，在线训练的方法可以根据实时反馈的数据，快速地进行网络模型参数的优化，从而可以使深度神经网络模型在实际应用中取得比离线训练更好的效果。型在实际应用中取得比离线训练更好的效果。型在实际应用中取得比离线训练更好的效果。

【技术实现步骤摘要】
一种深度神经网络模型的在线训练方法


[0001]本申请涉及深度学习
，尤其涉及一种深度神经网络模型的在线训练方法。

技术介绍

[0002]深度神经网络(DNN)目前是许多人工智能应用的基础。由于深度神经网络在语音识别和图像识别上的突破性应用，深度神经网络的应用量有了爆炸性的增长。深度神经网络如今被部署到了自动驾驶汽车、癌症检测、复杂游戏等多个领域。
[0003]基于深度神经网络的方法因其具有强大的表征能力和较高的检测精度而被广泛应用，但是目前常用的神经网络训练过程需要大量带标签的数据集，这些有效数据集的获取往往是十分困难的。针对小样本数据，如果继续采用传统的深度神经网络模型来进行离线训练，在这种情况下很容易产生过拟合，在实际应用过程中难以达到满意的识别效果。
[0004]目前，深度神经网络模型的训练通常以离线学习的方式进行，网络模型在训练完成后无法使用新的数据集对模型进行及时的优化调整。

技术实现思路

[0005]本申请提供了一种深度神经网络模型的在线训练方法，其技术目的是通过在线学习的方式来提高神经网络模型的性能，根据线上反馈的数据，实时快速地进行模型参数的调整，使得模型能够更加符合实际的应用场景，提高模型预测准确率。
[0006]本申请的上述技术目的是通过以下技术方案得以实现的：
[0007]一种深度神经网络模型的在线训练方法，包括：
[0008]S1：经过离线训练的实例分割网络对采集图像进行实例分割，得到每帧图像中每个目标的实例掩膜、边界框位置、类别信息及其对应的置信度；
[0009]S2：基于多假设跟踪算法对当前帧中每个目标的检测结果与先前帧中每个目标进行数据匹配，若当前帧检测结果中某个目标在先前帧中无对应的目标匹配，则当前帧中产生新目标；若先前帧估计结果中某个目标在当前帧中无对应的检测结果匹配，则表示该目标在当前帧出现漏检；
[0010]其中，先前帧中每个目标在当前帧中的位置值是基于卡尔曼滤波算法进行估计的估计结果；
[0011]S3：当漏检情况发生时，通过生成式对抗网络对出现漏检的目标进行运动状态估计，生成用于实例分割网络在线学习的样本图像；
[0012]S4：根据所述样本图像对实例分割网络进行在线训练，对未冻结的参数进行更新，得到最终的实例分割网络。
[0013]本申请的有益效果在于：通过离线训练的实例分割网络对采集图像进行实例分割，基于多假设跟踪算法对多目标进行数据关联，再基于卡尔曼滤波算法对每个目标的运动状态进行估计，当漏检情况发生时，利用生成式对抗网络生成样本图像，实例分割网络利
用新样本(即样本图像)进行在线训练，在线训练的方法可以根据实时反馈的数据，快速地进行网络模型参数的优化，从而可以使深度神经网络模型在实际应用中取得比离线训练更好的效果。
附图说明
[0014]图1为本申请所述方法的流程图；
[0015]图2为基于多假设跟踪算法进行多目标数据管理的流程图。
具体实施方式
[0016]下面将结合附图对本申请技术方案进行详细说明。
[0017]如图1所示，一种深度神经网络模型的在线训练方法，包括：
[0018]S1：经过离线训练的实例分割网络对采集图像进行实例分割，得到每帧图像中每个目标的实例掩膜、边界框位置、类别信息及其对应的置信度。
[0019]具体地，采集图像通过视觉传感器采集得到，将视觉传感器获取到的视频流每一帧图像经过图像处理再输入到经过离线训练的实例分割网络中，从而获得每一帧图像中每个目标的实例掩膜、边界框位置、类别信息及其对应的置信度。实例分割网络离线训练时的损失函数包括边界框的分类误差、边界框的位置回归误差和掩膜的二分类交叉熵误差；离线训练时使用随机梯度下降法对实例分割网络的参数进行更新优化。
[0020]S2：基于多假设跟踪算法(MHT)对当前帧中每个目标的检测结果与先前帧中每个目标进行数据匹配，若当前帧检测结果中某个目标在先前帧中无对应的目标匹配，则当前帧中产生新目标；若先前帧估计结果中某个目标在当前帧中无对应的检测结果匹配，则表示该目标在当前帧出现漏检；其中，先前帧中每个目标在当前帧中的位置值是基于卡尔曼滤波算法进行估计的估计结果。
[0021]具体地，基于卡尔曼滤波算法(KF)对先前帧中每个目标的运动状态进行估计，得到先前帧中每个目标的状态向量，将先前帧中每个目标的状态向量作为判决条件，对每个目标的状态进行更新，得到先前帧中每个目标在当前帧中的预测位置，即得到每个目标在当前帧中的轨迹假设。每个目标生成的轨迹假设都会根据当前帧的检测结果赋予相应的轨迹得分，之后对当前帧中所有目标的轨迹假设进行全局最优匹配，得到一个互不冲突的全局最优假设(即每个目标在当前帧中的全局最优轨迹假设)，基于全局最优假设为当前帧每个目标匹配对应的追踪器。
[0022]基于卡尔曼滤波算法对先前帧中每个目标的运动状态进行估计，表示为：
[0023][0024][0025][0026]其中，表示k帧时刻的状态向量；表示帧图像中第i个目标边界框位置中
心点，w
i
和h
i
分别表示第i个目标边界框的宽和高，均表示相应的状态值变化速度；F
k
表示状态转移矩阵；P
k
表示噪声协方差矩阵；Q
k
表示过程激励噪声协方差矩阵；
[0027]将边界框位置作为测量值进行更新，更新公式表示为：
[0028][0029][0030][0031][0032]P
k
'＝P
k
‑
K'H
k
P
k
；
[0033][0034]其中，测量矩阵z
k
即为当前帧通过步骤S1得到的边界框位置信息；R
k
表示观测噪声协方差矩阵；K'表示卡尔曼增益系数；H
k
表示转移矩阵；P
k
'表示更新的噪声协方差矩阵。
[0035]S3：当漏检情况发生时，通过生成式对抗网络对出现漏检的目标进行运动状态估计，生成用于实例分割网络在线学习的样本图像。
[0036]具体地，将当前帧和漏检目标的预测位置作为条件变量输入到经过离线训练的生成式对抗网络，生成用于实例分割网络在线学习的样本图像，所述样本图像以输入的采集图像为背景，并对漏检目标生成实例掩膜、边界框位置、类别信息及其对应的置信度。
[0037]S4：根据所述样本图像对实例分割网络进行在线训练，对未冻结的参数进行更新，得到最终的实例分割网络。经过在线训练得到的实例分割网络可以循环到步骤S1中，使用在线训练得到的实例分割网络对采集图像进行实例分割，得到每帧图像中每个目标的检测结果，循环步骤S1至S4，直至最终的实例分割网络满足迭代次数或参数更新至达到预设阈值。
[0038]具体地，步骤S1中，将经过离线训练的实例分割网络的特征提取层的网络参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度神经网络模型的在线训练方法，其特征在于，包括：S1：经过离线训练的实例分割网络对采集图像进行实例分割，得到每帧图像中每个目标的检测结果；其中，所述检测结果包括实例掩膜、边界框位置、类别信息及其对应的置信度；S2：基于多假设跟踪算法对当前帧中每个目标的检测结果与先前帧中每个目标进行数据匹配，若当前帧检测结果中某个目标在先前帧中无对应的目标匹配，则当前帧中产生新目标；若先前帧估计结果中某个目标在当前帧中无对应的检测结果匹配，则表示该目标在当前帧出现漏检；其中，先前帧中每个目标在当前帧中的位置值是基于卡尔曼滤波算法进行估计的估计结果；S3：当漏检情况发生时，通过生成式对抗网络对当前帧中的漏检目标进行运动状态估计，生成用于实例分割网络在线学习的样本图像；S4：根据所述样本图像对实例分割网络进行在线训练，对未冻结的参数进行更新，得到最终的实例分割网络。2.如权利要求1所述的在线训练方法，其特征在于，所述步骤S1中，实例分割网络离线训练时的损失函数包括边界框的分类误差、边界框的位置回归误差和掩膜的二分类交叉熵误差；离线训练时使用随机梯度下降法对实例分割网络的参数进行更新优化。3.如权利要求1所述的在线训练方法，其特征在于，所述步骤S2中，基于卡尔曼滤波算法对先前帧中每个目标的运动状态进行估计，得到先前帧中每个目标的状态向量，将先前帧中每个目标的状态向量作为判决条件，对每个目标的状态进行更新，得到先前帧中每个目标在当前帧中的预测位置，即得到每个目标在当前帧中的轨迹假设；基于卡尔曼滤波算法对先前帧中每个目标的运动状态进行估计，表示为：基于卡尔曼滤波算法对先前帧中每个目标的运动状态进行估计，表示为：基于卡尔曼滤波算法对先前帧中每个目标的运动状态进行估计，表示为：其中，表示k帧时刻的状态向量；表示帧图像中第i个目标边界框位置中心点，w
i
和h
i
分别表示第i个目标边界框的宽和高，均表示相应的状态值变化速度；F
k
表示状态转移矩阵；P
k
表示噪声协方差矩阵；Q
k
表示过程激励噪声协方差矩阵；将边界框位置作为测量值...

【专利技术属性】
技术研发人员：耿可可，丁鹏博，殷国栋，祝小元，王金湘，张宁，庄伟超，
申请(专利权)人：东南大学，
类型：发明
国别省市：