一种动态场景下基于文本的目标检测方法技术

本发明专利技术公开了一种动态场景下基于文本的目标检测方法，构建了隐性记忆和显性记忆两种记忆机制，通过隐性记忆保存模型的重要程度，且通过重要程度去约束下一批次的训练，以及通过显性记忆保存难以迁移的数据，将难以迁移的数据放入下一批次的训练集中进行训练，能够有效的帮助神经网络模型进行记忆，避免了神经网络模型在动态场景下的灾难性遗忘问题。

【技术实现步骤摘要】
一种动态场景下基于文本的目标检测方法
本专利技术属于文本目标检测领域，具体涉及一种动态场景下基于文本的目标检测方法。
技术介绍
自2012年深度卷积神经网络在分类任务上取得的成功以来，计算机视觉的研究发展进入了黄金时代。考虑到人机交互的进一步要求得益于，结合计算机视觉与自然语言处理的研究在近年来的热度在不断上升。相对于目标检测，基于文本的目标检测不仅需要计算机理解图像实例的类别和位置信息，还需要计算机在理解文本的基础上，利用实例内部的属性信息和外部的关系信息去预测文本所描述的图像实例。由于基于文本的目标检测实现了图像与自然语言间语义上的对齐，因此对该任务的研究有助于其他更高级任务的实现，如图像检索和视觉问答(VQA)。但现有技术中存在以下问题：新数据到来的同时，旧数据将对模型不可见；模型需要学会所有批次数据包含的知识，直接将现有的基于文本的目标检测模型应用于此任务会出现经典的灾难性遗忘问题，数据学习的越早，模型性能下降越多，遗忘程度越大。
技术实现思路
针对现有技术中的上述不足，本专利技术提供的一种动态场景下基于文本的目标检测方法解决了现有技术中存在的问题。为了达到上述专利技术目的，本专利技术采用的技术方案为：一种动态场景下基于文本的目标检测方法，包括以下步骤：S1、采集若干文本图像样本对数据，根据文本图像样本对数据的类别将若干文本图像样本对数据分为L个数据集，将每个数据集分为训练集和验证集；S2、设定计数器n＝1，使用模块化注意网络MattNet进行文本目标检测；S3、使用第n批训练集数据对模块化注意网络MattNet训练T次，每次训练使用第n批验证集验证模块化注意网络MattNet，选取T次训练中识别准确率最高的模块化注意网络MattNet作为训练结果；S4、构建参数重要程度计算函数，并计算模块化注意网络MattNet中每个参数在第n批训练集上的第一重要程度；S5、构建模块重要程度计算函数，并计算模块化注意网络MattNet中每个模块在第n批训练集上的第二重要程度；S6、根据第一重要程度和第二重要程度构建对前n批训练集数据有记忆约束的网络训练损失函数，并根据训练损失函数约束模块化注意网络MattNet在第n+1批训练集上的训练；S7、获取第n批训练集中难以迁移的数据，并将其合并至第n+1批训练集中；S8、以损失函数最小为目标，使用第n+1批训练集数据对模块化注意网络MattNet训练M次，每次训练使用验证集验证模块化注意网络MattNet，选取M次训练中识别准确率最高的模块化注意网络MattNet作为训练结果；S9、令n的计数值加一，判断n是否等于L，若是，则将此时的网络参数作为模块化注意网络MattNet的最终参数，并进入步骤S10，否则返回步骤S4；S10、待检测文本图像数据输入模块化注意网络MattNet，得到文本目标检测结果。进一步地，所述步骤S4中参数重要程度计算函数Ωij具体为：其中，Ωij表示模块化注意网络MattNet中第i层第j个参数的重要程度，xk表示训练集中第k个图像数据，N表示训练集中图像数据的总数，gij(xk)表示模块化注意网络MattNet中第i层第j个参数θij在当前训练集上的梯度；F(xk；θij)表示模块化注意网络MattNet的函数。进一步地，所述步骤S5中模块重要程度计算函数Ωm具体为：其中，m∈{ext,sub,loc,rel}，ext代表模块化注意网络MattNet的特征提取部分，sub代表模块化注意网络MattNet的物体本身属性部分，loc代表模块化注意网络MattNet的物体位置部分，rel代表模块化注意网络MattNet的物体间的关系部分，Fm表示模块化注意网络MattNet中的m部分，表示对Ωm归一化后的最终解。进一步地，所述步骤S6中网络训练损失函数L(θ)具体为：其中，Ln(θ)表示第n批训练集上的损失函数，L1(θ)＝0，λ表示平衡本批数据和上一批数据的超参数，表示模块化注意网络MattNet的第i层第j个参数在上一批训练集数据上的最优值；m＝ext时，进一步地，所述步骤S7中获取第n批训练集中难以迁移的数据具体为：根据迁移性函数WsubLn(θ)，计算第n批训练集中每个数据的迁移性，并将第n批训练集中的数据按迁移性从大到小的顺序进行排列，取前Z个数据作为难以迁移的数据。本专利技术的有益效果为：(1)本专利技术构建了隐性记忆和显性记忆两种记忆机制，通过隐性记忆保存模型的重要程度，且通过重要程度去约束下一批次的训练，以及通过显性记忆保存难以迁移的数据，将难以迁移的数据放入下一批次的训练集中进行训练，能够有效的帮助神经网络模型进行记忆，避免了神经网络模型在动态场景下的灾难性遗忘问题。(2)本专利技术同时考虑了非固定数据的基于文本的目标检测和文本图像多模态信息的联合推理，进一步地探索了文本和图像的结构信息来帮助模型记忆。附图说明图1为本专利技术提出的一种动态场景下基于文本的目标检测方法流程图。具体实施方式下面对本专利技术的具体实施方式进行描述，以便于本
的技术人员理解本专利技术，但应该清楚，本专利技术不限于具体实施方式的范围，对本
的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本专利技术的精神和范围内，这些变化是显而易见的，一切利用本专利技术构思的专利技术创造均在保护之列。下面结合附图详细说明本专利技术的实施例。如图1所示，一种动态场景下基于文本的目标检测方法，包括以下步骤：S1、采集若干文本图像样本对数据，根据文本图像样本对数据的类别将若干文本图像样本对数据分为L个数据集，将每个数据集分为训练集和验证集；S2、设定计数器n＝1，使用模块化注意网络MattNet进行文本目标检测；S3、使用第n批训练集数据对模块化注意网络MattNet训练T次，每次训练使用第n批验证集验证模块化注意网络MattNet，选取T次训练中识别准确率最高的模块化注意网络MattNet作为训练结果；S4、构建参数重要程度计算函数，并计算模块化注意网络MattNet中每个参数在第n批训练集上的第一重要程度；S5、构建模块重要程度计算函数，并计算模块化注意网络MattNet中每个模块在第n批训练集上的第二重要程度；S6、根据第一重要程度和第二重要程度构建对前n批训练集数据有记忆约束的网络训练损失函数，并根据训练损失函数约束模块化注意网络MattNet在第n+1批训练集上的训练；S7、获取第n批训练集中难以迁移的数据，并将其合并至第n+1批训练集中；S8、以损失函数最小为目标，使用第n+1批训练集数据对模块化注意网络MattNet训练M次，每次训练使用验证集验证模块化注意网络MattNet，选取M次训练中识别准确率最高的模块化注意网络MattNet作为训练结果；S9、令n的计数值加一，本文档来自技高网...

【技术保护点】
1.一种动态场景下基于文本的目标检测方法，其特征在于，包括以下步骤：/nS1、采集若干文本图像样本对数据，根据文本图像样本对数据的类别将若干文本图像样本对数据分为L个数据集，将每个数据集分为训练集和验证集；/nS2、设定计数器n＝1，使用模块化注意网络MattNet进行文本目标检测；/nS3、使用第n批训练集数据对模块化注意网络MattNet训练T次，每次训练使用第n批验证集验证模块化注意网络MattNet，选取T次训练中识别准确率最高的模块化注意网络MattNet作为训练结果；/nS4、构建参数重要程度计算函数，并计算模块化注意网络MattNet中每个参数在第n批训练集上的第一重要程度；/nS5、构建模块重要程度计算函数，并计算模块化注意网络MattNet中每个模块在第n批训练集上的第二重要程度；/nS6、根据第一重要程度和第二重要程度构建对前n批训练集数据有记忆约束的网络训练损失函数，并根据训练损失函数约束模块化注意网络MattNet在第n+1批训练集上的训练；/nS7、获取第n批训练集中难以迁移的数据，并将其合并至第n+1批训练集中；/nS8、以损失函数最小为目标，使用第n+1批训练集数据对模块化注意网络MattNet训练M次，每次训练使用验证集验证模块化注意网络MattNet，选取M次训练中识别准确率最高的模块化注意网络MattNet作为训练结果；/nS9、令n的计数值加一，判断n是否等于L，若是，则将此时的网络参数作为模块化注意网络MattNet的最终参数，并进入步骤S10，否则返回步骤S4；/nS10、待检测文本图像数据输入模块化注意网络MattNet，得到文本目标检测结果。/n...

【技术特征摘要】
1.一种动态场景下基于文本的目标检测方法，其特征在于，包括以下步骤：
S1、采集若干文本图像样本对数据，根据文本图像样本对数据的类别将若干文本图像样本对数据分为L个数据集，将每个数据集分为训练集和验证集；
S2、设定计数器n＝1，使用模块化注意网络MattNet进行文本目标检测；
S3、使用第n批训练集数据对模块化注意网络MattNet训练T次，每次训练使用第n批验证集验证模块化注意网络MattNet，选取T次训练中识别准确率最高的模块化注意网络MattNet作为训练结果；
S4、构建参数重要程度计算函数，并计算模块化注意网络MattNet中每个参数在第n批训练集上的第一重要程度；
S5、构建模块重要程度计算函数，并计算模块化注意网络MattNet中每个模块在第n批训练集上的第二重要程度；
S6、根据第一重要程度和第二重要程度构建对前n批训练集数据有记忆约束的网络训练损失函数，并根据训练损失函数约束模块化注意网络MattNet在第n+1批训练集上的训练；
S7、获取第n批训练集中难以迁移的数据，并将其合并至第n+1批训练集中；
S8、以损失函数最小为目标，使用第n+1批训练集数据对模块化注意网络MattNet训练M次，每次训练使用验证集验证模块化注意网络MattNet，选取M次训练中识别准确率最高的模块化注意网络MattNet作为训练结果；
S9、令n的计数值加一，判断n是否等于L，若是，则将此时的网络参数作为模块化注意网络MattNet的最终参数，并进入步骤S10，否则返回步骤S4；
S10、待检测文本图像数据输入模块化注意网络MattNet，得到文本目标检测结果。


2.根据权利要求1所述的动态场景下基于文本的目标检测方法，其特征在于，所述步骤S4中参数重要程度计算...

【专利技术属性】
技术研发人员：宋井宽，谢硕，高联丽，
申请(专利权)人：贵州大学，电子科技大学，
类型：发明
国别省市：贵州;52