一种具有数据识别功能的检测系统及方法技术方案

本发明专利技术提出具有数据识别功能的检测系统及方法。系统包括：数据采样子系统，从输入数据流中进行数据采样，获得多个采样数据集；目标检测网络训练子系统，基于多个采样数据集训练多个目标检测网络；目标检测网络训练子系统输出多个深度学习神经网络模型的多组配置参数集；所述方法包括：将多组配置参数集输入目标检测网络评估模型进行预测，得到网络预测性能参数集合；确定网络预测性能参数集合中满足第一性能条件的第一网络预测性能参数集，将所述第一网络预测性能参数集作为调整集，对所述目标检测网络评估模型进行参数调整，得到调整后的目标检测网络评估模型。本发明专利技术还提出实现所述方法的计算机可读存储介质。述方法的计算机可读存储介质。述方法的计算机可读存储介质。

【技术实现步骤摘要】
一种具有数据识别功能的检测系统及方法


[0001]本专利技术属于数据识别与检测领域，尤其涉及一种具有数据识别功能的检测系统及方法、计算机可读存储介质。

技术介绍

[0002]利用深度学习自动学习特征已经逐步取代了人工构建特征和统计方法。但其中一个关键问题是需要大量的数据，否则会因为参数过多过拟合。但是这个成本非常高昂，因此从海量的大数据流中获取有限数据训练高效的深度学习模型成为需要解决的问题。一个重要的里程碑是转移学习——受人类启发，不是从大量数据中从头开始学习，而是利用少量样例来解决问题。
[0003]由于网络以及相关应用的不断普及，网络数据逐渐呈现着“海量、高维”的趋势，如何利用已有的机器学习或者数据挖掘的算法，获取有效信息，已经成为学术界以及工业所共同关注的重点。

技术实现思路

[0004]为解决上述技术问题，本专利技术提出一种具有数据识别功能的检测系统及方法、计算机可读存储介质。
[0005]在本专利技术的第一个方面，提出一种具有数据识别功能的检测系统，所述系统包括数据采样子系统、目标检测网络训练子系统、目标检测网络评估模型以及深度学习神经网络模型。
[0006]数据采样子系统，用于从输入数据流中进行数据采样，获得多个采样数据集；目标检测网络训练子系统，用于基于多个采样数据集训练多个目标检测网络，所述目标检测网络为待训练的深度学习神经网络模型；所述目标检测网络训练子系统输出多个深度学习神经网络模型的多组配置参数集；将所述多组配置参数集输入与采样数据集类型对应的目标检测网络评估模型进行预测，得到网络预测性能参数集合；确定所述网络预测性能参数集合中满足第一性能条件的第一网络预测性能参数集，将所述第一网络预测性能参数集作为调整集，对所述目标检测网络评估模型进行参数调整，得到调整后的目标检测网络评估模型；将当前输入数据流作为深度学习神经网络模型的输入；通过所述调整后的与当前输入数据流类型对应的目标检测网络评估模型预测深度学习神经网络模型的性能，得到调整后网络预测性能参数；若所述调整后网络预测性能参数满足第二性能条件，则保留当前输入数据。
[0007]所述第二性能条件强于所述第一性能条件；若所述调整后网络预测性能参数不满足第二性能条件，则判断所述调整后网络预
测性能参数是否满足第一性能条件，如果是，将所述调整后网络预测性能参数作为调整集，对所述与当前输入数据流类型对应的目标检测网络评估模型进行参数调整。
[0008]所述系统还包括数据存储子系统；所述数据存储子系统包括显存空间和内存空间；若所述调整后网络预测性能参数满足第二性能条件，则将所述当前输入数据流存储至所述显存空间；当所述显存空间的空间利用率超过第一预设控制值时，将所述显存空间存贮的所有输入数据流作为训练数据集。
[0009]若所述调整后网络预测性能参数不满足第二性能条件但满足第一性能条件，则将所述当前输入数据流存储至所述内存空间；当所述内存空间存储的输入数据流的大小超过第二预设控制值时，将所述内存空间存储的输入数据流作为测试数据集。
[0010]若所述调整后网络预测性能参数满足第二性能条件，则所述数据存储子系统启动显存分配请求，根据所述显存分配请求确定当前输入数据流的预分配显存容量；根据已占用显存容量和所述预分配显存容量确定所述当前输入数据流的预占用显存容量；若所述预占用显存容量超出显存容量控制阈值，则显存空间存储的目标转移数据转移到内存空间后，将所述当前输入数据流存储至所述显存空间。
[0011]在本专利技术的第二个方面，提供一种具有数据识别功能的检测方法，所述方法包括如下步骤：S1：获取输入数据流，从输入数据流中进行数据采样，获得多个采样数据集；S2：确定与每个采样数据集对应的深度学习神经网络模型，基于每个采样数据集训练对应的深度学习神经网络模型；S3：输出每个深度学习神经网络模型对应的配置参数集；S4：将配置参数集输入与采样数据集类型对应的目标检测网络评估模型进行预测，得到网络预测性能参数集合；S5：确定所述网络预测性能参数集合中满足第一性能条件的第一网络预测性能参数集，将所述第一网络预测性能参数集作为调整集，对所述目标检测网络评估模型进行参数调整，得到调整后的目标检测网络评估模型；S6：将当前输入数据流作为深度学习神经网络模型的输入；S7：通过所述调整后的与当前输入数据流类型对应的目标检测网络评估模型预测深度学习神经网络模型的性能，得到调整后网络预测性能参数；S8：若所述调整后网络预测性能参数满足第二性能条件，则保留当前输入数据。
[0012]其中，所述步骤S2中与每个采样数据集对应的深度学习神经网络模型，包括卷积神经网络模型、递归神经网络模型、残差神经网络；所述步骤S4中目标检测网络评估模型包括深度高斯过程模型。
[0013]所述步骤S8具体包括：若所述调整后网络预测性能参数满足第二性能条件，则保留当前输入数据作为所述深度学习神经网络模型的训练数据集；
若所述调整后网络预测性能参数不满足第二性能条件但满足第一性能条件，则将所述当前输入数据流作为所述深度学习神经网络模型的测试数据集其中，所述第二性能条件强于所述第一性能条件。
[0014]本专利技术第三方面，提供一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述一种具有数据识别功能的检测方法的步骤。
[0015]在本专利技术第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现上述一种具有数据识别功能的检测方法的步骤。
[0016]相对于现有技术，本专利技术的技术方案可以实现海量终端产生数据的有效识别与筛选，并且进行针对性的存储。当所述海量终端产生数据用于深度学习的训练，尤其是涉及图像模型的神经网络、深度学习网络训练时，基于本专利技术所述的方法，可以从时序大数据流中，有效的识别出符合性能条件的样本数据作为后续训练数据与测试数据；同时，针对不同类型的数据实现不同类型的存储，确保后续数据存取时快速有效，不仅提升了大数据模型训练的精度，同时也提升了训练速度；并且，针对显存和内存的空间特点，适时的进行数据存储空间的分配与转移，避免了数据存储爆炸现象，充分利用了已有的存储空间。
[0017]本专利技术的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本专利技术一个实施例的一种具有数据识别功能的检测系统架构图图2是图1所述系统实现当前数据保留的原理示意图图3是基于图1所述系统实现的一种具有数据识别功能的检测方法的主体流程图图4是本申请提及的一种卷积神经网络的结构示意图图5是本申请技术方案中训练数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种具有数据识别功能的检测系统，其特征在于，所述系统包括：数据采样子系统，用于从输入数据流中进行数据采样，获得多个采样数据集；目标检测网络训练子系统，用于基于多个采样数据集训练多个目标检测网络，所述目标检测网络为深度学习神经网络模型；所述目标检测网络训练子系统输出多个深度学习神经网络模型的多组配置参数集；将所述多组配置参数集输入与采样数据集类型对应的目标检测网络评估模型进行预测，得到网络预测性能参数集合；确定所述网络预测性能参数集合中满足第一性能条件的第一网络预测性能参数集，将所述第一网络预测性能参数集作为调整集，对所述目标检测网络评估模型进行参数调整，得到调整后的目标检测网络评估模型；将当前输入数据流作为深度学习神经网络模型的输入；通过所述调整后的与当前输入数据流类型对应的目标检测网络评估模型预测深度学习神经网络模型的性能，得到调整后网络预测性能参数；若所述调整后网络预测性能参数满足第二性能条件，则保留当前输入数据。2.如权利要求1所述的一种具有数据识别功能的检测系统，其特征在于：所述第二性能条件强于所述第一性能条件；若所述调整后网络预测性能参数不满足第二性能条件，则判断所述调整后网络预测性能参数是否满足第一性能条件，如果是，将所述调整后网络预测性能参数作为调整集，对所述与当前输入数据流类型对应的目标检测网络评估模型进行参数调整。3.如权利要求2所述的一种具有数据识别功能的检测系统，其特征在于：所述系统还包括数据存储子系统；所述数据存储子系统包括显存空间和内存空间；若所述调整后网络预测性能参数满足第二性能条件，则将所述当前输入数据流存储至所述显存空间；当所述显存空间的空间利用率超过第一预设控制值时，将所述显存空间存贮的所有输入数据流作为训练数据集。4.如权利要求3所述的一种具有数据识别功能的检测系统，其特征在于：若所述调整后网络预测性能参数不满足第二性能条件但满足第一性能条件，则将所述当前输入数据流存储至所述内存空间；当所述内存空间存储的输入数据流的大小超过第二预设控制值时，将所述内存空间存储的输入数据流作为测试数据集。5.如权利要求3所述的一种具有数据识别功能的检测系统，其特征在于：当所述显存空间的空间利用率超过第一预设控制值时，将所述显存空间存贮的所有输入数据流转移至所述内存空间。6.如权利要求3所述的一种具有数据识别功能的检测系...

【专利技术属性】
技术研发人员：陈玉才，孙海涛，徐硕，
申请(专利权)人：苏州优鲜信网络生活服务科技有限公司，
类型：发明
国别省市：