多任务学习深度网络的识别方法、系统及设备技术方案

本发明专利技术提供了一种多任务学习深度网络的识别方法、系统及设备，其中系统包括：数据识别模型，该数据识别模型是基于神经网络构建的具有第一神经网络和根据任务进行的在第一神经网络内建立的至少一组动态神经网络单元；动态分配模块、监控模块以及资源释放模块，该资源释放模块用于当监控模块监测到新任务学习完毕后，动态神经网络单元所具有的网络资源被释放并重新融合到训练资源集合中，同时所述动态神经网络单元被消除。本申请随着任务的进行，可以在第一神经网络中建立多个动态神经网络单元，随着任务的结束，动态神经网络单元也被消除，这样，随着任务的不断进行，第一神经网络所具有的训练资源不会因大量的无用的动态神经网络单元所占据。经网络单元所占据。经网络单元所占据。

【技术实现步骤摘要】
多任务学习深度网络的识别方法、系统及设备


[0001]本专利技术涉及数据识别及数据识别模型构建
，特别是涉及一种多任务学习深度网络的识别方法、系统及设备。

技术介绍

[0002]传统的数据识别模型通过样本字段，进行模型训练，寻找目标字段的内容特征，生成相应的规则模型，此种寻找目标字段具有庞大的任务数量，会降低数据模型优化的速度。人工神经网络（artificial neural network，ANN），简称神经网络（neural network，NN），是一种模仿生物神经网络的结构和功能的数学模型或计算模型。可以依据人工神经网络构建数据识别模型，来降低传统数据识别模型中优化难的问题，神经网络是一种运算模型，由大量的节点（或称“神经元”）和之间相互的联接构成。每个节点代表一种特定的输出函数，称为激励函数、激活函数（activation function）。每两个节点间的联接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。在已经公开的技术中，例如公开号为：“CN114037024A”公开了一种基于多任务神经网络数据识别系统及方法，其中系统包括：数据识别模型，该数据识别模型是基于神经网络构建的具有第一神经网络和根据任务进行的以第一神经网络为主线添加的多个第二主支神经网络；任务流管理器，该任务流管理器用于根据任务进行中以第一神经网络为主线添加的多个具有唯一识别特征的第二主支神经网络；所述识别特征还用于第二主支神经网络与第一神经网络之间的任务流流通。第一神经网络和第二主支神经网络存在相应的信息流通，第一神经网络主要为各个任务提取通用特征，而第二主支神经网络主要是为不同任务提供一个不同的注意力机制，从而能更好的完成对应的任务功能。
[0003]上述的方案通过保留原任务所使用的权重在神经网络结构中的完整性，解决了神经网络在学习新任务时导致原任务的性能下降问题，取得了神经网络在学习新任务时保留原任务性能。
[0004]上述的方案通过使用已训练好的第一神经网络中泛用性强的通用特征来构造新的弱主支神经网络，减少了新的第二主支神经网络需要训练的权重，取得了网络参数轻量化，提高新任务的学习效率。
[0005]上述的方案通过保存原任务的神经网络结构完整性和只训练新增的第二主支神经网络权重的方法来构建数据识别模型，在训练新增任务时可以不使用原任务中的庞大数据，解决了多任务学习中新任务样品被稀释、数据需求量巨大的问题，仅使用新任务的少量数据便能完成新任务学习。
[0006]但是，上述的技术方案缺陷在于，通过任务的进行以第一神经网络为主线建立多个第二神经网络，第二神经网络建立后并迭代训练时虽然可以将根据任务的进行有目的的选择将其他第二神经网络和第一神经网络冻结，其对应的网络资源进行重新分配至新任务
的训练，但是，多个第二神经网络的存在会占用一定的资源，随着第二神经网络的数量增多，占用的资源也会随之增加，导致大量的资源被占用，给新任务分配的可用资源就会减少。

技术实现思路

[0007]有鉴于此，本专利技术的主要目的在于提供一种多任务学习深度网络的识别方法、系统及设备。
[0008]本专利技术采用的技术方案如下：多任务学习深度网络的识别方法，包括如下步骤：获取当前的数据识别模型，该数据识别模型是基于神经网络构建的具有第一神经网络和根据任务进行的在第一神经网络内建立的至少一组动态神经网络单元；所述动态网络单神经元依据任务的进行将第一神经网络具有的训练资源集合按照设定规则进行动态的调配；当至少有一个新任务进入时，任务管理模块识别新任务后调取第一神经网络的参数信息并在第一神经网络内通过加载通用特征库对应的选择识别特征来建立一个与新任务对应的动态神经网络单元，通过动态分配模块将训练资源按照设定规则调配给动态神经网络单元以对新任务进行学习，当监测到新任务学习完毕后，动态神经网络单元所具有的网络资源被释放并重新融合到训练资源集合中，同时所述动态神经网络单元被消除。
[0009]进一步地，所述动态神经网络单元被消除后，第一神经网络用于提取通过网络资源进行新任务的学习所得到的任务特征经转化后补充到通用特征库中。
[0010]进一步地，所述设定规则是根据新任务的任务数量来动态的分配网络资源。
[0011]本专利技术还提供了一种多任务学习深度网络的识别系统，包括：数据识别模型，该数据识别模型是基于神经网络构建的具有第一神经网络和根据任务进行的在第一神经网络内建立的至少一组动态神经网络单元；动态分配模块，该动态分配模块依据任务的进行将第一神经网络具有的训练资源集合按照设定规则调配给动态神经网络单元；监控模块，该监控模块用于监测动态神经网络单元的新任务学习状况；资源释放模块，该资源释放模块用于当监控模块监测到新任务学习完毕后，动态神经网络单元所具有的网络资源被释放并重新融合到训练资源集合中，同时所述动态神经网络单元被消除。
[0012]进一步地，所述动态神经网络单元是基于任务的进行通过任务管理模块识别任务后调取第一神经网络的参数信息并在第一神经网络内加载通用特征库对应的选择识别特征来建立。
[0013]进一步地，所述动态分配模块根据新任务的任务数量来对应的调整设定规则，所述设定规则来动态的分配网络资至少一个动态神经网络单元中。
[0014]进一步地，所述第一神经网络配置有：通用特征库，提取模块，该提取模块用于将网络资源进行新任务的学习所得到的任务特征进行提取；
转化模块，该转化模块连接提取模块，该提取模块接收任务特征并将任务特征转化为通用的识别特征并存储到通用特征库中。
[0015]进一步地，所述设定规则用于按照额定参数为所述第一神经网络分配定额的训练资源，并根据任务数量来平均分配剩余的训练资源至每一动态神经网络单元中；在当前时刻，每一所述动态神经网络单元训练过程中，若有新任务产生时，所述动态分配模块从当前时刻中每一所述动态神经网络单元中回调相同比例的网络资源分配至新任务构成的动态神经网络单元中；并使得新任务构成的动态神经网络单元所占有的网络资源与当前时刻每一动态神经网络单元回调后所具有的网络资源的大小相同。
[0016]进一步地，所述任务管理模块用于任务的识别和任务数量的监控，若任务数量达到设定的上限后，再有新任务产生时，任务管理模块暂停对新任务的识别，直到资源释放模块将至少其中一个已经建立的动态神经网络单元所具有的网络资源释放，同时消除该动态神经网络单元时，再通过新任务的进行依据任务管理模块对新任务进行识别后调取第一神经网络的参数信息并在第一神经网络内加载通用特征库对应的选择识别特征来建立新任务对应的动态神经网络单元。
[0017]本专利技术还提供了一种多任务学习深度网络的识别设备，包含上述的所述的多任务学习深度网络的识别系统，所述设备内设置有数据识别模型，以及任务管理模块，所述任务管理模块连接所述数据识别模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多任务学习深度网络的识别方法，其特征在于，包括如下步骤：获取当前的数据识别模型，该数据识别模型是基于神经网络构建的具有第一神经网络和根据任务进行的在第一神经网络内建立的至少一组动态神经网络单元；所述动态网络单神经元依据任务的进行将第一神经网络具有的训练资源集合按照设定规则进行动态的调配；当至少有一个新任务进入时，任务管理模块识别新任务后调取第一神经网络的参数信息并在第一神经网络内通过加载通用特征库对应的选择识别特征来建立一个与新任务对应的动态神经网络单元，通过动态分配模块将训练资源按照设定规则调配给动态神经网络单元以对新任务进行学习，当监测到新任务学习完毕后，动态神经网络单元所具有的网络资源被释放并重新融合到训练资源集合中，同时所述动态神经网络单元被消除。2.根据权利要求1所述的多任务学习深度网络的识别方法，其特征在于，所述动态神经网络单元被消除后，第一神经网络用于提取通过网络资源进行新任务的学习所得到的任务特征经转化后补充到通用特征库中。3.根据权利要求1所述的多任务学习深度网络的识别方法，其特征在于，所述设定规则是根据新任务的任务数量来动态的分配网络资源。4.多任务学习深度网络的识别系统，其特征在于，包括：数据识别模型，该数据识别模型是基于神经网络构建的具有第一神经网络和根据任务进行的在第一神经网络内建立的至少一组动态神经网络单元；动态分配模块，该动态分配模块依据任务的进行将第一神经网络具有的训练资源集合按照设定规则调配给动态神经网络单元；监控模块，该监控模块用于监测动态神经网络单元的新任务学习状况；资源释放模块，该资源释放模块用于当监控模块监测到新任务学习完毕后，动态神经网络单元所具有的网络资源被释放并重新融合到训练资源集合中，同时所述动态神经网络单元被消除。5.根据权利要求4所述的多任务学习深度网络的识别系统，其特征在于，所述动态神经网络单元是基于任务的进行通过任务管理模块识别任务后调取第一神经网络的参数信息并在第一神经网络内加载通...

【专利技术属性】
技术研发人员：杨德顺，罗晓忠，孙海航，肖罗，徐建宇，
申请(专利权)人：心鉴智控深圳科技有限公司，
类型：发明
国别省市：