数据处理系统、方法、装置、设备及存储介质制造方法及图纸

本公开提供了一种数据处理系统、方法、装置、设备及存储介质，其中，该系统包括：依次通信连接的数据采集模块、网络生成模块和网络训练模块；数据采集模块，用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；网络生成模块，用于基于获取的训练数据集以及多个网络组成模块，生成至少一个目标神经网络；每个目标神经网络用于执行对应的目标任务；网络训练模块，用于在训练好多个目标神经网络的情况下，对多个目标神经网络进行联合训练，得到训练好的联合神经网络；联合神经网络用于迁移到下游业务场景中执行目标任务。本公开通过联合训练可以生成适配于下游业务场景的联合神经网络，其通用性和准确性均较好。其通用性和准确性均较好。其通用性和准确性均较好。

【技术实现步骤摘要】
数据处理系统、方法、装置、设备及存储介质


[0001]本公开涉及人工智能
，具体而言，涉及一种数据处理系统、方法、装置、设备及存储介质。

技术介绍

[0002]通用人工智能技术是人工智能研究领域的重要课题。以计算机视觉领域为例，利用通用人工智能技术构建的通用视觉神经网络可以突破单一模型针对特定计算机视觉任务的局限，从而可以被广泛应用在各类计算机任务中，例如，图像分类、目标检测、语义分割、深度估计等。
[0003]相关技术中提供了一种通用视觉神经网络生成的方法，该方法在上游任务中，利用通用数据集训练分类网络以通过分类任务训练出通用的视觉表征。
[0004]然而，由于在上游训练的网络只局限于特定的分类任务，这导致在将训练出的视觉表征应用到下游诸如检测、分割等其它任务的时候，效果不佳。

技术实现思路

[0005]本公开实施例至少提供一种数据处理系统、方法、装置、设备及存储介质。
[0006]第一方面，本公开实施例提供了一种数据处理系统，包括：数据采集模块、网络生成模块和网络训练模块；所述数据采集模块、所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：数据采集模块、网络生成模块和网络训练模块；所述数据采集模块、所述网络生成模块以及所述网络训练模块依次通信连接；所述数据采集模块，用于获取训练数据集、以及用于构成目标神经网络的多个网络组成模块；所述网络生成模块，用于基于获取的所述训练数据集以及所述多个网络组成模块，生成至少一个目标神经网络；每个所述目标神经网络用于执行对应的目标任务；所述网络训练模块，用于在训练好多个目标神经网络的情况下，对所述多个目标神经网络进行联合训练，得到训练好的联合神经网络；所述联合神经网络用于迁移到下游业务场景中执行所述目标任务。2.根据权利要求1所述的系统，其特征在于，在所述训练数据集包括对应于所述目标任务的训练数据的情况下，所述网络生成模块，用于按照如下步骤生成用于执行对应所述目标任务的目标神经网络：确定与所述多个网络组成模块关联的多个候选搜索路径，其中，每个候选搜索路径分别对应一种组合方式，所述组合方式用于表征各个网络组成模块之间的运算关系；利用所述对应于所述目标任务的训练数据以及强化学习网络对所述多个候选搜索路径进行至少一次搜索，得到每次搜索后的回报得分；按照回报得分符合预设要求的候选搜索路径所对应的组合方式，将各个网络组成模块进行组合，得到用于执行所述目标任务的目标神经网络。3.根据权利要求2所述的系统，其特征在于，所述网络生成模块，用于按照如下步骤得到每次搜索后的回报得分：利用强化学习网络对所述多个候选搜索路径进行第一次搜索，并基于第一次搜索所选择的候选搜索路径以及所述对应于所述目标任务的训练数据，确定第一次搜索后的回报得分以及选择对应候选搜索路径的选择概率；循环执行如下步骤直至满足网络截止条件：基于第n
‑
1次搜索后的回报得分以及选择对应候选搜索路径的选择概率，确定第n次搜索所选择的候选搜索路径，并基于第n次搜索所选择的候选搜索路径以及所述对应于所述目标任务的训练数据，确定第n次搜索后的回报得分以及选择对应候选搜索路径的选择概率，其中，n为大于1的整数。4.根据权利要求3所述的系统，其特征在于，所述网络生成模块，用于按照如下步骤确定第n次搜索后的回报得分：基于第n次搜索所选择的候选搜索路径，构建候选神经网络；基于所述对应于所述目标任务的训练数据，确定构建的所述候选神经网络的网络精度；基于构建的所述候选神经网络的网络精度，确定第n次搜索后的回报得分。5.根据权利要求4所述的系统，其特征在于，所述网络生成模块，用于按照如下步骤确定构建的所述候选神经网络的网络精度：将针对所述目标任务的训练数据输入到构建的所述候选神经网络中，得到所述候选神经网络的输出结果；将所述输出结果与针对所述训练数据的标注结果进行比对，确定所述候选神经网络的
网络精度。6.根据权利要求2至5任一所述的系统，其特征在于，根据以下方式中的一种选择回报得分符合预设要求的候选搜索路径：选择回报得分最高的候选搜索路径；按照回报得分对各次搜索对应的候选搜索路径进行排名，并选择排名高于预设名次的候选搜索路径；选择回报得分高于预设阈值的候选搜索路径。7.根据权利要求1至6任一所述的系统，其特征在于，所述数据采集模块，用于按照如下步骤获取所述训练数据集：利用网络输入接口获取网络数据；基于主动学习网络对获取的网络数据进行质量评估，确定数据质量高于预设阈值的网络数据，并将确定的所述网络数据作为所述训练数据集中的训练数据。8.根据权利要求1至7任一所述的系统，其特征在于，所述数据采集模块，用于按照如下步骤获取所述训练数据集：获取包括有初始标注结果的训练数据集；利用知识图谱结构对所述初始标注结果进行扩展，得到扩展后的标注结果；基于所述扩展后的标注结果对所述训练数据集进行更新。9.根据权利要求1至8任一所述的系统，其特征在于，所述多个网络组成模块至少包括特征图提取单元和针对所述特征图提取单元输出的特征图进行下采样的下采样单元。10.根据权利要求1至9任一所述的系统，其特征在于，所述目标神经网络包括用于进行特征提取的骨干网络层以及用于进行特征处理的其他网络层；所述训练数据集包括具有多个图像文本对的第一训练数据，以及具有多个图像的第二训练数据；所述网络训练模块，用于按照以下步骤训练所述目标神经网络：利用所述第一训练数据对待训练的目标神经网络包括的骨干网络层进行训练，得到训练好的骨干网络层；在所述训练好的骨干网络层的网络参数值保持不变的情况下，利用所述第二训练数据对待训练的目标神经网络包括的其他网络层进行训练，得到训练好的其他网络层。11.根据权利要求10所述的系统，其特征在于，所述网络训练模块，用于按照以下步骤得到训练好的骨干网络层：将所述第一训练数据输入到待训练的目标神经网络，得到所述第一训练数据所包括图像文本对中的图像和文本分别对应的图像特征信息以及文本特征信息；基于所述图像特征信息和所述文本特征信息之间的特征相似度，确定第一损失函数值；在当前轮训练不满足迭代截止条件的情况下，基于所述第一损失函数值对所述骨干网络...

【专利技术属性】
技术研发人员：邵婧，李阳光，王坤，尹榛菲，陈思禹，何逸楠，黄耿石，滕家宁，刘丰刚，孙庆宏，梁鼎，吴一超，高梦雅，刘宇，宋广录，刘吉豪，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：