一种基于人工智能的大数据管理系统技术方案

本说明书实施例提供一种基于人工智能的大数据管理系统，周期内处理单元的排序模块，在每个训练周期按照预设的归一化权重规则对批量训练样本进行排序，中心样本处理模块，根据排序筛选出2n个边缘训练样本，计算边缘训练样本的中心样本，分别预测边缘训练样本的目标以及中心样本的目标，影响因子模块，计算随全局变量递增的样本影响因子，结合中心样本标签偏差调整模型参数，迭代次序间处理模块，筛选与中心样本的目标的性质相反的训练样本进行迭代训练，周期间处理单元，在收集样本满足条件时，初始化当前代次数，获取上个训练周期得到的智能模型，利用初始化的当前代次数和新收集到的训练样本优化训练，提高了训练效率以及智能模型的分辨度。智能模型的分辨度。智能模型的分辨度。

【技术实现步骤摘要】
一种基于人工智能的大数据管理系统


[0001]本申请涉及计算机领域，尤其涉及一种基于人工智能的大数据管理系统。

技术介绍

[0002]人工智能模型的训练，实际上是利用大量的数据进行纠偏的过程，通过大量的数据不断的对模型参数进行纠偏，使其接近理想状态的真实模型。
[0003]然而，目前利用大数据训练模型的过程，多是用批量样本作为输入不断地重复纠偏过程，这种方式效率较低而且模型分辨度低。
[0004]有必要提供一种新的方式，以提高训练效率以及智能模型的分辨度。

技术实现思路

[0005]本说明书实施例提供一种基于人工智能的大数据管理系统，用以提高训练效率以及智能模型的分辨度。
[0006]该实施例具体包括：
[0007]周期内处理单元：具有排序模块、中心样本处理模块、影响因子模块和迭代次序间处理模块；
[0008]所述排序模块，在对智能模型进行训练的每个训练周期开始前，按照预设的归一化权重规则对批量训练样本进行排序；
[0009]所述中心样本处理模块，根据排序筛选出2n个边缘训练样本，n为训练样本的属性总数，为正整数，计算所述边缘训练样本的中心样本，分别预测所述边缘训练样本的目标以及中心样本的目标；
[0010]所述影响因子模块，将当前代次数构造为全局变量，以及包含所述全局变量并随所述全局变量递增的影响函数，每次迭代时利用所述影响函数计算样本影响因子，结合所述样本影响因子以及预测的中心样本的目标与其标签的偏差调整模型参数；
[0011]所述迭代次序间处理模块，从所述边缘训练样本中筛选与所述中心样本的目标的性质相反的训练样本进行下次迭代，得到本训练周期的智能模型；
[0012]周期间处理单元，在收集的训练样本满足预设条件时，初始化所述当前代次数，获取上个训练周期得到的智能模型，利用初始化的当前代次数和新收集到的训练样本进行优化训练。
[0013]本说明书实施例提供的各种技术方案通过周期内处理单元的排序模块，在每个训练周期按照预设的归一化权重规则对批量训练样本进行排序，中心样本处理模块，根据排序筛选出2n个边缘训练样本，计算边缘训练样本的中心样本，分别预测边缘训练样本的目标以及中心样本的目标，影响因子模块，计算随全局变量递增的样本影响因子，结合中心样本标签偏差调整模型参数，迭代次序间处理模块，筛选与中心样本的目标的性质相反的训练样本进行迭代训练，周期间处理单元，在收集样本满足条件时，初始化当前代次数，获取上个训练周期得到的智能模型，利用初始化的当前代次数和新收集到的训练样本优化训
练，提高了训练效率以及智能模型的分辨度。
附图说明
[0014]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0015]图1为本说明书实施例提供的一种基于人工智能的大数据管理系统的原理示意图。
具体实施方式
[0016]现在将参考附图更全面地描述本专利技术的示例性实施例。然而，示例性实施例能够以多种形式实施，且不应被理解为本专利技术仅限于在此阐述的实施例。相反，提供这些示例性实施例能够使得本专利技术更加全面和完整，更加便于将专利技术构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的元件、组件或部分，因而将省略对它们的重复描述。
[0017]在符合本专利技术的技术构思的前提下，在某个特定的实施例中描述的特征、结构、特性或其他细节不排除可以以合适的方式结合在一个或更多其他的实施例中。
[0018]在对于具体实施例的描述中，本专利技术描述的特征、结构、特性或其他细节是为了使本领域的技术人员对实施例进行充分理解。但是，并不排除本领域技术人员可以实践本专利技术的技术方案而没有特定特征、结构、特性或其他细节的一个或更多。
[0019]附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
[0020]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0021]术语“和/或”或者“及/或”包括相关联的列出项目中的任一个或多者的所有组合。
[0022]现有技术训练智能模型，多是将批量样本按照顺序依次输入到搭建好的模型架构中进行目标(标签)的预测，用反向传播算法基于预测偏差调整模型参数，然而，实际上，对模型起作用的，往往是那些关键的样本，因此，将批量样本按照顺序依次输入到搭建好的模型架构中进行目标(标签)的预测，实际上是淹没了关键样本的影响，放大了非关键样本的干扰，而且，由于需要遍历预测，因此，数据处理量较大，训练速度较慢。
[0023]图1为本说明书实施例提供的一种基于人工智能的大数据管理系统的原理示意图，该系统可以包括：
[0024]周期内处理单元101：具有排序模块1011、中心样本处理模块1012、影响因子模块1013和迭代次序间处理模块1014；
[0025]所述排序模块，在对智能模型进行训练的每个训练周期开始前，按照预设的归一化权重规则对批量训练样本进行排序；
[0026]所述中心样本处理模块，根据排序筛选出2n个边缘训练样本，n为训练样本的属性总数，为正整数，计算所述边缘训练样本的中心样本，分别预测所述边缘训练样本的目标以
及中心样本的目标；
[0027]所述影响因子模块，将当前代次数构造为全局变量，以及包含所述全局变量并随所述全局变量递增的影响函数，每次迭代时利用所述影响函数计算样本影响因子，结合所述样本影响因子以及预测的中心样本的目标与其标签的偏差调整模型参数；
[0028]所述迭代次序间处理模块，从所述边缘训练样本中筛选与所述中心样本的目标的性质相反的训练样本进行下次迭代，得到本训练周期的智能模型；
[0029]周期间处理单元102，在收集的训练样本满足预设条件时，初始化所述当前代次数，获取上个训练周期得到的智能模型，利用初始化的当前代次数和新收集到的训练样本进行优化训练。
[0030]该实施例通过周期内处理单元的排序模块，在每个训练周期按照预设的归一化权重规则对批量训练样本进行排序，中心样本处理模块，根据排序筛选出2n个边缘训练样本，计算边缘训练样本的中心样本，分别预测边缘训练样本的目标以及中心样本的目标，影响因子模块，计算随全局变量递增的样本影响因子，结合中心样本标签偏差调整模型参数，迭代次序间处理模块，筛选与中心样本的目标的性质相反的训练样本进行迭代训练，周期间处理单元，在收集样本满足条件时，初始化当前代次数，获取上个训练周期得到的智能模型，利用初始化的当前代次数和新收集到的训练样本优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的大数据管理系统，其特征在于，包括：周期内处理单元：具有排序模块、中心样本处理模块、影响因子模块和迭代次序间处理模块；所述排序模块，在对智能模型进行训练的每个训练周期开始前，按照预设的归一化权重规则对批量训练样本进行排序；所述中心样本处理模块，根据排序筛选出2n个边缘训练样本，n为训练样本的属性总数，为正整数，计算所述边缘训练样本的中心样本，分别预测所述边缘训练样本的目标以及中心样本的目标；所述影响因子模块，将当前代次数构造为全局变量，以及包含所述全局变量并随所述全局变量递增的影响函数，每次迭代时利用所述影响函数计算样本影响因子，结合所述样本影响因子以及预测的中心样本的目标与其标签的偏差调整模型参数；所述迭代次序间处理模块，从所述边缘训练样本中筛选与所述中心样本的目标的性质相反的训练样本进行下次迭代，得到本训练周期的智能模型；周期间处理单元，在收集的训练样本满足预设条件时，初始化所述当前代次数，获取上个训练周期得到的智能模型，利用初始化的当前代次数和新收集到的训练样本进行优化训练。2.根据权利要求1所述的系统，其特征在于，所述计算所述边缘训练样本的中心样本，包括：按照所述预设的归一化权重构造多维空间，确定各训练样本在所述多维空间中的坐标，计算所述边缘训练样本的重心坐标，选择与所述重心坐标距离满足预设条件的训练样本，作为中心样本。3.根据权利要求1所述的系统，其特征在于，所述计算所述边缘训练样本的中心样本，包括：根据排序结果确定排序中间位置的训练样本，作为中心样本。4.根据权利要求1所述的系统，其特征在于，所述影响函数为：影响因子＝sigmod(a)，a为当前代次数。5.根据权利要求1所述的系统，其特征在于，所述排序模块，还用于：获取上一训练...

【专利技术属性】
技术研发人员：吴小云，王新乐，
申请(专利权)人：吴小云，
类型：发明
国别省市：