应用人工智能策略的大数据清洗决策方法及AI处理系统技术方案

本发明专利技术实施例提供一种应用人工智能策略的大数据清洗决策方法及AI处理系统，依次加载前向AI网络模型和后向AI网络模型形成的噪声决策网络，对目标用户行为大数据进行前后AI决策，后向AI网络模型的模型加载信息是依据前向AI网络模型得到的各个噪声支持度进行整理后进一步提取的，从而可以提高后向模型加载信息的可靠性。同时将前向AI网络模型、后向AI网络模型按照前后顺序配置，前向AI网络模型依据预设AI指令调取主动学习决策网络可以控制模型加载信息量，后向AI网络模型选用递归神经决策网络，递归神经决策网络相对于传统神经网络模型可以提高时间关联性的学习能力，进而提高噪声决策的准确性。声决策的准确性。声决策的准确性。

【技术实现步骤摘要】
应用人工智能策略的大数据清洗决策方法及AI处理系统


[0001]本专利技术涉及大数据清洗
，具体而言，涉及一种应用人工智能策略的大数据清洗决策方法及AI处理系统。

技术介绍

[0002]大数据存在数据量庞大、复杂度和关联度高等特点，因此当需要收集高质量的大数据时，必须在数据清洗阶段提高数据的质量。例如在对用户意图进行挖掘的过程中，大数据质量问题会对用户意图的应用产生负面影响，因此需要对大数据中存在的数据质量问题（如噪声问题）进行清洗修复。然而，相关技术中的大数据清洗方案大多依靠简单的噪声数据字段匹配实现，或者依靠单独AI学习模型的噪声分类输出实现，其噪声决策的可靠性和准确性仍旧有待提高。

技术实现思路

[0003]为了至少克服现有技术中的上述不足，本专利技术的目的在于提供一种应用人工智能策略的大数据清洗决策方法及AI处理系统。
[0004]第一方面，本专利技术实施例提供一种应用人工智能策略的大数据清洗决策方法，应用于AI处理系统，所述方法包括：从待清洗的业务大数据库中提取待进行用户意图挖掘的指定用户的目标用户行为大数据；依据预设AI指令调取前向AI网络模型以输出对应的前向噪声决策网络，以前向噪声决策网络函数序列对所述目标用户行为大数据进行游走决策，确定各个游走数据点相关联的各个噪声支持度；提取所述噪声支持度满足设定噪声评判要求的游走数据点，确定模糊噪声点序列，并基于所述前向噪声决策网络函数序列解析所述模糊噪声点序列的噪声点字段，输出模糊噪声点字段簇；依据预设AI指令调取后向AI网络模型以输出对应的后向噪声决策网络，以后向噪声决策网络函数序列对所述模糊噪声点字段簇进行游走决策，基于目标噪声支持度满足设定噪声确认要求的游走数据点，确定确认噪声点及所述确认噪声点的所述目标噪声支持度；基于所述确认噪声点及所述确认噪声点的所述目标噪声支持度对所述目标用户行为大数据进行大数据清洗决策。
[0005]第二方面，本专利技术实施例还提供一种AI处理系统，所述AI处理系统包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以实现以上第一方面的应用人工智能策略的大数据清洗决策方法。
[0006]采用以上任意方面的技术方案，依次加载前向AI网络模型和后向AI网络模型形成
的噪声决策网络，对目标用户行为大数据进行前后AI决策，后向AI网络模型的模型加载信息是依据前向AI网络模型得到的各个噪声支持度进行整理后进一步提取的，从而可以提高后向模型加载信息的可靠性。同时将前向AI网络模型、后向AI网络模型按照前后顺序配置，前向AI网络模型依据预设AI指令调取主动学习决策网络可以控制模型加载信息量，后向AI网络模型选用递归神经决策网络，递归神经决策网络相对于传统神经网络模型可以提高时间关联性的学习能力，进而提高噪声决策的准确性。
附图说明
[0007]图1为本专利技术实施例提供的应用人工智能策略的大数据清洗决策方法的流程示意图；图2为本专利技术实施例提供的用于实现上述的应用人工智能策略的大数据清洗决策方法的AI处理系统的结构示意框图。
具体实施方式
[0008]下面介绍本专利技术一种实施例提供的应用人工智能策略的大数据清洗决策系统10的架构，该应用人工智能策略的大数据清洗决策系统10可以包括AI处理系统100以及与AI处理系统100通信连接的智慧业务平台200。其中，应用人工智能策略的大数据清洗决策系统10中的AI处理系统100和智慧业务平台200可以通过配合执行以下方法实施例所描述的应用人工智能策略的大数据清洗决策方法，具体AI处理系统100和智慧业务平台200的执行步骤部分可以参照以下方法实施例的详细描述。
[0009]本实施例提供的应用人工智能策略的大数据清洗决策方法可以由AI处理系统100执行，下面结合图1对该应用人工智能策略的大数据清洗决策方法进行详细介绍。
[0010]Process101，从待清洗的业务大数据库中提取待进行用户意图挖掘的指定用户的目标用户行为大数据。
[0011]所述目标用户行为大数据可以是指针对指定用户在互联网信息平台上的业务行为进行记录构成的大数据，其中该目标用户行为大数据可以是进行初步特征整理后的大数据。
[0012]Process102，依据预设AI指令调取前向AI网络模型以输出对应的前向噪声决策网络，以前向噪声决策网络函数序列对目标用户行为大数据进行游走决策，确定各个游走数据点相关联的各个噪声支持度。
[0013]所述游走决策，可以是由前向AI网络模型中的前向噪声决策网络或其它结构依据预设游走窗口进行游走决策的。
[0014]前向AI网络模型可以包括输入层、隐含层以及输出层，隐含层可以具体包括一个或多个卷积层、至少一层池化层以及至少一层决策分类单元。输入层用于接收目标用户行为大数据，并对目标用户行为大数据中的数据成员进行规则化转换，以提高前向AI网络模型的处理效率。
[0015]依据上述前向AI网络模型架构，以输出对应的一种前向噪声决策网络。该前向噪声决策网络可以配置完成参数层调优和选取的前向噪声决策网络函数序列，并对加载的目标用户行为大数据进行游走决策，并输出为对应游走数据点的噪声支持度。
[0016]Process103，提取所述噪声支持度满足设定噪声评判要求的游走数据点，确定模糊噪声点序列，并基于前向噪声决策网络函数序列解析模糊噪声点序列的噪声点字段，输出模糊噪声点字段簇。
[0017]为了提高噪声决策的精度，本专利技术实施例将目标用户行为大数据经过两次噪声决策网络函数序列进行筛选和决策以增强噪声决策性能。在两次噪声决策网络函数序列处理之间，需要基于前向AI网络模型输出的噪声支持度，对游走数据点进行筛选，从而将筛选后的游走数据点输入后向AI网络模型进行再进行噪声决策。
[0018]基于噪声支持度对游走数据点进行筛选例如可以是：判断所述噪声支持度是否大于等于所述预设噪声支持度，若是，则提取所述噪声支持度对应的游走数据点，并将其添加至所述模糊噪声点序列，或者还可以是：依据噪声支持度对游走数据点进行降序处理，选择排序前N的游走数据点添加至模糊噪声点序列。
[0019]由于上述前向噪声决策网络搭载前向噪声决策网络函数序列实现游走决策，此时可以依据同样的噪声决策网络函数序列形成噪声点字段挖掘网络，对经过上述筛选过程形成的模糊噪声点序列进行噪声点字段挖掘，由此避免多噪声决策网络函数序列导致决策信息发生偏移的问题。当然，上述前向噪声决策网络函数序列可以是经过参数层信息的调优和选取的，也可以是初始化生成的。上述噪声点字段挖掘网络可以是由前向噪声决策网络经过处理后形成的，也可以是独立于前向噪声决策网络单独设置且搭载有第一噪声决策网络函数序列的。倘若是由前向噪声决策网络经过处理后形成的，则具体实施方式可以是：剔除前向噪声决策网络的决策分类单元形成噪声点字段挖掘网络，基于前向噪声决策网络函数序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用人工智能策略的大数据清洗决策方法，其特征在于，应用于所述AI处理系统，所述方法包括：从待清洗的业务大数据库中提取待进行用户意图挖掘的指定用户的目标用户行为大数据；依据预设AI指令调取前向AI网络模型以输出对应的前向噪声决策网络，以前向噪声决策网络函数序列对所述目标用户行为大数据进行游走决策，确定各个游走数据点相关联的各个噪声支持度；提取所述噪声支持度满足设定噪声评判要求的游走数据点，确定模糊噪声点序列，并基于所述前向噪声决策网络函数序列解析所述模糊噪声点序列的噪声点字段，输出模糊噪声点字段簇；依据预设AI指令调取后向AI网络模型以输出对应的后向噪声决策网络，以后向噪声决策网络函数序列对所述模糊噪声点字段簇进行游走决策，基于目标噪声支持度满足设定噪声确认要求的游走数据点，确定确认噪声点及所述确认噪声点的所述目标噪声支持度；基于所述确认噪声点及所述确认噪声点的所述目标噪声支持度对所述目标用户行为大数据进行大数据清洗决策。2.根据权利要求1所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述前向噪声决策网络为主动学习决策网络，所述后向噪声决策网络为递归神经决策网络；所述方法还包括：剔除所述前向噪声决策网络的决策分类单元形成噪声点字段挖掘网络，并基于前向噪声决策网络函数序列解析所述模糊噪声点序列的噪声点字段，输出模糊噪声点字段簇。3.根据权利要求1所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述方法还包括：获取初始化用户行为大数据，计算所述初始化用户行为大数据的行为活动触发特征分布和行为活动触发频率分布，确定初始化特征分布和初始化频率分布，并确定所述初始化频率分布的最大频率分布节点作为最大初始化频率数据；基于所述指定用户的最大历史平均频率数据和所述最大初始化频率数据计算异动参数，并依据所述异动参数更新所述初始化频率分布，确定目标频率分布；基于初始化特征分布、所述指定用户的历史特征分布和目标频率分布，生成目标用户行为数据分布；其中，所述历史特征分布为一个或多个历史挖掘可靠性认证的行为数据的行为活动触发特征分布，所述最大历史平均频率数据为所述历史挖掘可靠性认证的行为数据的行为活动触发频率分布的最大频率分布节点。4.根据权利要求3所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述方法还包括：游走所述目标用户行为数据分布，依据设定数据节点的游走窗口对所述目标用户行为数据分布进行游走决策，确定所述目标用户行为数据分布的多个游走数据点，以及所述游走数据点在所述目标用户行为数据分布中的追溯数据节点；游走所述游走数据点的所有数据成员的可挖掘价值数据，计算所述可挖掘价值数据中可挖掘价值大于目标可挖掘价值的数据成员数量与数据成员总数量的比值，确定所述游走
数据点的AI决策输入评估值；基于满足AI决策输入评估要求的游走数据点构建所述目标用户行为大数据，其中，所述AI决策输入评估要求为：所述游走数据点的AI决策输入评估值大于目标评估值。5.根据权利要求1
‑
4中任意一项所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述前向噪声决策网络的训练步骤包括：获取若干个参考用户行为数据，并对所述参考用户行为数据进行特征扩展和衍生，确定若干个训练范例行为数据；依据目标训练配置参数将所述训练范例行为数据切分成第一噪声决策学习数据序列和第一噪声决策测试数据序列；依据预设AI指令调取前向AI网络模型以输出对应的主动学习决策网络，基于ReLU函数对第一噪声决策学习数据序列中的各个第一噪声决策学习数据进行游走学习输出，确定所述第一噪声决策学习数据中的各个学习游走数据点相关联的各个学习输出支持度；依据所述学习输出支持度从大到小的顺序对所述学习游走数据点进行排列，提取排列位次处于预设数量区间的学习游走数据点，确定第一加载学习游走数据；将所述第一加载学习游走数据及对应第一噪声决策学习数据的噪声点训练依据，加载至所述主动学习决策网络进行参数层信息的调优和调取，获得第一噪声决策网络函数阵列，计算所述学习输出支持度与所述噪声点训练依据的交叉熵损失函数值，作为第一噪声决策网络函数阵列的训练学习代价参数，并以所述第一噪声决策网络函数阵列对所述主动学习决策网络进行参数层信息的调优和选取；循环进行参数层信息的调优和选取直至训练学习代价参数不再继续下降或者已经下降到预设代价参数以下，生成多个第一噪声决策网络函数阵列、对应的训练学习代价参数以及对应的第一加载学习游走数据；分别依据所述多个第一噪声决策网络函数阵列下的各个主动学习决策网络，对所述第一噪声决策测试数据序列中的第一噪声决策测试数据进行游走学习输出，确定第一噪声决策测试数据中的各个测试游走数据点相关联的各个测试输出支持度；从所述各个测试输出支持度中确定最大测试输出支持度作为所述第一噪声决策测试数据的参考输出支持度，并确定所述参考输出支持度与所述第一噪声决策测试数据的噪声点训练依据的交叉熵损失函数值，作为该第一噪声决策网络函数阵列的训练测试代价参数；结合多个第一噪声决策网络函数阵列的训练测试代价参数，确定第一训练代价参数，将所述第一训练代价参数对应的第一噪声决策网络函数阵列作为所述前向噪声决策网络函数序列。6.根据权利要求5所述的应用人工智能策略的大数据清洗决策方法，其特征在于，所述后向噪声决策网络的训练步骤包括：获取所述前向噪声决策网络函数序列对应的第一加载学习游走数据；剔除所述主动学习决策网络的决策分类单元形成噪声点字段挖掘网络，基于所述前向噪声决策网络函数序列解析所述第一加载学习游走数据的噪声点字段，输出噪声点字段分布；
依据目标训练配置参数将所述噪声点字段分布切分成第二噪声决策学习数据序列和第二噪声决策测试数据序列；依据预设AI指令调取后向AI网络模型以输出对应的递归神经决策网络，基于ReLU函数对第二噪声决策学习数据序列中的各个第二噪声决策学习数据进行游走学习输出，确定第二噪声决策学习数据中的各个学习游走数据点相关联的各个学习输出支持度；依据所述学习输出支持度从大到小的顺序对所述学习游走数据点进行排列，提取排列位次处于预设数量区间的学习游走数据点，确定第二加载学习游走数据；将所述第二加载学习游走数据及对应第二噪声决策学习数据的噪声点训练依据，...

【专利技术属性】
技术研发人员：任志贵，苏健明，
申请(专利权)人：烟台聚禄信息科技有限公司，
类型：发明
国别省市：