一种基于人工智能的大数据采集存储管理系统及方法技术方案

本发明专利技术公开了一种基于人工智能的大数据采集存储管理系统及方法，包括：数据采集模块，所述数据采集模块用于对数据信息进行采集；数据智能处理模块，所述数据智能处理模块包括数据相似性判定模块、数据融合模块及数据拆分处理模块，所述数据相似性判定模块用于判断采集数据之间的相似性；所述数据融合模块将相似信息进行数据融合，得到融合数据及相应的融合值；所述数据拆分处理模块获取数据采集模块中采集数据中的异常数据，并结合历史数据对融合数据进行拆分，得到相应的拆分数据；数据存储模块，所述数据存储模块获取处理后的采集数据，并将其保存到数据库中。并将其保存到数据库中。并将其保存到数据库中。

【技术实现步骤摘要】
一种基于人工智能的大数据采集存储管理系统及方法


[0001]本专利技术涉及大数据
，具体为一种基于人工智能的大数据采集存储管理系统及方法。

技术介绍

[0002]随着计算机技术的快速发展，人工智能技术得到广泛运用，企业中，人们人们可以采用人工智能的方式实现对大数据的快速处理，不仅处理速度更快，且效率更高，为企业进一步研究数据变化趋势提供了参考依据。
[0003]现如今的人工智能数据采集存储管理系统中，分为两类：
[0004]①
只是简单的实现对数据的采集与存储，不对采集的数据进行筛选；
[0005]②
对采集的数据只是简单的筛选，仅仅通过获取的数据与阈值进行比较，判断数据是否异常，删除异常数据，而不是对其进行校准；
[0006]因此，现有的人工智能数据采集存储管理系统存在较大的缺陷，无法准确锁定采集的数据中的异常数据，且直接删除异常数据会导致数据缺失，进而对后续的数据分析造成影响。
[0007]针对上述情况，我们需要一种基于人工智能的大数据采集存储管理系统及方法。

技术实现思路

[0008]本专利技术的目的在于提供一种基于人工智能的大数据采集存储管理系统及方法，以解决上述
技术介绍
中提出的问题。
[0009]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于人工智能的大数据采集存储管理系统及方法，包括：
[0010]数据采集模块，所述数据采集模块用于对数据信息进行采集；
[0011]数据智能处理模块，所述数据智能处理模块包括数据相似性判定模块、数据融合模块及数据拆分处理模块，
[0012]所述数据相似性判定模块用于判断采集数据之间的相似性；
[0013]所述数据融合模块将相似信息进行数据融合，得到融合数据及相应的融合值；
[0014]所述数据拆分处理模块获取数据采集模块中采集数据中的异常数据，并结合历史数据对融合数据进行拆分，得到相应的拆分数据；
[0015]数据存储模块，所述数据存储模块获取处理后的采集数据，并将其保存到数据库中。
[0016]本专利技术通过各个模块的协同合作，共同实现了对大数据的采集、筛选及存储，并通过计算相似性及融合值的方式实现对数据的筛选及清洗，通过拆分数据及拆分增殖的方式实现对异常数据的替换，相当于对异常数据的校准，进而确保采集的数据的准确性及采集数据的个数的完整及统一。
[0017]进一步的，所述数据采集模块每隔第一单位时间对数据信息进行一次采集，每次
采集的数据个数为2n+1个，n为正整数，将每次采集的第2n+1个数据进行标注，作为第一标注点，
[0018]将第一单位时间中第i个数据对应的值记为A
i
；
[0019]获取与第一标注点时间间隔小于等于第二单位时间内的所有数据，将第二单位时间内获取的数据中第i1个数据对应的值记为B
i1
，将第二单位时间内的数据个数记为n1；
[0020]计算第一单位时间内各个数据与相应平均值之间的平均差异值，记为第一差异值，所述第一差异值为其中，A1等于第一单位时间内各个数据的平均值，
[0021]计算第二单位时间内各个数据与相应平均值之间的平均差异值，记为第二差异值，所述第二差异值为其中，A2等于第二单位时间内各个数据的平均值，
[0022]所述数据采集模块根据第一差异值及第二差异值，得到区间差异数C，
[0023]所述
[0024]本专利技术数据采集模块设置第一标准点，是因为数据采集方式每个第一单位时间获取一次的，因此，本专利技术是将第一单位时间内采集的2n+1个数据作为一个整体的，进而获取第二单位时间内的数据时，首先需要获取一个参照点，而第2n+1个数据位于第一单位时间采集数据中的最后位置，具有较强的代表性；获取第一差异值，是为了获取第一单位时间内各个数据与平均值之间的差异值的平均值；获取第一差异值的过程中，采用绝对值的方式，是因为不同数据与平均值之间的差异值的符号可能是不相同的，设置绝对值是为了对各个差异值的符号进行统一，避免不同符合的差异值相互之间进行抵消，进而对第一差异值造成影响，进而使得获取的结果偏小；获取区间差异数C时，用第二差异值减去第一差异值，是为了确定分析不同区间之间的数据对应平均差异值的差异情况，在后续计算拆分数据相对于异常数据位置集合中的第j个元素对应数据的归一值的过程中，异常参照量集合中对应的元素集合内的数据的获取周期也是第二单位时间，与C的获取是相对应的，均是参照第二单位时间进行数据分析的。
[0025]进一步的，所述数据相似性判定模块判断采集数据之间的相似性的方法包括以下步骤：
[0026]S1.1、获取数据采集模块最近一次采集的第一单位时间内的各个数据，并按获取的先后顺序分别为获取的数据进行编号；
[0027]S1.2、将不同数据编号进行排列组合，得到不同的数据编号对，记为[d1，d2]，其中，d1表示第一数据编号，d2表示第二数据编号，第一数据编号与第二数据编号不同；
[0028]S1.3、计算d1对应的数据与d2对应的数据之间的相似值Ed1d2，
[0029]所述其中，Hd1表示d1对应的数据，Hd2表示对应的数据，Hd1＞0，
[0030]当Hd1≤0时，则判定d1对应的数据异常。
[0031]本专利技术数据相似性判定模块在获取数据之间相似性的过程中，也在对获取数据中的异常情况进行判断，进而快速锁定获取数据中的异常数据(Hd1≤0时，d1对应的数据)；在
获取d1对应的数据与d2对应的数据之间的相似值Ed1d2的过程中，表示d2对应的数据相对于d1对应的数据的偏差值，用1减去d2对应的数据相对于d1对应的数据的偏差值，进而得到d2对应的数据与d1对应的数据两者之间的相似值。
[0032]进一步的，所述数据融合模块得到融合数据的方法包括以下步骤：
[0033]S2.1、获取数据采集模块最近一次采集的第一单位时间内的各个数据及相应的编号；
[0034]S2.2、获取编号为d3的数据，判断编号为d3的数据是否异常，
[0035]当Hd3≤0时，则判定编号为d3的数据异常，不获取其相应的融合数据，
[0036]当Hd3＞0时，获取数据相似性判定模块中第一数据编号等于d3的数据编号对及相应数据编号对对应的相似值；
[0037]S2.3、按第二数据编号从小到达的顺序，逐个将第一数据编号等于d3的数据编号对对应的相似值与第一阈值进行比较，
[0038]当相似值小于第一阈值时，则判定该相似值对应数据编号对中的第一数据编号对应的数据与第二数据编号对应的数据不相似，两者无法进行融合，
[0039]当相似值大于等于第一阈值时，则判定该相似值对应的数据编号对中第一数据编号对应的数据与第二数据编号对应的数据能够进行融合；
[0040]S2.4、得到d3为不同值时，编号为d3的数据相应的融合数据H1d3，
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的大数据采集存储管理系统，其特征在于，包括：数据采集模块，所述数据采集模块用于对数据信息进行采集；数据智能处理模块，所述数据智能处理模块包括数据相似性判定模块、数据融合模块及数据拆分处理模块，所述数据相似性判定模块用于判断采集数据之间的相似性；所述数据融合模块将相似信息进行数据融合，得到融合数据及相应的融合值；所述数据拆分处理模块获取数据采集模块中采集数据中的异常数据，并结合历史数据对融合数据进行拆分，得到相应的拆分数据；数据存储模块，所述数据存储模块获取处理后的采集数据，并将其保存到数据库中。2.根据权利要求1所述的一种基于人工智能的大数据采集存储管理系统，其特征在于：所述数据采集模块每隔第一单位时间对数据信息进行一次采集，每次采集的数据个数为2n+1个，n为正整数，将每次采集的第2n+1个数据进行标注，作为第一标注点，将第一单位时间中第i个数据对应的值记为A
i
；获取与第一标注点时间间隔小于等于第二单位时间内的所有数据，将第二单位时间内获取的数据中第i1个数据对应的值记为B
i1
，将第二单位时间内的数据个数记为n1；计算第一单位时间内各个数据与相应平均值之间的平均差异值，记为第一差异值，所述第一差异值为其中，A1等于第一单位时间内各个数据的平均值，计算第二单位时间内各个数据与相应平均值之间的平均差异值，记为第二差异值，所述第二差异值为其中，A2等于第二单位时间内各个数据的平均值，所述数据采集模块根据第一差异值及第二差异值，得到区间差异数C，所述3.根据权利要求2所述的一种基于人工智能的大数据采集存储管理系统，其特征在于：所述数据相似性判定模块判断采集数据之间的相似性的方法包括以下步骤：S1.1、获取数据采集模块最近一次采集的第一单位时间内的各个数据，并按获取的先后顺序分别为获取的数据进行编号；S1.2、将不同数据编号进行排列组合，得到不同的数据编号对，记为[d1，d2]，其中，d1表示第一数据编号，d2表示第二数据编号，第一数据编号与第二数据编号不同；S1.3、计算d1对应的数据与d2对应的数据之间的相似值Ed1d2，所述其中，Hd1表示d1对应的数据，Hd2表示对应的数据，Hd1＞0，当Hd1≤0时，则判定d1对应的数据异常。4.根据权利要求3所述的一种基于人工智能的大数据采集存储管理系统，其特征在于：所述数据融合模块得到融合数据的方法包括以下步骤：S2.1、获取数据采集模块最近一次采集的第一单位时间内的各个数据及相应的编号；S2.2、获取编号为d3的数据，判断编号为d3的数据是否异常，当Hd3≤0时，则判定编号为d3的数据异常，不获取其相应的融合数据，
当Hd3＞0时，获取数据相似性判定模块中第一数据编号等于d3的数据编号对及相应数据编号对对应的相似值；S2.3、按第二数据编号从小到达的顺序，逐个将第一数据编号等于d3的数据编号对对应的相似值与第一阈值进行比较，当相似值小于第一阈值时，则判定该相似值对应数据编号对中的第一数据编号对应的数据与第二数据编号对应的数据不相似，两者无法进行融合，当相似值大于等于第一阈值时，则判定该相似值对应的数据编号对中第一数据编号对应的数据与第二数据编号对应的数据能够进行融合；S2.4、得到d3为不同值时，编号为d3的数据相应的融合数据H1d3，所述H1d3＝{Hd3：Kd3}，其中，Kd3为一个集合，Hd3与Kd3构成键值对，Hd3为键对象，Kd3为值对象，所述Kd3中的每个元素与一个数据编号对相关联，且所述数据编号对中的第一数据编号对应的数据为Hd3，且第一数据编号对应的数据与第二数据编号对应的数据能够进行融合，所述Kd3中的第n2个元素对应的值记为其中，d4表示Kd3中的第n2个元素对应数据编号对中第二数据编号，的底数Hd4表示编号为d4的数据对应的值，的上标Ed3d4表示编号为d3的数据与编号为d4的数据之间的相似值，每个融合数据对应一个融合值，Kd3中各个值中底数的均值与各个值中上标的均值的乘积，所得乘积与键对象的平均值为H1d3对应的融合值。5.根据权利要求4所述的一种基于人工智能的大数据采集存储管理系统，其特征在于：所述数据融合模块中，Kd3中的第n2个元素对应的值记为并不对Hd4对应的融合数据产生影响，数据采集模块最近一次采集的第一单位时间内的各个数据经过数据融合模块处理后，可以包含多个融合数据，所述数据融合模块选取值对象为空集的融合数据，将该融合数据中键对象对应的数据与第二阈值区间进行比较，当融合数据中键对象对应的数据在第二阈值区间内时，则判定该融合数据为独立融合数据，当融合数据中键对象对应的数据不在第二阈值区间内时，则判定该融合数据中键对象对应的数据为异常数据。6.根据权利要求5所述的一种基于人工智能的大数据采集存储管理系统，其特征在于：所述数据拆分处理模块包括异常位置确认模块及融合数据拆分模块，所述异常位置确认模块获取数据采集模块最近一次采集的第一单位时间内的各个数据，判断各个数据是否为异常数据，将各个异常数据对应的编号逐个添加到一个空白集合中，得到异常数据位置集合；所述融合数据拆分模块以第二单位时间为周期，获取异常数据位置集合中每个元素对

【专利技术属性】
技术研发人员：成叶，
申请(专利权)人：南京鼎傲科技有限公司，
类型：发明
国别省市：