一种基于大数据的信息管理系统及方法技术方案

本发明专利技术公开了一种基于大数据的信息管理系统及方法，所述数据关联量筛选模块用于获取每个传感器数据对应的数据关联量，并通过数据关联量分别对应的数值对该传感器数据的准确性进行判断，初步筛选出获取的异常传感器数据。本发明专利技术从多个角度对传感器数据的异常情况进行分析，结合设备上传感器数据的变化情况及获取的传感器数据对应的传感器在历史上数据中自身的变化情况，使得在对传感器数据的异常判断上适应性更强，且异常判定的结果更加准确，同时在对异常数据的处理上，能够兼顾关联传感器的数据变化情况及自身传感器的数据变化情况，使得校准结果更加贴合理想情况，校准结果更加精准。结果更加精准。结果更加精准。

【技术实现步骤摘要】
一种基于大数据的信息管理系统及方法


[0001]本专利技术涉及大数据信息管理
，具体为一种基于大数据的信息管理系统及方法。

技术介绍

[0002]随着互联网的快速发展，人们对互联网的运用越来越广泛，同时，在对互联网的运用过程中，产生的数据越来越多，尤其是工业方面，通过互联网与传感器的技术的结合，产生了海量的数据，为了快速获取传感器对应的监控结果，人们用到了基于大数据的信息管理系统，在一定程度上帮助人们实现对大数据的监控及处理，在节省了人力资源的同时，监控效果更好。
[0003]但是，当前现有的基于大数据的信息管理系统尚且存在不足之处，主要体现在两个方面：
[0004]1)对异常数据的判定不够准确，只是简单的将获取的数据与阈值进行比较，没有结合其他传感器数据进行分析，直接下定论，会使得最终得到的判定结果出现较大的偏差；
[0005]2)对异常数据的处理方式不够完善，针对判定的异常数据，现有的技术只是单纯的分析传感器现有数据与标准阈值之间的差值，然后通过直接计算两者的差值作为补偿值对异常数据进行校准，该方式导致校准结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的信息管理系统，其特征在于，包括：数据获取模块，所述数据获取模块用于获取各个传感器传递的传感器数据；数据关联量筛选模块，所述数据关联量筛选模块用于获取每个传感器数据对应的数据关联量，并通过数据关联量分别对应的数值对该传感器数据的准确性进行判断，初步筛选出获取的异常传感器数据；数据自变量筛选模块，所述数据自变量筛选模块获取数据关联量筛选模块初步筛选出的异常传感器数据，根据每个异常传感器数据对应的传感器的历史数据变化情况，对初步筛选出的异常传感器数据进行二次筛选，进一步确认出异常传感器数据，得到二次异常传感器数据集合；异常数据校准模块，所述异常数据校准模块根据历史数据对二次异常传感器数据集合中的各个异常数据进行校准。2.根据权利要求1所述的一种基于大数据的信息管理系统，其特征在于：所述数据获取模块获取的传感器数据来源于多种传感器，每种传感器至少包含一个传感器，传感器设置于设备上，用于检测设备的运行情况，一个设备至少包含一种传感器，各个传感器每隔第一单位时间t0检测一次设备，得到一个传感器数据，同时记录该传感器数据对应的时间，对各个设备进行编号，分别为各个传感器设置编号，将第a类传感器中的第b个传感器对应的编号记为a
‑
b，将相同种类的传感器编号录入到同一个空白集合中，将第a类传感器对应的集合记为Aa，将同一设备上的传感器对应的编号录入到同一个空白集合中，将第c个设备对应的集合记为Sc。3.根据权利要求2所述的一种基于大数据的信息管理系统，其特征在于：所述数据关联量筛选模块获取每个传感器数据对应的关联量的方法包括以下步骤：S1.1、获取每个传感器数据所属传感器对应的第一关联传感器及第二关联传感器，所述第一关联传感器为该传感器数据所属传感器编号对应设备相应的集合中其他传感器编号分别对应的传感器，所述第二关联传感器为该传感器数据所属传感器编号对应的传感器种类中其他传感器编号分别对应的传感器；S1.2、获取每个传感器数据对应的时间t；S1.3、分别获取S1.2中时间为t的传感器数据对应的各个第一关联传感器及第二关联传感器在时间t时分别对应的传感器数据；S1.4、根据S1.3中各个第一关联传感器在时间t时对应的传感器数据构成该传感器数据的第一关联传感器数据集合，根据S1.3中各个第二关联传感器在时间t时对应的传感器数据构成该传感器数据的第二关联传感器数据集合，该传感器数据对应的关联量包括该传感器数据的第一关联传感器数据集合中各元素分别对应的传感器数据及该传感器数据的第二关联传感器数据集合中各元素分别对应的传感器数据。
4.根据权利要求3所述的一种基于大数据的信息管理系统，其特征在于：所述数据关联量筛选模块通过数据关联量分别对应的数值对该传感器数据的准确性进行判断的方法包括以下步骤：S2.1、获取某个传感器数据对应的传感器编号，记为a1
‑
b1，获取该传感器数据对应的设备编号c1及时间t1，a1
‑
b1对应的第一关联传感器为集合Sc1去除掉a1
‑
b1的各个编号分别对应的传感器，将a1
‑
b1对应的第一关联传感器的集合记为集合S1c1，a1
‑
b1对应的第二关联传感器为集合Aa1去除掉a1
‑
b1的各个编号分别对应的传感器，将a1
‑
b1对应的第二关联传感器的集合记为集合A1c1；S2.2、获取该传感器数据对应的第一关联传感器数据集合及第二关联传感器数据集合；S2.3、计算历史数据中相对于时间t1的前第二单位时间t2内，集合S1c1中第n个元素对应的传感器与编号为a1
‑
b1的传感器在相同时间分别对应传感器数据的比值的集合，记为比值集合D1c1
n
；S2.4、计算历史数据中相对于时间t1的前第二单位时间t2内，集合A1c1中第n个元素对应的传感器与编号为a1
‑
b1的传感器在相同时间分别对应传感器数据的比值的集合，记为比值集合E1c1
n
；S2.5、根据获取的n为不同值时，比值集合D1c1
n
及比值集合E1c1
n
中的各个元素对应的比值及该比值相应的时间T，先对得到的各个比值进行归一化处理，得到归一化处理后的各个处理结果与相应的T在平面直角坐标系中构成的坐标点，所述T等于t1与该比值对应时间的差值，所述坐标点中横坐标为T，纵坐标为T对应的归一化处理后的处理结果；S2.6、根据S2.5中得到的各个坐标点进行线性拟合处理，分别得到第一拟合曲线、第二拟合曲线及第三拟合曲线；S2.7、计算T为0时，第一拟合曲线、第二拟合曲线及第三拟合曲线分别对应的值Q1、Q2、Q3，并根据Q1、Q2、Q3判断该传感器数据是否异常；对得到的各个比值进行归一化处理的方法包括以下步骤：S2.5.1、获取各个比值对应的传感器的种类；S2.5.2、查询数据库，获取各个比值对应的传感器种类在数据库中相应的归一系数，比值中对应的两个传感器相应的种类相同时，对应的归一系数为1；S2.5.3、将每个比值除以该比值对应的归一系数，分别得到各个比值对应的归一化处理后的处理结果。5.根据权利要求4所述的一种基于大数据的信息管理系统，其特征在于：所述分别得到第一拟合曲线、第二拟合曲线及第三拟合曲线的方法包括以下步骤：S2.6.1、在S2.5中的平面直角坐标系中分别用颜色p1标出比值集合D1c1
n
中各个元素对应的坐标点、用颜色p2标出比值集合E1c1
n
中的各个元素对应的坐标点；S2.6.2、参照数据库中线性拟合方程模型，对平面直角坐标系中颜色p1对应的坐标点进行线性拟合，得到第一拟合曲线，对平面直角坐标系中颜色p2对应的坐标点进行线性拟合，得到第二拟合曲线，
对平面直角坐标系中颜色p1及颜色p2对应的坐标点进行线性拟合，得到第三拟合曲线，进行线性拟合时，分别采用数据库中不同的线性...

【专利技术属性】
技术研发人员：牟金华，高家兴，
申请(专利权)人：哈尔滨市若初科技有限责任公司，
类型：发明
国别省市：