一种基于大数据的检测数据可视化管理系统及方法技术方案

本发明专利技术涉及大数据技术领域，具体为一种基于大数据的检测数据可视化管理系统及方法，包括：数据检测模块、粗略数据输出模块、辅助验算模块、数据修正模块和可视化补充模块，数据检测模块用于计算原始数据量和计算机的处理能力，粗略数据输出模块用于计算最少数据点数量，输出粗略图像，辅助验算模块用于检测空闲设备，用空闲设备的计算机对数据点进行验算，数据修正模块用于对数据点进行数据修正，可视化补充模块用于修补图像细节，输出完整的图表，本发明专利技术能够智能检测设备的工作情况，解决因计算机处理能力不足造成可视化图表数据误差过大的问题，并保证可视化图表能够持续生成，便于用户查看。便于用户查看。便于用户查看。

【技术实现步骤摘要】
一种基于大数据的检测数据可视化管理系统及方法


[0001]本专利技术涉及大数据
，具体为一种基于大数据的检测数据可视化管理系统及方法。

技术介绍

[0002]随着信息技术的发展，可视化工具以其直观、便捷的特点，被越来越多的用于检测数据的管理，在工业生产、危险排查、医疗检测等方面发挥着重要的作用。
[0003]检测信息可视化处理的流程为：首先由设备中的传感器提供原始数据，再通过设备内的嵌入式计算机计算出数据点，计算机将处理后的数据点交付可视化工具，可视化工具接收数据点后生成图表。
[0004]但在设备工作繁忙时，设备中的传感器给出的原始数据会出现数据量过大的情况，由于嵌入式计算机体积较小，计算能力有限，虽然仍然能够给出计算结果，但往往不能保证结果的精确性，造成可视化图表数据失真，为用户带来困扰；
[0005]此外，为了保证可视化图表在时间轴上的连续，计算机必须时刻不停的进行数据处理，但当设备数据量过大，计算机的处理速度跟不上图表的生成速度时，可视化图表就会出现某一时间段内数据缺失的情况，导致图表部分残缺，影响可视化效果。

技术实现思路

[0006]本专利技术的目的在于提供一种基于大数据的检测数据可视化管理系统及方法，以解决上述
技术介绍
中提出的问题。
[0007]为了解决上述技术问题，本专利技术提供如下技术方案：一种基于大数据的检测数据可视化管理系统，包括：数据检测模块、粗略数据输出模块、辅助验算模块、数据修正模块和可视化补充模块；
[0008]数据检测模块用于接收设备传感器传来的原始数据，并计算对应的嵌入式计算机的数据处理能力，当数据量超过计算机处理能力后，将设备标记为繁忙状态；
[0009]粗略数据输出模块用于根据可视化图表的频率信息，计算使图表连续所需的最少数据点数量，再根据该设备的历史数据，计算出计算机处理后的数据点的采信特征值，按采信特征值对数据点进行排序，按排序将数据点依次交付可视化工具，直到交付的数据点数量达到计算出的最少数据点数量为止，使可视化工具输出粗图像，将所有数据点存储起来，标记为待验算数据点；
[0010]辅助验算模块用于检测与系统连接的其他设备的工作情况，找出其中的空闲计算机，将存储的待验算原始数据交付给空闲计算机进行计算，计算出的数据点标记为辅助数据点，将辅助数据点发送给原计算机；
[0011]数据修正模块用于原计算机接收到辅助数据点后，将辅助数据点与待验算数据点进行对比，并根据待验算数据点对辅助数据点进行数据修正，修正后的数据点标记为最终数据点；
[0012]可视化补充模块用于将最终数据点打上时间标记后发送给可视化工具，可视化工具根据数据点的时间标记，将数据点添加到对应时间的粗略图像上，修补图像的细节，替换原有的粗略图像，输出完整的可视化图表；
[0013]进一步的，数据检测模块包括：数据量检测单元、处理能力计算单元和状态标记单元；
[0014]数据量检测单元用于收集设备传感器采集到的原始数据，计算原始数据的数据量；
[0015]处理能力计算单元用于发送测试数据包，根据计算机的处理速度，计算单位时间内计算机能够处理的最高数据量，记为计算机处理能力；
[0016]状态标记单元用于将原始数据的数据量与计算机处理能力相比较，若原始数据的数据量小于或等于计算机处理能力，则正常将计算机处理结果交付可视化工具，若原始数据的数据量大于计算机处理能力，则将该设备标记为繁忙设备，进入管理流程；
[0017]本专利技术能够智能检测设备的工作情况，对设备的工作状态进行判断；
[0018]进一步的，粗略数据生成模块包括：数据点计算单元、数据点生成单元、可信度排列单元和粗图像生成单元；
[0019]数据点计算单元用于根据可视化图表的历史波动情况，计算使图表连续所需的最少数据点数量；
[0020]数据点生成单元用于控制计算机对原始数据进行计算，输出计算结果，将计算出的所有数据点标记为待验算数据点；
[0021]可信度排列单元用于分析该设备的历史数据，根据设备的历史运作情况，判断每一个待验算数据点的可信度，按可信度对数据点进行升序排列，构成数据点选择序列；
[0022]粗图像生成单元用于按数据点选择序列的顺序，依次将数据点交付可视化工具，直到交付的数据点数量达到最少数据点数量为止，使可视化工具生成粗略图像；
[0023]本专利技术能够计算可视化图表生成的最低数据点数量，只将部分满足条件的数据上传到可视化工具，输出粗略图表，以保证在任何时间用户都能有图可看；
[0024]进一步的，辅助验算模块包括：闲置检测单元和验算单元；
[0025]闲置检测单元用于检测其他设备的工作情况，当一台其他设备空闲时，将这台设备的内嵌计算机标记为空闲计算机；
[0026]验算单元用于将原始数据交付空闲计算机，空闲计算机输出计算结果，将计算出的数据点发送给系统，记为辅助数据点；
[0027]本专利技术能够智能判断其他设备的工作状态，将原始数据发送给闲置的其他计算机，由外部计算机进行验算；
[0028]进一步的，数据修正模块包括：数据点对比单元和数据点调整单元；
[0029]数据点对比单元用于计算每一个辅助数据点的采信特征值，若一个辅助数据点的采信特征值高于对应待验算数据点，则发出该数据点的修正命令，若辅助数据点的采信特征值低于或等于对应待验算数据点，则发出该数据点的保留命令；
[0030]数据点调整单元用于当接收到一个数据点的修正命令后，删除待验算数据点，将对应位置上的辅助数据点标记为最终数据点，当接收到一个数据点的保留命令后，删除辅助数据点，将对待验算数据点直接标记为最终数据点；
[0031]本专利技术能够将验算结果与存储数据进行对比，根据验算结果修正原有的数据，保证数据的准确性；
[0032]进一步的，可视化补充模块包括：时间标记单元和粗图像完善单元；
[0033]时间标记单元用于将最终数据点打上时间标记，所述时间标记包括数据点所处时间段的编号与时间段内数据点在该时间段内的编号；
[0034]粗图像完善单元用于将最终数据点发送给可视化工具，可视化工具根据数据点的时间标记，对相应时间的粗略图像上的数据点进行补充与替换，完善粗略图像的细节，输出完善后的可视化图表；
[0035]本专利技术能够在数据验算完毕后，将调整后的数据上传，重新填充到此前的时间点上，完善原有的粗略图表，满足可视化图像的精确性要求；
[0036]一种基于大数据的检测数据可视化管理方法，包括以下步骤：
[0037]S100.接收来自设备传感器的原始数据后，计算原始数据的数据量与内嵌计算机的数据处理能力，当单位时间段内原始数据的数据量超过计算机的数据处理能力后，将该设备标记为当前时间段内的繁忙设备，转到步骤S200；
[0038]S200.计算机对步骤S100中繁忙设备的原始数据进行处理，生成待验算数据点；根据可视化图表的历史生成记录，计算使图表连本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的检测数据可视化管理方法，其特征在于，所述方法包括以下步骤：S100.接收来自设备传感器的原始数据后，计算原始数据的数据量与内嵌计算机的数据处理能力，检测到当前时间段内原始数据的数据量超过计算机的数据处理能力时，将该设备标记为当前时间段内的繁忙设备，转到步骤S200；S200.计算机对步骤S100中繁忙设备的原始数据进行处理，生成待验算数据点；根据可视化图表的历史生成记录，计算使图表连续所需的最少数据点数量，再根据该设备的历史记录，计算出每一个待验算数据点的采信特征值，按采信特征值的大小对待验算数据点降序排序，将待验算数据点按顺序依次交付可视化工具，直到交付的数据点数量达到最少数据点数量为止，使可视化工具生成粗略图像；S300.检测与其他设备的工作情况，等待其他设备闲置时，将闲置设备的内嵌计算机标记为空闲计算机；将步骤S200中存储的待验算原始数据发送给空闲计算机进行计算，计算出的数据点记为辅助数据点，将所有辅助数据点发送给对应的繁忙设备的内嵌计算机；S400.原计算机接收到步骤S300中计算出的辅助数据点后，计算每一个辅助数据点的采信特征值，若一个辅助数据点的采信特征值高于对应待验算数据点，则将该辅助数据点标记为最终数据点，删除对应位置上的待验算数据点，若辅助数据点的采信特征值低于或等于对应待验算数据点，则删除该辅助数据点，将对应位置上的待验算数据点标记为最终数据点；S500.将步骤S400中得到的最终数据点打上时间标记后发送给可视化工具，可视化工具根据最终数据点的时间标记，对相应时间段粗略图像上的数据点进行补充与替换，完善粗略图像的细节，输出完善后的可视化图表。2.根据权利要求1所述的一种基于大数据的检测数据可视化管理方法，其特征在于：步骤S100包括：步骤S100.设备开始工作后，收集设备传感器在单位时间T内采集到的原始数据，计算当前时间段内原始数据的数据量S1；步骤S102.系统向设备的内嵌计算机发送数据量为C0的测试数据包，检测计算机的处理时间T0，计算内嵌计算机的处理能力S2，所述S2＝C0*T/T0；步骤S103.将当前时间段内原始数据的数据量S1与计算机处理能力S2相比较，若S1<S2或S1＝S2，则正常将计算机处理结果交付给可视化工具，若S1>S2，则将该设备标记为当前时间段内的繁忙设备，转到步骤S200。3.根据权利要求1所述的一种基于大数据的检测数据可视化管理方法，其特征在于：步骤S200包括：步骤S201.控制计算机对原始数据进行计算，将计算机输出的数据点标记为待验算数据点，所有待验算数据点值的集合记为{P1,P2,
…
,Pa}，其中a代表数据点在当前时间段内所在的编号，Pa表示编号为a的待验算数据点的值；步骤S202.系统提取可视化图表在距当前时间Tn时间内的历史记录，所述Tn代表系统预设的历史记录查看范围，Tn时间内包含的时间段数量记为n，Tn时间内所有时间段包含的数据点总数记为R1；将同一时间段内的每两个相邻数据点的值相减，若存在两个相邻数据点相减后的值超出系统所设范围，则把包含这两个数据点的时间段记为峰值时间段，Tn时间内包含的所有峰值时间段的数量记为m，所有峰值时间段内包含的数据点的总数量记为
R2；计算使图表连续所需的最少数据点数量R，所述其中R1>R2>0，n>m>0；步骤S203.采集在历史记录中Tn时间内每一个数据点的值，根据单位时间段在历史记录中的编号，计算每一个时间段内数据点的平均值，所有平均值的集合为{Q1,Q2,
…
,Qn}，其中Qn表示第n个时间段内数据的平均值；计算每一个待验算数据点的采信特征值K,按以下公式计算：其中，i表示在Tn时间中的单位时间段的编号；步骤S204.对待验算数据点按采信特征值的大小升序排列，构成数据点选择序列，将数据点按顺序依次交付可视化工具，直到交付的数据点数量达到最少数据点数量为止，使可视化工具生成粗略图像。4.根据权利要求1所述的一种基于大数据的检测数据可视化管理方法，其特征在于：步骤S300包括：步骤S301.系统检测其他设备的工作情况，若存在其他设备闲置，则将该设备的嵌入式计算机记为空闲计算机，若不存在其他设备闲置，系统将进行等待，直到有设备闲置为止；步骤S302.将原始数据传输给空闲计算机，空闲计算机进行计算后输出计算结果，计算出的数据点记为辅助数据点，所有辅助数据点的集合为{F1，F2，
…
，Fa}，其中Fa表示编号为a的辅助数据点的值，将所有辅助数据点发送给原计算机。5.根据权利要求1所述的一种基于大数据的检测数据可视化管理方法，其特征在于：在步骤S400中，按步骤S203中的公式，计算所...

【专利技术属性】
技术研发人员：张艳臣，
申请(专利权)人：哈尔滨晨文科技开发有限公司，
类型：发明
国别省市：