一种采集数据的优化方法、系统及服务器技术方案

本发明专利技术提供一种采集数据的优化方法、系统及服务器，涉及数据处理领域。解决网管系统中有些数据丢失，采集不到的情况的问题。其中所述采集数据的优化方法，应用于一服务器，包括：获取在第一时间段内的第一矿山物联网数据；判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。这样可以填充缺失的数据，使得数据质量得到大幅度的提升。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，特别是涉及一种采集数据的优化方法、系统及服务器。
技术介绍
智慧矿山物联网领域的传感器设备海量且上报数据非常频繁，但由于数据上报链条中环节很多，任何一个环节都可能会出问题，导致网管系统中有些数据丢失，采集不到的情况。
技术实现思路
本专利技术的目的在于提供一种采集数据的优化方法、系统及服务器，解决网管系统中有些数据丢失，采集不到的情况的问题。为了解决上述技术问题，本专利技术实施例提供的一种采集数据的优化方法，应用于一服务器，其中，包括:获取在第一时间段内的第一矿山物联网数据；判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。进一步的，在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据的步骤包括:获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据；对所述矿山物联网数据进行预设权重处理；根据所述预设权重对所述矿山物联网数据进行加权，得到第一预设拟合数据。进一步的，获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据的步骤包括:获取第一预设采样周期内的第二时间段内的第二矿山物联网数据；获取第二预设采样周期内的第二时间段内的第三矿山物联网数据；获取第三预设采样周期内的第二时间段内的第四矿山物联网数据；存储所述第二矿山物联网数据、所述第三矿山物联网数据及所述第四矿山物联网数据。进一步的，对所述矿山物联网数据进行预设权重处理的步骤包括:在所述第一矿山物联网数据的缺失度达到一预设值时，对所述第二矿山物联网数据进行第一预设权重处理、对所述第三矿山物联网数据进行第二预设权重处理及对所述第四矿山物联网数据进行第三预设权重处理。进一步的，在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据的步骤包括:在所述第一矿山物联网数据的缺失度达到一预设值时，获取所述服务器中的零值、最大值或者最小值作为第二预设拟合数据。本专利技术实施例还提供一种采集数据的优化系统，应用一服务器，其中，包括:第一获取模块，用于获取在第一时间段内的第一矿山物联网数据；第一处理模块，用于判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；第二处理模块，用于在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；第三处理模块，用于通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。进一步的，所述第二处理模块包括:第一子模块，用于获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据；第二子模块，用于对所述矿山物联网数据进行预设权重处理；第三子模块，用于根据所述预设权重对所述矿山物联网数据进行加权，得到第一预设拟合数据。进一步的，所述第一子模块包括:第一获取单元，用于获取第一预设采样周期内的第二时间段内的第二矿山物联网数据；第二获取单元，用于获取第二预设采样周期内的第二时间段内的第三矿山物联网数据；第三获取单元，用于获取第三预设采样周期内的第二时间段内的第四矿山物联网数据；存储单元，用于存储所述第二矿山物联网数据、所述第三矿山物联网数据及所述第四矿山物联网数据。进一步的，所述第二子模块包括:判断单元，用于在所述第一矿山物联网数据的缺失度达到一预设值时，对所述第二矿山物联网数据进行第一预设权重处理、对所述第三矿山物联网数据进行第二预设权重处理及对所述第三矿山物联网数据进行第四预设权重处理。进一步的，所述第二处理模块包括:处理子模块，用于在所述第一矿山物联网数据的缺失度达到一预设值时，获取所述服务器中的零值、最大值或者最小值作为第二预设拟合数据。本专利技术实施例还提供一种服务器，包括如上述的采集数据的优化系统。本专利技术的上述技术方案的有益效果如下:本专利技术的方案中，在第一时间段内采样第一矿山物联网数据，判断是否有数据缺失，在缺失数据达到一预设值时，通过获取服务器中的预设拟合数据进行填充缺失数据，得到一新的数据库表。这样可以填充缺失的数据，使得数据质量得到大幅度的提升。【附图说明】图1为本专利技术实施例的采集数据的优化方法的流程图；图2为本专利技术实施例的统计数据拟合数据采集范围示意图；图3为本专利技术实施例的数据拟合在网管系统中的位置结构图；图4为本专利技术实施例的数据拟合配置界面；图5为本专利技术实施例的采集数据的优化系统的结构图。【具体实施方式】为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。本专利技术针对现有技术中由于矿山物联网的传感器设备海量且上报数据非常频繁，任何一个环节可能导致网管系统中的有些数据丢失，采集不到的的问题。提供一种采集数据的优化方法、系统及服务器，通过实时进行矿山物联网数据进行采集，如果发现数据缺失过多就会触发优化系统进行优化，通过从服务器中获得优化参数进行填充缺失的数据，从而完善数据，使得数据质量得到大幅度的提升。如图1所示，本专利技术实施例还提供一种采集数据的优化方法，其中，包括:步骤1，获取在第一时间段内的第一矿山物联网数据；所述第一时间段是指用户设定或者系统设定一个采样的时间，本方案优选五分钟作为第一时间段，当然此处仅是举例说明，任何可以采样的时间均属于本专利技术的保护范围。步骤2，判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；通过实时获取第一矿山物联网数据，与原始的矿山物联网数据进行对比，看是否有缺失数据；所述缺失度是指在数据缺失的长度和周期的比例。步骤3，在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；所述预设值是指设置一个默认值的缺失度阈值，该缺失度阈值作为触发条件，在达到该数值时，进行触发后续进程，如默认缺失度配置是30%，即当周期内的粒度数据30 %缺失的时候，触发数据优化流程，这样数据优化的门限可配置，可灵活修改，当然此处仅是举例说明，任何可以作为缺失度阈值均属于本专利技术的保护范围。所述拟合数据包括:零值拟合，最大值拟合，最小值拟合，平均值拟合和性能数据拟合。步骤4，通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。通过步骤I在第一时间段内进行数据的采集，然后步骤2将第一矿山物联网数据与原始的矿山物联网数据进行对比，得到一个缺失度，再通过步骤3直接获取服务器中的拟合数据，并根据步骤4将填充缺失的第一矿山物联网数据，形成一个新的数据库表，从而完善数据信息，使得后续继续可以用到该数据库表。在数据优化完成后，会输出优化对比报告，可以看到优化前和优化后的数据质量对比，来决定是否进行下一步的优化。这样通过数据检查，对异常或者质量低的数据进行优化，自生成优化报告，使得数据质量得到大幅度的提升。优选地，为了优化支持性能数据拟合，接近真实上报的性能统计数据，比常规拟合有一定优势，因此本专利技术实施例的采集数据的优化方法中，步骤3包括:步骤31，获取所述服务器中的预设多个采样周期内的第二时间段内的矿山物联网数据；所述预设多个采样周期是可以是指对数据进行采样的不同多个周期，如可以是以近三周为一周期本文档来自技高网...

【技术保护点】
一种采集数据的优化方法，应用于一服务器，其特征在于，包括：获取在第一时间段内的第一矿山物联网数据；判断所述第一矿山物联网数据是否缺失数据，得到一缺失度；在所述缺失度达到一预设值时，获取所述服务器中的预设拟合数据；通过所述预设拟合数据填充缺失的所述第一矿山物联网数据，获得一数据库表，并根据所述数据库表对后续缺失的矿山物联网数据进行优化。

【技术特征摘要】

【专利技术属性】
技术研发人员：韩殿罡，陈志国，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44