数据管理方法、装置、电子设备及介质制造方法及图纸

本申请涉及通信技术领域，提供一种数据管理方法、装置、电子设备及介质，对数据预处理后的采集数据进行异常检测；确定数据预处理后的所述采集数据存在异常，对数据预处理后的所述采集数据进行数据补录，得到第一目标数据；对存入数据库的所述第一目标数据进行异常检测；确定存入数据库的所述第一目标数据存在异常，对存入数据库的所述第一目标数据进行数据补录，得到第二目标数据。本申请通过对数据预处理后的采集数据，在存入数据库前与存入数据库后，分别进行数据检测，并在检测到存在异常时进行数据补录，以此避免在数据处理过程与数据入库过程因数据写入异常而导致数据丢失的情况，可以提高系统数据的完整性。可以提高系统数据的完整性。可以提高系统数据的完整性。

【技术实现步骤摘要】
数据管理方法、装置、电子设备及介质


[0001]本申请涉及通信
，具体涉及一种数据管理方法、装置、电子设备及介质。

技术介绍

[0002]互联网不断发展下催生了亿万的网民，从最初的PC互联网到移动互联网3G、4G的开启，直到现在5G网络的日常使用。通信运营商不仅面临网民数量的不断增长，用户接入的不断增多，还要保障网民对网络的体验要求的不断提升，对带宽的质量网络带宽大、时延低，高同步、高可靠性要求的不断提高。面对5G业务的网络切片业务发展，运营商用户对网络基础设施的资源的使用提出了精准的要求，为了更加宏观地管理专用网络和共享网络资源的运行情况，对网络的资源进行动态的调整，以满足不同用户业务差异化的连接需求和质量保证。为达到差异化、动态管理的目标，运营商通过设备流量的采集与分析，对业务的使用和网络的配置进行信息化和数字化的调控。目前运营商使用的流量采集与分析的方法是：使用第三方网管应用系统，基于HBase集群数据库进行毫秒级、5分钟流量数据的采集，从而生成15分钟、30分钟、60分钟及24小时等时间段的性能统计值指标，用户对网络的资源配比和网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据管理方法，其特征在于，包括：对数据预处理后的采集数据进行异常检测；确定数据预处理后的所述采集数据存在异常，对数据预处理后的所述采集数据进行数据补录，得到第一目标数据；对存入数据库的所述第一目标数据进行异常检测；确定存入数据库的所述第一目标数据存在异常，对存入数据库的所述第一目标数据进行数据补录，得到第二目标数据。2.根据权利要求1所述的数据管理方法，其特征在于，所述对数据预处理后的所述采集数据进行数据补录，得到第一目标数据，包括：根据日志文件对数据预处理后的所述采集数据进行数据补录，得到第一目标数据；其中，所述日志文件中包括数据预处理前所述采集数据的备份数据。3.根据权利要求2所述的数据管理方法，其特征在于，所述根据日志文件对数据预处理后的所述采集数据进行数据补录，得到第一目标数据，包括：对数据预处理前所述采集数据的备份数据进行数据预处理，得到初始数据；对所述初始数据进行异常检测；确定所述初始数据不存在异常，将所述初始数据作为数据预处理后的所述采集数据的补录数据，并确定为第一目标数据。4.根据权利要求2所述的数据管理方法，其特征在于，所述对存入数据库的所述第一目标数据进行数据补录，得到第二目标数据，包括：根据日志文件中与存入数据库的所述第一目标数据对应的备份数据，对存入数据库的所述第一目标数据中的异常数据进行数据补录，得到第二目标数据。5.根据权利...

【专利技术属性】
技术研发人员：杨杰，牛莹，
申请(专利权)人：北京市天元网络技术股份有限公司，
类型：发明
国别省市：