数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种数据处理方法、装置、电子设备及存储介质，通过配置的异常数据判断引擎确定正常数据和异常数据，将正常数据加入到正常数据表中进行后续处理，而将异常数据存入与异常类型对应的异常数据表中，并通过不同的异常数据表分别对不同异常类型的异常数据进行存储，实现对数据中异常数据精准、有效的分类监测和管理，保证了后续对数据进行处理的准确性。性。性。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着电子技术的不断发展，人们日常生活中使用电脑、服务器等电子设备所需要处理的数据数量越来越多，根据所处理的数据所实现的功能也越来越丰富。
[0003]现有技术中，由于数据来源方提供的数据值存在误差、数据格式不符合规则，或者数据传输延迟等因素的影响，作为数据处理方的电子设备所接收到的数据可能不够精确，影响后续的处理。
[0004]因此，在电子设备处理数据的过程中，如何保证能够更为准确地对待处理的数据流中的正常数据和异常数据分别进行处理，是本领域需要解决的技术问题。

技术实现思路

[0005]本申请提供一种数据处理方法、装置、电子设备及存储介质，以对待处理的数据流中的正常数据和异常数据分别进行处理。
[0006]本申请第一方面提供一种数据处理方法，包括：获取待处理的数据流，所述数据流中包括多条数据；确定所述多条数据中的正常数据和异常数据，以及所述异常数据的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理的数据流，所述数据流中包括多条数据；确定所述多条数据中的正常数据和异常数据，以及所述异常数据的异常类型；将所述正常数据存入正常数据表，并按照所述数据流的预设处理规则，对所述正常数据表中的正常数据进行处理；将所述异常数据存入与所述异常类型对应的异常数据表，并通过显示页面展示每个异常类型的异常数据表的信息。2.根据权利要求1所述的方法，其特征在于，所述确定所述多条数据中的正常数据和异常数据，以及所述异常数据的异常类型，包括：根据所述数据流中数据的至少一个异常类型，以及每个异常类型的异常判断规则，配置异常数据判断引擎；通过所述异常数据判断引擎，确定所述多条数据中的正常数据和异常数据，以及所述异常数据的异常类型。3.根据权利要求1或2所述的方法，其特征在于，还包括：使用水位线引擎对所述数据流中的数据进行处理；其中，所述水位线引擎处理数据时，为所述数据流中的每条数据设置不同的等待时间，在处理完一条数据后，在下一条数据的等待时间内没有接收到该数据时并不处理所述数据流中的其他数据，在所述下一条数据的等待时间之后再处理其他数据。4.根据权利要求2所述的方法，其特征在于，所述异常数据判断引擎基于Flink编写的Kafka消费程序实现；所述异常数据判断引擎通过状态存储ValueStated单元存储所述异常判断规则。5.根据权利要求3所述的方法，其特征在于，所述异常类型包括以下的一项或多项：数据格式异常、数据值异常、数据频率异常和数据延迟异常...

【专利技术属性】
技术研发人员：王泓清，邱庆举，丁晟，
申请(专利权)人：浙江吉利控股集团有限公司，
类型：发明
国别省市：