【技术实现步骤摘要】
数据处理方法、系统、设备及存储介质
[0001]本申请涉及计算机
，尤其涉及一种数据处理方法、系统、设备及存储介质。
技术介绍
[0002]在制造企业的日常运营过程中，各种日报月报在计划、生产、设备管理等领域发挥着重要的作用。由于企业的信息化程度、管理规范性、工人素质等多方面原因，现阶段大部分的制造企业的日报/月报加工仍处于自动化ETL+手动填报的阶段，即一部分日报指标来企业的各种数据源(设备、DCS、应用系统等)，另一部分来自工人的手工填报，在以往的实践过程中，这种方式普遍存在以下几个问题：
[0003]1、源数据不准确，由于设备老旧、网络波动、程序BUG等问题，带来的源数据不准确，例如DCS数据断流、异常波动、时间校准错误等，源头数据的不准确会造成后续报表的数据不可信，进而影响生产工作。
[0004]2、人工填报数据的可靠，通常情况下，在紧张的生产工作之余填写许多的报表数据，由于各种人为和非人为因素，导致人工填报的数据可信度差，也缺乏合理的校验和管控手段。
技术实现思路
[0005]...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取计算任务所需的待处理数据；对所述待处理数据进行特征分析，以确定所述待处理数据中的异常数据；根据所述计算任务的计算意图，对所述待处理数据进行计算，以得到所述计算任务对应的计算结果；根据所述计算意图和所述异常数据，确定所述计算结果的置信度；输出所述计算结果和所述计算结果的置信度。2.根据权利要求1所述的方法，其特征在于，所述待处理数据包括：至少一个维度的待处理数据；所述对所述待处理数据进行特征分析，以确定所述待处理数据中的异常数据，包括：从所述待处理数据中，获取所述至少一个维度分别对应的待处理数据；针对任一维度的待处理数据，按照所述任一维度对应的特征分析方式对该维度的待处理数据进行特征分析，以确定所述待处理数据中的异常数据。3.根据权利要求2所述的方法，其特征在于，所述按照所述任一维度对应的特征分析方式对该维度的待处理数据进行特征分析，以确定所述待处理数据中的异常数据，包括以下至少一种方式：从所述任一维度的待处理数据中，确定标记为空值的数据为异常数据；从所述任一维度的待处理数据中，获取不属于所述任一维度对应的正常阈值范围的数据，作为所述异常数据；从所述任一维度的待处理数据中，提取所述任一维度的待处理数据中的离群点，作为所述异常数据；根据所述任一维度的待处理数据，确定所述任一维度的待处理数据的跳变梯度；确定跳变梯度大于设定的跳变梯度阈值的数据为异常数据；从所述任一维度的待处理数据中，获取所述任一维度的待处理数据中数据持续不变的持续时长；在所述持续时长大于或等于设定倍数的采样周期的情况下，确定持续不变的数据为所述异常数据；所述采样周期为所述任一维度的待处理数据的采样周期；设定倍数大于或等于2。4.根据权利要求3所述的方法，其特征在于，从所述任一维度的待处理数据中，提取所述任一维度的待处理数据中的离群点，包括：对所述任一维度的待处理数据进行四分位距分析，以确定所述任一维度的待处理数据的四分之一分位数、四分之三分位数及四分位距；根据所述四分之一分位数、四分之三分位数及四分位距，确定所述任一维度的正常数值范围；从所述任一维度的待处理数据中，获取不属于所述任一维度的正常数值范围的待处理数据，作为所述离群点。5.根据权利要求3所述的方法，其特征在于，还包括：对所述任一维度的待处理数据进行四分位距分析，以确定所述任一维度的待处理数据的四分之一分位数和四分之三分位数；确定所述四分之三分位数和所述四分之一分位数之间的差值作为所述设定的跳变梯
度阈值。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，所述计算任务包括：生成目标对象的数据报表；所述获取计算任务所需的待处理数据，包括：根据所述数据报表的信息项，获取确定所述信息项所需的目标数据表，作为所述待处理数据；所述根据所述计算任务的计算意图，对所述待处理数据进行计算，以得到所述计算任务对应的计算结果，包括：根据所述信息项的计算意图，对所述目标数据表进行计算，以得到所述信息项对应的指标数据。7.根据权利要求6所述的方法，其特征在于，所述根据所述计算意图和所述异...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。