一种数据质量检测方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种数据质量检测方法，包括：将原始曲线的第N个原始数据点与第N‑1个原始数据点进行比对，根据比对结果得到第N个原始数据点对应的第一设定分数或第二设定分数；根据数据清洗算法对第N个原始数据点进行数据清洗得到对应的拟合数据点；判断第N个原始数据点的值是否与拟合数据点的值相等得到第三设定分数；根据第一设定分数和第二设定分数计算得到脏评分；根据第一设定分数、第二设定分数、第三设定分数和脏评分计算品质系数；根据品质系数得到原始曲线的数据质量检测结果。本发明专利技术提供的一种数据质量检测方法，能有效解决现有技术计算复杂度高，造成资源的消耗较大的问题，且能够有效提高工业表数据质量检测的准确性。

【技术实现步骤摘要】
一种数据质量检测方法、装置及存储介质
本专利技术涉及数据处理
，尤其涉及一种数据质量检测方法、装置及存储介质。
技术介绍
随着我国经济的快速发展，我国工业产业也在不断建设革新，产业产值在我国经济产量中占主导地位。提高统计数据的质量是提升工业产业公信度的重要环节之一，数据质量也是统计工作的基本内容，提高数据质量，关乎到工业产业统计制度的改革创新。工业统计数据的真实性可以切实反应我国工业的发展及经济运转情况，为国家的科学决策提供重要依据。现有的数据质量检测方法通常基于一阶导函数法描述的工业曲线波动性来进行数据质量的检测，一阶导函数法计算得到的导函数在各点处的值即为曲线在该点处的斜率，导函数值为正，曲线上升，值越大，曲线越陡；导函数值为0时，曲线斜率为0；导函数值为负，曲线下降，值越小，曲线越陡。现有技术通过一阶导函数法的各个点导函数的加权求和后的平均值来衡量一段曲线的波动程度，从而得到数值质量检测的结果，可见，使用这种数据质量检测方法存在以下问题：计算复杂度高，造成资源的消耗较大且数据质量检测效率不佳。r>专利技术本文档来自技高网...

【技术保护点】
1.一种数据质量检测方法，其特征在于，包括：/n将原始曲线的第N个原始数据点与第N-1个原始数据点进行比对，根据比对结果得到所述第N个原始数据点对应的第一设定分数或第二设定分数；其中，N为大于等于1的正整数；/n根据数据清洗算法对所述第N个原始数据点进行数据清洗，得到所述第N个原始数据点对应的拟合数据点；/n判断所述第N个原始数据点的值是否与所述拟合数据点的值相等，并根据判断结果得到所述第N个原始数据点对应的第三设定分数；/n根据所述第一设定分数和所述第二设定分数计算得到所述原始曲线的脏评分；/n根据所述第一设定分数、所述第二设定分数、所述第三设定分数和所述脏评分计算所述原始曲线的品质系数；/...

【技术特征摘要】
1.一种数据质量检测方法，其特征在于，包括：
将原始曲线的第N个原始数据点与第N-1个原始数据点进行比对，根据比对结果得到所述第N个原始数据点对应的第一设定分数或第二设定分数；其中，N为大于等于1的正整数；
根据数据清洗算法对所述第N个原始数据点进行数据清洗，得到所述第N个原始数据点对应的拟合数据点；
判断所述第N个原始数据点的值是否与所述拟合数据点的值相等，并根据判断结果得到所述第N个原始数据点对应的第三设定分数；
根据所述第一设定分数和所述第二设定分数计算得到所述原始曲线的脏评分；
根据所述第一设定分数、所述第二设定分数、所述第三设定分数和所述脏评分计算所述原始曲线的品质系数；
根据所述品质系数得到所述原始曲线的数据质量检测结果。


2.如权利要求1所述的数据质量检测方法，其特征在于，所述将原始曲线的第N个原始数据点与第N-1个原始数据点进行比对，根据比对结果得到所述第N个原始数据点对应的第一设定分数或第二设定分数，包括：
判断所述第N个原始数据点是否为下降点、所述第N个原始数据点为下降点时的下降幅度是否超过第一预设阈值，以及所述第N个原始数据点是否为复位点；
若所述第N个原始数据点为下降点、所述第N个原始数据点为下降点时的下降幅度超过第一预设阈值，以及所述第N个原始数据点为复位点，则输出所述第N个原始数据点对应的第一设定分数。


3.如权利要求1所述的数据质量检测方法，其特征在于，所述将原始曲线的第N个原始数据点与第N-1个原始数据点进行比对，根据比对结果得到所述第N个原始数据点对应的第一设定分数或第二设定分数，还包括：
判断所述第N个原始数据点是否为上升点，且跳变值是否第二预设阈值；
若是，则输出所述第N个原始数据点对应的第二设定分数。


4.如权利要求1所述的数据质量检测方法，其特征在于，根据数据清洗算法对所述第N个原始数据点进行数据清洗，得到所述第N个原始数据点对应的拟合数据点，具体为：
判断所述第N个原始数据点是否为拟合数据曲线的第N-1个拟合数据点的增量，且第N+1个原始数据点是否为所述第N个原始数据点的增量；
若是，则将所述第N个原始数据点作为所述第N个原始数据点对应的拟合数据点；
判断所述第N个原始数据点是否为所述原始曲线中的N-1个原始数据点的增量，且判断第N+1个原始数据点与所述第N个原始数据点相比是否为增量或减量；
若是，则计算所述第N个数据点与第N-1个原始数据点的增量值，并将所述增量值与所述拟合数据曲线第N-1个拟合数据点的值进行累加，得到所述第N个原始数据点对应的拟合数据点；
若否，将所述拟合数据曲线的第N-1个拟合数据点的值作为所述第N个原始数据点对应的拟合数据点。


5.如权利要求1所述的数据质量检测方法，其特征在于，所述判断所述第N个原始数据点的值是否与所述拟合数据点的值相等，并根据判断结果得到所述第N个原始数据点对应的第三设定分数，具体为：
判断所述第N个原始数据点的值是否与所述拟合数据点的值相等；
若是，则输出所述第N个原始数据点对应的分数为0；

【专利技术属性】
技术研发人员：洪蒙纳，方主升，李继庚，
申请(专利权)人：广州博依特智能信息科技有限公司，
类型：发明
国别省市：广东;44