数据处理方法及数据处理装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及数据处理装置。其中，该方法包括：根据预设规则对采集的原始数据依次进行清洗、提取；根据提取的数据构建关键指标矩阵，其中，行代表不同用户，列代表不同关键指标；采用预设算法对所述关键指标矩阵进行归一化处理，并对归一化后的矩阵进行降维处理；根据所述降维处理后的矩阵及预设算法获得所述关键指标的预测值。采用本发明专利技术的数据处理方法，有效降低了原始数据的稀疏性，提高了数据处理的效率及数据分析的准确度；此外，采用获得的预测值对缺失的关键指标数据进行补充，为后续数据分析提供支撑。

【技术实现步骤摘要】
数据处理方法及数据处理装置
本专利技术涉及工业互联网领域，具体而言，涉及一种数据处理方法及数据处理装置。
技术介绍
目前能源工业互联网接收了不同电厂端系统的数据，数据种类丰富且数量庞大；此外，不同电厂之间的配置有所区别，导致不同电厂端系统的数据种类不同，数据维度很高，稀疏性很大。数据稀疏性很大的弊端主要在于某些关键指标可能只出现在少数电厂端系统，而其他电厂端系统并未设置该关键指标或根本没有对该关键指标进行监测/记录，从而导致在进行数据分析时无法给出统一的分析评判标准，进而无法给出合理的分析结果，无法对电厂给出有针对性的、具有实际指导意义的建议或解决办法。此外，数据稀疏性大导致数据处理及数据分析的效率非常低，且分析的准确度也受到严重影响。因此，亟需一种有效的数据处理方法，解决现有技术中数据稀疏性大的问题，有效提高数据处理的效率及数据分析的准确度。
技术实现思路
本专利技术提供了一种数据处理方法及数据处理装置，以至少解决相关技术中数据稀疏性大的技术问题。根据本专利技术的一个方面，提供了一种数据处理方法，包括：根据预设规则对采集的原始数据依次进行清洗、提取；根据提取的数据构建关键指标矩阵，其中，行代表不同用户，列代表不同关键指标；采用预设算法对所述关键指标矩阵进行归一化处理，并对归一化后的矩阵进行降维处理；根据所述降维处理后的矩阵及预设算法获得所述关键指标的预测值。采用本专利技术的数据处理方法，有效降低了原始数据的稀疏性，提高了数据处理的效率及数据分析的准确度；此外，根据获得的关键指标的预测值对原始数据中缺失的相关数据进行补充，并反馈相关电厂，提醒其对该关键指标进行监测，并根据预测值对其实际监测值进行评估。优选地，所述清洗包括删除所述原始数据中的无效数据、重复数据和/或错误数据，其中，所述无效数据包括缺少关键信息的数据、无法解析的数据等；所述重复数据包括同一时间采集的某个/些电厂的某个/些指标的相同重复的数据；所述错误数据包括不完整的数据或明显不符合规则的数据。优选地，所述提取包括对清洗后的数据进行归类，所述归类包括根据数据类别、数据来源和/或参数指标对清洗后的数据进行归类，其中，所述数据类别包括性能类、生产类、安全类、经济类、消费类、节能减排类等；所述数据来源包括电厂和/或电厂中各类数据相关设备；所述参数指标包括设备参数、生产参数、安全参数等。优选地，根据时间段将提取的数据进行拆分，在同一时间段内同一用户不同维度的数据整合为一行，用户的不同关键指标作为列数据，构建成为一个原始关键指标矩阵，其中，行代表不同用户，列代表不同关键指标。优选地，所述归一化处理包括以下步骤：将所述关键指标矩阵中各元素根据其所在列的最大值、最小值进行归一化到0-1之间。对关键指标矩阵进行归一化处理有利于提高数据处理速度及其精度。优选地，所述降维处理包括以下步骤：根据奇异值分解算法将所述归一化后的矩阵分解为三个矩阵U、Σ、VT；根据奇异值平方和对矩阵U、Σ、VT的维度进行简化，获得简化后的矩阵U、Σ、VT；对简化后的矩阵U进行复原，获得复原后的矩阵U。具体地，根据奇异值分解算法将所述归一化后的矩阵分解为三个矩阵U、Σ、VT，其中，PAWER_MAT代表所述归一化后的矩阵；根据奇异值平方和对矩阵U、VT、Σ的维度进行简化，本专利技术根据实际数据测试后保持前80维数据。简化降维后的U、VT、Σ再经过矩阵奇异值分解的逆运算，可获得降噪后的m*n矩阵。其中，简化后的矩阵U的行保留了归一化后的矩阵的行的主要信息，VT列保留了归一化后的矩阵的列的主要信息，Σ保留了原矩阵的奇异值信息，也就是说，简化后的矩阵U、VT、Σ相对于所述归一化后的矩阵降低了维度，但保留了所述归一化后的矩阵的主要信息及能量，去除了噪声，不仅有利于提高后续数据处理速率，而且有效提高了后续数据分析的准确度；对简化后的矩阵U进行复原，获得复原后的矩阵U。本专利技术采用复原后的矩阵U进行用户间相似度的计算。优选地，所述根据所述降维处理后的矩阵及预设算法获得所述关键指标的预测值包括以下步骤：将所述复原后的矩阵U中不同用户的数据定义为不同向量；根据余弦相似度公式计算获得任意两个向量的余弦相似度，并将获得的余弦相似度进行归一化至0-1之间；根据获得的余弦相似度归一化值获得所述关键指标的预测值。本专利技术采用余弦相似度公式计算获得任意两个用户的相似度，计算过程简单，且准确度较高。优选地，所述根据获得的余弦相似度归一化值获得所述关键指标的预测值包括以下步骤：选取相对于某用户的余弦相似度归一化值最高的预设数量的其他用户，并对所述其他用户的关键指标原始数据进行存储；将选取的所述其他用户的某关键指标的原始数据加和平均，获得所述某用户的所述某关键指标的预测值。更优选地，所述根据获得的余弦相似度归一化值获得所述关键指标的预测值包括以下步骤：将某用户(某向量)的最高余弦相似度归一化值的20个用户的关键指标原始数据进行保存；当该用户某关键指标有空值需要预测时，直接找到保存的余弦相似度归一化值最高的20个用户该关键指标的原始数据进行加和平均计算，获得该用户该关键指标的预测值。20个用户都没有相应指标的概率小于0.0000000001。如果确实20个用户都没有该关键指标则标记该数据为NULL。这样又进一步的节约了计算的性能和时间，提高了效率。采用同样的方法，可获得不同用户不同关键指标的预测值。根据预测值对各用户缺失数据进行补充，一方面对电厂数据分析提供数据支撑，进而为电厂提供分析结果以指导电厂发现并解决相关技术问题；另一方面可将预测值直接反馈电厂，建议电厂对该关键指标进行监测以提升生产质量，进而使同级别或同类型电厂的生产质量相统一。根据本专利技术的另一方面，还提供了一种数据处理装置，包括：数据清洗单元，用于对采集的原始数据进行清洗；数据提取单元，用于对清洗后的数据进行提取；数据处理单元，用于根据提取的数据构建关键指标矩阵，采用预设算法对所述关键指标矩阵进行归一化处理，并对归一化后的矩阵进行降维处理，以及根据所述降维处理后的矩阵及预设算法获得关键指标的预测值。优选地，所述数据处理装置还包括：数据采集单元，用于对用户数据进行采集，获得所述原始数据；存储单元，用于存储所述原始数据、数据处理过程中的所有中间数据、所述预设规则、预设算法、所述预测值。根据本专利技术的另一方面，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述数据处理方法。根据本专利技术的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器通过所述计算机程序执行上述数据处理方法。本专利技术通过上述数据处理方法，有效降低了原始数据的稀疏性，提高了数据处理的效率及数据分析的准确度，进而提高了数据分析结果对电厂的指导价值；此外，根据获得的关键指标的预测值对原始数据中相关数据进行补充，并反馈相关电厂，提醒其对该关键指标进行监测，并根据预测值对其实际监测值进行评估、调整，进一步提高本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n根据预设规则对采集的原始数据依次进行清洗、提取；/n根据提取的数据构建关键指标矩阵，其中，行代表不同用户，列代表不同关键指标；/n采用预设算法对所述关键指标矩阵进行归一化处理，并对归一化后的矩阵进行降维处理；/n根据所述降维处理后的矩阵及预设算法获得所述关键指标的预测值。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
根据预设规则对采集的原始数据依次进行清洗、提取；
根据提取的数据构建关键指标矩阵，其中，行代表不同用户，列代表不同关键指标；
采用预设算法对所述关键指标矩阵进行归一化处理，并对归一化后的矩阵进行降维处理；
根据所述降维处理后的矩阵及预设算法获得所述关键指标的预测值。


2.根据权利要求1所述的数据处理方法，其特征在于，所述清洗包括删除所述原始数据中的无效数据、重复数据和/或错误数据。


3.根据权利要求1所述的数据处理方法，其特征在于，所述提取包括对清洗后的数据进行归类，所述归类包括根据数据类别、数据来源和/或参数指标对清洗后的数据进行归类。


4.根据权利要求1所述的数据处理方法，其特征在于，所述归一化处理包括以下步骤：
将所述关键指标矩阵中各元素根据其所在列的最大值、最小值进行归一化到0-1之间。


5.根据权利要求1所述的数据处理方法，其特征在于，所述降维处理包括以下步骤：
根据奇异值分解算法将所述归一化后的矩阵分解为三个矩阵U、Σ、VT；
根据奇异值平方和对矩阵U、Σ、VT的维度进行简化，获得简化后的矩阵U、Σ、VT；
对简化后的矩阵U进行复原，获得复原后的矩阵U。


6.根据权利要求5所述的数据处理方法，其特征在于，所述根据所述降维处理后的矩阵及预设算法获得所述关键指标的预测值包括以...

【专利技术属性】
技术研发人员：马轶，韩浩，任延平，赵俊，
申请(专利权)人：中能融合智慧科技有限公司，
类型：发明
国别省市：北京;11