【技术实现步骤摘要】
本专利技术涉及数据分析管理，特别是涉及一种数据质量稽核方法、服务器及计算机可读存储介质。
技术介绍
1、随着企业和组织面临越来越多的数据，数据质量管理成为数据是否能有效利用的关键挑战。数据质量管理涉及对数据准确性、完备性、一致性和合理性等方面的监测，以确保数据的可靠性和可用性。
2、传统的数据质量管理方法主要通过配置数据稽核规则来发现数据中的数据质量问题，同时制定数据质量管理规范来减少数据抽取、转换及加载(extract-transform-load,etl)过程中数据质量问题的产生。此类方法需要手工定义和执行数据质量稽核规则，存在效率低下且容易出错等问题。其次，该方法不能预先对相关潜在问题进行预定义，往往是数据质量问题出现后亡羊补牢的措施。
3、针对上述问题，目前业界暂未提出较佳的技术解决方案。
技术实现思路
1、本申请的目的在于提供一种数据质量稽核方法、服务器及计算机可读存储介质，高效地完成对工况数据的质量稽核，且无需人为手工定义和配置数据稽核规则。
2、为达到上述目的：
3、第一方面，本申请实施例提供了一种数据质量稽核方法，所述方法包括：获取待稽核的工况数据；所述工况数据包含多个工况信息，每一所述工况信息分别用于唯一描述设备在运行时的工况属性；针对各个数据异常类型，根据与所述数据异常类型匹配的目标工况属性组从所述工况数据中提取工况信息，以确定相应的目标工况数据；将各个所述目标工况数据输入数据质量识别模型，以由所述数据质量识别模型
4、在一实施方式中，所述数据质量识别结果包含数据质量异常和数据质量正常，所述数据质量识别模型采用大语言模型，以及在所述将各个所述目标工况数据输入数据质量识别模型，以由所述数据质量识别模型针对所述各个数据异常类型输出相应的数据质量识别结果之后，所述方法还包括：确定与所述工况数据相匹配的数据应用服务；当各个所述数据质量识别结果均为数据质量正常时，基于所述工况数据进行对应所述数据应用服务的数据处理操作。
5、在一实施方式中，所述设备为工程机械，以及所述获取待稽核的工况数据，包括：获取初始工况数据；所述初始工况数据是由安装于所述工程机械的智能终端所采集的，所述初始工况数据包含各个所述工况信息；确定所述初始工况数据所对应的智能终端工作状态；当所述智能终端工作状态为终端正常工作状态时，基于所述初始工况数据确定所述工况数据。
6、在一实施方式中，所述基于所述初始工况数据确定所述工况数据，包括：检测所述初始工况数据是否满足预设的数据标准规范；当所述工况数据不满足所述数据标准规范时，根据所述初始工况数据的数据属性和所述数据标准规范对所述初始工况数据进行数据转换，以得到所述工况数据。
7、在一实施方式中，所述工况数据还包含所述智能终端的终端标识，在所述确定与所述工况数据相匹配的数据应用服务之后，所述方法还包括：当任一所述数据质量识别结果为数据质量异常时，基于所述工况数据执行预警操作，使得终端维护人员能够基于所述终端标识进行故障排查。
8、在一实施方式中，所述数据质量识别模型包含级联的大语言模型模块和数据质量识别模块；所述大语言模型模块的模型参数在利用数据样本集对所述数据质量识别模型进行训练的过程中保持恒定。
9、在一实施方式中，在所述确定与所述工况数据相匹配的数据应用服务之后，所述方法还包括：当任一所述数据质量识别结果为数据质量异常时，基于所述工况数据更新所述数据质量识别模型的数据样本集。
10、在一实施方式中，所述方法还包括针对所述数据质量识别模型的训练操作，其中所述训练操作包括：冻结所述大语言模型模块中各个连接层的权重参数；基于所述数据样本集，采用前向传播公式对所述数据质量识别模块进行训练，所述前向传播公式如下：
11、
12、其中，h表示模型输出结果，w表示所述大语言模型模块的权重参数，x表示模型输入样本特征，α表示超参数，r表示中间量参数，a和b分别表示第一微调权重矩阵和第二微调权重矩阵。
13、第三方面，本申请实施例提供一种设备，包括：处理器和存储有计算机程序的存储器，在所述处理器运行所述计算机程序时，实现上述方法的步骤。
14、第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
15、本申请实施例提供的数据质量稽核方法、装置、设备及计算机可读存储介质，在该方法中，通过获取包含各类设备工况信息的工况数据，根据各个数据异常类型从工况数据中提取相应的工况信息，以得到分别针对各个数据异常类型的目标工况数据，继而将各个目标工况数据输入至数据质量识别模型，以得到针对所述各个数据异常类型输出相应的数据质量识别结果。由此，利用数据质量识别模型自动稽核工况数据的数据质量，数据质量识别模型能够自学习对应数据质量异常和数据质量正常的工况数据的特征信息，无需人为手工定义和配置数据稽核规则。
本文档来自技高网...【技术保护点】
1.一种数据质量稽核方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据质量稽核方法，其特征在于，所述数据质量识别结果包含数据质量异常和数据质量正常，所述数据质量识别模型采用大语言模型；在所述将各个所述目标工况数据输入数据质量识别模型，以由所述数据质量识别模型针对所述各个数据异常类型输出相应的数据质量识别结果之后，所述方法还包括：
3.根据权利要求2所述的数据质量稽核方法，其特征在于，所述设备为工程机械，以及所述获取待稽核的工况数据，包括：
4.根据权利要求3所述的数据质量稽核方法，其特征在于，所述基于所述初始工况数据确定所述工况数据，包括：
5.根据权利要求3所述的数据质量稽核方法，其特征在于，所述工况数据还包含所述智能终端的终端标识，在所述确定与所述工况数据相匹配的数据应用服务之后，所述方法还包括：
6.根据权利要求2所述的数据质量稽核方法，其特征在于，所述数据质量识别模型包含级联的大语言模型模块和数据质量识别模块；所述大语言模型模块的模型参数在利用数据样本集对所述数据质量识别模型进行训练的过程中保持恒定。
7.根据权利要求2所述的数据质量稽核方法，其特征在于，在所述确定与所述工况数据相匹配的数据应用服务之后，所述方法还包括：
8.根据权利要求6所述的数据质量稽核方法，其特征在于，所述方法还包括针对所述数据质量识别模型的训练操作，其中所述训练操作包括：
9.一种服务器，其特征在于，包括：处理器和存储有计算机程序的存储器，在所述处理器运行所述计算机程序时，实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1至8中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种数据质量稽核方法，其特征在于，所述方法包括：
2.根据权利要求1所述的数据质量稽核方法，其特征在于，所述数据质量识别结果包含数据质量异常和数据质量正常，所述数据质量识别模型采用大语言模型；在所述将各个所述目标工况数据输入数据质量识别模型，以由所述数据质量识别模型针对所述各个数据异常类型输出相应的数据质量识别结果之后，所述方法还包括：
3.根据权利要求2所述的数据质量稽核方法，其特征在于，所述设备为工程机械，以及所述获取待稽核的工况数据，包括：
4.根据权利要求3所述的数据质量稽核方法，其特征在于，所述基于所述初始工况数据确定所述工况数据，包括：
5.根据权利要求3所述的数据质量稽核方法，其特征在于，所述工况数据还包含所述智能终端的终端标识，在所述确定与所述工况数据相匹配的数据应用服务之后，所述方法还包括：
6....
【专利技术属性】
技术研发人员：王皓，周志忠，刘文虎，余菡，彭杰，
申请(专利权)人：中科云谷科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。