数据质量监控方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及私有云技术领域，尤其涉及一种数据质量监控方法、装置、设备及存储介质，该方法包括：在接收到待监控运维数据时，根据待监控运维数据获得对应的字段数据总量；基于预设质量度量规则对待监控运维数据进行质量度量，获得异常字段数据量；根据字段数据总量和异常字段数据量确定待监控运维数据的数据合规率指标；基于数据合规率指标对待监控运维数据进行质量监控。由于本发明专利技术可通过预设质量度量规则对待监控运维数据进行质量度量，获得待监控运维数据中的异常字段数据量，并结合字段数据总量确定数据合规率指标，基于数据合规率指标进行质量监控，相比于现有的，本发明专利技术可提升质量监控的准确度。量监控的准确度。量监控的准确度。

【技术实现步骤摘要】
数据质量监控方法、装置、设备及存储介质


[0001]本专利技术涉及私有云
，尤其涉及一种数据质量监控方法、装置、设备及存储介质。

技术介绍

[0002]目前，随着应用上云和运维数字化转型的不断推进，运维管理对运维数据的需求日益旺盛，各类运维管理活动(如变更管理和影响分析、监控与应急、资源治理等)均基于运维配置、指标、日志数据在工具平台开展，运维数据成为了工具建设与业务的基石，对数据质量也提出了较高的要求。
[0003]在私有云上，技术栈和组件繁多，应用的部署架构和应用间的访问关系复杂，各类运维活动频繁，产生了种类繁多、数据量巨大的运维数据，但由于运维数据往往还需要经过清洗和加工处理才能使用起来，从数据的采集、加工到存储过程中可能会存在错误的可能，现有的对数据质量仅是进行简单的监控，进而导致数据质量监控的准确度较低。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供了一种数据质量监控方法、装置、设备及存储介质，旨在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质量监控方法，其特征在于，所述数据质量监控方法包括以下步骤：在接收到待监控运维数据时，根据所述待监控运维数据获得对应的字段数据总量；基于预设质量度量规则对所述待监控运维数据进行质量度量，获得异常字段数据量；根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的数据合规率指标；基于所述数据合规率指标对所述待监控运维数据进行质量监控。2.如权利要求1所述的数据质量监控方法，其特征在于，所述根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的数据合规率指标的步骤，包括：根据所述字段数据总量和所述异常字段数据量确定所述待监控运维数据的单字段数据合规率指标；获取所述待监控运维数据中各字段数据对应的权重信息，并基于所述字段数据总量、所述异常字段数据量和所述权重信息确定所述待监控运维数据的整体数据合规率指标；相应地，所述基于所述数据合规率指标对所述待监控运维数据进行质量监控的步骤，包括：基于所述单字段数据合规率指标以及所述整体数据合规率指标对所述待监控运维数据进行质量监控。3.如权利要求2所述的数据质量监控方法，其特征在于，所述基于所述单字段数据合规率指标以及所述整体数据合规率指标对所述待监控运维数据进行质量监控的步骤之后，还包括：根据监控结果判断所述待监控运维数据是否异常；若是，则根据所述监控结果对所述待监控运维数据中的异常字段进行定位；基于定位结果确定对应的数据质量改进策略，并基于所述数据质量改进策略对所述待监控运维数据进行改进。4.如权利要求3所述的数据质量监控方法，其特征在于，所述基于定位结果确定对应的数据质量改进策略，并基于所述数据质量改进策略对所述待监控运维数据进行改进的步骤之后，还包括：获取预设监控时长，并在所述预设监控时长到达时，执行所述基于预设质量度量规则对所述待监控运维数据进行质量度量，获得异常字段数据量的步骤。5.如权利要求4所述的数据质量...

【专利技术属性】
技术研发人员：蒋旭，郑少忠，陈川峰，李治，邓晓龙，刘云，丁亚雷，徐平，谢功琴，刘冲，易楚翘，杨畯，李崇，吴陶，丛浩，匡力，曾媛，何秋杏，王立奇，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：