数据监控方法、系统、存储介质及电子设备技术方案

本申请涉及数据监控技术领域，具体涉及一种数据监控方法、系统、存储介质及电子设备，解决了相关技术中由于未对数据的正确性进行验证，在迁移的数据量较大的情况下，就很容易出现数据错误，降低了存储数据的完整性和有效性，增加了数据迁移耗时的问题。该方法包括：通过数据状态监控表在所述数据源服务器的数据正在更新或更新失败时处于不可操作状态的权限设置，避免服务器锁死和循环等待，提升数据更新成功率；设置多个数据接入环节的计时判断功能，以保证接入到下一环节的源数据的准确性和成功率，结合对各个接入环节对应的监控表或状态表的监控，可以实时发现异常并推送给监控人员。

【技术实现步骤摘要】
数据监控方法、系统、存储介质及电子设备
本申请涉及数据监控
，特别地涉及一种数据监控方法、系统、存储介质及电子设备。
技术介绍
大数据，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，由于大数据具有数据海量、且高多样性的特点，给数据迁移和数据监控提出了很大的挑战。现有的数据监控方法，是通过获取数据在预设时长内的存储时间和调用频，根据所述存储时间和调用频率，划分所述数据的生命周期阶段，以便针对所述数据的各生命周期阶段选择相应的数据存储策略。但是现有的方法中，只是监控数据生命周期阶段，保证以相应的数据存储策略存储数据，而并未对数据的正确性进行验证，在迁移的数据量较大的情况下，就很容易出现数据错误，降低了存储数据的完整性和有效性，甚至需要重新传输数据，导致数据迁移耗时大幅增加。
技术实现思路
针对上述问题，本申请提供一种数据监控方法、系统、存储介质及电子设备，解决了相关技术中由于未对数据的正确性进行验证，在迁移的数据量较大的情况下，就很容易出现数据错误，降低了存储数据的完整性和有效性，增加了数据迁移耗时本文档来自技高网...

【技术保护点】
1.一种数据监控方法，其特征在于，所述方法包括：/n根据数据状态监控表，监控源数据服务器的数据状态，其中，所述数据状态包括正在更新、更新成功和更新失败，所述数据状态监控表在所述数据源服务器的数据正在更新或更新失败时处于不可操作状态；/n读取所述数据状态监控表中的数据状态，当读取到所述数据状态监控表中的数据状态为更新成功时，启动接入程序，将源数据接入大数据中台的ODS层中；/n当读取到所述数据状态监控表中的数据状态为更新失败或正在更新时，持续读取数据状态并开始计时，当计时时间达到第一预设时间时，读取到的数据状态还是更新失败或正在更新，则将源数据接入失败信息写入数据接入状态表中；/n对接入所述OD...

【技术特征摘要】
1.一种数据监控方法，其特征在于，所述方法包括：
根据数据状态监控表，监控源数据服务器的数据状态，其中，所述数据状态包括正在更新、更新成功和更新失败，所述数据状态监控表在所述数据源服务器的数据正在更新或更新失败时处于不可操作状态；
读取所述数据状态监控表中的数据状态，当读取到所述数据状态监控表中的数据状态为更新成功时，启动接入程序，将源数据接入大数据中台的ODS层中；
当读取到所述数据状态监控表中的数据状态为更新失败或正在更新时，持续读取数据状态并开始计时，当计时时间达到第一预设时间时，读取到的数据状态还是更新失败或正在更新，则将源数据接入失败信息写入数据接入状态表中；
对接入所述ODS层中的源数据进行数据预处理，若处理失败，则重新进行数据预处理并开始计时，当计时时间达到第二预设时间时仍然处理失败，则将预处理失败信息写入数据中台状态表中；若处理成功，则将完成数据预处理后的源数据从ODS层接入大数据中台的CDM层中；
对接入所述CDM层中的完成预处理的源数据进行数据处理，若处理失败，则重新进行数据处理并开始计时，当计时时间达到第三预设时间时仍然处理失败，则将处理失败信息写入所述数据中台状态表中；若处理成功，则将完成数据处理后的源数据从CDM层接入大数据中台的APP层中；
监控应用系统服务器的数据库的状态，若监控到数据库异常，则将数据库异常信息写入服务器状态表中。


2.根据权利要求1所述的方法，其特征在于，所述启动接入程序后，还包括：
对所述源数据进行数据准确性校验，若校验通过，则将源数据接入大数据中台的ODS层中；
若校验失败，则持续进行校验并开始计时，当计时时间达到第四预设时间时仍未通过校验，则将校验失败信息写入数据接入状态表中。


3.根据权利要求1所述的方法，其特征在于，所述若处理成功，则在将完成数据预处理后的源数据从ODS层接入大数据中台的CDM层的过程中，还包括：
对所述完成数据预处理的源数据进行数据准确性校验，若校验通过，则将所述完成数据预处理的源数据接入大数据中台的ODS层中；
若校验失败，则持续进行校验并开始计时，当计时时间达到第五预设时间时仍未通过校验，则将校验失败信息写入数据中台状态表中。


4.根据权利要求1所述的方法，其特征在于，所述若处理成功，则在将完成数据处理后的源数据从CDM层接入大数据中台的APP层的过程中，还包括：
对所述完成数据处理的源数据进行数据准确性校验，若校验通过，则将所述完成数据处理的源数据接入大数据中台的APP层中；
若校验失败，则持续进行校验并开始计时，当计时时间达到第六预设时间时仍未通过校验，则将校验失败信息写入数据中台状态表中。


5.根据权利要求1所述的方法，其特征在于，还包括：
监控源数据服务器的状态，若监控到源数据服务器异常，将源数据服务器异常信息写入服务器状态表中。


6.根据权利要求1所述的方法，其特征在于，还包括：
监控应用系统服务器的状态，若监控到应用系统服务器异常，将应用...

【专利技术属性】
技术研发人员：杨裕伦，黎清顾，刘勤，林凯常，白金蓬，徐鑫，
申请(专利权)人：珠海格力电器股份有限公司，珠海联云科技有限公司，
类型：发明
国别省市：广东;44