【技术实现步骤摘要】
本申请涉及人工智能和信息安全，尤其涉及实时流数据质量监控方法、装置、计算机设备及存储介质。
技术介绍
1、在大数据的快速发展中，实时数据与离线数据各有其特点和应用场景，但实时数据在某些方面相较于离线数据具有显著的优势。例如，实时数据能够在数据生成的同时进行即时处理和响应，延迟性极低，通常可以达到毫秒、秒级。相比之下，离线数据需要在数据生成后进行批量处理和分析，因此会有较高的延迟。实时数据也更适用于对实时性要求较高的场景，如金融交易、实时交易大屏等。
2、然而，现有的实时数据保障流程是依赖flume将数据同步至hdfs上，然后进行校验，整个流程需要众多的平台参与，耗时长且复杂，难以满足对实时数据进行校验的即时性。因此，亟需一种能够满足即时性的实时流数据质量检测的方法。
技术实现思路
1、本申请实施例的目的在于提出一种实时流数据质量监控方法、装置、计算机设备及存储介质，以保证对实时流数据质量检测的及时性。
2、为了解决上述技术问题，本申请实施例提供一种实时流数据质量监控...
【技术保护点】
1.一种实时流数据质量监控方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的实时流数据质量监控方法，其特征在于，所述解析所述数据流获得目标数据集的步骤包括：
3.根据权利要求1所述的实时流数据质量监控方法，其特征在于，所述读取消息列队中输入和输出的数据流的步骤包括：
4.根据权利要求1所述的实时流数据质量监控方法，其特征在于，所述检测所述目标数据集是否存在异常的步骤包括：
5.根据权利要求1所述的实时流数据质量监控方法，其特征在于，所述基于所述异常类型和所述异常程度触发对应的预设告警机制的步骤包括：
...
【技术特征摘要】
1.一种实时流数据质量监控方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的实时流数据质量监控方法，其特征在于，所述解析所述数据流获得目标数据集的步骤包括：
3.根据权利要求1所述的实时流数据质量监控方法，其特征在于，所述读取消息列队中输入和输出的数据流的步骤包括：
4.根据权利要求1所述的实时流数据质量监控方法，其特征在于，所述检测所述目标数据集是否存在异常的步骤包括：
5.根据权利要求1所述的实时流数据质量监控方法，其特征在于，所述基于所述异常类型和所述异常程度触发对应的预设告警机制的步骤包括：
6.根据权利要求1所述的实时流数据质量监控方法，其特征在于，所...
【专利技术属性】
技术研发人员：蒋树杰，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。