【技术实现步骤摘要】
本申请属于互联网大数据，特别是涉及一种基于lambda架构的实时指标验证方法、介质及设备。
技术介绍
1、在电商和金融多个业务风控场景，存在需要计算很多实时指标用于风险防控，而保证指标的准确性至关重要。实时指标指的是在一定时间范围内即时更新的数据指标，可以通过以下几个步骤来生成实时指标：
2、1)确定数据来源：要生成实时指标需要有数据源，可以是从数据库、实时采集或者api接口中获取的数据。
3、2)选择合适的计算方法：根据数据类型及业务需求选择适合的计算方法，如计数、求平均数、求和等。
4、3)建立数据存储和处理架构：建立持久化数据存储结构，用于存储即时更新的数据，并且构建数据计算、处理和提取的流程。
5、4)设置自动化任务：使用工具或者程序自动化运行数据计算、处理和提取任务，确保数据实时更新。
6、5)创建可视化报表：将实时指标在可视化报表中展现，如折线图、柱状图等，以便管理者、分析师和决策者能够快速了解运营状况，进行数据分析和决策。
7、但现有的实时指标验证方法无法保证实时指标的准确性。
技术实现思路
1、本申请提供一种基于lambda架构的实时指标验证方法、介质及设备，用于提升实时指标验证的准确性。
2、第一方面，本申请实施例提供一种基于lambda架构的实时指标验证方法，应用于lambda架构的数据处理系统，所述基于lambda架构的实时指标验证方法包括：获取实时指标数；于lambda架构的
3、在所述第一方面的一种实现方式中，所述获取实时指标数据的方式为：订阅数据库的日志文件；通过数据库的日志文件将实时指标数据抛送到kafka消息中间件，以获取所述实时指标数据。
4、在所述第一方面的一种实现方式中，通flink流数据处理引擎对所述实时指标数据进行实时计算。
5、在所述第一方面的一种实现方式中，所述通flink流数据处理引擎对所述实时指标数据进行实时计算包括：flink流数据处理引擎获取实时指标数据；将滑动窗口和用户id作为维度，采用预设算子，对所述实时指标数据进行实时计算。
6、在所述第一方面的一种实现方式中，所述分别对所述实时计算结果进行实时存储和离线存储包括：分别将所述实时计算结果写入redis内存数据库和odps离线存储。
7、在所述第一方面的一种实现方式中，通过maxcompute计算引擎对离线存储的所述实时指标数据进行离线计算。
8、在所述第一方面的一种实现方式中，所述通过maxcompute计算引擎对离线存储的所述实时指标数据进行离线计算包括：基于离线存储的所述实时指标数据将相邻时间段内的表单数据进行自关联；基于自关联的表单数据对离线存储的所述实时指标数据进行离线计算。
9、在所述第一方面的一种实现方式中，还包括：于lambda架构的服务层中将对比验证通过的所述实时指标数据输出到用户终端进行应用。
10、第二方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请第一方面中任一项所述的基于lambda架构的实时指标验证方法。
11、第三方面，本申请实施例提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本申请第一方面中任一项所述的基于lambda架构的实时指标验证方法。
12、本申请实施例提供的基于lambda架构的实时指标验证方法，将lambda数据架构应用在实时指标校验中，并通过离线计算结果来校验实时计算结果，可以有效提升实时指标验证的准确性。
本文档来自技高网...【技术保护点】
1.一种基于Lambda架构的实时指标验证方法，其特征在于，应用于Lambda架构的数据处理系统，所述基于Lambda架构的实时指标验证方法包括：
2.根据权利要求1所述的基于Lambda架构的实时指标验证方法，其特征在于，所述获取实时指标数据的方式为：
3.根据权利要求1所述的基于Lambda架构的实时指标验证方法，其特征在于，通Flink流数据处理引擎对所述实时指标数据进行实时计算。
4.根据权利要求3所述的基于Lambda架构的实时指标验证方法，其特征在于，所述通Flink流数据处理引擎对所述实时指标数据进行实时计算包括：
5.根据权利要求1或3所述的基于Lambda架构的实时指标验证方法，其特征在于，所述分别对所述实时计算结果进行实时存储和离线存储包括：
6.根据权利要求1所述的基于Lambda架构的实时指标验证方法，其特征在于，通过MaxCompute计算引擎对离线存储的所述实时指标数据进行离线计算。
7.根据权利要求6所述的基于Lambda架构的实时指标验证方法，其特征在于，所述通过MaxComp
8.根据权利要求1所述的基于Lambda架构的实时指标验证方法，其特征在于，还包括：于Lambda架构的服务层中将对比验证通过的所述实时指标数据输出到用户终端进行应用。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的基于Lambda架构的实时指标验证方法。
10.一种电子设备，其特征在于，所述电子设备包括：
...【技术特征摘要】
1.一种基于lambda架构的实时指标验证方法，其特征在于，应用于lambda架构的数据处理系统，所述基于lambda架构的实时指标验证方法包括：
2.根据权利要求1所述的基于lambda架构的实时指标验证方法，其特征在于，所述获取实时指标数据的方式为：
3.根据权利要求1所述的基于lambda架构的实时指标验证方法，其特征在于，通flink流数据处理引擎对所述实时指标数据进行实时计算。
4.根据权利要求3所述的基于lambda架构的实时指标验证方法，其特征在于，所述通flink流数据处理引擎对所述实时指标数据进行实时计算包括：
5.根据权利要求1或3所述的基于lambda架构的实时指标验证方法，其特征在于，所述分别对所述实时计算结果进行实时存储和离线存储包括：
6.根...
【专利技术属性】
技术研发人员：俞临曲，周斌，孙鑫焱，
申请(专利权)人：上海识装信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。