【技术实现步骤摘要】
本申请涉及大数据，特别是涉及一种数据的批量计算方法、系统、装置、设备和可读存储介质。
技术介绍
1、随着大数据技术的发展，出现了批量计算技术，该技术用于数据分析，大量应用于风险监测、金融风控等场景。
2、传统技术中，在进行批量计算时，通常是先从文件系统中读取数据表然后根据sql(structured query language，结构化查询语言)的计算逻辑完成计算工作。
3、然而，在每次批量计算时，都需要从文件系统中全量读取sql计算所需的所有数据进行计算导致大量的重复计算，从而造成了计算资源的浪费同时由于庞大的数据量导致了计算风险增高，如由于io(input/output，输入/输出)、网络等波动导致计算失败。
技术实现思路
1、基于此，有必要针对上述技术问题，提供一种能够提高计算资源的利用率以及降低计算风险的数据的批量计算方法、系统、装置、设备和可读存储介质。
2、第一方面，本申请提供了一种数据的批量计算方法，应用于分布式系统的任一计算节点，包括：<...
【技术保护点】
1.一种数据的批量计算方法，应用于分布式系统的任一计算节点，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于数据缺失对应的第二时间区间的多笔第一原始业务数据对所述文件系统进行数据补充包括：
3.根据权利要求2所述的方法，其特征在于，所述基于各所述初始中间态数据得到至少一个目标中间态数据包括：
4.根据权利要求2所述的方法，其特征在于，所述基于每一个所述目标中间态数据分别得到一个第一中间态表，并将各所述第一中间态表存储于所述文件系统中包括：
5.根据权利要求1-4中任一项所述的方法，其特征在于...
【技术特征摘要】
1.一种数据的批量计算方法，应用于分布式系统的任一计算节点，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于数据缺失对应的第二时间区间的多笔第一原始业务数据对所述文件系统进行数据补充包括：
3.根据权利要求2所述的方法，其特征在于，所述基于各所述初始中间态数据得到至少一个目标中间态数据包括：
4.根据权利要求2所述的方法，其特征在于，所述基于每一个所述目标中间态数据分别得到一个第一中间态表，并将各所述第一中间态表存储于所述文件系统中包括：
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述基于数据补充后的文件系统处理所述批量计算子任务包...
【专利技术属性】
技术研发人员：周岚亭，王刚，陈伟，王新根，彭聪，
申请(专利权)人：浙江邦盛科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。