一种数据计算的方法及系统技术方案

本申请公开了一种数据计算的方法，所述方法包括：对外部数据进行预处理，得到待计算数据；将所述待计算数据并行发送至预设数量个计算单元；将所述待计算数据存储至所述计算单元的内存中，并通过分布式SQL计算引擎进行计算得到计算结果；其中，所述分布式SQL计算引擎由通过对开源SQL引擎与分布式计算中间件基层进行改造得到；该方法能够对数据的毫秒级密集计算，有利于降低维护成本，简化测试方式；本申请还公开了一种数据计算的系统，具有以上有益效果。

【技术实现步骤摘要】
一种数据计算的方法及系统
本专利技术涉及数据分析领域，特别涉及一种数据计算的方法及系统。
技术介绍
随着科学技术的迅速发展，大数据技术已经成为一种应用极其广泛的技术，即通过掌握庞大的数据信息进行专业化处理提高对数据的“加工能力”，通过“加工”实现数据的“增值”。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据，包括大规模并行处理数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。现有技术中，实时计算大部分都基于JStorm/storm或Spark，JStorm本身做聚合计算是对一定的时间窗内的数据可以进行聚合计算。但是，在进行单次密集型数据计算请求时，现有技术无法提供毫秒级密集型聚合计算提供支持。因此，如何实现对数据的毫秒级密集计算是本领域技术人员目前需要解决的技术问题。
技术实现思路
本申请的目的是提供一种数据计算的方法及系统，能够实现对数据的毫秒级密集计算。为解决上述技术问题，本申请提供一种数据计算的方法，该方法包括：对外部数据进行预处理，得到待计算数据；将所述待计算数据并行发送至预设数量个计算单元；将所述待计算数据存储至所述计算单元的内本文档来自技高网...

【技术保护点】
一种数据计算的方法，其特征在于，包括：对外部数据进行预处理，得到待计算数据；将所述待计算数据并行发送至预设数量个计算单元；将所述待计算数据存储至所述计算单元的内存中，并通过分布式SQL计算引擎进行计算得到计算结果；其中，所述分布式SQL计算引擎由通过对开源SQL引擎与分布式计算中间件基层进行改造得到。

【技术特征摘要】
1.一种数据计算的方法，其特征在于，包括：对外部数据进行预处理，得到待计算数据；将所述待计算数据并行发送至预设数量个计算单元；将所述待计算数据存储至所述计算单元的内存中，并通过分布式SQL计算引擎进行计算得到计算结果；其中，所述分布式SQL计算引擎由通过对开源SQL引擎与分布式计算中间件基层进行改造得到。2.根据权利要求1所述方法，其特征在于，在通过分布式SQL计算引擎进行计算得到计算结果后，还包括：将所述计算结果存储至结果数据库。3.根据权利要求1所述方法，其特征在于，将所述待计算数据存储至所述计算单元的内存中包括：将所述待计算数据整理为二维表的形式并存储至所述计算单元的所述内存中。4.根据权利要求1至3任一项所述方法，其特征在于，所述对外部数据进行预处理，得到待计算数据包括：对所述外部数据进行格式化转化成标准格式，并进行预编译操作得到所述待计算数据...

【专利技术属性】
技术研发人员：鹿凌华，廖家绪，田亚，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：重庆,50