一种基于大数据的数据处理系统和方法技术方案

本发明专利技术涉及一种基于大数据的数据处理系统和方法，所述数据处理系统包括：数据获取模块，用于从大数据集群中获取数据；参数配置模块，用于对数据处理所需要的参数进行配置；数据处理模块，用于根据配置参数对所述数据获取模块得到的数据进行处理，并将处理后的结果生成信息报表；显示输出模块，用于将所述信息报表进行显示。本发明专利技术所述的系统通过所述参数配置模块对数据处理方式的配置，能够实现根据不同的使用场景进行不同的数据处理配置策略，解决了现有数据处理过程大多采用实时处理所导致的数据运算量大，数据存储量大的问题，有利于在满足用户需求的前提下，降低大数据处理系统的数据运算量和功耗，有利于提高数据处理速度和系统稳定性。

A Data Processing System Based on Large Data

【技术实现步骤摘要】
一种基于大数据的数据处理系统和方法
本专利技术涉及数据处理
，具体涉及一种基于大数据的数据处理系统和方法。
技术介绍
随着科技的不断进步，尤其是移动互联网、物联网等技术的飞速发展，全球数据量出现了爆炸式增长。比如，企业在信息化过程中积累了大量的结构化和非结构化数据。企业管理与运营的这些数据已经成为企业的核心资产，深刻地影响着企业的业务模式，给企业决策、组织和业务流程带来显著的变化，因此，大数据处理技术受到工业界的极大关注；又比如，在互联网金融领域，每天甚至说是每时每刻在互联网金融平台上都会进行资金交易流转，交易的过程中产生了大量的数据，现有的数据处理系统大多是需要实时处理金融平台上的交易情况，比如根据记录的每一笔流水的交易时间、交易金额、账面余额等信息进行统计计算，对企业管理和运营的数据也是实时进行统计处理，致使整个平台的数据处理量大，数据存储量大，数据计算频繁，容易导致系统运行不稳定。
技术实现思路
有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种基于大数据的数据处理系统和方法。为实现以上目的，本专利技术采用如下技术方案：一种基于大数据的数据处理系统，包括：数据获取模块本文档来自技高网...

【技术保护点】
1.一种基于大数据的数据处理系统，其特征在于，包括：数据获取模块，用于从大数据集群中获取数据；参数配置模块，用于对数据处理所需要的参数进行配置；数据处理模块，用于根据配置参数对所述数据获取模块得到的数据进行处理，并将处理后的结果生成信息报表；显示输出模块，用于将所述信息报表进行显示。

【技术特征摘要】
1.一种基于大数据的数据处理系统，其特征在于，包括：数据获取模块，用于从大数据集群中获取数据；参数配置模块，用于对数据处理所需要的参数进行配置；数据处理模块，用于根据配置参数对所述数据获取模块得到的数据进行处理，并将处理后的结果生成信息报表；显示输出模块，用于将所述信息报表进行显示。2.根据权利要求1所述的数据处理系统，其特征在于，还包括：定时任务控制模块，用于按照需求定时控制所述数据处理模块运行。3.根据权利要求2所述的数据处理系统，其特征在于，所述参数配置模块对数据的配置包括：业务配置项，包括：数据处理任务的执行时间间隔，所述执行时间间隔用于读取该时间间隔内的采集数据；客户信息配置项，包括：业务编号、客户编号、用户号、用户名称，以及数据格式；大数据集群配置项，包括：大数据存储目录、服务器设备名称，以及设备角色。4.根据权利要求1至3任一项所述的数据处理系统，其特征在于，还包括：配置更新模块，用于对数据处理所需要的配置参数进行更新。5.根据权利要求1至3任一项所述的数据处理系统，其特征在于，所述数据处理模块采用分布式框架，对采集数据进行并行处理；所述数据...

【专利技术属性】
技术研发人员：胡湿，黄福鑫，王江，
申请(专利权)人：北京云基数技术有限公司，
类型：发明
国别省市：北京,11