一种大数据综合处理方法及系统技术方案

本发明专利技术涉及一种大数据综合处理方法及系统，包括业务数据库RDBMS和离线计算模块Hive、内存计算模块Spark、资源管理与调度模块Yarn、分布式文件系统HDFS、全量/增量采集模块Sqoop，以及工作流调度模块oozie；所述大数据综合处理方法包括如下步骤：选定源头子系统的订单号为系统全局标识，对每个子系统相关表增加全局标识的任务，即上游订单完成处理后，下游订单从上游订单获取到所述全局标识并增加到自己的订单记录；对订单的流转(血缘关系)做直观的展示，并提供相应的各种数据管理、查询、展示。

【技术实现步骤摘要】
一种大数据综合处理方法及系统
本专利技术涉及大数据处理领域，尤其涉及一种基于大数据综合处理方法及其系统。
技术介绍
信账宝账户系统是以信托法理为依据开发的集权益账户、财产账户和资金账户功能为一体的综合金融账户。信账宝系统以信托法理制度为基础，以账户系统为核心。账户系统功能延展性极强，具有极强的金融业务牌照属性。信托账户是权益账户和资金账户功能为一体的综合金融账户，能够全面对个人/法人“存款、投资、保险、消费、贷款”各类金融资产和负债进行管理的信托综合账户系统。由于信托业务本身的特点，信账宝账户系统的账户类型较多，且账户之间关联关系复杂多样；系统内订单流转流程复杂，由于与外部系统的对接导致订单完成存在时延不确定的问题，即订单完成的时间不确定；系统内各子系统之间没有统一的订单编号；这些客观原因导致在系统内追踪订单较困难，且整个系统较难做到将某个业务流程的完整订单流程串联起来。如果通过对业务系统进行修改来解决上述问题，一方面业务逻辑流程需要较大改动，表结构及所有涉及的接口都需要修改；另一方面，对于大量历史数据的处理也需要慎重考虑。因此业务系统改动代价比较大。spark是一个快速且通用的集群本文档来自技高网...

【技术保护点】
1.一种大数据综合处理方法，包括业务数据库RDBMS和离线计算模块Hive、内存计算模块Spark、资源管理与调度模块Yarn、分布式文件系统HDFS、全量/增量采集模块Sqoop，以及工作流调度模块oozie；所述大数据综合处理方法包括如下步骤：选定源头子系统的订单号为系统全局标识，对每个子系统相关表增加全局标识的任务，即上游订单完成处理后，下游订单从上游订单获取到所述全局标识并增加到自己的订单记录；对订单的流转(血缘关系)做直观的展示，并提供相应的各种数据管理、查询、展示。

【技术特征摘要】
1.一种大数据综合处理方法，包括业务数据库RDBMS和离线计算模块Hive、内存计算模块Spark、资源管理与调度模块Yarn、分布式文件系统HDFS、全量/增量采集模块Sqoop，以及工作流调度模块oozie；所述大数据综合处理方法包括如下步骤：选定源头子系统的订单号为系统全局标识，对每个子系统相关表增加全局标识的任务，即上游订单完成处理后，下游订单从上游订单获取到所述全局标识并增加到自己的订单记录；对订单的流转(血缘关系)做直观的展示，并提供相应的各种数据管理、查询、展示。2.根据权利要求1所述的大数据综合处理方法，其特征在于，所述全量/增量采集模块Sqoop用于采集业务数据，连接业务数据库RDBMS相对应的表，将目标表采集到预先规划好的所述HDFS路径，然后通过所述离线计算模块hive仓库建表并按订单日期进行分区。3.根据权利要求1或2所述的大数据综合处理方法，其特征在于，所述全量/增量采集模块Sqoop采集业务数据，分为历史数据一次性采集处理，每天新增数据进行增量采集处理两种方式。4.根据权利要求1或2所述的大数据综合处理方法，其特征在于，所述全量/增量采集模块Sqoop采集业务数据的流程为：开始；所述Sqoop连接业务库，将目标表采集到对应的HDFS路径；所述Hive建表、增加分区；数据校验；生成成功标识-success空文件；发送工作流完成的邮件；结束。5.根据权利要求4所述的大数据综合处理方法，其特征在于，所述全量/增量采集模块Sqoop采集的频率按实时性要求来进行调整，通过所述oozie来指定任务执行频率。6.一种大数据综合处理系统，包括业务数据库RDBMS...

【专利技术属性】
技术研发人员：王丽娟，
申请(专利权)人：深圳中顺易金融服务有限公司，
类型：发明
国别省市：广东,44