本发明专利技术涉及数据处理技术领域，具体公开了一种实现连续基金服务的数据处理方法和系统，包括：S1：接收到服务指令后，业务系统记录存储上一次数据处理至当前时刻的交易数据；S2：利用处理模型对获取的交易数据进行补账处理，结合历史数据来调整系统负载；S3：更新用户资金/资产数据表，对进行补账处理和新交易产生的数据进行明细重排；S4：完成补账后重新进行负载均衡，将处理结果存储至数据库中同时生成日志信息；本发明专利技术在进行数据处理时，通过对资源的调配来完成新的负载均衡，使得应用于处理数据的模型结构对实时的数据进行分析，进而在不停止交易业务的情况下实现对现有交易数据的处理，有效地解决了金融业务数据处理“断点”的问题。
【技术实现步骤摘要】
本专利技术属于数据处理，具体涉及一种实现连续基金服务的数据处理方法和系统。
技术介绍
1、目前，不少提供7×24小时金融服务的计算机系统，在特定的规章制度和处理方法上是不能做到24小时连续服务的，必须先停止联机服务后再运行批量处理程序，批量处理程序运行结束后再启动联机交易应用。在此期间，为保证数据的准确性，必须确保账户数据和交易日志记录在切换到下一会计周期前保持一定时间的静止，即数据处在“断点”。这样，将导致核心系统本身，以及和核心系统相联系的各类对外的自助设备停止对外服务，不能做到7×24小时连续服务。
2、因此，目前对外宣称已经实现24小时服务的金融机构，仍存在不同程度的数据处理“断点”问题，随着金融业务的扩展以及客户需求的不断增长，有“断点”的业务系统已无法满足行业要求，有必要对现有技术进行改进，以实现在线交易业务的24小时实时连续处理。
技术实现思路
1、本专利技术的目的在于提供一种实现连续基金服务的数据处理方法和系统，以解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种实现连续基金服务的数据处理方法，包括：
4、s1：接收到服务指令后，业务系统记录存储上一次数据处理至当前时刻的交易数据；
5、s2：利用处理模型对获取的交易数据进行补账处理，结合历史数据来调整系统负载；
6、s3：更新用户资金/资产数据表，对进行补账处理和新交易产生的数据进行明细重排；
>7、s4：完成补账后重新进行负载均衡，将处理结果存储至数据库中同时生成日志信息。8、优选的，所述在s1中交易数据包括资金/资产变动信息、交易流水信息，所述在s1中将采集数据的时刻作为起始点开启新的业务过程，且当前时刻未完结的交易规划在新的业务过程内，所述s1中基于服务指令进行负载调度，优先启用空闲节点为数据处理提供资源支持。
9、优选的，所述在s2中处理模型的工作过程为：1)预处理和中间结果缓存：a)根据关键字的hash值划分区间，b)预处理相关数据生成中间结果，c)将中间结果按照区间划分分布缓存到各个工作节点的本地存储上；2)mapreduce异步流水化处理：d)各节点map阶段对接收的数据执行map方法，e)通过关键字的hash函数将数据按照区间划分路由给相应的reduce节点，f)reduce阶段进行与本地中间结果的reduce计算；3)数据同步：g)将本地计算结果同步到分布式存储。
10、优选的，所述处理模型在每个map和reduce阶段间构造流水线，每个阶段由线程池、输入缓冲区和阶段控制器组成，所述在处理模型中划分出工作节点和控制节点，工作节点负责本地模型任务的中间结果缓存和阶段流水线，控制节点负责模型作业的生命周期管理、可靠性和可伸缩性保障以及集群管理，所述处理模型设置有多种信息接口用于不同类型数据的加载分析。
11、优选的，所述在s2和s3中应用并行计算提高处理数据的速度，其基本思想是利用多个处理单元来协同求解同一问题，所述在s3中对发生补账处理的账户按时间顺序更新余额等明细信息，所述在s4中通过负载调整将处理数据所用的资源按需分配来维持负载均衡的状态，所述在s4中生成的日志信息包括账户明细变动日志、交易数据处理日志以及历史数据更新日志。
12、一种实现连续基金服务的数据处理系统，包括：账户补账处理模块、主控业务切换模块、数据模型处理模块、服务通信同步模块，所述主控业务切换模块用于开启/结束数据处理服务及此过程中信息交互，所述数据模型处理模块用于将用户交易数据输入至处理模型中分析获得交易数据处理结果，所述账户补账处理模块用于基于处理结果对用户账户余额等明细信息进行补账更新，所述服务通信同步模型用于接收并响应系统中的指令并在完成处理后同步相关数据。
13、优选的，所述该系统中应用分布式数据存储，通过网络连接传输模块处理的结果，同时在数据输出端建立缓存区用于更好的处理大量的数据信息，所述该系统中添设有拓扑结构与系统预设的接口进行匹配来提高适应性。
14、与现有技术相比，本专利技术的有益效果是：
15、本专利技术在进行数据处理时，通过对资源的调配来完成新的负载均衡，使得应用于处理数据的模型结构对实时的数据进行分析，进而在不停止交易业务的情况下实现对现有交易数据的处理，有效地解决了金融业务数据处理“断点”的问题。
本文档来自技高网...
【技术保护点】
1.一种实现连续基金服务的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的一种实现连续基金服务的数据处理方法，其特征在于：所述在S1中交易数据包括资金/资产变动信息、交易流水信息，所述在S1中将采集数据的时刻作为起始点开启新的业务过程，且当前时刻未完结的交易规划在新的业务过程内，所述S1中基于服务指令进行负载调度，优先启用空闲节点为数据处理提供资源支持。
3.根据权利要求1所述的一种实现连续基金服务的数据处理方法，其特征在于：所述在S2中处理模型的工作过程为：1)预处理和中间结果缓存：a)根据关键字的Hash值划分区间，b)预处理相关数据生成中间结果，c)将中间结果按照区间划分分布缓存到各个工作节点的本地存储上；2)MapReduce异步流水化处理：d)各节点Map阶段对接收的数据执行map方法，e)通过关键字的Hash函数将数据按照区间划分路由给相应的Reduce节点，f)Reduce阶段进行与本地中间结果的reduce计算；3)数据同步：g)将本地计算结果同步到分布式存储。
4.根据权利要求1或3所述的一种实现连续基金服务的数据处理方法，其特征在于：所述处理模型在每个Map和Reduce阶段间构造流水线，每个阶段由线程池、输入缓冲区和阶段控制器组成，所述在处理模型中划分出工作节点和控制节点，工作节点负责本地模型任务的中间结果缓存和阶段流水线，控制节点负责模型作业的生命周期管理、可靠性和可伸缩性保障以及集群管理，所述处理模型设置有多种信息接口用于不同类型数据的加载分析。
5.根据权利要求1、3或4所述的一种实现连续基金服务的数据处理方法，其特征在于：所述在S2和S3中应用并行计算提高处理数据的速度，其基本思想是利用多个处理单元来协同求解同一问题，所述在S3中对发生补账处理的账户按时间顺序更新余额等明细信息，所述在S4中通过负载调整将处理数据所用的资源按需分配来维持负载均衡的状态，所述在S4中生成的日志信息包括账户明细变动日志、交易数据处理日志以及历史数据更新日志。
6.根据权利要求1所述的一种实现连续基金服务的数据处理方法，进一步地公开一种实现连续基金服务的数据处理系统，其特征在于，包括：账户补账处理模块、主控业务切换模块、数据模型处理模块、服务通信同步模块，所述主控业务切换模块用于开启/结束数据处理服务及此过程中信息交互，所述数据模型处理模块用于将用户交易数据输入至处理模型中分析获得交易数据处理结果，所述账户补账处理模块用于基于处理结果对用户账户余额等明细信息进行补账更新，所述服务通信同步模型用于接收并响应系统中的指令并在完成处理后同步相关数据。
7.根据权利要求6所述的一种实现连续基金服务的数据处理系统，其特征在于：所述该系统中应用分布式数据存储，通过网络连接传输模块处理的结果，同时在数据输出端建立缓存区用于更好的处理大量的数据信息，所述该系统中添设有拓扑结构与系统预设的接口进行匹配来提高适应性。
...
【技术特征摘要】
1.一种实现连续基金服务的数据处理方法，其特征在于，包括：
2.根据权利要求1所述的一种实现连续基金服务的数据处理方法，其特征在于：所述在s1中交易数据包括资金/资产变动信息、交易流水信息，所述在s1中将采集数据的时刻作为起始点开启新的业务过程，且当前时刻未完结的交易规划在新的业务过程内，所述s1中基于服务指令进行负载调度，优先启用空闲节点为数据处理提供资源支持。
3.根据权利要求1所述的一种实现连续基金服务的数据处理方法，其特征在于：所述在s2中处理模型的工作过程为：1)预处理和中间结果缓存：a)根据关键字的hash值划分区间，b)预处理相关数据生成中间结果，c)将中间结果按照区间划分分布缓存到各个工作节点的本地存储上；2)mapreduce异步流水化处理：d)各节点map阶段对接收的数据执行map方法，e)通过关键字的hash函数将数据按照区间划分路由给相应的reduce节点，f)reduce阶段进行与本地中间结果的reduce计算；3)数据同步：g)将本地计算结果同步到分布式存储。
4.根据权利要求1或3所述的一种实现连续基金服务的数据处理方法，其特征在于：所述处理模型在每个map和reduce阶段间构造流水线，每个阶段由线程池、输入缓冲区和阶段控制器组成，所述在处理模型中划分出工作节点和控制节点，工作节点负责本地模型任务的中间结果缓存和阶段流水线，控制节点负责模型作业的生命周期管理、可靠性和可伸缩性保...
【专利技术属性】
技术研发人员：张珈睿，
申请(专利权)人：浙江财经大学东方学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。