数据处理方法、系统及计算机可读存储介质技术方案

技术编号:23148825 阅读:35 留言:0更新日期:2020-01-18 13:22
本发明专利技术公开了一种数据处理方法,应用于数据处理系统,系统包括服务器,该方法包括:所述服务器接收调度平台发送的数据处理信息;根据预设规则读取获得所述数据处理信息中的数据执行单元和数据执行顺序;根据所述数据执行顺序依次控制对应的所述数据执行单元从预设数据库中调用执行数据,并进行处理,得到执行结果。本发明专利技术还公开了一种系统和一种计算机可读存储介质。本发明专利技术能够解决数据重复处理的问题,减少处理数据的过程中出现错误的概率,减少服务器运行负载。

Data processing method, system and computer readable storage medium

【技术实现步骤摘要】
数据处理方法、系统及计算机可读存储介质
本专利技术涉及数据处理
,尤其涉及数据处理方法、系统及计算机可读存储介质。
技术介绍
目前,为了提高数据处理的能力,任务调度平台通过分布式方式,将一个数据处理任务分成若干个小任务,将若干个小任务分发到不同的服务器,通过不同的服务器调用同一个数据库中的数据进行处理;但是,通过不同的服务器调用同一个数据库中的数据进行处理,会容易导致两个或两个以上的服务器同时处理一个数据,会导致数据重复处理,导致处理的结果错乱,生成错误的结果,同时也会导致服务器处理资源的浪费。
技术实现思路
本专利技术的主要目的在于提出一种数据处理方法、系统及计算机可读存储介质,旨在解决数据重复处理的技术问题。为实现上述目的,本专利技术提供一种数据处理方法,所述数据处理方法应用于数据处理系统,所述数据处理系统包括服务器,所述数据处理方法包括所述服务器接收调度平台发送的数据处理信息;根据预设规则读取获得所述数据处理信息中的数据执行单元和数据执行顺序;根据所述数据执行顺序依次控制对应的所述本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,所述数据处理方法应用于数据处理系统,所述数据处理系统包括服务器,所述数据处理方法包括如下步骤:/n所述服务器接收调度平台发送的数据处理信息;/n根据预设规则读取获得所述数据处理信息中的数据执行单元和数据执行顺序;/n根据所述数据执行顺序依次控制对应的所述数据执行单元从预设数据库中调用执行数据,并进行处理,得到执行结果。/n

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述数据处理方法应用于数据处理系统,所述数据处理系统包括服务器,所述数据处理方法包括如下步骤:
所述服务器接收调度平台发送的数据处理信息;
根据预设规则读取获得所述数据处理信息中的数据执行单元和数据执行顺序;
根据所述数据执行顺序依次控制对应的所述数据执行单元从预设数据库中调用执行数据,并进行处理,得到执行结果。


2.如权利要求1所述的数据处理方法,其特征在于,所述根据数据执行顺序依次控制对应的数据执行单元从预设数据库中调用与所述数据分片参数对应的执行数据,并进行处理,得到执行结果的步骤,包括:
根据所述数据执行顺序确定第一数据执行单元;
控制所述第一数据执行单元从预设数据库中调用执行数据,并对所述执行数据进行处理,得到第一执行结果;
根据所述数据执行顺序确定第二数据执行单元;
控制所述第二数据执行单元对所述第一执行结果进行处理,得到第二执行结果;
依次类推,直至所述数据执行顺序中对应的最后一个数据执行单元执行完成,得到执行结果。


3.如权利要求2所述的数据处理方法,其特征在于,所述控制第一数据执行单元从预设数据库中调用执行数据,并对所述执行数据进行处理,得到第一执行结果的步骤之后,包括:
将所述第一执行结果发送至所述预设数据库中;
所述控制所述第二数据执行单元对所述第一执行结果进行处理,得到第二执行结果的步骤,包括:
控制所述第二数据执行单元从所述预设数据库中调用所述第一执行结果,并对所述第一执行结果进行处理,得到第二执行结果。


4.如权利要求1至3中任一项所述的数据处理方法,其特征在于,所述根据预设规则读取获得所述数据处理信息中的数据执行单元和数据执行顺序的步骤,包括:
根据预设规则读取获得所述数据处理信息中的数据执行单元、数据执行顺序和数据分片参数;
所述根据所述数据执行顺序依次控制对应的所述数据执行单元从预设数据库中调用执行数据,并进行处理,得到执行结果的步骤,还包括:
根据所述数据执行顺序依次控制对应的所述数据执行单元从预设数据库中调用与所述数据分片参数对应的执行数据,并进行处理,得到执行结果。


5.如权利要求...

【专利技术属性】
技术研发人员:张天生
申请(专利权)人:深圳前海大数金融服务有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1