【技术实现步骤摘要】
批量数据处理方法、装置、系统、计算机设备及计算机可读存储介质
本申请涉及数据处理
，尤其涉及一种批量数据处理方法、装置、系统、计算机设备及计算机可读存储介质。
技术介绍
IT系统所包含的集群应用机器一般有两种，分别用于处理实时联机交易和异步批量交易。对于实时联机交易需要在指定时间返回处理结果给前端系统，例如，客户在网银发起一笔转账交易，10秒内会告知客户本次交易是成功还是失败。对于一些大批量的交易，例如信用卡自动还款，在同一天可能涉及上百万客户批量扣款，此时比较适合采用异步批量交易处理，可以将交易明细数据生成批量文件，发给核心系统进行批量扣款。对于实时联机交易机器，各个机器节点相互独立，没有关联，针对实时联机交易机器传统部署版本的方式，是在负载均衡设备中标记指定机器为不可用状态，等待几分钟后这些机器的存量交易处理后就可以开始部署版本(部署版本指更新软件系统)。由于每次只是部分机器停止服务，其他机器仍然在正常提供服务，所以系统是在持续提供服务，对外服务没有发生中断。对于异步批量交易机器，请参阅图1...
【技术保护点】
1.一种批量数据处理方法，其特征在于，所述方法应用于调度控制中心，所述调度控制中心控制若干个调度节点，每个所述调度节点调度若干个处理节点，所述方法包括：/n接收外部数据源发送的第一数据；/n获取预先被标记为生效状态的调度节点作为第一类调度节点；/n按照第一预设发送方式发送所述第一数据至所述第一类调度节点，以使所述第一类调度节点按照第一预设分配算法分配所述第一数据至自身所调度的处理节点，以使所述处理节点根据所述第一数据所对应的第一预设处理方式对所述第一数据进行处理。/n
【技术特征摘要】
1.一种批量数据处理方法，其特征在于，所述方法应用于调度控制中心，所述调度控制中心控制若干个调度节点，每个所述调度节点调度若干个处理节点，所述方法包括：
接收外部数据源发送的第一数据；
获取预先被标记为生效状态的调度节点作为第一类调度节点；
按照第一预设发送方式发送所述第一数据至所述第一类调度节点，以使所述第一类调度节点按照第一预设分配算法分配所述第一数据至自身所调度的处理节点，以使所述处理节点根据所述第一数据所对应的第一预设处理方式对所述第一数据进行处理。
2.根据权利要求1所述批量数据处理方法，其特征在于，所述获取预先被标记为生效状态的调度节点作为第一类调度节点的步骤之前，还包括：
接收所述调度节点对互斥锁的访问请求，所述互斥锁用于保证在同一时间只有一个所述调度节点处于生效状态；
将取得所述互斥锁的调度节点标记为处于生效状态的调度节点。
3.根据权利要求1或者2所述批量数据处理方法，其特征在于，所述按照第一预设发送方式发送所述第一数据至所述第一类调度节点的步骤之前，还包括：
接收所述第一类调度节点按照第一预设周期发送的节点状态，所述节点状态包括所述第一类调度节点的繁忙程度信息；
所述按照第一预设发送方式发送所述第一数据至所述第一类调度节点的步骤包括：
判断所述第一类调度节点所被调度的所述调度节点的数量；
若所述第一类调度节点所被调度的所述调度节点为一个，根据所述节点状态，按照第二预设发送方式发送所述第一数据至所述第一类调度节点所被调度的所述调度节点；
若所述第一类调度节点所被调度的所述调度节点为两个或者两个以上，在第三预设发送方式的基础上，根据每个所述节点状态，按照所述第二预设发送方式将所述第一数据发送至所述第一类调度节点所被调度的每个所述调度节点。
4.根据权利要求2所述批量数据处理方法，其特征在于，所述接收所述调度节点对互斥锁的访问请求的步骤包括：
接收所述调度节点按照预设周期对互斥锁的访问请求。
5.一种批量数据处理方法，其特征在于，所述方法应用于调度节点，所述调度节点受控于调度控制中心，所述调度控制中心控制若干个调度节点，每个所述调度节点调度若干个处理节点，...
【专利技术属性】
技术研发人员：陈其强，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。