【技术实现步骤摘要】
本专利技术涉及数据处理领域，具体而言，涉及一种分布式批处理数据分片方法及系统。
技术介绍
1、在企业分布式批处理任务调度应用中，有大量业务数据需要批量调度处理，通过单节点执行器模式处理会耗费很长时间，也不能充分发挥分布式应用性能，通过多节点执行器集群处理将应对数据如何分发和如何避免重复处理的问题。现有的数据分片技术，解决这些问题要么需要固定的集群数量，要么需要通过数据中心集中抽取再通过消息队列分发，均无法满足云架构应用弹性扩缩的需求，并可能增加系统复杂度。
技术实现思路
1、本专利技术实施例提供了一种分布式批处理数据分片方法及系统，以至少解决了相关技术中无法满足云架构应用弹性扩缩的需求，并可能增加系统复杂度的问题。
2、根据本专利技术的一个实施例，提供了一种分布式批处理数据分片方法，包括：
3、基于执行器集群信息，得到分片信息，所述分片信息包括分片总数和分片索引；
4、基于所述分片信息，设置特征数据集合；
5、基于所述分片总数和所述特征数据集...
【技术保护点】
1.一种分布式批处理数据分片方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于所述分片信息，设置特征数据集合，包括：
3.根据权利要求2所述的方法，其特征在于，设置分量等级，将所述分片信息的分片总数与所述分量等级进行比对，基于比对结果设置不同的特征数据集合，包括：
4.根据权利要求1所述的方法，其特征在于，基于所述分片总数和所述特征数据集合为每个所述分片索引对应的执行器分配待处理的特征数据，包括：
5.根据权利要求1所述的方法，其特征在于，基于执行器集群信息，得到分片信息，所述分片信息包括分片总数和
【技术特征摘要】
1.一种分布式批处理数据分片方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，基于所述分片信息，设置特征数据集合，包括：
3.根据权利要求2所述的方法，其特征在于，设置分量等级，将所述分片信息的分片总数与所述分量等级进行比对，基于比对结果设置不同的特征数据集合，包括：
4.根据权利要求1所述的方法，其特征在于，基于所述分片总数和所述特征数据集合为每个所述分片索引对应的执行器分配待处理的特征数据，包括：
5.根据权利要求1所述的方法，其特征在于，基于执行器集群信息，得到分片信息，所述分片信息包括分片总数和分片索引，包括：
6.根据权利要求4所述...
【专利技术属性】
技术研发人员：贾蓂瑞，杨颖，李震，史晨阳，裴亚民，张洁，张涛，冯书羽，
申请(专利权)人：中国光大银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。