【技术实现步骤摘要】
本申请涉及网络，具体涉及一种数据分片抽取方法及装置。
技术介绍
1、etl(extract-transform-load，抽取-转换-加载)描述了数据从源端经过抽取(extract)、转换(transform)、加载(load)之后至目的端的过程，实现对企业的业务系统中分散、凌乱、标准不统一的数据的整合，整合后的数据能够为企业的决策提供数据分析和决策的依据。可见实现etl功能的处理装置是运转各种与数据有关的应用中的基础功能的组件，其起到了为上层应用提供数据支撑的重要作用，因而，etl的实现过程将在极大程度上决定上层应用的运行。
2、随着数字化技术的发展，数据量愈来愈大，实现etl的任务过程首先将面临到对海量数据的抽取过程，相关技术中通过单一的查询语句获取数据的过程已无法满足对日益剧增的数据的高效抽取的需求，不仅造成数据抽取效率低下，甚至影响到整个数据整合的进展。
技术实现思路
1、有鉴于此，本申请提供一种数据分片抽取方法及装置，以解决相关技术中数据查询方法单一、数据抽取效率低下
本文档来自技高网...【技术保护点】
1.一种数据分片抽取方法，其特征在于，所述方法包括：
2.根据权利要求1所述方法，其特征在于，所述分片依据字段的确定方式包括：将所述待分片数据表中数据信息之和最少的标签信息，确定为分片依据字段。
3.根据权利要求1所述方法，其特征在于，所述分片数量是根据设备当前运行负载确定的。
4.根据权利要求1所述方法，其特征在于，所述计算结果包括所述分片依据字段的数据信息的正整数形式的求余运算结果，或者所述分片依据字段的数据信息的求余运算结果的正整数值。
5.根据权利要求1所述方法，其特征在于，所述根据计算结果的取值配置所述分片数量...
【技术特征摘要】
1.一种数据分片抽取方法，其特征在于，所述方法包括：
2.根据权利要求1所述方法，其特征在于，所述分片依据字段的确定方式包括：将所述待分片数据表中数据信息之和最少的标签信息，确定为分片依据字段。
3.根据权利要求1所述方法，其特征在于，所述分片数量是根据设备当前运行负载确定的。
4.根据权利要求1所述方法，其特征在于，所述计算结果包括所述分片依据字段的数据信息的正整数形式的求余运算结果，或者所述分片依据字段的数据信息的求余运算结果的正整数值。
5.根据权利要求1所述方法...
【专利技术属性】
技术研发人员：江峰，褚占峰，张亮，
申请(专利权)人：杭州数梦工场科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。