下载一种基于Spark的抗偏斜的数据分片方法的技术资料

文档序号:19388920

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。

本发明公开了一种基于Spark的抗偏斜的数据分片方法,包括:步骤A:获取预估的中间数据的键簇分布以及Spark应用类型,再基于获取的键簇分布生成与Spark应用类型相匹配的分片策略;键簇为键相同的键值对集合,分片策略包括分别与无需排序、需排...
该专利属于湖南大学所有,仅供学习研究参考,未经过湖南大学授权不得商用。

详细技术文档下载地址

温馨提示:您尚未登录,请点 登陆 后下载,如果您还没有账户请点 注册 ,登陆完成后,请刷新本页查看技术详细信息。