一种在Map Reduce分布式运算中UUID的计算方法技术

本申请公开一种在Map Reduce分布式运算中UUID的计算方法，其能够在大数据的场景下为每条数据生成唯一的ID，而且ID长度可控。这种在Map Reduce分布式运算中UUID的计算方法，UUID的组成为：13位时间戳+M位count+N位taskID+P位随机数，其中:N、M、P为自然数；M位count表示10M个数，N位taskID表示map和reduce生成10N个任务，P位随机数表示进一步减少ID重复的可能性和调整ID的长度的数是10P个。

【技术实现步骤摘要】

本专利技术涉及大数据处理的
，尤其涉及一种在MapReduce分布式运算中UUID的计算方法。
技术介绍
大数据领域的公司在加工处理数据时，会为公司内每条有价值的数据产生ID，而且要求ID是唯一的，即UUID(UUID是通用唯一识别码UniversallyUniqueIdentifier的简称)。现有的技术方案如下：1、使用java的UUID的api生成UUID。核心代码如下：UUID.randomUUID().toString()；可以看出方法简单，代码量少。但是问题是在海量数据，数以亿计的情况下，这种生成UUID的方式并不能保证UUID完全没有重复的。数据质量上存在瑕疵。2、采用13位时间戳加上随机数的方式产生UUID。13位时间戳可以将时间精确到毫秒。在一毫秒内要同时生成多个ID，为了避免重复，使用随机数。存在问题：单台服务器上，根据性能条件，一毫秒内有可能会生成多个ID，多个ID间也存在重复的可能性。在Mapreduce运算过程中，海量数据的场景下，同一个作业(Job)会有非常多的任务(Task)。任务分布在成百上千台服务器上面，在并行运行。整体上看，同一毫秒内会处理本文档来自技高网...

【技术保护点】
一种在Map Reduce分布式运算中UUID的计算方法，其特征在于：UUID的组成为：13位时间戳+M位count+N位taskID+P位随机数，其中:N、M、P为自然数；M位count表示10M个数，N位taskID表示map和reduce生成10N个任务，P位随机数表示进一步减少ID重复的可能性和调整ID的长度的数是10P个。

【技术特征摘要】
1.一种在MapReduce分布式运算中UUID的计算方法，其特征在于：UUID的组成为：13位时间戳+M位count+N位taskID+P位随机数，其中:N、M、P为自然数；M位count表示10M个数，N位taskID表示map和reduce生成10N个任务，P位随机数表示进一步减少ID重复的可能性和调整ID的长度的数是10P个。2.根据权利要求1所述的在MapReduce分布式运算中UUID的计算方法，其特征在于：M＝6。3.根据权利要求2所述的在MapReduce分布式运算中UUID的计算方法，其特征在于：N＝5...

【专利技术属性】
技术研发人员：范卫卫，张翼，温宗臣，何良均，任庆广，李冰，
申请(专利权)人：北京集奥聚合科技有限公司，
类型：发明
国别省市：北京;11