本发明专利技术提供了一种基于Flink构建IDMapping的方法，包括：S1、获取用户在移动终端不同移动设备登录的设备标识ID数据；S2、获取服务器端用户注册的不同在注册ID数据；S3、将步骤S1中获取的设备标识ID数据，与步骤S2中获取的注册ID数据取交集，创建第一数据集；S4、剔除步骤S3中的第一数据集，创建第二数据集；S5、第一数据集合集与第二数据集合并，得到第三数据集；S6、使用Flink读取第三数据集，生成点集合和边集合，并通过生成的点集合和边集合进行图计算，生成大通图；S7、使用Flink读取大通图中的所有点，并将大通图中的所有点通过任意生成的唯一函数，转换成明文格式数据输出，存入Hive表中，构建IDMapping。本发明专利技术能够实现同一用户不同移动设备，不同注册账号的关联。不同注册账号的关联。不同注册账号的关联。
【技术实现步骤摘要】
一种基于Flink构建IDMapping的方法、系统及计算机存储介质
[0001]本专利技术涉及数据处理
，尤其是涉及一种基于Flink构建IDMapping的方法、系统及计算机存储介质。
技术介绍
[0002]随着社会不端发展进步，每个人(用户)都会有多个手机，注册不同的账号，相同一个人(用户)拥有多个手机和多个注册账号。现需要将相同一个人(用户)拥有多少手机或者账号的用户视为一个用户。所以需要基于设备标识信息和注册信息进行用户唯一标识映射。
技术实现思路
[0003]本专利技术提供了一种基于Flink构建IDMapping的方法、系统及计算机存储介质，以解决现有技术中同一用户不同移动终端设备与不同注册信息难以关联识别的技术问题。
[0004]本专利技术的一个方面在于提供一种基于Flink构建IDMapping的方法，所述方法包括如下方法步骤：
[0005]S1、获取用户在移动终端不同移动设备登录的设备标识ID数据，并同步至数据仓库；
[0006]S2、获取服务器端用户注册的不同注册ID数据，并同步至数据仓库；
[0007]S3、将步骤S1中获取的设备标识ID数据，与步骤S2中获取的注册ID数据取交集，创建第一数据集；
[0008]S4、在步骤S1中获取的设备标识ID数据与步骤S2中获取的注册ID数据中，剔除步骤S3中的第一数据集，创建第二数据集；
[0009]S5、将步骤S3中创建的第一数据集合集与步骤S4中创建的第二数据集合并，得到第三数据集；
[0010]S6、使用Flink读取第三数据集，生成点集合和边集合，并通过生成的点集合和边集合进行图计算，生成大通图；
[0011]S7、使用Flink读取步骤S6生成的大通图中的所有点，并将大通图中的所有点通过任意生成的唯一函数，转换成明文格式数据输出，存入Hive表中，构建IDMapping。
[0012]在一个优选的实施例中，在步骤S1中，对获取的用户在移动终端不同移动设备登录的设备标识ID数据，进行字段去重，并将去重后的数据存入Hive表中。
[0013]在一个优选的实施例中，在步骤S2中，对获取服务器端用户注册的不同注册ID数据，进行字段去重，并将去重后的数据存入Hive表中。
[0014]在一个优选的实施例中，当增加新的设备标识ID数据或注册ID数据，则将新增的设备标识ID数据或注册ID数据插入步骤S5中生成的第三数据集中；
[0015]重复步骤S6至步骤S7，构建构建IDMapping。
[0016]在一个优选的实施例中，在步骤S7中，存入Hive表中之前，还包括：使用ETL程序对输出的明文格式数据进行数据清洗。
[0017]本专利技术的另一个方面在于提供一种基于Flink构建IDMapping的系统，其特征在于，所述系统包括：数据采集模块，用于获取用户在移动终端不同移动设备登录的设备标识ID数据，以及获取服务器端用户注册的不同注册ID数据，并同步至数据仓库；
[0018]图计算模块，用于使用Flink读取第三数据集，生成点集合和边集合，并通过生成的点集合和边集合进行图计算，生成大通图。
[0019]IDMapping生成模块，用于使用Flink读取大通图中的所有点，并将大通图中的所有点通过任意生成的唯一函数，转换成明文格式数据输出，存入Hive表中，构建IDMapping。
[0020]本专利技术的又一个方面在于提供一种计算机存储介质，所述计算机存储介质用于存储计算机执行程序，所述计算机执行程序用于执行本专利技术提供的一种基于Flink构建IDMapping的方法的方法。
[0021]与现有技术相比，本专利技术具有以下有益效果：
[0022]本专利技术提供的一种基于Flink构建IDMapping的方法、系统及计算机存储介质，能够实现同一用户不同移动设备，不同注册账号的关联，实现用户设备标识信息和注册信息与用户的唯一标识映射。
[0023]本专利技术提供的一种基于Flink构建IDMapping的方法、系统及计算机存储介质，能够实现对用户新增设备标识信息，注册信息及时更新并与用户的唯一标识映射。
附图说明
[0024]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0025]图1是本专利技术一种基于Flink构建IDMapping的方法的流程示意图。
[0026]图2是本专利技术数据采集的流程示意图。
具体实施方式
[0027]为了使本专利技术的上述以及其他特征和优点更加清楚，下面结合附图进一步描述本专利技术。应当理解，本文给出的具体实施例是出于向本领域技术人员解释的目的，仅是示例性的，而非限制性的。
[0028]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。
[0029]此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本专利技术的描述中，“多个”的含义是至少两个，例如两个，三
个等，除非另有明确具体的限定。
[0030]如图1所示本专利技术一种基于Flink构建IDMapping的方法的流程示意图，图2所示本专利技术数据采集的流程示意图，根据本专利技术的实施例，提供一种基于Flink构建IDMapping的方法，包括如下方法步骤：
[0031]步骤S1、获取移动终端数据。
[0032]获取用户在移动终端100不同移动设备登录的设备标识ID数据，并同步至数据仓库300。
[0033]步骤S2、获取服务器端数据。
[0034]获取服务器端200用户注册的不同注册ID数据，并同步至数据仓库300。
[0035]步骤S1和步骤S2是数据采集的过程，在步骤S1中，对获取的用户在移动终端100不同移动设备登录的设备标识ID数据，进行字段去重，并将去重后的数据存入数据仓库300的Hive表中。
[0036]例如，用户在移动终端100不同移动设备登录的设备标识ID数据为imei\mac\android_id\注册ID，基于imei\mac\android_id\注册ID字段进行去重，将去重后的设备标识ID数据存入数据仓本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于Flink构建IDMapping的方法，其特征在于，所述方法包括如下方法步骤：S1、获取用户在移动终端不同移动设备登录的设备标识ID数据，并同步至数据仓库；S2、获取服务器端用户注册的不同注册ID数据，并同步至数据仓库；S3、将步骤S1中获取的设备标识ID数据，与步骤S2中获取的注册ID数据取交集，创建第一数据集；S4、在步骤S1中获取的设备标识ID数据与步骤S2中获取的注册ID数据中，剔除步骤S3中的第一数据集，创建第二数据集；S5、将步骤S3中创建的第一数据集合集与步骤S4中创建的第二数据集合并，得到第三数据集；S6、使用Flink读取第三数据集，生成点集合和边集合，并通过生成的点集合和边集合进行图计算，生成大通图；S7、使用Flink读取步骤S6生成的大通图中的所有点，并将大通图中的所有点通过任意生成的唯一函数，转换成明文格式数据输出，存入Hive表中，构建IDMapping。2.根据权利要求1所述的方法，其特征在于，在步骤S1中，对获取的用户在移动终端不同移动设备登录的设备标识ID数据，进行字段去重，并将去重后的数据存入Hive表中。3.根据权利要求1所述的方法，其特征在于，在步骤S2中，对获取服务器端用户注册的不同注册ID数...
【专利技术属性】
技术研发人员：康珊伟，
申请(专利权)人：上海二三四五网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。