【技术实现步骤摘要】
本专利技术涉及互联网算法应用领域，尤其涉及一种id图谱构建正确的方法、装置设备及存储介质。
技术介绍
1、当前的互联网系统已经实现了一项先进的功能，它通过整合手机号、证件号码、系统用户id以及设备id等多种身份信息，并结合精确的业务规则和智能算法，执行id-mapping，从而构建了一个全面的id关联图谱。这一图谱能够将原本孤立的数据点连接起来，形成一幅数据全景图，为数据分析和市场营销等应用场景提供了强大的支持。
2、然而，在实时采集的过程中，仍然存在一些目前未能攻克的问题。首先，在特定场景下，数据丢失的现象时有发生，这可能会影响图谱的完整性。其次，当数据丢失或图谱出现错误时，由于实时采集的特性，修复这些问题变得相对困难。此外，如果数据采集过程中出现乱序问题，也会导致图谱构建出现错误，进一步影响数据的准确性。最后，一旦id数据在图谱构建过程中被流水日志清理，将难以追溯其原始来源。
3、因此，为了解决这些问题，提出一种能够持续优化算法，以提高数据采集的稳定性和准确性，同时增强图谱的自愈能力，确保即使在数据丢失或错误发生时，也能够快速准确地进行修复是本领域技术人员亟需解决的技术问题。
技术实现思路
1、为此，本专利技术提出一种id图谱构建正确的方法、装置设备及存储介质，通过构建一个更加健壮、可靠的id关联图谱，以支持更广泛的业务需求和数据分析工作。
2、为实现上述目的，第一方面，本专利技术提供一种id图谱构建正确的方法，包括：
3、实时采
4、通过乐观锁机制，将所述每个id数据设置版本号，当发生更新时，所述版本号加1后进行写入，若遇到冲突，则进行重试；
5、获取所述id数据过程中，保留id数据在渠道端的父子关系，当父id被抢夺，迁移到新的图谱下时，对应的子id一并跟随；
6、设置图谱修正功能，基于所述修正功能对图谱进行修正。
7、进一步地，所述修正功能，包括：
8、查询设定范围内更新的id信息，遍历每个id修正是否完成，若完成则结束修正；
9、若未完成，则判断所述id是否在之前修复id图谱中，
10、若否则通过所述id的gid查询图谱，加入待处理id列表，
11、遍历数据图谱判定与父id的gid是否相同；
12、若不同则通过父节点gid查询父节点图谱，加入待处理id列表；
13、所述待处理id列表进行去重操作，调用核心构建逻辑，遍历全部id；
14、若未完成则把gid刷新为生效渠道父节点gid重新遍历；
15、若完成则将全部节点先按gid分组，在按照相同证件类型进行分组，进行遍历处理；
16、遍历结束，将所有被更新节点版权号加1，写入数据库；
17、遍历未结束，id类型只允许1个相同类型，存在多个将渠道可信度低的id挪出，生成新gid写入，重新遍历处理。
18、进一步地，所述修正功能，包括：
19、查询设定范围内更新的id信息，遍历每个id修正是否完成，若完成则结束修正；
20、若遍历未完成，则判断所述id是否在之前修复id图谱中，若所述id在修复id图谱中，则重新遍历；
21、若所述id不在修复id图谱中，则通过所述id的gid查询图谱，加入待处理id列表，
22、遍历数据图谱判断所述id与父id的gid是否相同，若不同则通过父节点gid查询父节点图谱，加入待处理id列表；
23、所述待处理id列表进行去重操作，调用核心构建逻辑，遍历全部id；
24、若遍历未完成则把gid刷新为生效渠道父节点gid重新遍历；
25、若完成则将全部节点先按gid分组，在按照相同证件类型进行分组，进行遍历处理；
26、遍历结束，将所有被更新节点版权号加1，写入数据库；
27、遍历未结束，id类型只允许1个相同类型，存在多个将渠道可信度低的id挪出，生成新gid写入，重新遍历处理。
28、进一步地，在设定时间从源系统获取同步数据，进行离线跑批核对，所述离线同步的数据，转化成kv的形式，数据库中的id数据，转化成kv形式，通过统一的数据格式，进行数据比对。
29、第二方面，本专利技术还提供了一种id图谱构建正确的装置，包括：排序单元、第一控制单元、第二控制单元、修正单元；
30、所述排序单元：用于实时采集id数据，基于预设规则对数据采集渠道可信度进行排序，根据排序顺次授予图谱修改权限；
31、所述第一控制单元：用于通过乐观锁机制，将所述每个id数据设置版本号，当发生更新时，所述版本号加1后进行写入，若遇到冲突，则进行重试；
32、所述第二控制单元：用于获取所述id数据过程中，保留id数据在渠道端的父子关系，当父id被抢夺，迁移到新的图谱下时，对应的子id一并跟随；
33、所述修正单元：用于设置图谱修正功能，基于所述修正功能对图谱进行修正。
34、进一步地，所述修正功能，包括：
35、查询设定范围内更新的id信息，遍历每个id修正是否完成，若完成则结束修正；
36、若未完成，则判断所述id是否在之前修复id图谱中，
37、若否则通过所述id的gid查询图谱，加入待处理id列表，
38、遍历数据图谱判定与父id的gid是否相同；
39、若不同则通过父节点gid查询父节点图谱，加入待处理id列表；
40、所述待处理id列表进行去重操作，调用核心构建逻辑，遍历全部id；
41、若未完成则把gid刷新为生效渠道父节点gid重新遍历；
42、若完成则将全部节点先按gid分组，在按照相同证件类型进行分组，进行遍历处理；
43、遍历结束，将所有被更新节点版权号加1，写入数据库；
44、遍历未结束，id类型只允许1个相同类型，存在多个将渠道可信度低的id挪出，生成新gid写入，重新遍历处理。
45、进一步地，所述修正功能，包括：
46、查询设定范围内更新的id信息，遍历每个id修正是否完成，若完成则结束修正；
47、若遍历未完成，则判断所述id是否在之前修复id图谱中，若所述id在修复id图谱中，则重新遍历；
48、若所述id不在修复id图谱中，则通过所述id的gid查询图谱，加入待处理id列表，
49、遍历数据图谱判断所述id与父id的gid是否相同，若不同则通过父节点gid查询父节点图谱，加入待处理id列表；
50、所述待处理id列表进行去重操作，调用核心构建逻辑，遍历全部id；
51、若遍历未完成则把gid刷新为生效渠道父节点gid重新遍历；
52、若完成本文档来自技高网...
【技术保护点】
1.一种ID图谱构建正确的方法，其特征在于，包括：
2.根据权利要求1所述的ID图谱构建正确的方法，其特征在于，所述修正功能，包括：
3.根据权利要求2所述的ID图谱构建正确的方法，其特征在于，所述修正功能，包括：
4.根据权利要求1所述的ID图谱构建正确的方法，其特征在于，在设定时间从源系统获取同步数据，进行离线跑批核对，所述离线同步的数据，转化成KV的形式，数据库中的ID数据，转化成KV形式，通过统一的数据格式，进行数据比对。
5.一种ID图谱构建正确的装置，其特征在于，所述装置包括：排序单元、第一控制单元、第二控制单元、修正单元；
6.根据权利要求5所述的ID图谱构建正确的装置，其特征在于，所述修正功能，包括：
7.根据权利要求6所述的ID图谱构建正确的装置，其特征在于，所述修正功能，包括：
8.根据权利要求5所述的ID图谱构建正确的装置，其特征在于，在设定时间从源系统获取同步数据，进行离线跑批核对，所述离线同步的数据，转化成KV的形式，数据库中的ID数据，转化成KV形式，通过统一的数据格式
9.一种计算设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，实现如权利要求1至4中任一项方法，所述可读介质可以为多个，所述多个可读介质相互之间能够独立运行。
...【技术特征摘要】
1.一种id图谱构建正确的方法，其特征在于，包括：
2.根据权利要求1所述的id图谱构建正确的方法，其特征在于，所述修正功能，包括：
3.根据权利要求2所述的id图谱构建正确的方法，其特征在于，所述修正功能，包括：
4.根据权利要求1所述的id图谱构建正确的方法，其特征在于，在设定时间从源系统获取同步数据，进行离线跑批核对，所述离线同步的数据，转化成kv的形式，数据库中的id数据，转化成kv形式，通过统一的数据格式，进行数据比对。
5.一种id图谱构建正确的装置，其特征在于，所述装置包括：排序单元、第一控制单元、第二控制单元、修正单元；
6.根据权利要求5所述的id图谱...
【专利技术属性】
技术研发人员：蔡海佳，邓志洪，李军刚，郭龙，邱智谋，赵红亮，
申请(专利权)人：中信银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。