一种ID图谱构建正确的方法、装置设备及存储介质制造方法及图纸

技术编号:44996905 阅读:43 留言:0更新日期:2025-04-15 17:10
本发明专利技术公开了一种ID图谱构建正确的方法,通过实时采集ID数据,基于预设规则对数据采集渠道可信度进行排序,根据排序顺次授予图谱修改权限;通过乐观锁机制,将每个ID数据设置版本号,当发生更新时,版本号加1后进行写入,若遇到冲突,则进行重试;获取ID数据过程中,保留ID数据在渠道端的父子关系,当父ID被抢夺,迁移到新的图谱下时,对应的子ID一并跟随;设置图谱修正功能,基于修正功能对图谱进行修正。实现了面向多个源系统采集ID数据时,源系统进行数据重发,数据发送顺序打乱,都可以保证了ID图谱构建的正确性,系统可以进行自我修复,保证数据的最终一致性、图谱的正确性,且ID可以区分不同渠道,以可信度高的渠道为准。

【技术实现步骤摘要】

本专利技术涉及互联网算法应用领域,尤其涉及一种id图谱构建正确的方法、装置设备及存储介质。


技术介绍

1、当前的互联网系统已经实现了一项先进的功能,它通过整合手机号、证件号码、系统用户id以及设备id等多种身份信息,并结合精确的业务规则和智能算法,执行id-mapping,从而构建了一个全面的id关联图谱。这一图谱能够将原本孤立的数据点连接起来,形成一幅数据全景图,为数据分析和市场营销等应用场景提供了强大的支持。

2、然而,在实时采集的过程中,仍然存在一些目前未能攻克的问题。首先,在特定场景下,数据丢失的现象时有发生,这可能会影响图谱的完整性。其次,当数据丢失或图谱出现错误时,由于实时采集的特性,修复这些问题变得相对困难。此外,如果数据采集过程中出现乱序问题,也会导致图谱构建出现错误,进一步影响数据的准确性。最后,一旦id数据在图谱构建过程中被流水日志清理,将难以追溯其原始来源。

3、因此,为了解决这些问题,提出一种能够持续优化算法,以提高数据采集的稳定性和准确性,同时增强图谱的自愈能力,确保即使在数据丢失或错误发生时,也能够快速准本文档来自技高网...

【技术保护点】

1.一种ID图谱构建正确的方法,其特征在于,包括:

2.根据权利要求1所述的ID图谱构建正确的方法,其特征在于,所述修正功能,包括:

3.根据权利要求2所述的ID图谱构建正确的方法,其特征在于,所述修正功能,包括:

4.根据权利要求1所述的ID图谱构建正确的方法,其特征在于,在设定时间从源系统获取同步数据,进行离线跑批核对,所述离线同步的数据,转化成KV的形式,数据库中的ID数据,转化成KV形式,通过统一的数据格式,进行数据比对。

5.一种ID图谱构建正确的装置,其特征在于,所述装置包括:排序单元、第一控制单元、第二控制单元、修正单元;...

【技术特征摘要】

1.一种id图谱构建正确的方法,其特征在于,包括:

2.根据权利要求1所述的id图谱构建正确的方法,其特征在于,所述修正功能,包括:

3.根据权利要求2所述的id图谱构建正确的方法,其特征在于,所述修正功能,包括:

4.根据权利要求1所述的id图谱构建正确的方法,其特征在于,在设定时间从源系统获取同步数据,进行离线跑批核对,所述离线同步的数据,转化成kv的形式,数据库中的id数据,转化成kv形式,通过统一的数据格式,进行数据比对。

5.一种id图谱构建正确的装置,其特征在于,所述装置包括:排序单元、第一控制单元、第二控制单元、修正单元;

6.根据权利要求5所述的id图谱...

【专利技术属性】
技术研发人员:蔡海佳邓志洪李军刚郭龙邱智谋赵红亮
申请(专利权)人:中信银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1