System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据统一制造技术_技高网

数据统一制造技术

技术编号:41294211 阅读:3 留言:0更新日期:2024-05-13 14:44
用于数据统一的解决方案包括:接收数据记录,该数据记录包括多个数据字段;从多个数据字段中选择数据字段的子集,该数据字段的子集在数量上少于该多个数据字段,其中选择数据字段的子集包括:应用第一规则来选择数据记录内的数据字段中的至少第一数据字段以包含在数据字段的子集中;使用数据字段子集的内容,来生成数据记录的稳定标识符(stableID);将stableID插入到数据记录的主键数据字段中。

【技术实现步骤摘要】
【国外来华专利技术】


技术介绍

1、客户数据平台(cdp)聚合来自多个数据源的数据,以创建可供其他系统访问的单个客户简档。数据统一是由cdp使用以拉取来自各种数据源的(和/或在不同时间收集的)数据记录,并清理、去重复以及将数据合并到统一客户简档中的过程,这些简档作为统一记录输出。由于运行时间较长,数据统一通常作为批处理服务执行。

2、对于同一数据主体(例如,客户),作为数据记录存储的客户简档通常可能会快速建立具有差异的重复项(duplicates)。当客户在销售交易期间提供信息并且收集的信息被存储为新的数据记录时,可能会发生这种情况。由于多种原因,该新数据记录可能具有与具有基本相同信息的先前存在的数据记录不同的信息,例如数据主体搬家并具有新地址、单个家庭中的多个人共享相同的实际地址或电子邮件地址、一个人搬入或搬出一个家庭,或者数据主体未能提供之前已提供的信息。

3、引用数据记录的常见方法是使用主键。数据记录的主键应该是唯一的,以避免混淆不同记录的主体(例如客户),并且还应该保持不变,使得使用该数据记录的下游系统能够正确识别它。在保存数百万甚至数十亿条记录的系统上自动生成唯一主键且具有低冲突概率的一种常见方法是将单向函数(例如散列函数)应用于记录的内容。然而不幸的是,即使对记录的微小的无关紧要的改变(这在许多情况下可能发生),也会导致主键发生改变。


技术实现思路

1、下文参照下面列出的附图详细描述所公开的示例。提供以下
技术实现思路
来说明本文公开的一些示例。然而,这并不意味着将所有示例限制为任何特定配置或操作顺序。

2、用于数据统一的解决方案包括:接收数据记录,该数据记录包括多个数据字段;从多个数据字段中选择数据字段的子集,该数据字段的子集在数量上少于多个数据字段,其中选择数据字段的子集包括:应用第一规则来选择数据记录内的数据字段中的至少第一数据字段,以包含在数据字段的子集中;使用数据字段的子集的内容,生成数据记录的稳定标识符(stableid);以及将stableid插入到数据记录的主键数据字段中。

3、用于数据统一的解决方案包括:接收第一多个数据记录,第一多个数据记录中的每个数据记录包括多个数据字段;从第一多个数据记录中选择主数据记录,其中选择主数据记录包括:应用用于从数据记录中进行选择的第一策略;从第一多个数据记录的数据记录中的对应数据字段中选择主数据字段,其中选择主数据字段包括:应用用于从数据字段或数据字段组中进行选择的第二策略;以及将主数据记录中的与主数据字段相对应的数据字段的内容替换为主数据字段的内容,以产生统一的数据记录。

本文档来自技高网...

【技术保护点】

1.一种数据统一方法,所述方法包括:

2.根据权利要求1所述的方法,还包括:

3.根据权利要求1所述的方法,还包括:

4.根据权利要求3所述的方法,还包括:

5.根据权利要求1所述的方法,其中,生成所述数据记录的stableID包括:对所述数据字段的子集的内容执行单向函数。

6.一种数据统一系统,所述系统包括:

7.根据权利要求6所述的系统,其中,所述指令还能够操作以用于:

8.根据权利要求6所述的系统,其中,所述指令还能够操作以用于:

9.根据权利要求8所述的系统,其中,所述指令还能够操作以用于:

10.根据权利要求6所述的系统,其中,生成所述数据记录的stableID包括:对所述数据字段的子集的内容执行单向函数。

11.一种或多种计算机存储设备,其上存储有计算机可执行指令,所述指令在由计算机执行时使所述计算机执行包括以下的操作:

12.根据权利要求11所述的一种或多种计算机存储设备,其中,所述操作还包括:

13.根据权利要求12所述的一种或多种计算机存储设备,其中,所述操作还包括:

14.根据权利要求13所述的一种或多种计算机存储设备,其中,所述操作还包括:

15.根据权利要求11所述的一种或多种计算机存储设备,其中,生成所述数据记录的stableID包括:对所述数据字段的子集的内容执行单向函数。

...

【技术特征摘要】
【国外来华专利技术】

1.一种数据统一方法,所述方法包括:

2.根据权利要求1所述的方法,还包括:

3.根据权利要求1所述的方法,还包括:

4.根据权利要求3所述的方法,还包括:

5.根据权利要求1所述的方法,其中,生成所述数据记录的stableid包括:对所述数据字段的子集的内容执行单向函数。

6.一种数据统一系统,所述系统包括:

7.根据权利要求6所述的系统,其中,所述指令还能够操作以用于:

8.根据权利要求6所述的系统,其中,所述指令还能够操作以用于:

9.根据权利要求8所述的系统,其中,所述指令还能够操作以用于:

10.根据权利要求6所述的系统...

【专利技术属性】
技术研发人员:M·巴拉苏布拉马尼安刘冷宁A·库帕K·H·弗赖海特K·王P·B·格雷夫P·C·利特尔L·普里茨王玥V·R·纳拉萨亚K·阿伦基社里何业烨S·乔杜里
申请(专利权)人:微软技术许可有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1