本申请涉及一种多方数据整合方法、装置、计算机设备和存储介质。所述方法包括：获取多方数据；识别所述多方数据的更新时间和存储位置；根据所述存储位置确定分区索引号以及分区数；根据所述分区数以及所述分区索引号按照等差数列生成每一分区内的每一条记录的初始标识；根据所述更新时间和所述初始标识生成每一分区内的每一条记录的序列号。采用本方法能够保证整合后数据准确性。保证整合后数据准确性。保证整合后数据准确性。
【技术实现步骤摘要】
多方数据整合方法、装置、计算机设备和存储介质
[0001]本申请涉及数据处理
，特别是涉及一种多方数据整合方法、装置、计算机设备和存储介质。
技术介绍
[0002]在企业信息化中，企业发展到一定阶段，出现多个事业部，每个事业部都有各自数据，事业部之间的数据往往都各自存储，各自定义。每个事业部的数据就像一个个孤岛一样无法（或者极其困难）和企业内部的其他数据进行连接互动，就会造成“数据孤岛”。
[0003]传统技术中，简单地使用用户单一信息，如数据中的cookie或者身份证号等个人信息，在全域范围识别出同一用户数据，给其唯一ID。
[0004]然而，无法识别到部分信息缺失的客户数据，也无法排除部分信息不真实数据，从而导致整合后的数据存在错误。
技术实现思路
[0005]基于此，有必要针对上述技术问题，提供一种能够保证整合后数据准确性的多方数据整合方法、装置、计算机设备和存储介质。
[0006]一种多方数据整合方法，所述方法包括：获取多方数据；识别所述多方数据的更新时间和存储位置；根据所述存储位置确定分区索引号以及分区数；根据所述分区数以及所述分区索引号按照等差数列生成每一分区内的每一条记录的初始标识；根据所述更新时间和所述初始标识生成每一分区内的每一条记录的序列号。
[0007]在其中一个实施例中，所述获取多方数据之后，还包括：获取至少一个预设字段；将所述多方数据中所述预设字段的字段值进行比较，得到所述预设字段的字段值相同的记录；将所述预设字段的字段值相同的记录进行合并。
[0008]在其中一个实施例中，所述获取多方数据之后，还包括：对所述多方数据中的各个字段进行字段校验，以删除校验失败的记录。
[0009]在其中一个实施例中，所述方法还包括：获取新增记录以及所述新增记录的更新时间和存储位置；根据所述存储位置确定对应分区的最后一条记录的序列号的初始标识；根据所述最后一条记录的序列号的初始标识计算得到所述新增记录的初始标识；根据所述更新时间和所述新增记录的初始标识计算得到新增记录的序列号。
[0010]在其中一个实施例中，所述方法还包括：
获取更新记录；根据所述更新记录对应的主键确定对应的原始记录；获取所述更新记录的更新时间和存储位置，并生成更新序列号，通过所述更新序列号替换所述原始记录的原始序列号。
[0011]在其中一个实施例中，所述根据所述更新时间和所述初始标识生成每一分区内的每一条记录的序列号之后，包括：通过至少一条规则对所述记录进行匹配；获取匹配成功的记录所对应的最小序列号，作为匹配成功的记录的新的序列号。
[0012]在其中一个实施例中，所述获取匹配成功的记录所对应的最小序列号，作为匹配成功的记录的新的序列号，包括：获取执行完当前规则后序列号发生变化的待处理记录；根据上一规则执行完成后所得到的序列号对所述待处理记录进行聚合得到目标关联关系；将所述目标关联关系中的上一规则执行完成后的序列号与聚合后的当前序列号进行匹配；若匹配成功，则根据匹配成功的上一规则执行完成后的序列号与聚合后的当前序列号更新所述目标关联关系，并继续将更新后的所述目标关联关系中的上一规则执行完成后的序列号与聚合后的当前序列号进行匹配，直至所述目标关联关系中不存在匹配的上一规则执行完成后的序列号与聚合后的当前序列号；通过更新后的目标关联关系对执行完当前规则后的各条记录的序列号进行处理。
[0013]在其中一个实施例中，所述根据上一规则执行完成后所得到的序列号对所述待处理记录进行聚合得到目标关联关系，包括：获取上一规则执行完成后所得到的序列号相同的记录，获取所获取的记录的对应的当前规则执行完后的序列号的最小值；将所获取的记录进行聚合，且聚合后的序列号为所述最小值。
[0014]在其中一个实施例中，所述通过更新后的目标关联关系对执行完当前规则后的各条记录的序列号进行处理，包括：将执行完当前规则后的各条记录的序列号与所述目标关联关系中的上一规则执行完成后所得到的序列号进行匹配；当匹配成功时，则获取所述目标关联关系中的匹配成功的上一规则执行完成后所得到的序列号对应的聚合后的当前序列号，通过所述聚合后的当前序列号更新匹配成功的执行完当前规则后的记录的序列号。
[0015]一种多方数据整合装置，所述装置包括：数据获取模块，用于获取多方数据；识别模块，用于识别所述多方数据的更新时间和存储位置；确定模块，用于根据所述存储位置确定分区索引号以及分区数；初始标识生成模块，用于根据所述分区数以及所述分区索引号按照等差数列生成每一分区内的每一条记录的初始标识；序列号生成模块，用于根据所述更新时间和所述初始标识生成每一分区内的每一
条记录的序列号。
[0016]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法的步骤。
[0017]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
[0018]上述多方数据整合方法、装置、计算机设备和存储介质，即使多方数据中存在重复的数据，其也是单独的序列号，并不会导致数据混乱，很大程度解决了利用单一信息打通数据存在的不全面和不可靠问题，有效数据打通的质量，且缓解了数据录入错误和不严格的问题；克服了利用第三方组件生成唯一序列号的弊端，大大提高了运行效率，且合理解决了增量序列号生成问题。
附图说明
[0019]图1为一个实施例中多方数据整合方法的应用环境图；图2为一个实施例中多方数据整合方法的流程示意图；图3为一个实施例中的每一条记录的序列号的示意图；图4为一个实施例中规则一处理后的示意图；图5为一个实施例中规则二处理后的示意图；图6为一个实施例中的序列号修正的流程示意图；图7为一个实施例中序列号发生变化的示意图；图8为一个实施例中序列号变化的演变图；图9为一个实施例中聚合后的序列号的示意图；图10为一个实施例中修正后的序列号的示意图；图11为另一个实施例中多方数据整合方法的流程示意图；图12为一个实施例中多方数据整合装置的结构框图；图13为一个实施例中计算机设备的内部结构图。
具体实施方式
[0020]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0021]本申请提供的多方数据整合方法，可以应用于如图1所示的应用环境中。其中，数据库102通过网络与服务器104进行通信，服务器104从数据库102中获取多方数据，并识别多方数据的更新时间和存储位置；从而服务器104可以根据存储位置确定分区索引号以及分区数；根据分区数以及分区索引号按照等差数列生成每一分区内的每一条记录的初始标识；根据更新时间和初始标识生成每一分区内的每一条记录的序列号，这样即使多方数据中存在重复的数据，其也是单独的序列号，并不会导致数据混乱，很大程度解决了利用单一信息打通数据存在的不全面本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种多方数据整合方法，其特征在于，所述方法包括：获取多方数据；识别所述多方数据的更新时间和存储位置；根据所述存储位置确定分区索引号以及分区数；根据所述分区数以及所述分区索引号按照等差数列生成每一分区内的每一条记录的初始标识；根据所述更新时间和所述初始标识生成每一分区内的每一条记录的序列号。2.根据权利要求1所述的方法，其特征在于，所述获取多方数据之后，还包括：获取至少一个预设字段；将所述多方数据中所述预设字段的字段值进行比较，得到所述预设字段的字段值相同的记录；将所述预设字段的字段值相同的记录进行合并。3.根据权利要求2所述的方法，其特征在于，所述获取多方数据之后，还包括：对所述多方数据中的各个字段进行字段校验，以删除校验失败的记录。4.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：获取新增记录以及所述新增记录的更新时间和存储位置；根据所述存储位置确定对应分区的最后一条记录的序列号的初始标识；根据所述最后一条记录的序列号的初始标识计算得到所述新增记录的初始标识；根据所述更新时间和所述新增记录的初始标识计算得到新增记录的序列号。5.根据权利要求1至3任意一项所述的方法，其特征在于，所述方法还包括：获取更新记录；根据所述更新记录对应的主键确定对应的原始记录；获取所述更新记录的更新时间和存储位置，并生成更新序列号，通过所述更新序列号替换所述原始记录的原始序列号。6.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据所述更新时间和所述初始标识生成每一分区内的每一条记录的序列号之后，包括：通过至少一条规则对所述记录进行匹配；获取匹配成功的记录所对应的最小序列号，作为匹配成功的记录的新的序列号。7.根据权利要求6所述的方法，其特征在于，所述获取匹配成功的记录所对应的最小序列号，作为匹配成功的记录的新的序列号，包括：获取执行完当前规则后序列号发生变化的待处理记录；根据上一规则执行完成后所得到的序列号对所述待处理记录进行聚合得到目标关联关系；将所述目标关联关系中的上一规则执行完成后的序列号与聚合后的当前序...
【专利技术属性】
技术研发人员：潘玉婷，姚兴泉，
申请(专利权)人：太平金融科技服务上海有限公司深圳分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。