多源数据处理方法、系统、设备及存储介质技术方案

本申请提供了一种多源数据处理方法、系统、设备及存储介质，所述方法包括：接收新增数据请求，获取新增数据的主键；当查询到与所述新增数据具有相同主键的已存储数据时，比较所述新增数据和所述已存储数据的核心字段标记值和数据来源；当所述新增数据和所述已存储数据的核心字段标记值相同且数据来源不同时，获取所述新增数据的第一可信度评分和所述已存储数据的第二可信度评分；根据所述第一可信度评分和所述第二可信度评分的比较结果，确定数据处理方式，所述数据处理方式包括所述新增数据覆盖所述已存储数据和所述新增数据不覆盖所述已存储数据。通过采用本申请，保证了不同数据来源的数据之间相互覆盖的安全性和准确性。性。性。

【技术实现步骤摘要】
多源数据处理方法、系统、设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种多源数据处理方法、系统、设备及存储介质。

技术介绍

[0002]对于多源数据管理系统来说，会与多种不同的数据来源方进行交互，获取多源数据，并对多源数据进行整合和存储，多源数据可能是来自于同等级别的多个数据来源数据，也可能是来自于多个不同级别的多个数据来源数据。以现场指挥系统为例，存在“县
‑
市
‑
省
‑
部”或“市
‑
省
‑
部”多级分别部署一套指挥系统的情况，每级的指挥系统都会产生业务数据或同时对接到多个外部业务系统，同时也可能在指挥系统中对某份数据进行编辑修改，同时每一级的指挥系统需要将更新的业务数据逐级贯通汇聚到上一级，多级多源的数据整合可能会出现如下问题：
[0003](1)上级用户在指挥系统刚完成的数据修改可能被下级指挥系统贯通上来的数据覆盖；
[0004](2)上级指挥系统在同级重新对接某个外部业务系统的数据时，导致下级贯通上来的重新编辑过的变更数据被来自外部业务系统的历史数据覆盖；
[0005](3)针对同一份数据，上下两级上下两级的指挥系统分别在同级对接了不同的外部业务系统，比如分别在市级和省级对接了不同的车辆管理系统，导致数据唯一主键规则不同，市级数据贯通到省级后，导致部分主键相同的数据被覆盖；
[0006](4)两个下级数据来源出现主键重复问题，导致数据贯通到上级后相互覆盖。如针对人员信息，A市的李XX在A市系统中主键是20X，B市的王XX在B市系统中主键也是20X，该两条数据同时贯通到省级指挥系统时将会出现相互错误覆盖的问题。
[0007]综上所述，现有的多源数据管理系统中，在整合多个数据来源数据时，无法实现在保持多个数据来源之间数据高效贯通的同时，保证不同数据来源数据之间相互覆盖的安全性和准确性。

技术实现思路

[0008]针对现有技术中的问题，本申请的目的在于提供一种多源数据处理方法、系统、设备及存储介质，保证不同数据来源的数据之间相互覆盖的安全性和准确性。
[0009]本申请实施例提供一种多源数据处理方法，包括如下步骤：
[0010]接收新增数据，并获取新增数据的主键；
[0011]当查询到与所述新增数据具有相同主键的已存储数据时，比较所述新增数据和所述已存储数据的核心字段标记值和数据来源；
[0012]当所述新增数据和所述已存储数据的核心字段标记值相同且数据来源不同时，获取所述新增数据的第一可信度评分和所述已存储数据的第二可信度评分；
[0013]根据所述第一可信度评分和所述第二可信度评分的比较结果，确定数据处理方
式，所述数据处理方式包括所述新增数据覆盖所述已存储数据和所述新增数据不覆盖所述已存储数据。
[0014]本申请的多源数据处理方法中，在需要新增数据时，查询到与所述新增数据具有相同主键的已存储数据，为了避免数据错误覆盖，不直接将所述新增数据覆盖所述已存储数据，而是进一步比较所述新增数据和所述已存储数据的核心字段标记值和数据来源，当新增数据和已存储数据的核心字段标记值相同且数据来源不同时，根据两者的可信度评分来确定是否采用新增数据覆盖已存储数据，降低了数据错误覆盖的风险，从而保证了不同数据来源的数据之间相互覆盖的安全性和准确性。
[0015]在一些实施例中，比较所述新增数据和所述已存储数据的核心字段标记值和数据来源，包括如下步骤：
[0016]获取所述新增数据的核心字段的值，采用预设映射算法计算得到所述新增数据的核心字段标记值；
[0017]获取所述已存储数据的核心字段标记值；
[0018]判断所述新增数据和所述已存储数据的核心字段标记值是否相同；
[0019]如果所述核心字段标记值相同，则判断所述新增数据和所述已存储数据的数据来源是否相同；
[0020]如果所述核心字段标记值相同且数据来源相同，则确定数据处理方式为所述新增数据覆盖所述已存储数据；
[0021]如果所述核心字段标记值相同且数据来源不同，则获取所述新增数据的数据来源的第一可信度评分和所述已存储数据的第二可信度评分。
[0022]在一些实施例中，判断所述新增数据和所述已存储数据的核心字段标记值是否相同之后，还包括如下步骤：
[0023]如果所述核心字段标记值不同，则判断所述新增数据和所述已存储数据的数据来源是否相同；
[0024]如果所述核心字段标记值不同且所述数据来源相同，则确定发生变更的异常核心字段；
[0025]根据所述异常核心字段生成异常覆盖提示，并推送至用户端；
[0026]接收用户端的数据处理指令，如果所述数据处理指令为确认覆盖，则确定数据处理方式为所述新增数据覆盖所述已存储数据；
[0027]如果所述核心字段标记值不同且所述数据来源不同，则确定数据处理方式为所述新增数据不覆盖所述已存储数据并生成数据处理日志。
[0028]在一些实施例中，获取所述新增数据的第一可信度评分和所述已存储数据的第二可信度评分，包括如下步骤：
[0029]分别获取所述新增数据的第一数据来源和所述已存储数据的第二数据来源；
[0030]在预设的可信度评价策略表中，根据所述第一数据来源确定所述新增数据所符合的第一评价策略，根据所述第二数据来源确定所述已存储数据所符合的第二评价策略，并分别查询所述第一评价策略所对应的第一可信度评分和所述第二评价策略所对应的第二可信度评分。
[0031]在一些实施例中，获取所述新增数据的第一可信度评分和所述已存储数据的第二
可信度评分，包括如下步骤：
[0032]获取所述新增数据的数据对象类型；
[0033]分别获取所述新增数据的第一数据来源和所述已存储数据的第二数据来源；
[0034]比较所述新增数据和所述已存储数据中各个字段的值，确定发生变更的涉及字段；
[0035]在预设的可信度评价策略表中，根据所述数据对象类型、所述第一数据来源和所述涉及字段确定所述新增数据所符合的第一评价策略，根据所述数据对象类型、所述第二数据来源和所述涉及字段确定所述第二数据来源所符合的第二评价策略，并分别查询所述第一评价策略所对应的第一可信度评分和所述第二评价策略所对应的第二可信度评分。
[0036]在一些实施例中，根据所述第一可信度评分和所述第二可信度评分的比较结果，确定数据处理方式，包括如下步骤：
[0037]如果所述第一可信度评分高于所述第二可信度评分，则数据处理方式为所述新增数据覆盖所述已存储数据，生成数据处理日志，并推送至用户端；
[0038]如果所述第一可信度评分等于或低于所述第二可信度评分，则数据处理方式为所述新增数据不覆盖所述已存储数据，生成数据处理日志，并推送至所述用户端。
[0039]在一些实施例中，还包括如下步骤：
[0040]接收所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多源数据处理方法，其特征在于，包括如下步骤：接收新增数据，并获取新增数据的主键；当查询到与所述新增数据具有相同主键的已存储数据时，比较所述新增数据和所述已存储数据的核心字段标记值和数据来源；当所述新增数据和所述已存储数据的核心字段标记值相同且数据来源不同时，获取所述新增数据的第一可信度评分和所述已存储数据的第二可信度评分；根据所述第一可信度评分和所述第二可信度评分的比较结果，确定数据处理方式，所述数据处理方式包括所述新增数据覆盖所述已存储数据和所述新增数据不覆盖所述已存储数据。2.根据权利要求1所述的多源数据处理方法，其特征在于，比较所述新增数据和所述已存储数据的核心字段标记值和数据来源，包括如下步骤：获取所述新增数据的核心字段的值，采用预设映射算法计算得到所述新增数据的核心字段标记值；获取所述已存储数据的核心字段标记值；判断所述新增数据和所述已存储数据的核心字段标记值是否相同；如果所述核心字段标记值相同，则判断所述新增数据和所述已存储数据的数据来源是否相同；如果所述核心字段标记值相同且数据来源相同，则确定数据处理方式为所述新增数据覆盖所述已存储数据；如果所述核心字段标记值相同且数据来源不同，则获取所述新增数据的数据来源的第一可信度评分和所述已存储数据的第二可信度评分。3.根据权利要求2所述的多源数据处理方法，其特征在于，判断所述新增数据和所述已存储数据的核心字段标记值是否相同之后，还包括如下步骤：如果所述核心字段标记值不同，则判断所述新增数据和所述已存储数据的数据来源是否相同；如果所述核心字段标记值不同且所述数据来源相同，则确定发生变更的异常核心字段；根据所述异常核心字段生成异常覆盖提示，并推送至用户端；接收用户端的数据处理指令，如果所述数据处理指令为确认覆盖，则确定数据处理方式为所述新增数据覆盖所述已存储数据；如果所述核心字段标记值不同且所述数据来源不同，则确定数据处理方式为所述新增数据不覆盖所述已存储数据并生成数据处理日志。4.根据权利要求1所述的多源数据处理方法，其特征在于，获取所述新增数据的第一可信度评分和所述已存储数据的第二可信度评分，包括如下步骤：分别获取所述新增数据的第一数据来源和所述已存储数据的第二数据来源；在预设的可信度评价策略表中，根据所述第一数据来源确定所述新增数据所符合的第一评价策略，根据所述第二数据来源确定所述已存储数据所符合的第二评价策略，并分别查询所述第一评价策略所对应的第一可信度评分和所述第二评价策略所对应的第二可信度评分。
5.根据权利要求1所述的多源数据处理方法，其特征在于，获取所述...

【专利技术属性】
技术研发人员：桂清，李家强，曹懿鹏，
申请(专利权)人：上海领世通信技术发展有限公司，
类型：发明
国别省市：