数据融合方法及装置制造方法及图纸

本申请提供一种数据融合方法，方法包括：针对每个源表，基于已存储的目标表字段确定源表的映射配置信息，映射配置信息包含源表字段与目标表字段的映射关系及源表字段对应的转换规则；依据源表字段与目标表字段的映射关系，并利用源表字段对应的转换规则将该源表中的源表字段的数据转换到该源表对应的目标表中；依据预先配置的目标表的主键字段，将每个目标表中的所述目标表字段的数据融合到最终目标表中；每个源表对应的目标表以及最终目标表的结构均一致。通过确定每个源表的映射配置信息实现数据融合可减少数据融合代码量，且即使源表的维度发生变化，只要更改映射配置信息即可，无需对实现数据融合的代码进行修改，因此可提高数据融合灵活性。

Data fusion method and device

【技术实现步骤摘要】
数据融合方法及装置
本申请涉及数据处理
，尤其涉及一种数据融合方法及装置。
技术介绍
随着科学技术的发展，产生数据的数据源也不断增加。面对来自不同数据源的数据，如何对各个数据源的数据进行融合，以从中获取有用信息，挖掘潜在价值成为学术界和产业界关注的焦点。目前的数据融合方案完全通过代码实现数据的融合，然而当数据种类比较多时，完全依赖代码实现会导致代码量巨大，且如果数据类型发生变化，用于实现融合的代码也需要修改，因此完全依赖代码实现数据融合的灵活性也比较低。
技术实现思路
有鉴于此，本申请提供一种数据融合方法及装置，以解决完全依赖代码实现数据融合的代码量大、灵活性低的问题。根据本申请实施例的第一方面，提供一种数据融合方法，所述方法包括：针对每个源表，基于已存储的目标表字段确定该源表对应的映射配置信息，所述映射配置信息包含源表字段与目标表字段的映射关系及源表字段对应的转换规则；依据所述源表字段与目标表字段的映射关系，并利用所述源表字段对应的转换规则将该源表中的所述源表字段的数据转换到该源表对应的目标表中；依据预先配置的目标表的主键字段，将转换得到的每个目标表中的所述目标表字段的数据融合到最终目标表中；其中，每个源表对应的目标表以及最终目标表的结构均一致。根据本申请实施例的第二方面，提供一种数据融合装置，所述装置包括：确定模块，用于针对每个源表，基于已存储的目标表字段确定该源表对应的映射配置信息，所述映射配置信息包含源表字段与目标表字段的映射关系及源表字段对应的转换规则；转换模块，用于依据所述源表字段与目标表字段的映射关系，并利用所述源表字段对应的转换规则将该源表中的所述源表字段的数据转换到该源表对应的目标表中；融合模块，用于依据预先配置的目标表的主键字段，将转换得到的每个目标表中的所述目标表字段的数据融合到最终目标表中；其中，每个源表对应的目标表以及最终目标表的结构均一致。根据本申请实施例的第三方面，提供一种电子设备，所述设备包括可读存储介质和处理器；其中，所述可读存储介质，用于存储机器可执行指令；所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现上述第一方面所述方法的步骤。应用本申请实施例，针对每个源表，通过基于已存储的目标表字段确定该源表对应的映射配置信息(包含源表字段与目标表字段的映射关系及源表字段对应的转换规则)，以依据该映射配置信息将该源表中的数据转换到目标表，由于每个源表对应的目标表和最终目标表的结构均一致，因此可以再依据预先配置的目标表的主键字段，将转换得到的每个目标表中的目标表字段的数据融合到最终目标表中，以实现数据融合。基于上述描述可知，通过确定每个源表对应的映射配置信息实现数据融合，可以减少数据融合的代码量，并且即使源表的维度(即源表字段)发生变化，只要更改映射配置信息即可，无需对实现数据融合的代码进行修改，因此可以提高数据融合的灵活性。附图说明图1A为本申请根据一示例性实施例示出的一种数据融合方法的实施例流程图；图1B为本申请根据图1A所示实施例示出的一种优先级配置页面图；图1C为本申请根据图1A所示实施例示出的一种主键字段配置页面图；图2A为本申请根据一示例性实施例示出的另一种数据融合方法的实施例流程图；图2B为本申请根据图2A所示实施例示出的一种映射配置页面图；图2C为本申请根据图2A所示实施例示出的一种映射测试页面图；图3为本申请根据一示例性实施例示出的一种电子设备的硬件结构图；图4为本申请根据一示例性实施例示出的一种数据融合装置的实施例结构图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。目前进行的数据融合通常涉及的是对多源异构数据的融合，多源异构数据指的是：每个数据源产生的数据由包含多个维度(即多个属性)的数据表记录，数据表中的每个维度的数据具有各自的取值范围和数据类型，由于每个数据源所服务的业务不同，因此所对应的每个数据表包含的属性也不同。相关技术中完全依赖代码实现的数据融合灵活性比较低，代码量也比较大。为解决上述问题，本申请提出一种数据融合方法，针对每个源表，通过基于已存储的目标表字段确定该源表对应的映射配置信息(包含源表字段与目标表字段的映射关系及源表字段对应的转换规则)，以依据该映射配置信息将该源表中的数据转换到目标表，由于每个源表对应的目标表和最终目标表的结构均一致，因此可以再依据预先配置的目标表的主键字段，将转换得到的每个目标表中的目标表字段的数据融合到最终目标表中，以实现数据融合。基于上述描述可知，通过确定每个源表对应的映射配置信息实现数据融合，可以减少数据融合的代码量，并且即使源表的维度(即源表字段)发生变化，只要更改映射配置信息即可，无需对实现数据融合的代码进行修改，因此可以提高数据融合的灵活性。下面以具体实施例对本申请技术方案进行详细说明。图1A为本申请根据一示例性实施例示出的一种数据融合方法的实施例流程图，该数据融合方法可以应用于电子设备上，如图1A所示，该数据融合方法包括如下步骤：步骤101：针对每个源表，基于已存储的目标表字段确定该源表对应的映射配置信息，所述映射配置信息包含源表字段与目标表字段的映射关系及源表字段对应的转换规则。其中，源表字段指的是源表包含的字段，目标表字段指的是目标表包含的字段，映射配置信息中的转换规则可以是中文名变拼音(如cn2py(name))，或者从身份证提取性别，或者从身份证提取年龄，或者数据类型转换等，源表字段与目标表字段之间的映射关系可以通过SQL语言实现，如CityasaddressfromA，表示源表A中的源表字段City映射的是目标表字段address。需要说明的是，每个源表中的源表字段可能均一致，也可能不一致，但每个源表中需要有一个用于唯一标本文档来自技高网...

【技术保护点】
1.一种数据融合方法，其特征在于，所述方法包括：/n针对每个源表，基于已存储的目标表字段确定该源表对应的映射配置信息，所述映射配置信息包含源表字段与目标表字段的映射关系及源表字段对应的转换规则；依据所述源表字段与目标表字段的映射关系，并利用所述源表字段对应的转换规则将该源表中的所述源表字段的数据转换到该源表对应的目标表中；/n依据预先配置的目标表的主键字段，将转换得到的每个目标表中的所述目标表字段的数据融合到最终目标表中；/n其中，每个源表对应的目标表以及最终目标表的结构均一致。/n

【技术特征摘要】
1.一种数据融合方法，其特征在于，所述方法包括：
针对每个源表，基于已存储的目标表字段确定该源表对应的映射配置信息，所述映射配置信息包含源表字段与目标表字段的映射关系及源表字段对应的转换规则；依据所述源表字段与目标表字段的映射关系，并利用所述源表字段对应的转换规则将该源表中的所述源表字段的数据转换到该源表对应的目标表中；
依据预先配置的目标表的主键字段，将转换得到的每个目标表中的所述目标表字段的数据融合到最终目标表中；
其中，每个源表对应的目标表以及最终目标表的结构均一致。


2.根据权利要求1所述的方法，其特征在于，针对每个源表，基于已存储的目标表字段确定该源表对应的映射配置信息，包括：
获取并显示该源表中的源表字段和已存储的目标表字段；
接收外部输入的源表字段与目标表字段的映射关系及源表字段对应的转换规则并存储。


3.根据权利要求1所述的方法，其特征在于，依据预先配置的目标表的主键字段，将转换得到的每个目标表中的目标表字段包含的数据融合到最终目标表中之前，所述方法进一步包括：
在接收到外部输入的优先级配置命令时，确定外部选择的目标表字段，并从每个源表对应的映射配置信息中获取该目标表字段对应的源表字段并显示；
接收外部输入的针对该目标表字段对应的源表字段的优先级配置信息并存储。


4.根据权利要求3所述的方法，其特征在于，依据预先配置的目标表的主键字段，将转换得到的每个目标表中的目标表字段包含的数据融合到最终目标表中，包括：
从每个目标表中获取所述主键字段包含的数据，并将获取的数据添加至最终目标表；
针对所述主键字段包含的每一数据，若该数据仅在一个目标表中出现，则从该一个目标表中获取该数据对应的记录，并将该记录对应该数据添加至最终目标表；
若该数据在多个目标表中出现，则从该多个目标表中获取该数据对应的记录，并从获取的多条记录中确定除主键字段之外的每个目标字段的数据，并将确定的每个目标表字段的数据对应该数据添加至最终目标表。


5.根据权利要求4所述的方法，其特征在于，从获取的多条记录中确定除主键字段之外的每个目标字段的数据，包括：
针对除主键字段之外的每个目标表字段，从所述多条记录中确定出包含该目标表字段的数据的记录；
当确定出一条记录时，将该目标表字段在该一条记录中的数据确定为该目标表字段的数据；
当确定出多条记录时，确定该目标表字段对应的源表字段的优先级配置信息，从该优先级配置信息中选择优先级最高的源表字段，并从确定出的多条记录中获取该源表字段对应的记录，并将该目标表字段在该记录中的数据确定为该目标表字段的数据；该源表字段对应的记录位于优先级最高的源表字段所在源表对应的目标表中。


6.一种数据融合装置，其特征在于，所述装置包括：
确定模块，用于针对每...

【专利技术属性】
技术研发人员：李凯，姜伟浩，闫春，浦世亮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33