本申请实施例公开了一种异构数据处理方法、装置、电子设备及存储介质，该方法包括：确定待采集数据源以及待采集数据源包含的异构数据类型名；根据异构数据类型名和待采集数据源，配置异构数据采集脚本；执行异构数据采集脚本，得到异构数据类型名对应的异构数据；从待整合数据库的整合数据类型名中确定异构数据类型名对应的目标整合数据类型名；将异构数据类型名对应的异构数据整合到目标整合数据类型名对应的所述待整合数据库。通过脚本对异构数据以及异构数据对应的异构数据类型名的获取，便于根据异构数据类型名快速实现对异构数据的整合，提升异构数据的存储效率，解决异构数据处理耗时、消耗较多资源的问题。构数据处理耗时、消耗较多资源的问题。构数据处理耗时、消耗较多资源的问题。
【技术实现步骤摘要】
异构数据处理方法、装置、电子设备及存储介质
[0001]本申请实施例涉及计算机
，具体涉及一种异构数据处理方法、装置、电子设备及存储介质。
技术介绍
[0002]现有的数据对接方式是按照品牌厂商的要求对各数据字段进行定制化开发，根据数据字段设计表结构存储数据，无法实现自动对异构数据进行抓取并自动存储，需要编程开发数据获取，耗费人力及开发时间，增加应用程序版本工作量，延长上线时效，难以满足现在应用程序快速上线的场景应用需求。
技术实现思路
[0003]本申请实施例提供一种异构数据处理方法、装置、电子设备及存储介质，可以实现异构数据的快速整合存储。
[0004]第一方面，本申请实施例提供了一种异构数据处理方法，应用于电子设备，包括：
[0005]针对待采集数据源，确定所述待采集数据源包含的异构数据类型名；
[0006]根据所述异构数据类型名和所述待采集数据源，配置异构数据采集脚本，所述异构数据采集脚本被配置为针对所述待采集数据源中所述异构数据类型名的异构数据的采集；
[0007]执行所述异构数据采集脚本，得到所述异构数据；
[0008]从待整合数据库的整合数据类型名中确定所述异构数据类型名对应的目标整合数据类型名；
[0009]将所述异构数据类型名对应的异构数据整合到所述目标整合数据类型名对应的所述待整合数据库。
[0010]第二方面，本申请实施例还提供了一种异构数据处理装置，包括：
[0011]确定模块，用于针对待采集数据源，确定所述待采集数据源包含的异构数据类型名；
[0012]配置模块，用于根据所述异构数据类型名和所述待采集数据源，配置异构数据采集脚本，所述异构数据采集脚本被配置为针对所述待采集数据源中所述异构数据类型名的异构数据的采集；
[0013]执行模块，用于执行所述异构数据采集脚本，得到所述异构数据；
[0014]准备模块，用于从待整合数据库的整合数据类型名中确定所述异构数据类型名对应的目标整合数据类型名；
[0015]处理模块，用于将所述异构数据类型名对应的异构数据整合到所述目标整合数据类型名对应的所述待整合数据库。
[0016]其中，在本申请的一些实施例中，准备模块包括：
[0017]数据确定单元，用于确定待整合数据库以及所述待整合数据库对应的整合数据类
型名；
[0018]名称确定单元，用于从所述整合数据类型名中确定所述异构数据类型名对应的目标整合数据类型名。
[0019]其中，在本申请的一些实施例中，名称确定单元包括：
[0020]第一变换子单元，用于对所述异构数据类型名进行同义词变换，得到异构类型名同义词；
[0021]第一确定子单元，用于将与所述异构类型名同义词相同的整合数据类型名作为目标整合数据类型名。
[0022]其中，在本申请的一些实施例中，名称确定单元包括：
[0023]第二变换子单元，用于对所述异构数据类型名进行同义词变换，得到异构类型名同义词；
[0024]第三变换子单元，用于对所述整合数据类型名进行同义词变换，得到整合类型名同义词；
[0025]第二确定子单元，用于将整合类型名同义词和异构类型名同义词相同的整合数据类型名作为目标整合数据类型名。
[0026]其中，在本申请的一些实施例中，名称确定单元包括：
[0027]输入子单元，用于将所述异构数据类型名输入到预设文本编码模型，得到异构类型名编码结果；
[0028]第三确定子单元，用于从类型名预编码结果中，确定与所述异构类型名编码结果相同或者相似的目标类型名预编码结果，所述类型名预编码结果是根据所述预设文本编码模型对整合数据类型名预先进行编码得到的；
[0029]第四确定子单元，用于将所述目标类型名预编码结果对应的整合数据类型名作为目标整合数据类型名。
[0030]其中，在本申请的一些实施例中，准备模块包括：
[0031]变换单元，用于当所述异构数据的数据格式与所述目标整合数据类型名的数据格式不一致时，根据所述目标整合数据类型名的数据格式对所述异构数据进行格式变换，得到变换后异构数据；
[0032]写入单元，用于将所述变换后异构数据写入到对应目标整合数据类型名的所述待整合数据库中。
[0033]其中，在本申请的一些实施例中，执行模块包括：
[0034]执行单元，用于执行所述异构数据采集脚本，得到异构数据暂存文件；
[0035]解析单元，用于解析所述异构数据暂存文件，得到所述异构数据类型名以及所述异构数据类型名对应的异构数据。
[0036]第三方面，本申请实施例还提供了一种电子设备，电子设备包括存储器、处理器及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的异构数据处理方法中的步骤。
[0037]第四方面，本申请实施例还提供了一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的异构数据处理方法中的步骤。
[0038]其中，本申请实施例针对待采集数据源，确定待采集数据源包含的异构数据类型
名，根据异构数据类型名和待采集数据源配置异构数据采集脚本，执行异构数据采集脚本，得到异构数据类型名对应的异构数据，从待整合数据库的整合数据类型名中确定异构数据类型名对应的目标整合数据类型名，将异构数据类型名对应的异构数据整合到目标整合数据类型名对应的待整合数据库。其中，通过异构数据类型名配置异构数据采集脚本，使得通过脚本的执行实现对异构数据的采集，提升数据采集效率。其中，通过脚本对异构数据以及异构数据对应的异构数据类型名的获取，便于根据异构数据类型名快速实现对数据的整合，提升异构数据的存储效率，解决异构数据处理耗时、消耗较多资源的问题。其中，异构数据根据该异构数据对应的异构数据类型名进行整合处理，提升数据整合处理的准确性。
附图说明
[0039]为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1是本申请实施例提供的异构数据处理方法的场景示意图；
[0041]图2是本申请实施例提供的异构数据处理方法的流程示意图；
[0042]图3是本申请实施例提供的异构数据处理方法的另一流程示意图；
[0043]图4是本申请实施例提供的异构数据处理装置的结构示意图；
[0044]图5是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0045]下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种异构数据处理方法，其特征在于，包括：针对待采集数据源，确定所述待采集数据源包含的异构数据类型名；根据所述异构数据类型名和所述待采集数据源，配置异构数据采集脚本，所述异构数据采集脚本被配置为针对所述待采集数据源中所述异构数据类型名的异构数据的采集；执行所述异构数据采集脚本，得到所述异构数据；从待整合数据库的整合数据类型名中确定所述异构数据类型名对应的目标整合数据类型名；将所述异构数据类型名对应的异构数据整合到所述目标整合数据类型名对应的所述待整合数据库。2.根据权利要求1所述的方法，其特征在于，所述从待整合数据库的整合数据类型名中确定所述异构数据类型名对应的目标整合数据类型名，包括：确定待整合数据库以及所述待整合数据库对应的整合数据类型名；从所述整合数据类型名中确定所述异构数据类型名对应的目标整合数据类型名。3.根据权利要求2所述的方法，其特征在于，所述从所述整合数据类型名中确定所述异构数据类型名对应的目标整合数据类型名，包括：对所述异构数据类型名进行同义词变换，得到异构类型名同义词；将与所述异构类型名同义词相同的整合数据类型名作为目标整合数据类型名。4.根据权利要求2所述的方法，其特征在于，所述从所述整合数据类型名中确定所述异构数据类型名对应的目标整合数据类型名，包括：对所述异构数据类型名进行同义词变换，得到异构类型名同义词；对所述整合数据类型名进行同义词变换，得到整合类型名同义词；将整合类型名同义词和异构类型名同义词相同的整合数据类型名作为目标整合数据类型名。5.根据权利要求2所述的方法，其特征在于，所述从所述整合数据类型名中确定所述异构数据类型名对应的目标整合数据类型名，包括：将所述异构数据类型名输入到预设文本编码模型，得到异构类型名编码结果；从类型名预编码结果中，确定与所述异构类型名编码结果相同或者相似的目标类型名预编码结果，所述类型名预编码结果是根据所述预设文本编码模型对整合数据类型名预先进行编码得到的；将所述目标类型名预编码结果对应...
【专利技术属性】
技术研发人员：张春和，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。