数据处理方法、装置、设备、介质及产品制造方法及图纸

本发明专利技术提供了一种数据处理方法、装置、设备、介质及产品，通过获取对目标源数据进行处理的配置信息，配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；根据配置信息生成对应的处理指令，并将处理指令发送给源数据库，以使源数据库根据处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；若根据源数据库信息及目标数据库信息确定源数据库与目标数据库为不同数据库，则获取目标结果数据，并将目标结果数据同步到目标数据库，即使在大数据环境下，也能够将数据的处理进行充分的分散到各个源数据库中，满足大数据环境的数据处理要求。环境的数据处理要求。环境的数据处理要求。

【技术实现步骤摘要】
数据处理方法、装置、设备、介质及产品


[0001]本专利技术实施例涉及大数据处理
，尤其涉及一种数据处理方法、装置、设备、介质及产品。

技术介绍

[0002]随着信息技术的高速发展，特别是云计算和大数据技术的兴起，数据的处理全面进入大数据时代。这对数据的处理能力和效率提出了更高的要求。
[0003]目前对数据的处理方式采用数据仓库技术(简称：ETL技术)，ETL技术通过配置的数据源信息，建立与数据源的连接，然后将数据读取到本地内存当中，接着通过配置策略对内存中的数据进行处理，形成目标数据，最后将内存中的目标数据写入目标数据库中。
[0004]但是ETL技术由于内存资源开销、网络带宽等因素，只提供非大数据环境下的数据处理。并不适用于大数据环境的数据处理。

技术实现思路

[0005]本专利技术实施例提供一种数据处理方法、装置、设备、介质及产品，解决了现有技术中ETL技术由于内存资源开销、网络带宽等因素，只提供非大数据环境下的数据处理。并不适用于大数据环境的数据处理的技术问题。
[0006]第一方面，本专利技术实施例提供一种数据处理方法，包括：
[0007]获取对目标源数据进行处理的配置信息，所述配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；
[0008]根据所述配置信息生成对应的处理指令，并将所述处理指令发送给源数据库，以使所述源数据库根据所述处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；<br/>[0009]若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则获取所述目标结果数据，并将所述目标结果数据同步到目标数据库。
[0010]进一步地，如上所述的方法，若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则还包括：
[0011]判断所述源数据库与目标数据库是否为不同类型的数据库；
[0012]若确定所述源数据库与目标数据库为不同类型的数据库，则将所述目标结果数据同步到目标数据库之前，还包括：
[0013]对所述目标结果数据进行类型格式转换。
[0014]进一步地，如上所述的方法，所述获取对目标源数据进行处理的配置信息，包括：
[0015]接收用户对可视化配置界面中配置组件的触发操作；
[0016]响应于所述触发操作，获取用户通过配置组件输入的对目标源数据进行处理的配置信息。
[0017]进一步地，如上所述的方法，所述配置信息中还包括：目标源数据是否为周期性处
理数据；
[0018]若确定目标源数据为周期性处理数据，则所述根据所述配置信息生成对应的处理指令，并将所述处理指令发送给源数据库，包括：
[0019]根据所述配置信息周期性生成对应的处理指令，并将所述处理指令周期性地发送给源数据库。
[0020]第二方面，本专利技术实施例提供一种数据处理装置，包括：
[0021]获取模块，用于获取对目标源数据进行处理的配置信息，所述配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；
[0022]生成模块，用于根据所述配置信息生成对应的处理指令；
[0023]发送模块，用于将所述处理指令发送给源数据库，以使所述源数据库根据所述处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；
[0024]同步模块，用于若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则获取所述目标结果数据，并将所述目标结果数据同步到目标数据库。
[0025]进一步地，如上所述的装置，还包括：
[0026]判断模块，用于若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则判断所述源数据库与目标数据库是否为不同类型的数据库；
[0027]转换模块，用于若确定所述源数据库与目标数据库为不同类型的数据库，则将所述目标结果数据同步到目标数据库之前，对所述目标结果数据进行类型格式转换。
[0028]进一步地，如上所述的装置，所述获取模块，具体用于：
[0029]接收用户对可视化配置界面中配置组件的触发操作；响应于所述触发操作，获取用户通过配置组件输入的对目标源数据进行处理的配置信息。
[0030]进一步地，如上所述的装置，所述配置信息中还包括：目标源数据是否为周期性处理数据；
[0031]所述生成模块，具体用于若确定目标源数据为周期性处理数据，则根据所述配置信息周期性生成对应的处理指令；
[0032]所述发送模块，具体用于将所述处理指令周期性地发送给源数据库。
[0033]第三方面，本专利技术实施例提供一种电子设备，包括：
[0034]存储器，处理器以及计算机程序；
[0035]其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如第一方面中任一项所述的方法。
[0036]第四方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面中任一项所述的方法。
[0037]第五方面，本专利技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面中任一项所述的方法。
[0038]本专利技术实施例提供一种数据处理方法、装置、设备、介质及产品，通过获取对目标源数据进行处理的配置信息，所述配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；根据所述配置信息生成对应的处理指令，并将所述处
理指令发送给源数据库，以使所述源数据库根据所述处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则获取所述目标结果数据，并将所述目标结果数据同步到目标数据库，由于根据配置信息生成处理指令，并发送给源数据库，使对目标源数据的处理在源数据库中进行，所以即使在大数据环境下，也能够将数据的处理进行充分的分散到各个源数据库中，满足大数据环境的数据处理要求。
[0039]应当理解，上述
技术实现思路
部分中所描述的内容并非旨在限定本专利技术的实施例的关键或重要特征，亦非用于限制本专利技术的范围。本专利技术的其它特征将通过以下的描述变得容易理解。
附图说明
[0040]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0041]图1为现有技术提供的数据处理方法的应用场景图；
[0042]图2为本专利技术实施例提供的数据处理方法的一种应用场景图；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取对目标源数据进行处理的配置信息，所述配置信息中包括：目标源数据信息，目标源数据的源数据库信息、目标数据库信息及处理策略；根据所述配置信息生成对应的处理指令，并将所述处理指令发送给源数据库，以使所述源数据库根据所述处理指令中的目标源数据信息及处理策略对目标源数据进行处理，并生成目标结果数据；若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则获取所述目标结果数据，并将所述目标结果数据同步到目标数据库。2.根据权利要求1所述的方法，其特征在于，若根据所述源数据库信息及所述目标数据库信息确定所述源数据库与目标数据库为不同数据库，则还包括：判断所述源数据库与目标数据库是否为不同类型的数据库；若确定所述源数据库与目标数据库为不同类型的数据库，则将所述目标结果数据同步到目标数据库之前，还包括：对所述目标结果数据进行类型格式转换。3.根据权利要求1所述的方法，其特征在于，所述获取对目标源数据进行处理的配置信息，包括：接收用户对可视化配置界面中配置组件的触发操作；响应于所述触发操作，获取用户通过配置组件输入的对目标源数据进行处理的配置信息。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述配置信息中还包括：目标源数据是否为周期性处理数据；若确定目标源数据为周期性处理数据，则所述根据所述配置信息生成对应的处理指令，并将所述处理指令发送给源数据库，包括：根据所述配置信息周期性生成对应的处理指令，并将所述处理指令周期性地发送给源数据库。5.一种数据处理装置，其特征在于，包括：获取模块，用于获取对目标源数据进行处理的配置信息，所述配置信息中包括：目标源数据信息，...

【专利技术属性】
技术研发人员：陈东平，邹展，吕烨，谢云龙，
申请(专利权)人：联通大数据有限公司，
类型：发明
国别省市：