数据传输方法、装置、设备及可读介质制造方法及图纸

本发明专利技术提供了数据传输方法、装置、设备及可读介质。方法包括：根据待抽取数据的至少一种目标抽取参数生成数据抽取信息；其中，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；将所述数据抽取信息发送给数据存储端，以使所述数据存储端根据所述数据抽取信息中的所述目标抽取参数返回包含所述待抽取数据的数据文件；根据所述数据文件获取所述待抽取数据。本发明专利技术的方案

【技术实现步骤摘要】
数据传输方法、装置、设备及可读介质


[0001]本专利技术涉及数据处理领域，特别涉及数据传输方法、装置、设备及可读介质。

技术介绍

[0002]在部级，省级，地市级垂直管理的行业中，省级建立了省集中的数据库，部级单位需要对各个省、市级单位的业务数据进行采集抽取。
[0003]目前的数据抽取方法主要是利用MQ、MT等中间件传输数据，具有数据压缩、传输大文件、断点续传等功能，可以实现文件安全、可靠的传输。但目前大部分中间件传输方式存在效率较低，需要对应的接口开发工作量，数据抽取不灵活的缺点。
[0004]针对于上述数据抽取时数据传输方法的不足，需要一种效率更高的数据传输方法。

技术实现思路

[0005]本专利技术实施例提供了数据传输方法、装置、设备及可读介质，能够提高数据传输的效率。
[0006]一方面，本专利技术实施例提供了一种数据传输方法，应用于数据抽取端，包括：
[0007]根据待抽取数据的至少一种目标抽取参数生成数据抽取信息；其中，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；
[0008]将所述数据抽取信息发送给数据存储端，以使所述数据存储端根据所述数据抽取信息中的所述目标抽取参数返回包含所述待抽取数据的数据文件；
[0009]根据所述数据文件获取所述待抽取数据。
[0010]可选的，所述根据待抽取数据的至少一种目标抽取参数生成数据抽取信息，包括：
[0011]根据所述至少一种目标抽取参数生成MQ信息；
>[0012]通过已保存的预设非对称加密算法的公钥对所述MQ信息进行加密，得到所述数据抽取信息，以使所述数据存储端通过已保存的所述非对称加密算法的私钥对所述数据抽取信息进行解密，并根据所述数据抽取信息返回所述数据文件。
[0013]可选的，所述根据所述数据文件获取所述待抽取数据，包括：
[0014]对所述数据文件进行解压，其中，所述数据文件由所述数据存储端在返回至所述收据抽取端前进行压缩；
[0015]确定解压后的所述数据文件中包含的密钥以及加密数据，其中，所述加密数据由所述数据存储端通过所述密钥对所述待抽取数据进行加密获得；
[0016]根据所述密钥对所述加密数据进行解密，得到所述待抽取数据。
[0017]另一方面，本专利技术实施例提供了一种数据传输方法，应用于数据存储端，包括：
[0018]接收来自数据抽取端的数据抽取信息；其中，所述数据抽取信息包括待抽取数据的至少一种目标抽取参数，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；
[0019]根据所述数据抽取信息确定至少一种目标抽取参数；
[0020]根据所述目标抽取参数获取待抽取数据并基于所述待抽取数据生成数据文件，将所述数据文件返回至所述数据抽取端。
[0021]可选的，所述根据所述数据抽取信息确定至少一种目标抽取参数，包括：
[0022]通过已保存的预设非对称加密算法的私钥对所述数据抽取信息进行解密，其中，所述数据抽取信息由所述数据抽取端通过已保存的预设非对称加密算法的公钥对所述数据抽取信息进行加密；
[0023]根据解密后的所述数据抽取信息确定至少一种所述目标抽取参数。
[0024]可选的，所述基于所述待抽取数据生成数据文件，包括：
[0025]将所述待抽取数据输出为CSV数据文件；
[0026]对所述CSV数据文件进行压缩并通过预设的密钥对所述CSV数据文件进行加密，得到加密数据；
[0027]将所述加密数据和所述密钥进行压缩，得到压缩后的所述数据文件。
[0028]另一方面，本专利技术实施例提供了一种数据抽取端，包括：
[0029]数据抽取信息生成单元，用于根据待抽取数据的至少一种目标抽取参数生成数据抽取信息；其中，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；
[0030]数据抽取信息发送单元，用于将所述数据抽取信息发送给数据存储端，以使所述数据存储端根据所述数据抽取信息中的所述目标抽取参数返回包含所述待抽取数据的数据文件；
[0031]待抽取数据获取单元，用于根据所述数据文件获取所述待抽取数据。
[0032]另一方面，本专利技术实施例提供了一种数据存储端，包括：
[0033]数据抽取信息接收单元，用于接收来自数据抽取端的数据抽取信息；其中，所述数据抽取信息包括待抽取数据的至少一种目标抽取参数，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；
[0034]目标抽取参数确定单元，用于根据所述数据抽取信息确定至少一种目标抽取参数；
[0035]数据文件生成单元，用于根据所述目标抽取参数获取待抽取数据并基于所述待抽取数据生成数据文件，将所述数据文件返回至所述数据抽取端。
[0036]另一方面，本专利技术实施例提供了一种电子设备，包括：至少一个存储器和至少一个处理器；
[0037]所述至少一个存储器，用于存储机器可读程序；
[0038]所述至少一个处理器，用于调用所述机器可读程序，执行上述实施例中任一所述的方法。
[0039]另一方面，本专利技术实施例提供了一种计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行上述实施例中任一所述的方法。
[0040]本专利技术实施例提供了数据传输方法，根据待抽取数据的至少一种目标抽取参数生成数据抽取信息；其中，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种
抽取参数；将所述数据抽取信息发送给数据存储端，以使所述数据存储端根据所述数据抽取信息中的所述目标抽取参数返回包含所述待抽取数据的数据文件；根据所述数据文件获取所述待抽取数据。本专利技术实施例提供的方案在保障数据抽取完整的前提下实施人员只需要数据抽取信息即可自动抽取数据，无需关注抽取过程的具体实现，从而在响应行业管理机构对数据的采集抽取需求的情况下提高数据传输效率。
附图说明
[0041]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1是本专利技术一实施例提供的一种数据传输方法的流程图；
[0043]图2是本专利技术一实施例提供的一种数据传输方法的流程图；
[0044]图3是本专利技术一实施例提供的一种数据抽取端的示意图；
[0045]图4是本专利技术一实施例提供的一种数据存储端的示意图。
具体实施方式
[0046]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.数据传输方法，其特征在于，应用于数据抽取端，包括：根据待抽取数据的至少一种目标抽取参数生成数据抽取信息；其中，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；将所述数据抽取信息发送给数据存储端，以使所述数据存储端根据所述数据抽取信息中的所述目标抽取参数返回包含所述待抽取数据的数据文件；根据所述数据文件获取所述待抽取数据。2.根据权利要求1所述的方法，其特征在于，所述根据待抽取数据的至少一种目标抽取参数生成数据抽取信息，包括：根据所述至少一种目标抽取参数生成MQ信息；通过已保存的预设非对称加密算法的公钥对所述MQ信息进行加密，得到所述数据抽取信息，以使所述数据存储端通过已保存的所述非对称加密算法的私钥对所述数据抽取信息进行解密，并根据所述数据抽取信息返回所述数据文件。3.根据权利要求1所述的方法，其特征在于，所述根据所述数据文件获取所述待抽取数据，包括：对所述数据文件进行解压，其中，所述数据文件由所述数据存储端在返回至所述收据抽取端前进行压缩；确定解压后的所述数据文件中包含的密钥以及加密数据，其中，所述加密数据由所述数据存储端通过所述密钥对所述待抽取数据进行加密获得；根据所述密钥对所述加密数据进行解密，得到所述待抽取数据。4.数据传输方法，其特征在于，应用于数据存储端，包括：接收来自数据抽取端的数据抽取信息；其中，所述数据抽取信息包括待抽取数据的至少一种目标抽取参数，所述数据存储端存储有至少一组数据，每组所述数据对应至少一种抽取参数；根据所述数据抽取信息确定至少一种目标抽取参数；根据所述目标抽取参数获取待抽取数据并基于所述待抽取数据生成数据文件，将所述数据文件返回至所述数据抽取端。5.根据权利要求4所述的方法，其特征在于，所述根据所述数据抽取信息确定至少一种目标抽取参数，包括：通过已保存的预设非对称加密算法的私钥对所述数据抽取信息进行解密，其中，所述数据抽取信息由所述数据抽取端通过已保存的预设...

【专利技术属性】
技术研发人员：颜朋，雷天武，王国良，
申请(专利权)人：山东浪潮数字商业科技有限公司，
类型：发明
国别省市：