大数据传输方法、装置、计算机设备及存储介质制造方法及图纸

本申请涉及计算机技术领域，公开了一种大数据传输方法、装置、计算机设备及存储介质，包括：若数据传输接口接收到客户端发送的大数据传输请求，调用计算引擎从数据库中获取大数据传输请求中第一标识信息对应的目标数据；按照预设传输数据量将目标数据写入至少一个目标文件；将至少一个目标文件存储于分布式存储器；对至少一个目标文件进行标记处理，确定每个目标文件的第二标识信息；通过数据传输接口将第二标识信息发送至客户端；若数据传输接口接收到客户端发送的数据调用请求，通过数据传输接口将分布式存储器中数据调用请求中目标标识信息对应的目标文件发送至客户端，实现了高效、灵活的大数据传输。灵活的大数据传输。灵活的大数据传输。

【技术实现步骤摘要】
大数据传输方法、装置、计算机设备及存储介质


[0001]本申请涉及计算机
，尤其是涉及到一种大数据传输方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着云时代的来临，大数据(Big data)也吸引了越来越多的关注。大数据通常用来形容大量非结构化和半结构化数据。目前，传统的大数据传输方案是通过大数据平台离线清洗数据，然后将清洗后的数据文件通过SFTP(SSH File Transfer Protocol，安全文件传送协议)的方式送到对接方目的地址。但该方案只能实现T+1日文件传送，不能满足高时效的需求，特别是针对大数据，传输效率较低。而且，数据文件的内容、格式一经固定便不能更改，不够灵活。

技术实现思路

[0003]有鉴于此，本申请提供了一种大数据传输方法、装置、计算机设备及存储介质，以解决大数据量的数据传输效率低、不灵活的问题。
[0004]第一方面，提供了一种大数据传输方法，包括：
[0005]若数据传输接口接收到客户端发送的大数据传输请求，调用计算引擎从数据库中获取大数据传输请求中第一标识信息对应的目标数据；
[0006]调用所述计算引擎按照预设传输数据量将目标数据写入至少一个目标文件；
[0007]将至少一个目标文件存储于分布式存储器；
[0008]对至少一个目标文件进行标记处理，确定每个目标文件的第二标识信息；
[0009]通过数据传输接口将第二标识信息发送至客户端；
[0010]若数据传输接口接收到客户端发送的数据调用请求，通过数据传输接口将分布式存储器中数据调用请求中目标标识信息对应的目标文件发送至客户端，其中，第二标识信息包括目标标识信息。
[0011]进一步地，按照预设传输数据量将目标数据写入至少一个目标文件，包括：
[0012]根据预设传输数据量和目标数据的总数据量，确定至少一个目标文件的文件数量；
[0013]按照文件数量匹配并行度；
[0014]按照并行度和预设传输数据量，将目标数据写入至少一个目标文件。
[0015]进一步地，大数据传输方法还包括：
[0016]若目标数据中存在敏感数据，对敏感数据进行加密处理。
[0017]进一步地，对敏感数据进行加密处理，包括：
[0018]对目标数据进行解析处理，获取符合敏感筛选条件的敏感数据；
[0019]根据预设密钥加密敏感数据；
[0020]将加密后的敏感数据写入目标数据。
[0021]进一步地，调用计算引擎从数据库中获取大数据传输请求中第一标识信息对应的目标数据，包括：
[0022]对第一标识信息进行处理，生成控制指令；
[0023]配置计算引擎的参数信息；
[0024]按照参数信息和控制指令调用计算引擎，获取目标数据。
[0025]进一步地，按照预设传输数据量将目标数据写入至少一个目标文件之后，方法还包括：将目标数据的状态信息更新为已处理状态；
[0026]通过数据传输接口将第二标识信息发送至客户端，包括：若数据传输接口接收到客户端发送的状态查询请求，获取目标数据的状态信息；若状态信息为已处理状态，通过数据传输接口将第二标识信息发送至客户端。
[0027]进一步地，分布式存储器包括以下至少一种：GFS存储器、NAS存储器、NFS存储器。
[0028]进一步地，调用计算引擎从数据库中获取大数据传输请求中第一标识信息对应的目标数据，包括：
[0029]比对大数据传输请求中客户端的用户信息和目标数据的权限信息；
[0030]若用户信息符合权限信息，调用计算引擎从数据库中获取大数据传输请求中第一标识信息对应的目标数据。
[0031]第二方面，提供了一种大数据传输装置，包括：
[0032]处理模块，用于若数据传输接口接收到客户端发送的大数据传输请求，调用计算引擎从数据库中获取大数据传输请求中第一标识信息对应的目标数据；以及，
[0033]调用计算引擎按照预设传输数据量将目标数据写入至少一个目标文件；
[0034]存储模块，用于将至少一个目标文件存储于分布式存储器；
[0035]处理模块，还用于对至少一个目标文件进行标记处理，确定每个目标文件的第二标识信息；
[0036]通信模块，用于通过数据传输接口将第二标识信息发送至客户端；以及，
[0037]若接收到客户端发送的数据调用请求，通过数据传输接口将分布式存储器中数据调用请求中目标标识信息对应的目标文件发送至客户端，其中，第二标识信息包括目标标识信息。
[0038]进一步地，处理模块，具体用于根据预设传输数据量和目标数据的总数据量，确定至少一个目标文件的文件数量；按照文件数量匹配并行度；按照并行度和预设传输数据量，将目标数据写入至少一个目标文件。
[0039]进一步地，大数据传输装置还包括：
[0040]加解密模块，用于若目标数据中存在敏感数据，对敏感数据进行加密处理。
[0041]进一步地，加解密模块，具体用于对目标数据进行解析处理，获取符合敏感筛选条件的敏感数据；根据预设密钥加密敏感数据；将加密后的敏感数据写入目标数据。
[0042]进一步地，处理模块，具体用于对第一标识信息进行处理，生成控制指令；配置计算引擎的参数信息；按照参数信息和控制指令调用计算引擎，获取目标数据。
[0043]进一步地，处理模块，还用于将目标数据的状态信息更新为已处理状态；
[0044]通信模块，具体用于若数据传输接口接收到客户端发送的状态查询请求，获取目标数据的状态信息；若状态信息为已处理状态，通过数据传输接口将第二标识信息发送至
客户端。
[0045]进一步地，处理模块，还用于比对大数据传输请求中客户端的用户信息和目标数据的权限信息；若用户信息符合权限信息，调用计算引擎从数据库中获取大数据传输请求中第一标识信息对应的目标数据。
[0046]进一步地，分布式存储器包括以下至少一种：GFS存储器、NAS存储器、NFS存储器。
[0047]第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述大数据传输方法的步骤。
[0048]第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述大数据传输方法的步骤。
[0049]上述大数据传输方法、装置、计算机设备及存储介质所实现的方案中，当客户端需要获取目标数据时，客户端接入大数据系统提供的数据传输接口，并将发起大数据传输请求。大数据系统接收到大数据传输请求后，大数据系统解析出大数据传输请求中的第一标识信息，并利用第一标识信息调取出客户端需求的目标数据。获得目标数据后，大数据系统按照数据传输接口允许的预设传输数据量，将目标数据分配至至少一个目标文件中，从而实现了大数据的拆分。进一步地，大数据系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据传输方法，其特征在于，包括：若数据传输接口接收到客户端发送的大数据传输请求，调用计算引擎从数据库中获取所述大数据传输请求中第一标识信息对应的目标数据；按照预设传输数据量将所述目标数据写入至少一个目标文件；将所述至少一个目标文件存储于分布式存储器；对所述至少一个目标文件进行标记处理，确定每个目标文件的第二标识信息；通过所述数据传输接口将所述第二标识信息发送至所述客户端；若所述数据传输接口接收到所述客户端发送的数据调用请求，通过所述数据传输接口将所述分布式存储器中所述数据调用请求中目标标识信息对应的目标文件发送至所述客户端，其中，所述第二标识信息包括所述目标标识信息。2.根据权利要求1所述的大数据传输方法，其特征在于，所述按照预设传输数据量将所述目标数据写入至少一个目标文件，包括：根据所述预设传输数据量和所述目标数据的总数据量，确定所述至少一个目标文件的文件数量；按照所述文件数量匹配并行度；按照所述并行度和所述预设传输数据量，将所述目标数据写入所述至少一个目标文件。3.根据权利要求1所述的大数据传输方法，其特征在于，所述调用计算引擎从数据库中获取所述大数据传输请求中第一标识信息对应的目标数据之后，所述方法还包括：若所述目标数据中存在敏感数据，对所述敏感数据进行加密处理。4.根据权利要求3所述的大数据传输方法，其特征在于，所述对所述敏感数据进行加密处理，包括：对所述目标数据进行解析处理，获取符合敏感筛选条件的所述敏感数据；根据预设密钥加密所述敏感数据；将加密后的所述敏感数据写入所述目标数据。5.根据权利要求1所述的大数据传输方法，其特征在于，所述调用计算引擎从数据库中获取所述大数据传输请求中第一标识信息对应的目标数据，包括：对所述第一标识信息进行处理，生成控制指令；配置所述计算引擎的参数信息；按照所述参数信息和所述控制指令调用所述计算引擎，获取所述目标数据。6.根据权利要求1所述的大数据传输方法，其特征在于，按照预设传输数据量将所述目标...

【专利技术属性】
技术研发人员：吴有亮，
申请(专利权)人：平安壹钱包电子商务有限公司，
类型：发明
国别省市：