一种多数据的处理方法、系统及存储介质技术方案

本发明专利技术公开了一种多数据的处理方法，其包括如下步骤：接收来自外部的数据请求指令；根据数据请求指令调取原始数据压缩包和与原始数据对应的接口校验文件；提取接口校验文件的MD5，并作为第一特征值；解压缩原始数据压缩包，并得到原始数据；提取原始数据的接口数据文件，获得待校验接口数据文件；提取待校验接口数据文件的MD5，并作为第二特征值；判断第一特征值与第二特征值是否匹配；若第一特征值与第二特征值匹配，则发送原始数据至发送数据请求指令的请求终端。本发明专利技术通过校验原始数据的接口数据文件，并对已提取的数据进行备份，防止错误数据流出导致数据失窃，保证了数据的正确性和安全性。

A multi data processing method, system and storage medium

The invention discloses a processing method of multiple data, which includes the following steps: receiving data request instructions from outside, extracting the original data compression packet and the interface check file corresponding to the original data according to the data request instruction, extracting the MD5 of the interface check file, and making the first feature value; unzip the original data. Compress the packet and obtain the original data; extract the interface data file of the original data, obtain the interface data file, extract the MD5 of the interface data file to be checked and be used as the second feature value; determine whether the first feature value matches the second characteristic value; if the first characteristic value matches the second characteristic value, the original is sent to the original. A request terminal for data to send data to request instructions. By checking the interface data files of the original data and backing up the extracted data, the invention prevents the error from the outflow of data and causes the data to be stolen, and ensures the correctness and security of the data.

【技术实现步骤摘要】
一种多数据的处理方法、系统及存储介质
本专利技术涉及数据处理
，尤其涉及一种多数据的处理方法、系统及存储介质。
技术介绍
随着大数据技术的发展，数据采集、转换和传输等流处理技术比以往显得更加重要，并对其在应对复杂性与适配性方面提出了更高的要求。目前有必要研究结构化与非结构化数据多类型数据源与数据处理技术，提高数据流处理效率和安全，更好地支撑大数据技术的应用。目前技术对多数据源和多类型数据的兼容性和灵活性不高，需要采用不同的技术和工具来实现，而且在进行大数据的抽取时容易抽取出错误的、不匹配的数据，导致抽取出的数据并非用户所需求的数据，同时还会泄露错误的数据中的信息，同时造成了信息的不安全。
技术实现思路
本专利技术所要解决的技术问题是提供一种多数据的处理方法、系统及存储介质，以解决现有技术中抽取出的数据并非用户所需求的数据，造成了信息不安全的问题。为了解决上述问题，本专利技术提供了一种多数据的处理方法，其包括如下步骤：接收来自外部的数据请求指令；根据所述数据请求指令调取原始数据压缩包和与所述原始数据对应的接口校验文件；提取所述接口校验文件的MD5，并作为第一特征值；解压缩所述原始数据压缩包，并得到原始数据；抽取所述原始数据的接口数据文件，获得待校验接口数据文件；提取所述待校验接口数据文件的MD5，并作为第二特征值；判断所述第一特征值与所述第二特征值是否匹配；若所述第一特征值与所述第二特征值匹配，则发送所述原始数据至发送所述数据请求指令的请求终端。作为本专利技术的进一步改进，所述判断所述第一特征值与所述第二特征值是否匹配，之后还包括：若所述第一特征值与所述第二特征值不匹配，则标记所述原始数据压缩包为非原装数据压缩包；根据所述非原装数据压缩包生成记录文件；发送所述记录文件至发送所述数据请求指令的请求终端。作为本专利技术的进一步改进，根据所述数据请求指令调取原始数据压缩包和与所述原始数据对应的接口校验文件，之后包括：判断所述原始数据压缩包是否标记为非原装数据压缩包；若所述原始数据压缩包被标记为非原装数据压缩包，则发送与所述原始数据压缩包对应的记录文件至发送所述数据请求指令的请求终端。作为本专利技术的进一步改进，其还包括：保存所述接口校验文件和所述待验证接口数据文件，并记录保存时长；当所述保存时长达到预设时长时，删除所述接口校验文件和所述待验证接口数据文件。本专利技术还提供了一种多数据的处理系统，其应用于多数据的处理方法，其包括：接收模块，用于接收来自外部的数据请求指令；调取模块，用于根据所述数据请求指令调取原始数据压缩包和与所述原始数据对应的接口校验文件；第一提取模块，用于提取所述接口校验文件的MD5，并作为第一特征值；解压模块，用于解压缩所述原始数据压缩包，并得到原始数据；抽取模块，用于抽取所述原始数据的接口数据文件，获得待校验接口数据文件；第二提取模块，用于提取所述待校验接口数据文件的MD5，并作为第二特征值；第一判断模块，用于判断所述第一特征值与所述第二特征值是否匹配；第一通讯模块，用于若所述第一特征值与所述第二特征值匹配，则发送所述原始数据至发送所述数据请求指令的请求终端。作为本专利技术的进一步改进，其还包括：标记模块，用于若所述第一特征值与所述第二特征值不匹配，则标记所述原始数据压缩包为非原装数据压缩包；生成模块，用于根据所述非原装数据压缩包生成记录文件；第一发送模块，用于发送所述记录文件至发送所述数据请求指令的请求终端。作为本专利技术的进一步改进，其还包括：第二判断模块，用于判断所述原始数据压缩包是否标记为非原装数据压缩包；第二发送模块，用于若所述原始数据压缩包被标记为非原装数据压缩包，则发送与所述原始数据压缩包对应的记录文件至发送所述数据请求指令的请求终端。作为本专利技术的进一步改进，其还包括：保存与记录模块，用于保存所述接口校验文件和所述待验证接口数据文件，并记录保存时长；删除模块，用于当所述保存时长达到预设时长时，删除所述接口校验文件和所述待验证接口数据文件。本专利技术还提供了一种存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现权利要求1-4任一项所述多数据的处理方法中的步骤。本专利技术通过校验原始数据的接口数据文件，并对已提取的数据进行备份，防止错误数据流出导致数据失窃，保证了数据的正确性和安全性。附图说明图1为本专利技术多数据的处理方法的第一个实施例的流程示意图。图2为本专利技术多数据的处理方法的第二个实施例的流程示意图。图3为本专利技术多数据的处理方法的第三个实施例的流程示意图。图4为本专利技术多数据的处理方法的第四个实施例的流程示意图。图5为本专利技术多数据的处理方法的第一个实施例的模块示意图。图6为本专利技术多数据的处理方法的第二个实施例的模块示意图。图7为本专利技术多数据的处理方法的第三个实施例的模块示意图。图8为本专利技术多数据的处理方法的第四个实施例的模块示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用来限定本专利技术。图1展示本专利技术多数据的处理方法的一个实施例，在本实施例中，多数据的处理方法包括如下步骤：步骤S1，接收来自外部的数据请求指令。具体地，步骤S1之前还包括用户可视化配置FTP服务器的连接信息，并配置主机IP地址、端口、用户名和密码等操作。步骤S2，根据数据请求指令调取原始数据压缩包和与原始数据对应的接口校验文件。具体地，在抽取过程中，根据业务需求配置采集策略(如单节点采集，计划任务等)，定时从FTP服务器上抽取由接口数据文件提供方(例如数据的撰写者等)生成到FTP服务器上相关目录中的接口校验文件。优选地，调取与原始数据对应的接口校验文件的策略，可根据原始数据的文件名称匹配相同文件名称的接口校验文件。例如，原始数据的文件名称为XXX.dat，则匹配的接口校验文件的文件名称应为XXX.zip。需要说明的是，由于原始数据的文件类型与接口校验文件的文件类型不同，仅需匹配相同的文件名称即可获得对应的接口校验文件。步骤S3，提取接口校验文件的MD5，并作为第一特征值；具体地，第一特征值还可包括数据接口数据文件的文件大小。步骤S4，解压缩原始数据压缩包，并得到原始数据。具体地，解压缩可配置特定的解压缩算法(例如GNUzip)解压缩从FTP服务器上抽取的接口校验文件，得到数据接口数据文件。进一步地，解压缩得到的接口校验文件的文件名称为XXX.chk，且接口校验文件的文件名称(XXX.chk)分别与原始数据的文件名称(XXX.dat)、接口校验文件的文件名称(XXX.zip)相同。需要说明的是，压缩文件的文件类型不仅限于zip格式，还可设置为rar,cab,arj,lzh等格式。步骤S5，抽取原始数据的接口数据文件，获得待校验接口数据文件。步骤S6，提取待校验接口数据文件的MD5，并作为第二特征值。具体地，第二特征值还可包括待校验接口数据文件的文件大小。步骤S7，判断第一特征值与第二特征值是否匹配，若第一特征值与第二特征值匹配，则执行步骤S8.具体地，判断第一特征值的MD5值和文件大小是否与第二特征值的MD5值和文件大小是否相同。步骤S8，发送原始数据至发送数据请求指令的请求终端。具体地，MD5为信息摘要算法本文档来自技高网...

【技术保护点】
一种多数据的处理方法，其特征在于，其包括如下步骤：接收来自外部的数据请求指令；根据所述数据请求指令调取原始数据压缩包和与所述原始数据对应的接口校验文件；提取所述接口校验文件的MD5，并作为第一特征值；解压缩所述原始数据压缩包，并得到原始数据；抽取所述原始数据的接口数据文件，获得待校验接口数据文件；提取所述待校验接口数据文件的MD5，并作为第二特征值；判断所述第一特征值与所述第二特征值是否匹配；若所述第一特征值与所述第二特征值匹配，则发送所述原始数据至发送所述数据请求指令的请求终端。

【技术特征摘要】
1.一种多数据的处理方法，其特征在于，其包括如下步骤：接收来自外部的数据请求指令；根据所述数据请求指令调取原始数据压缩包和与所述原始数据对应的接口校验文件；提取所述接口校验文件的MD5，并作为第一特征值；解压缩所述原始数据压缩包，并得到原始数据；抽取所述原始数据的接口数据文件，获得待校验接口数据文件；提取所述待校验接口数据文件的MD5，并作为第二特征值；判断所述第一特征值与所述第二特征值是否匹配；若所述第一特征值与所述第二特征值匹配，则发送所述原始数据至发送所述数据请求指令的请求终端。2.根据权利要求1所述的多数据的处理方法，其特征在于，所述判断所述第一特征值与所述第二特征值是否匹配，之后还包括：若所述第一特征值与所述第二特征值不匹配，则标记所述原始数据压缩包为非原装数据压缩包；根据所述非原装数据压缩包生成记录文件；发送所述记录文件至发送所述数据请求指令的请求终端。3.根据权利要求1所述的多数据的处理方法，其特征在于，根据所述数据请求指令调取原始数据压缩包和与所述原始数据对应的接口校验文件，之后包括：判断所述原始数据压缩包是否标记为非原装数据压缩包；若所述原始数据压缩包被标记为非原装数据压缩包，则发送与所述原始数据压缩包对应的记录文件至发送所述数据请求指令的请求终端。4.根据权利要求1所述的多数据的处理方法，其特征在于，其还包括：保存所述接口校验文件和所述待验证接口数据文件，并记录保存时长；当所述保存时长达到预设时长时，删除所述接口校验文件和所述待验证接口数据文件。5.一种多数据的处理系统，其特征在于，其应用于多数据的处理方法，其包括：接收模块，用于接收来自外部的数据请求指令；调取模块，用于根据所...

【专利技术属性】
技术研发人员：陈亮，何庆勇，
申请(专利权)人：深圳索信达数据技术股份有限公司，
类型：发明
国别省市：广东,44