数据处理方法、装置、系统、网络设备和存储介质制造方法及图纸

本申请公开了一种数据处理方法、装置、系统、网络设备和存储介质，涉及大数据技术领域。具体实现方案为：访问第二网络设备，获取待处理作业，待处理作业中包括待处理数据的标识、类型，第二网络设备为处于互联网中的网络设备；根据待处理数据的标识，从互联网中的数据库中拉取待处理数据；根据待处理数据的类型，将待处理数据写入对应类型的文件中；将文件存储至保密网络中处于隔离网段的数据库中。本申请提供的数据处理方法在保密网络中设置可以访问互联网的网络设备，能够获取待处理的数据，且该网络设备将待处理的数据以写文件的方式存储，避免预先建立构建多个数据表和API接口的问题，提高了数据传输效率。

Data processing method, device, system, network equipment and storage medium

The application discloses a data processing method, device, system, network device and storage medium, and relates to the technical field of big data. The specific implementation scheme is as follows: access the second network device to obtain the job to be processed, which includes the identification and type of the data to be processed; the second network device is the network device in the Internet; pull the data to be processed from the database in the Internet according to the identification of the data to be processed; write the data to be processed into the corresponding type according to the type of data to be processed The file of; stores the file in the database of the isolated network segment in the confidential network. The data processing method provided in the application sets a network device which can access the Internet in the confidential network, and can obtain the data to be processed, and the network device stores the data to be processed in the form of writing files, avoids the problem of building multiple data tables and API interfaces in advance, and improves the data transmission efficiency.

【技术实现步骤摘要】
数据处理方法、装置、系统、网络设备和存储介质
本申请涉及大数据
，尤其涉及数据处理方法、装置、系统、网络设备和存储介质。
技术介绍
保密网络通常为隔离的局域网，应用于特定的安全领域。随着互联网技术的发展，该特定的安全领域建设过程中需要使用互联网中的数据。而互联网中的数据具有数据类型多、来源广等特性，因此如何安全地将互联网中的数据传输至保密网络至关重要。现有技术中，处于保密网络中的网络设备需要预先获取来自互联网中的数据的数据类型，并在内部数据库中预先构建该类型的数据对应的数据表以存储该类型的数据，且还需要预先定制该类型数据的传输API接口。对应的，在该类型的数据传输时，互联中的网络设备通过调用对应的API接口实现将数据传输至保密网络中。但这种数据传输方式，每种类型的数据传输时均需构建对应的数据表以及API接口，数据传输效率低。
技术实现思路
本申请提供一种数据处理方法、装置、系统、网络设备和存储介质，可以复用共享标签的运行结果，减小了标签引擎的计算资源的开销。本申请第一方面提供一种数据处理方法，包括：访问第二网络本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于处于保密网络中非隔离网段的第一网络设备，所述方法包括：/n访问第二网络设备，获取待处理作业，所述待处理作业中包括待处理数据的标识、类型，所述待处理作业用于指示所述第一网络设备将所述待处理数据存储至所述保密网络中处于隔离网段的数据库中，所述第二网络设备为处于互联网中的网络设备；/n根据所述待处理数据的标识，从所述互联网中的数据库中拉取所述待处理数据；/n根据所述待处理数据的类型，将所述待处理数据写入对应所述类型的文件中；/n将所述文件存储至所述保密网络中处于隔离网段的数据库中。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于处于保密网络中非隔离网段的第一网络设备，所述方法包括：
访问第二网络设备，获取待处理作业，所述待处理作业中包括待处理数据的标识、类型，所述待处理作业用于指示所述第一网络设备将所述待处理数据存储至所述保密网络中处于隔离网段的数据库中，所述第二网络设备为处于互联网中的网络设备；
根据所述待处理数据的标识，从所述互联网中的数据库中拉取所述待处理数据；
根据所述待处理数据的类型，将所述待处理数据写入对应所述类型的文件中；
将所述文件存储至所述保密网络中处于隔离网段的数据库中。


2.根据权利要求1所述的方法，其特征在于，所述访问第二网络设备，包括：
通过预设的API接口、在第一时刻访问第二网络设备，所述待处理作业为所述第一时刻的待处理作业。


3.根据权利要求1或2所述的方法，其特征在于，所述将所述文件存储至所述保密网络中处于隔离网段的数据库中，包括：
通过FTP传输方式将所述文件发送至所述保密网络中处于隔离网段的数据库中。


4.一种数据处理方法，其特征在于，应用于处于互联网中的第二网络设备，所述方法包括：
根据互联网中的数据库中存储的待处理数据，生成所述待处理数据的元信息，所述待处理数据的元信息包括所述待处理数据的标识、类型和发表时间；
在所述待处理数据的发表时间落入第一时刻的待处理作业对应的时间范围时，根据所述待处理数据的标识、类型，生成待处理作业。


5.根据权利要求4所述的方法，其特征在于，所述待处理数据的元信息中包括用于指示所述待处理数据的类型的字段值。


6.根据权利要求4或5所述的方法，其特征在于，所述第二网络设备中存储有所述待处理作业的状态，所述方法还包括：
在第一网络设备访问所述第二网络设备，获取待处理作业后，将所述待处理作业的状态从未处理修改为已处理。


7.一种数据处理系统，其特征在于，包括：处于保密网络中非隔离网段的第一网络设备和处于互联网中的第二网络设备；
所述第一网络设备访问所述第二网络设备，获取待处理作业，所述待处理作业中包括待处理数据的标识、类型，所述待处理作业用于指示所述第一网络设备将所述待处理数据存储至所述保密网络中处于隔离网段的数据库中；
所述第一网络设备根据所述待处理数据的标识，从所述互联网中的数据库中拉取所述待处理数据；
所述第一网络设备根据所述待处理数据的类型，将所述待处理数据写入对应所述类型的文件中；
所述第一网络设备将所述文件存储至所述保密网络中处于隔离网段的数据库中。


8.根据权利要求7所述的系统，其特征在于，所述第一网络设备访问第二网络设备之前，还包括：
所述第二网络设备根据互联网...

【专利技术属性】
技术研发人员：季昆鹏，郑灿祥，刘畅，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11