利用FTP和网闸摆渡数据的环境中保障数据完整传输方法技术

本发明专利技术涉及电力防护设备，具体为利用FTP和网闸摆渡数据的环境中保障数据完整传输方法，在windons和linux两种环境中，分别用DOS命令行的批处理方式和python语言开发的可以灵活配置数据包实际存放的路径、数据包书写完整后被转移后存放的路径、数据包书写的时间；采用循环主体的方式，实现了将数据压缩包书写完整之后不断循环转移的操作；保障再大数据量并发的情况下数据压缩包能够完整传输，从而被传输的平台方拿到完整的数据，可以进行数据解析和数据二次利用，保证数据包书写完整，避免数据丢失，完成数据在不同网络间的安全和完整地传输，适用于安防行业或公安用户大量数据级联等场景。等场景。

【技术实现步骤摘要】
利用FTP和网闸摆渡数据的环境中保障数据完整传输方法


[0001]本专利技术涉及电力防护设备，具体为利用FTP和网闸摆渡数据的环境中保障数据完整传输方法。

技术介绍

[0002]随着安防行业的快速发展，各个领域的业务应用系统日益增多，不同网络之间的数据传输量越来越大。由于部分数据与网络的特殊性，在两个网络互不相通的环境中，传输数据必须使用FTP服务器配合网闸进行数据摆渡，需将一个网络的数据与图片信息，通过数据压缩包的形式传输到另一个网络中。这种方式在数据量不断加大的情况下会暴露出数据压缩包在下级打压缩需要一定时间，此类型的数据压缩包也是基于GA/T1400自定义开发的扩展协议，在两个网络互不相通的平台之间，进行人脸、车辆、人体数据的传输而自定义的数据文本格式。一般文件内容格式定义为一个文件保存10条过车、人脸或者人体数据，文件内容分三个部分组成，采用utf8编码格式；第一部分为整个数据文件的长度，不包含第一行；第二部分为过车、人脸、人体数据内容，包含过车、人脸、人体数据的具体信息内容，并且为一条json 格式信息；第三部分为图片数据信息，图片信息json 信息紧跟图片二进制数据，每个数据压缩包当中图片最多10张，数据当中的回车，必须是“\r\n”不能少。在这样的情形下，由于网闸摆渡机制，会导致部分未写完整的数据包被摆渡到另一个网络的平台中，造成数据无法解析，从而造成了大量数据丢失。两个平台之间的数据传输时网络互不相通，大量的数据传输需要借助于上下级FTP服务器配合网闸进行摆渡，摆渡机制导致部分数据处于tmp状态，未完成完整压缩操作的时候就被摆渡到上级FTP服务器上，到上级平台的数据依旧呈现tmp格式，无法被上级平台解析数据内容，进行数据二次利用；从而导致大量数据丢失。

技术实现思路

[0003]本专利技术的目的在于提供一种利用FTP和网闸摆渡数据的环境中保障数据完整传输方法，保证数据包书写完整，避免数据丢失，完成数据在不同网络间的安全和完整传输。
[0004]本专利技术利用FTP和网闸摆渡数据的环境中保障数据完整传输方法根据两种常见类型的FTP服务器，linux 和windons 两种环境，开发了两种环境中保证数据包压缩完整传输移动的脚本。
[0005]在Linux 环境中，脚本使用python语言开发，调用os模块当中的OS.system()方法，首先是在cmdlist当中根据实际ftp 服务器上的文件夹路径，设置初始的数据压缩包的实际存放路径；可以在ftp服务器的根路径下新建一个文件夹作为摆渡文件夹，关于实际ftp 服务器上的存储路径和脚本当中的路径，只要摆渡脚本文件当中的路径格式与数据压缩包的实际存放路径是一致的即可，另一个参数为需要转移的文件格式类，需在脚本文件中设置与摆渡数据文件后缀一致的格式，通过这样的方式保证网闸摆渡过去的数据是书写完整的数据，“.frm”结尾的文件是完整的数据压缩包文件，脚本去执行的时候，只选择摆渡
以“.frm”格式结尾的压缩包文件，之后通过调用time 函数，设置3秒钟的固定书写时间让数据进行完整压缩，再调用 os.system()函数，将cmdlist当中的具体路径下的“.frm”格式结尾的压缩包文件，转移到设置的另一个文件存放路径下，此过程不断循环调用，让数据压缩包能够完整传输，使上级平台获取到完整的数据压缩包。
[0006]在Windons 环境中，使用DOS命令行的批处理文件，在命令行当中自定义初始的数据压缩包存放的具体路径，实际ftp 服务器上的文件夹路径；可以在ftp服务器的根路径下新建一个文件夹作为摆渡文件夹，关于实际ftp 服务器上的存储路径和脚本当中的路径，只要摆渡脚本文件当中的路径格式与数据压缩包的实际存放路径是一致的即可，转移的数据包是以“.frm”格式结尾的文件，书写完整的文件移动到ftp服务器上数据压缩包存放的具体路径，以及设定固定时间，5秒钟让数据进行完整压缩，具体脚本是实现方式为，首先采用@echo off关闭回显，每秒钟4次的频率去ping本地地址，让接口永远不会宕掉，使用goto start 命令不断循环，在脚本中规定的路径中去取“.frm”格式结尾的文件，转移到指定的实际存放路径下，采用这样的方式，不断进行批量的转移指定格式的文件，高效便捷的保障了数据压缩包完整传输的需求。
[0007]进一步的，压缩包是基于GA/T1400协议，对采集到的数据分类为人脸、车辆、人体数据进行打压缩包，然后通过网闸摆渡传输而自定义的数据文本格式，此压缩包命名为视图库摆渡数据压缩包；其中满足GA/T1400协议建设的平台采用GA/T1400协议内定义的专门的级联接口的方式进行对接，在上级平台上配置下级平台的地址和端口去订阅下级的数据，同时配置连接下级ftp的地址、端口和具体取数据的路径信息，通过数据订阅的方式，由网闸和ftp将数据传输过去；其中不满足GA/T1400协议建设的平台，采用webservice接口上传人脸数据、车辆数据、人体数据进行对接，通过请求对接接口地址：http://IP:port/services/ThirdBayonetService完成对接，采用配置文件去获取对应的地址和端口，以及获取数据的详细地址，再使用数据压缩包完整传输的移动脚本。
[0008]本专利技术的有益效果是：1.本专利技术根据不同的脚本去适配不同操作系统的FTP服务器，屏蔽不同操作系统造成的差异，减少不同系统带来的操作复杂度；2.本专利技术根据需要的不同文件类型格式、实际环境当中的文件存储路径、以及压缩数据包文件所需的时间间隔、书写完整的文件移动之后存放的具体路径，主动灵活去脚本文件当中设置；对运维人员控制管理数据带来了极大的便利，提高了问题处理效率；3.本专利技术根据实际环境数据量大小，配置一个或者多个文件存放路径和移动后的完整打包数据文件存放的路径，提高了数据压缩包传输的效率，保证了大批量数据的快速传输。
附图说明
[0009]图1为本专利技术数据包整体传输流程图；图2为本专利技术移动脚本处理逻辑流程图；图3为本专利技术Linux 环境脚本的简单的文本示列图；图4为本专利技术windons环境脚本的简单的文本示列图。
具体实施方式
[0010]如图1
‑
图4所示，本专利技术利用FTP和网闸摆渡数据的环境中保障数据完整传输方法根据两种常见类型的FTP服务器，linux 和windons 两种环境，开发了两种环境中保证数据包压缩完整传输移动的脚本，此压缩包是基于GA/T1400协议，对采集到的数据分类为人脸、车辆、人体数据进行打压缩包，然后通过网闸摆渡传输而自定义的数据文本格式，此压缩包命名为视图库摆渡数据压缩包。其中满足GA/T1400协议建设的平台采用GA/T1400协议内定义的专门的级联接口的方式进行对接，在上级平台上配置下级平台的地址和端口去订阅下级的数据，同时配置连接下级ftp的地址、端口和具体取数据的路径信息，通过数据订阅的方式，由网闸和ftp将数据传输过去。不满足GA/T1400协议建设的平台，采用webservice接口上传人脸数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.利用FTP和网闸摆渡数据的环境中保障数据完整传输方法，其特征在于：在Linux 环境中，脚本使用python语言开发，调用os模块当中的OS.system()方法，首先是在cmdlist当中根据实际ftp 服务器上的文件夹路径，设置初始的数据压缩包的实际存放路径；可以在ftp服务器的根路径下新建一个文件夹作为摆渡文件夹，关于实际ftp 服务器上的存储路径和脚本当中的路径，只要摆渡脚本文件当中的路径格式与数据压缩包的实际存放路径是一致的即可，另一个参数为需要转移的文件格式类，需在脚本文件中设置与摆渡数据文件后缀一致的格式，通过这样的方式保证网闸摆渡过去的数据是书写完整的数据，“.frm”结尾的文件是完整的数据压缩包文件，脚本去执行的时候，只选择摆渡以“.frm”格式结尾的压缩包文件，之后通过调用time 函数，设置3秒钟的固定书写时间让数据进行完整压缩，再调用 os.system()函数，将cmdlist当中的具体路径下的“.frm”格式结尾的压缩包文件，转移到设置的另一个文件存放路径下，此过程不断循环调用，让数据压缩包能够完整传输，使上级平台获取到完整的数据压缩包。2.根据权利要求1所述的利用FTP和网闸摆渡数据的环境中保障数据完整传输方法，其特征在于：在Windons 环境中，使用DOS命令行的批处理文件，在命令行当中自定义初始的数据压缩包存放的具体路径，实际ftp 服务器上的文件夹路径；可以在ftp服务器的根路径下新建一个文件夹作为摆渡文件夹，关于实际ftp 服务器上的存储路径和脚本当中的路径，只要摆渡脚本文件当中的路径格式与数据压缩...

【专利技术属性】
技术研发人员：李荣，赵武，韦雪婷，胡文学，朱小龙，肖阳阳，聂海江，
申请(专利权)人：中电万维信息技术有限责任公司，
类型：发明
国别省市：