一种跨网闸数据传输方法及系统技术方案

本发明专利技术公开了一种跨网闸数据传输方法及系统，通过在网闸的两边设置第一和第二传输设备，并在传输设备中设置数据库和缓存，在数据库中设置标志位，以便在出现异常时，进行数据的恢复和重传，保障了数据的完整性。在本发明专利技术中，数据以文件形式单向传输，保障了网闸的特征。采用内存在作为数据转移的中间设备，减少了对存储硬盘的损害。同时网闸异常情况的文件不会形成堆积，而传输设备再次写文件也是优先实时文件写入，所以对数据的实时传输有了强有力的保障。此外，本发明专利技术独立于网闸和两边的网络，能够快速根据各个厂商的协议形式为基础快速开发，实现不同厂家数据传输。

A method and system of data transmission across gateways

【技术实现步骤摘要】
一种跨网闸数据传输方法及系统
本专利技术属于网闸数据传输
，尤其涉及一种跨网闸数据传输方法及系统。
技术介绍
基于IP网络的视频监控已经逐渐发展成为安防业的主流方案，而无论是公路、园区、平安工程等大型项目，因为IP的标准和开放性，又考虑网络通信传输的安全原因，在各种网络孤岛的整合中，NAT、防火墙、安全隔离网闸等技术被大量应用于各大项目中。其中网闸设备的技术应用，其技术核心理念是实现物理隔离，从物理上隔离、阻断了具有潜在攻击可能的一切连接，使"黑客"无法入侵、无法攻击、无法破坏，实现了真正的安全。这种隔离技术确实实现了网络的安全，但同样引入了一个新的问题，因为针对车辆信息、布控信息等数据传输都要求有较高的实时性能，这样对网段间实现数据传输的及时性能、完整性能有了新的挑战。安全隔离网闸在视频监控系统的现有应用中，往往存在以Oracle数据库传输或文件传输两种方式：其中，以Oracle数据库传输时，在数据库存储数据图片的URL的情况下，网闸以IP地址代理方式实现数据传输，即来自视频专网、或者公共外网的流量先发送到网闸的一个代理IP，网闸修改目的IP后再往内网转发，当内网需要通过URL地址获取图片时，再通过已经修改为内网的IP地址回访，再通过网闸映射的端口回访视频专网或者公共外网，再获取图片流，然后再传输到内网；或在网闸双边都部署Oracle数据库，Oracle数据库支持直接进行图片流写入数据库，网闸支持两个数据库之间直接传输图片流。然而，视频监控系统行业的厂家大多应用的并非Oracle数据库，上述方案需要直接应用视频专网、或者公共外网的Oracle数据库，然后再上传到内网各个项目涉及厂商的平台，这里会对视频专网、或者公共外网的Oracle数据库的操作性能压力有影响，在庞大的数据量存储及频繁的数据库I/O操作情况下，数据库的性能将出现瓶颈。在以图片流的形式传输时，对于每次写入数据库是单条数据写入，日处理量500万条以上数据的情况，单条写入、内网的查询性能都将收到严峻的考验。况且Oracle数据库是需要缴费的数据库，并不是广泛应用于监控系统行业的大多厂家，各个厂家应用的数据库大多是各有不同，每开发一个新特性、新需求，都需要做一个新的对接，成本相当昂贵。另一种方式是文件传输方式，网闸将文件以专网摆渡的方式传输到内网，各个厂商会根据各自的协议、对接方式，将数据以写文件的形式，存放到视频专网、公共外网等环境的设备中，网闸会将设备存储文件的目录以网闸传输文件的方式，将文件摆渡到另一个网段指定设备的特定目录下，供网闸另一个网段(暂命名内网)的设备，读取，解析，按照内网平台的接收方式上传。然而，在采用文件传输的方式时，实际网闸是不会去区分文件的实时性，即有多少成功摆渡多少文件，当网闸因异常情况，短时间内停止摆渡，再次开始摆渡时，是无法保证实时数据文件优先被摆渡的；另外，网闸一端不断的写文件到磁盘，在摆渡成功后会做磁盘清理，这样就意味着，磁盘有频繁的读、写和清理的操作，磁盘的存储会因这种频繁的操作产生文件碎片，对存储的磁盘损害很大；此外，由于文件传输方案更倾向于与正常情况下(网闸无异常情况)的实时性传输，而由于无数据库的存在，传输过程中文件又存在删除的操作，一旦传输过程中出现异常情况(内网的上级平台断电、重启等)，就会造成数据反复上传失败，对数据完整性无法保障。
技术实现思路
本专利技术的目的是提供一种跨网闸数据传输方法及系统，以克服现有技术中存在的上述问题，满足不同厂商间跨网闸数据的传输，并保障数据传输的实时性和完整性。为了实现上述目的，本专利技术技术方案如下：一种跨网闸数据传输方法，用于在第一网络与第二网络之间实现跨网闸的数据传输，所述第一网络与第二网络之间设有网闸，所述第一网络内设有第一传输设备，所述第一传输设备设有第一数据库和第一缓存，所述跨网闸数据传输方法，包括：第一传输设备接收数据源的数据，在第一数据库中生成对应的数据记录，并以文件形式将数据存放到第一缓存的设定目录中，将数据记录中的标志位初始设置为第一状态；第一传输设备接收网闸的访问，将数据通过网闸摆渡到第二网络；第一传输设备在数据被网闸取走后，更新数据记录中对应的标志位为第二状态。进一步地，所述跨网闸数据传输方法，还包括：第一传输设备在重启时，从第一数据库读取标志位为第一状态的数据记录，以文件形式将数据存放到第一缓存的设定目录中。进一步地，所述跨网闸数据传输方法，还包括：第一传输设备在第一缓存剩余空间不足设定的第一阈值时，不再以文件形式将数据存放到第一缓存的设定目录中。进一步地，所述第二网络内设有第二传输设备，所述第二传输设备设有第二数据库和第二缓存，所述跨网闸数据传输方法，还包括：第二传输设备接收网闸摆渡的数据，将数据存放到第二缓存的设定目录中；第二传输设备读取第二缓存存储的数据在第二数据库生成数据记录，并生成数据对应的去重表存入第二数据库，以避免数据的重复写入；第二传输设备将第二缓存中存储的数据转发给第三方平台，在转发后更新数据记录中的标志位为第二状态；第二传输设备根据第三方平台反馈的发送失败信息，更新数据记录中的标志位为第一状态，以便重传对应的数据给第三方平台。进一步地，所述跨网闸数据传输方法，还包括：第二传输设备在第二缓存剩余空间不足设定的第二阈值时，将超出第二缓存存储空间第三阈值的数据存储到硬盘，在第二数据库生成数据记录，并生成数据对应的去重表存入第二数据库，以避免数据的重复写入。本专利技术还提出了一种跨网闸数据传输系统，用于在第一网络与第二网络之间实现跨网闸的数据传输，所述第一网络与第二网络之间设有网闸，所述跨网闸数据传输系统包括设于第一网络内的第一传输设备，所述第一传输设备设有第一数据库和第一缓存，所述第一传输设备包括：第一数据接收模块，用于接收数据源的数据，在第一数据库中生成对应的数据记录，并以文件形式将数据存放到第一缓存的设定目录中，将数据记录中的标志位初始设置为第一状态；第一数据摆渡模块，用于接收网闸的访问，将数据通过网闸摆渡到第二网络；第一状态更新模块，用于在数据被网闸取走后，更新数据记录中对应的标志位为第二状态。进一步地，所述第一传输设备，还包括：第一重传模块，用于在重启时，从第一数据库读取标志位为第一状态的数据记录，以文件形式将数据存放到第一缓存的设定目录中。进一步地，所述第一数据接收模块，还用于在第一缓存剩余空间不足设定的第一阈值时，不再以文件形式将数据存放到第一缓存的设定目录中。进一步地，所述跨网闸数据传输系统还包括设于第二网络内的第二传输设备，所述第二传输设备设有第二数据库和第二缓存，所述第二传输设备，包括：第二数据接收模块，用于接收网闸摆渡的数据，将数据存放到第二缓存的设定目录中；数据库记录模块，用于读取第二缓存存储的数据在第二数据库生成数据记录，并生成数据对应的去重表存入第二数据库，以避免数据的重复写入；转发本文档来自技高网...

【技术保护点】
1.一种跨网闸数据传输方法，用于在第一网络与第二网络之间实现跨网闸的数据传输，所述第一网络与第二网络之间设有网闸，其特征在于，所述第一网络内设有第一传输设备，所述第一传输设备设有第一数据库和第一缓存，所述跨网闸数据传输方法，包括：/n第一传输设备接收数据源的数据，在第一数据库中生成对应的数据记录，并以文件形式将数据存放到第一缓存的设定目录中，将数据记录中的标志位初始设置为第一状态；/n第一传输设备接收网闸的访问，将数据通过网闸摆渡到第二网络；/n第一传输设备在数据被网闸取走后，更新数据记录中对应的标志位为第二状态。/n

【技术特征摘要】
1.一种跨网闸数据传输方法，用于在第一网络与第二网络之间实现跨网闸的数据传输，所述第一网络与第二网络之间设有网闸，其特征在于，所述第一网络内设有第一传输设备，所述第一传输设备设有第一数据库和第一缓存，所述跨网闸数据传输方法，包括：
第一传输设备接收数据源的数据，在第一数据库中生成对应的数据记录，并以文件形式将数据存放到第一缓存的设定目录中，将数据记录中的标志位初始设置为第一状态；
第一传输设备接收网闸的访问，将数据通过网闸摆渡到第二网络；
第一传输设备在数据被网闸取走后，更新数据记录中对应的标志位为第二状态。


2.如权利要求1所述的跨网闸数据传输方法，其特征在于，所述跨网闸数据传输方法，还包括：
第一传输设备在重启时，从第一数据库读取标志位为第一状态的数据记录，以文件形式将数据存放到第一缓存的设定目录中。


3.如权利要求1所述的跨网闸数据传输方法，其特征在于，所述跨网闸数据传输方法，还包括：
第一传输设备在第一缓存剩余空间不足设定的第一阈值时，不再以文件形式将数据存放到第一缓存的设定目录中。


4.如权利要求1所述的跨网闸数据传输方法，其特征在于，所述第二网络内设有第二传输设备，所述第二传输设备设有第二数据库和第二缓存，所述跨网闸数据传输方法，还包括：
第二传输设备接收网闸摆渡的数据，将数据存放到第二缓存的设定目录中；
第二传输设备读取第二缓存存储的数据在第二数据库生成数据记录，并生成数据对应的去重表存入第二数据库，以避免数据的重复写入；
第二传输设备将第二缓存中存储的数据转发给第三方平台，在转发后更新数据记录中的标志位为第二状态；
第二传输设备根据第三方平台反馈的发送失败信息，更新数据记录中的标志位为第一状态，以便重传对应的数据给第三方平台。


5.如权利要求4所述的跨网闸数据传输方法，其特征在于，所述跨网闸数据传输方法，还包括：
第二传输设备在第二缓存剩余空间不足设定的第二阈值时，将超出第二缓存存储空间第三阈值的数据存储到硬盘，在第二数据库生成数据记录，并生成数据对应的去重表存入第二数据库，以避免数据的重复写入。


6.一种跨网闸数据传输...

【专利技术属性】
技术研发人员：苏龙燮，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33