一种分布式海量文件传输方法技术

为了满足用户对不同类型、不同发展阶段的企业或者个人的数据需求，会对生产数据的采集越来越多元化和精细化，同时数据传输的规模也会越来越大，传输要求也在向安全性、高可用、快速、低延迟等方面逐渐提升。本发明专利技术公开了一种通过结合微服务、SFTP、kafka、ETL等第三方组件结合组成的海量文件传输方法，其支持多个源端数据同时采集传输、入库，根据监控中心监控情况和实际使用情况每个省的链路中的服务支撑平行扩展，同时支持多个省同时进行数据传输，依据源端标识进行指定目标端入库。所提出的方法通过使用微服务实现数据定时采集、数据与文件相互转换、数据传输的链路监控，通过与kafka和ETL等第三方开源工具组合完成数据传输。此方法可以实现不同数据库的、复杂环境的、错峰的、大量的、一定时效性的、可靠的数据传输，极大地减少了人员维护成本，实现自动化的数据传输方法。输方法。输方法。

【技术实现步骤摘要】
一种分布式海量文件传输方法


[0001]本专利技术涉及一种分布式文件传输领域，尤其涉及一种分布式海量文件传输方法。

技术介绍

[0002]随着互联网技术与电子技术的迅猛发展，网络在人们生活当中逐渐扮演的越来越重要的角色。通过在信息处理，辅助设计等等方面，互联网彻底改变了人们的生活方式。而当今在互联网时代，网络极其重要的诸多功能之一即是文件传输，完成在不同地区，单位，个人之间的信息交互。使用传统的移动载体等文件流转方式已经完全不能满足当前的办公要求，对比以往的传输方式，利用网络可以有效的节约成本，提高办公效率。利用便利的网络资源，代替传统载体来进行文件传输交互已经成为日后发展的主要趋势，采用这种办公方式可以极大程度的节约成本与提高工作效率。
[0003]目前针对文件传输的网络结构及应用协议种类繁多，主要结构有对等网，以及服务器/客户机等结构。主要的相关应用有FTP，TFTP，BitTorrent等。这些网络结构与协议都在不同场景下很好的完成了文件传输的工作。但在某些特定场景下现有协议往往不能很好的覆盖和满足某些条件下的特殊需求。
[0004]有些政府部门、军队部队、金融行业等重要机构为保证所使用的信息系统的安全，往往会把单位内部网络与外部的Internet网络进行阻断，实施物理隔离，切断任何可能与外部网络发起连接的途径。而在单位内部以某种网络结构组建起内部的文件传输系统，同时要求内部系统安全可靠高效。
[0005]而在这种特殊的条件约束下，越来越多的单位采用目前比较主流的分布式的网络结构来搭建内部的文件传输系统，该网络的主要特点是由许多各自独立的节点分布在不同的物理位置，而它们之间可以两两连接。该网络当中的节点至少拥有两条连接线路，即使其中某条线路损坏不可用，通信也可以由其他链路完成，具有较高的可靠性。同时，网络易于扩充。分布式网络当中的节点可以任意两节点之间直接互联，在进行数据交换的同时可以选择不同的路由方式。同时分布式网络也有着它无法忽视的缺点。由于网络结构的原因，分布式网络往往不能很好的实现传输记录，审计，可追踪，抗抵赖等安全问题，如果所传输的文件有很高的安全要求时不能采用常规的处理手段。因而，如何实现安全、高效、可靠的分布式海量文件传输方法是亟须解决的关键问题。

技术实现思路

[0006]本专利技术的目的在于提供一种分布式海量文件传输方法，以解决上述
技术介绍
中提出的问题。
[0007]为了实现上述目的，本专利技术采用了如下技术方案：
[0008]一种分布式海量文件传输方法，其特征在于，包括以下步骤以用于实现所提出的分布式海量文件传输方法：
[0009]S1：首先，分布式采集数据进行上传。主要负责在源端数据库获取所需传输数据，
可以多个源端同时运行实现分布式数据采集。通过配置定时任务和需要传输数据表名称进行定时数据采集，将采集数据实时上传至Kafka。
[0010]S2：然后，在Kafka中进一步缓存数据，同时异步处理数据。在Kafka中将数据根据设置的峰值(时间：6小时；大小：500M)转成文件，并将文件压缩上传至SFTP服务器。SFTP服务器用于保障文件的安全可靠传输，可以配置多个服务器同时传输，将文件从省侧传至总部侧。
[0011]S3：进一步地，将已转成文件的数据解压放入固定文件目录。配置具体的映射规则、分隔符将数据转成可执行SQL数据并，执行SQL数据入库操作，执行完毕后将执行SQL语句统计信息上传至监控中心与数据上传服务传入信息匹配，如发现异常进行预警并发送邮件。
[0012]S4：最后，通过监控中心监测传输链路健康情况、采集日志、设置定时任务时间、对比输入数据与输出数据准确性。
[0013]作为本技术方案的进一步改进方案，实现低延时海量数据传输的方法包括：
[0014]所提出的分布式海量文件传输方法是通过结合微服务、SFTP、kafka、ETL等第三方组件结合组成的一种海量文件传输方法。该方法通过采用分布式传输可以支持多个源端数据同时采集传输、入库，根据监控中心监控情况和实际使用情况每个省的链路中的服务支撑平行扩展，同时支持多个省同时进行数据传输，依据源端标识进行指定目标端入库。
[0015]作为本技术方案的进一步改进方案，实现大量的数据传输的方法包括：
[0016]所提出的分布式海量文件传输方法通过采用SFTP方式，其非常适合海量数据传输，具有速度快、效率高、方便、高效的优点。且不会存在超时、占用网络带宽的问题，并且规避了网络传输协议等概念。
[0017]作为本技术方案的进一步改进方案，保障数据库的稳定性的方法包括：
[0018]所提出的分布式海量文件传输方法通过错开数据库使用高峰来保障数据库的稳定性。由于目标端数据库通常会被很多业务功能使用，为了保障数据库的稳定性，需要在数据库被使用资源不多时进行数据库操作，可以通过定时任务和监控中心指令进行错开数据库使用高峰期进行数据入库。
[0019]作为本技术方案的进一步改进方案，实现不同数据库间的数据传输的方法包括：
[0020]所提出的分布式海量文件传输方法通过采用ETL方式，ETL以业务目标为导向，可以配置选择数据链路的先关数据源与数据目的地，配置不同数据源间的映射关系，使数据传输更灵活，并且图形化的配置操作更简单便捷灵活。
[0021]作为本技术方案的进一步改进方案，实现可靠性高性数据传输的方法包括：
[0022]所提出的分布式海量文件传输方法通过设置监控中心，监控中心可以监控数据上传服务在源端获取数据的各个维度统计值和此次唯一事件ID，如修改行数、表名、字段名、数据库类型等，在入库服务执行入库操作完但没执行事务时返回给监控中心执行数据库各个维度数据是否与上传服务匹配，如果匹配则执行事务完成入库，如不匹配监控中心生成报告同时发送邮件给操作人员分析问题。同时监控中心会监控各个组件服务器运行状态，设置峰值预警，保障服务器稳定运行。
[0023]与现有技术相比，本专利技术的有益效果是：
[0024]本专利技术公开了一种通过结合微服务、SFTP、kafka、ETL等第三方组件结合组成的海
量文件传输方法，其支持多个源端数据同时采集传输、入库，根据监控中心监控情况和实际使用情况每个省的链路中的服务支撑平行扩展，同时支持多个省同时进行数据传输，依据源端标识进行指定目标端入库。所提出的方法通过使用微服务实现数据定时采集、数据与文件相互转换、数据传输的链路监控，通过与kafka和ETL等第三方开源工具组合完成数据传输。此方法可以实现不同数据库的、复杂环境的、错峰的、大量的、一定时效性的、可靠的数据传输，极大地减少了人员维护成本，实现自动化的数据传输方法。
[0025]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。本专利技术的具体实施方式由以下实施例及其附图详细给出。
附图说明
[0026]此处所说明本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式海量文件传输方法，其特征在于，包括以下步骤以用于实现所提出的分布式海量文件传输方法：S1：首先，分布式采集数据进行上传。主要负责在源端数据库获取所需传输数据，可以多个源端同时运行实现分布式数据采集。通过配置定时任务和需要传输数据表名称进行定时数据采集，将采集数据实时上传至Kafka。S2：然后，在Kafka中进一步缓存数据，同时异步处理数据。在Kafka中将数据根据设置的峰值(时间：6小时；大小：500M)转成文件，并将文件压缩上传至SFTP服务器。SFTP服务器用于保障文件的安全可靠传输，可以配置多个服务器同时传输，将文件从省侧传至总部侧。S3：进一步地，将已转成文件的数据解压放入固定文件目录。配置具体的映射规则、分隔符将数据转成可执行SQL数据并，执行SQL数据入库操作，执行完毕后将执行SQL语句统计信息上传至监控中心与数据上传服务传入信息匹配，如发现异常进行预警并发送邮件。S4：最后，通过监控中心监测传输链路健康情况、采集日志、设置定时任务时间、对比输入数据与输出数据准确性。2.根据权利要求1所述的一种分布式海量文件传输方法，其特征在于，实现低延时海量数据传输的方法包括：所提出的分布式海量文件传输方法是通过结合微服务、SFTP、kafka、ETL等第三方组件结合组成的一种海量文件传输方法。该方法通过采用分布式传输可以支持多个源端数据同时采集传输、入库，根据监控中心监控情况和实际使用情况每个省的链路中的服务支撑平行扩展，同时支持多个省同时进行数据传输，依据源端标识进行指定目标端入库。3.根据权利要求1所述的一种分布式海量文件传输方法，其特征在于，实现大量的...

【专利技术属性】
技术研发人员：李书慧，王佳佳，张秀永，曲艺，董蓓，曾月阳，戎阳枫，
申请(专利权)人：国家电网有限公司客户服务中心，
类型：发明
国别省市：