一种高效稳定的跨公网数据传输系统及传输方法技术方案
A high efficient and stable cross network data transmission system and transmission method
The invention discloses a cross network data transmission system, including data source, data terminal, and metadata server; wherein the data source used to generate data, the log data to the destination data, and the metadata uploaded to the metadata server; the data terminal, data through the wide area network after the destination received from the data source data and its metadata uploaded to the metadata server; the metadata server, metadata information, data source and destination data sent by the end of meta data consistency, and send messages complete notification.
【技术实现步骤摘要】
一种高效稳定的跨公网数据传输系统及传输方法
本专利技术涉及分布式数据传输领域，特别是一种高效稳定的跨公网数据传输系统及传输方法。
技术介绍
大数据时代，海量的日志数据被各种终端生成，为了对这些数据进行分析处理，各种日志收集系统应运而生。由于大多数应用场景对日志收集过程中少量数据的缺失或重复具有较高的宽容度，因此当前的各种日志收集系统都不保证数据完整性。
技术实现思路
为了克服一般日志收集系统数据缺失或数据重复的问题，保证数据的稳定快速传输，本专利技术的专利技术人提供一种高效稳定的跨公网数据传输解决方案，适用于对数据完整性有强烈需求的应用场景。根据本专利技术的第一方面，本专利技术提供一种跨公网数据传输系统，其包括：数据源端、数据目的端、和元数据服务器；其中所述数据源端，用于产生数据，将数据传输至数据目的端，并将其元数据上传到元数据服务器；所述数据目的端，数据经过广域网络之后的目的地，接收从数据源端传输的日志数据，并将其元数据上传到元数据服务器；所述元数据服务器，存储元数据信息、比对数据源端和数据目的端发送的元数据一致性、和发送消息完整通知。优选地，所述数据目的端为数据存...
【技术保护点】
一种跨公网数据传输系统，其包括：数据源端、数据目的端、和元数据服务器；其中所述数据源端，用于产生数据，将日志数据传输至数据目的端，并将其元数据上传到元数据服务器；所述数据目的端，数据经过广域网络之后的目的地，接收从数据源端传输的数据，并将其元数据上传到元数据服务器；所述元数据服务器，存储元数据信息、比对数据源端和数据目的端发送的元数据一致性、和发送消息完整通知。
【技术特征摘要】
1.一种跨公网数据传输系统，其包括：数据源端、数据目的端、和元数据服务器；其中所述数据源端，用于产生数据，将日志数据传输至数据目的端，并将其元数据上传到元数据服务器；所述数据目的端，数据经过广域网络之后的目的地，接收从数据源端传输的数据，并将其元数据上传到元数据服务器；所述元数据服务器，存储元数据信息、比对数据源端和数据目的端发送的元数据一致性、和发送消息完整通知。2.根据权利要求1所述的系统，其中所述数据源端和所述数据目的端按照时间窗口向元数据服务器上传元数据。3.根据权利要求1所述的系统，其中所述数据目的端为数据存储单元。4.根据权利要求1所述的系统，其中所述数据目的端为数据中继单元。5.根据权利要求1所述的系统，其中所述数据源端为数据收集节点。6.根据权利要求2所述的系统，其中所述元数据服务器通过比对同一个时间窗口的元数据的数据行数和字节数判断一致性。7....
【专利技术属性】
技术研发人员：薛飞，
申请(专利权)人：上海精数信息科技有限公司，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。