一种大数据卫星网络传输系统技术方案

一种大数据卫星网络传输系统，发送端对原始大数字文件进行读取、分组、打包，通过卫星链路发送到接收端；接收端接收到数据包后，统计丢包、错包情况，并将错包信息回传到发送端。发送端根据回传的丢包、错包信息向接收端补发丢失或损坏的数据包，直至接收端接收到完整的数据包后，生成完整的大数据文件。本系统可以以广播、组播等方式完成大数据文件的传输，能够实现高效、准确、安全的将数据文件同时传输到多个用户接收端，适用于数字音视频、数据库文件等大数据文件的广播传送。

【技术实现步骤摘要】

本专利技术属一种网络数据的传输系统，具体涉及一种大数据的卫星网络传输系统。
技术介绍
目前，大数据媒体的的发行方式是将数据文件拷贝到存储量较大的硬盘中，通过邮局(快递)寄送或派人送达，这种方式存在发行速度慢、效率低、安全性差的问题。随着通信网络的快速发展，建机规模化的高效大数据媒体发行网络成为普及数字媒体的一个重要手段，而且也是数据媒体有效运营的重要环节。大数据媒体的网络传输的模式是发送端将原始大数据文件通过网络传输到多个用户接收端，在这过程中，发送端服务器要读取原始大数据文件，并将其分割成若干编号的数据包进行发送，目前在发送端，存在对原始大数据文件读取、编号、打包、发送的效率和稳定性均较低的问题，影响了数据的传输效率。此外，为了保证接收数据的完整，网络传输均设有纠错机制：在接收端设有验包程序，根据验包结果对丢失数据进行补充，最终生成完整的大数据文件。目前的纠错方法通常是在发送数据包时，插入若干冗余包，接收端可以利用冗余包来恢复丢失的源数据包，冗余度(兀余包与数据包之比)越高，其纠错能力越强，但同时带来的问题是占用的带宽也越大，降低了带宽的利用率和数据传输的效率。
技术实现思路
本专利技术要解决的技术问题是提供一种能提高数据包发送效率和稳定性，并能提高传输网络带宽利用率，提高网络传输效率的大数据卫星网络传输系统。本专利技术的进一步方案是提供一种能够提高补包效率的大数据卫星网络传输系统。本专利技术包含下述内容：发送端服务器读取原始大数据文件，并对读取的数据文件进行分组、打包封装，通过发送端通信链路传向卫星链路，进行广播发送，再通过接收端通信链路，发送到接收端服务器；接收端服务器接收到数据包后，存储接收到的正确的数据包，统计丢失，损坏的数据包情况，并将丢包、错包信息回传到发送端服务器；发送端服务器根据回传的丢包、错包信息向接收端补发丢失或损坏的数据包，如此循环，直至接收端服务器接收到完整的数据包后，再将所有数据包合并，生成完整的大数据，其特征在于：在所述发送端服务器开辟二级缓存，由容量较大的一级缓存完成所述对原始大数据文件的读取；容量较小的二级缓存从一级缓存里读取数据，服务器对二级缓存读取的数据完成所述的分组、打包封装。这样处理数据的优点是可加快文件的读取的速度，大大提高了发送端服务器在单位时间内发送数据包的效率和稳定性。接收端对于丢包、错包的编号处理，非采用简单的记录，同时采用多种方式进行记录(差值法、位标识法、连续长度法等)，然后选用数据量最小的方式将信息回传给发送服务器，从而节省了发送服务器端地面Internet网络的带宽需求及发送服务器的处理负荷，使得发送端服务器可以同时监听上千甚至更多的接收端服务器返回的丢包、错包信息，使得系统可以大规模的使用。差值法：记录在分组中第一个丢包、错包的编号，以及其他编号与其差值；位标识法：记录分组中第一个丢包、错包的编号，之后的丢包、错包编号按照二进制码表示，1代表该编号正确接收，0表该编号存在丢包、错包；连续长度法：记录多组连续丢包、错包的第一个丢包、错包编号及连续的长度。本专利技术的进一步方案是：所述接收端通信链路通过地面通信链路与发送端通信链路连接，接收端服务器将获得的丢包、错包信息通过地面通信链路回传到发送端。发送端服务器将丢包、错包信息进行统计处理，补包过程可以根据后续传送任务情况和统计结果进行人工干预，需要给大量接收端补发的数据包由卫星链路发送到接收端服务器，少量接收端需要的补发数据包由地面通信链路发送到接收端服务器。其优点是可以同时向多个接收端用户发送需要补发的数据包，提高补包效率，例如当多个接收端用户由于同样的原因丢失了同样的数据包时，本专利技术方法可以将补发的数据包通过卫星通信链路或者(地面Internet网络)同时发送到各个丢包用户端；对于少量用户需要的补发数据包，通过地面网络进行补发，也提高了卫星网络的传输效率。本专利技术为大范围(卫星覆盖到的区域)、同时、安全、快速发行大数据媒体提供了可能，使大数据文件拷贝可以在最短的时间内通过卫星通道发送到各个用户接收端，实现一点发送，多点接收，缩短了大数据媒体的发行时间，节约了发行成本，而且本专利技术可以充分利用传输网络的带宽，提高卫星信道的利用率，进一步降低通过卫星发行的成本。附图说明当结合以下附图来考虑以下具体实施方式时，可以理解本专利技术及其大量目标、特征和获得的优点，在附图中：图1示出了本专利技术实施例大数据卫星网络传输系统结构示意图图2示出了本专利技术实施例发送端服务器程序流程图图3示出了本专利技术实施例接收端服务器程序流程图图4示出了本专利技术实施例接收端服务器校验、统计丢包、错包信息过程流程图图5示出了本专利技术接收端服务器记录并回传丢包、错包编号的软件流程图具体实施方式下面将详细描述本专利技术的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本专利技术。在以下描述中，为了提供对本专利技术的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本专利技术。在其他实例中，为了避免混淆本专利技术，未具体描述公知的电路、材料或方法。在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本专利技术至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。应当理解，当称“元件”“连接到”或“耦接”到另一元件时，它可以是直接连接或耦接到另一元件或者可以存在中间元件。相反，当称元件“直接连接到”或“直接耦接到”另一元件时，不存在中间元件。相同的附图标记指示相同的元件。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。附图1是本例大数据卫星网络传输系统硬件结构示意图，设有发送端服务器11和接收端服务器15。所述发送端服务器11从大数据文件存储介质10读取数据，进行处理后打包推送至卫星调制器12，然后通过卫星链路13传送至接收端；接收端接收到的数据通过卫星解调器14解调后，由接收服务器15进行处理，形成传送过程的丢包、错包信息，通过地面Internet网络17传送至发送端服务器，进行丢包、错包的补发，当接收到完整正确的全部数据包后，由接收端服务器进行合并，存储文件至大数据文件存储介质16。卫星链路是租用卫星公司提供的通信链路，负责传送发送端服务器发来的数据。同时接收端服务器又通过地面Internet链路与发送端服务器连接，使得各接收端服务器可以和发送端服务器交互信息，构成不对称带宽(高带宽大数据量通信通过卫星链路13广播完成，小数据量交互信息通过地面Internet通信链路17完成)的星形网络。附图2是发送端服务器工作软件程序流程图，本例发送端服务器用程序开启一大，一小两块内存区域作为缓存，较大缓存作为一级缓存，较小缓存作为二级缓存。程序开始后，按下述步骤进行工作：200步骤：开始，添加发行任务，包含允许接收的接收端授权信息，发行的大数据文件本文档来自技高网...

【技术保护点】
一种大数据卫星网络传输系统，包含下述内容：发送端服务器读取原始大数据文件，并对读取的大数据文件进行分组、打包，通过发送端通信链路传向卫星链路，进行广播发送，再通过接收端通信链路，发送到接收端服务器，接收端服务器接收到数据包后，检测丢失，损坏的数据包包情况，并将丢包、错包信息回传到发送端服务器，发送端服务器统计回传的丢包、错包，向接收端补发丢失或损坏的数据包，如此循环，直至接收端服务器接收到完整的数据包后，再将所有数据包合并，生成完整的大数据文件，其特征在于：在所述发送端服务器内存里开辟二级缓存，由容量较大的一级缓存完成所述对原始大数据文件的读取；容量较小的二级缓存从一级缓存里读取数据，服务器对二级缓存读取的数据完成所述的分组、打包。

【技术特征摘要】
1.一种大数据卫星网络传输系统，包含下述内容：发送端服务器读取原始大数据文件，并对读取的大数据文件进行分组、打包，通过发送端通信链路传向卫星链路，进行广播发送，再通过接收端通信链路，发送到接收端服务器，接收端服务器接收到数据包后，检测丢失，损坏的数据包包情况，并将丢包、错包信息回传到发送端服务器，发送端服务器统计回传的丢包、错包，向接收端补发丢失或损坏的数据包，如此循环，直至接收端服务器接收到完整的数据包后，再将所有数据包合并，生成完整的大数据文件，其特征在于：在所述发送端服务器内存里开辟二级缓存，由容量较大的一级缓存完成所述对原始大数据文件的读取；容量较小的二级缓存从一级缓存里读取数据，服务器对二级缓存读取的数据完成所述的分组、打包。2.根据权利要求1所述的大数据卫星网络传输系统，其特征在于：所述接收端服务器将丢包、错包信息是通过地面Internet通信网络回传到发送端，发送端服务器推送需要补发的数据包，通过卫星通信链路(或者地面Internet网络)补发至接收端服务器，发送端服务器统计需要补发的数据包，补包过程可以根据后续传送任务情况和统计结果进行人工干预，需要给大量接收端补发的数据包由卫星链路发送到接收端服务器，少量接收端需要的补发数据包由地面通信链路发送到接收端服务器，其优点当多个接收端用户由于同样的原因丢失了同样的数据包时，本系统可以将补发的数据包通过卫星通信链路同时发送到各个丢包用户端；对于少量用户需要的补发数据包，通过地面网络进行补发，也提高了卫星网络的传输效率。3.根据权利要求1或2所述的大数据卫星网络传输系统，其特征在于：所述发送端服务器的工作过程包含下述内容：3-1：由发送端服务器读取原始数据文件至一级缓存；3-2：开启监听端口，开始监听接收端服务器回传的丢包、错包信息；3-3：由发送端服务器发送接收端授权信息并通过指定的端口发送；3-4：由发送端...

【专利技术属性】
技术研发人员：段胜超，耿耀锋，牛超，蒋振伟，吴敏军，
申请(专利权)人：中广联合移动电视系统有限公司，中广电信有限公司，
类型：发明
国别省市：北京;11