数据传输方法和系统技术方案

本发明专利技术涉及一种数据传输方法和系统，其中服务消费方将数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求，将大数据以文件形式表达，并建立数据请求与服务请求的关联关系信息，将服务请求发送至服务网关，服务网关提取服务请求联的数据请求，将服务请求路由到服务提供方，将数据请求路由到分布式大文件传输服务器，服务提供方接收服务网关发送的服务请求，向服务网关反馈响应服务，使服务网关将所述响应服务传输至所述服务消费方，服务消费方通过分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括大数据的文件，使包括大数据的文件能够完整快速传输至服务提供方，提升了包括大数据的文件等大数据量信息的传输效率。

【技术实现步骤摘要】
数据传输方法和系统
本申请涉及通信
，特别是涉及一种数据传输方法和系统。
技术介绍
随着现代企业信息系统复杂度的不断提高，以及各系统需要与外部合作伙伴应用、企业自身公网应用、企业内网应用的频繁交互，无论在服务安全还是服务级别、流量控制上都需要服务网关起到核心枢纽和支撑作用。伴随着数字经济的蓬勃发展，大数据时代的到来，大数据量的信息服务日渐繁重，传统的企业服务网关在响应大数据量服务时，还是以HTTP协议大报文携带数据的方式进行传输，服务网关采用同步方式进行响应，此种方式在面对现如今的频繁大数据量的形式下，服务质量和响应时间都无法保障。
技术实现思路
基于此，为有效缩短服务网关响应携带大数据量服务请求的响应时间，提供一种数据传输方法和系统。其采用大数据量传输通过文件分片方式进行，服务网关将服务请求和大数据量传输采用异步方式进行响应，服务请求接入采用分阶段事件驱动架构来实现高并发请求的及时接入，采用分布式大文件传输架构作为文件传输服务，并应用分片传输机制、断点续传能力、面向块的I/O系统NIO技术等来保证传输过程的可靠性的同时缩短服务网关的响应时间。本申请在第一方面提供一种数据传输方法，包括：S10，服务消费方在发送携带有大数据量的数据传输请求时，将所述数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求，并获取所述数据请求对应的大数据，将所述大数据以文件形式表达，并建立包括大数据的文件和数据请分别与服务请求的关联关系信息，将所述服务请求发送至服务网关；S20，所述服务网关接收所述服务消费方发送的服务请求，在识别到所述服务请求关联的数据请求时，提取所述服务请求关联的数据请求，将所述服务请求路由到服务提供方，将所述数据请求路由到分布式大文件传输服务器；S30，所述服务提供方接收所述服务网关发送的服务请求，向所述服务网关反馈响应服务，使所述服务网关将所述响应服务传输至所述服务消费方；S40，所述服务消费方接收所述响应服务，通过所述分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括所述大数据的文件。在一个实施例中，所述服务消费方通过文件传输服务向所述服务提供方传输包括所述大数据的文件包括：所述分布式大文件传输服务器接收所述数据请求，设置文件传输服务，建立与所述服务消费方之间的传输通道；所述服务消费方通过所述传输通道向所述分布式大文件传输服务器传输包括所述大数据的文件；所述分布式大文件传输服务器将接收的文件传输至所述服务提供方。作为一个实施例，所述分布式大文件传输服务器将接收的文件传输至所述服务提供方包括：所述分布式大文件传输服务器存储接收的文件，通知所述服务提供方；所述服务提供方在接收通知后，从所述分布式大文件传输服务器获取文件。具体地，上述数据传输方法，还包括：所述服务网关监测所述分布式大文件传输服务器向所述服务提供方传输文件的进度，在所述文件传输完成后，向所述服务提供方发送传输完成的通知信息。具体地，上述数据传输方法，还包括：所述服务提供方收到所述传输完成的通知信息后，解析所述文件，以获取所述文件携带的大数据。在一个实施例中，所述服务提供方在接收通知后，从所述分布式大文件传输服务器获取文件包括：所述服务提供方根据服务请求的关联关系信息确定文件存放位置，根据所述文件存放位置读取所述文件，以得到所述文件中表达的大数据。在一个实施例中，所述服务消费方通过所述传输通道传输包括所述大数据的文件包括：所述服务消费方将包括大数据的文件进行分片并编号，采用断点续传技术将全部分片文件通过所述传输通道传输至所述分布式大文件传输服务器。具体地，所述分布式大文件传输服务器接收分片文件，将全部分片文件组装成完整的文件。本申请在第二方面提供一种数据传输系统，包括：服务消费方、服务网关和服务提供方；所述服务消费方在发送携带有大数据量的数据传输请求时，将所述数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求，并获取所述数据请求对应的大数据，将所述大数据以文件形式表达，并建立包括大数据的文件和数据请分别与服务请求的关联关系信息，将所述服务请求发送至服务网关；所述服务网关接收所述服务消费方发送的服务请求，在识别到所述服务请求关联的数据请求时，提取所述服务请求关联的数据请求，将所述服务请求路由到服务提供方，将所述数据请求路由到分布式大文件传输服务器；所述服务提供方接收所述服务网关发送的服务请求，向所述服务网关反馈响应服务，使所述服务网关将所述响应服务传输至所述服务消费方；所述服务消费方接收所述响应服务，通过所述分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括所述大数据的文件。在一个实施例中，上述数据传输系统，还包括分布式大文件传输服务器；所述分布式大文件传输服务器接收所述数据请求，设置文件传输服务，建立与所述服务消费方之间的传输通道；并将接收的文件传输至所述服务提供方；所述服务消费方通过所述传输通道向所述分布式大文件传输服务器传输包括所述大数据的文件。上述数据传输方法和系统中，服务消费方在发送携带有大数据量的数据传输请求时，将数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求，并获取数据请求对应的大数据，将大数据以文件形式表达，并建立数据请求与服务请求的关联关系信息，将服务请求发送至服务网关，服务网关接收服务消费方发送的服务请求，识别到服务请求联的数据请求时，提取服务请求联的数据请求，将服务请求路由到服务提供方，将数据请求路由到分布式大文件传输服务器，服务提供方接收服务网关发送的服务请求，向服务网关反馈响应服务，使服务网关将所述响应服务传输至所述服务消费方，服务消费方通过分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括大数据的文件，使包括大数据的文件能够完整快速传输至服务提供方，提升了包括大数据的文件等大数据量信息的传输效率，进而可以提升相应文件传输的服务质量和响应时间。附图说明通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：图1是一个实施例的数据传输方法流程图；图2是一个实施例中携带大数据量请求时服务网关响应处理逻辑图；图3是一个实施例中服务网关功能框架图；图4是一个实施例中服务网关响应服务请求采用的分阶段事件驱动架构逻辑图；图5是一个实施例中断点续传技术过程逻辑图；图6是一个实施例中NIO技术读写数据过程逻辑图；图7为一个实施例中大文件分片传输过程原理图。具体实施方式下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，包括：/n服务消费方在发送携带有大数据量的数据传输请求时，将所述数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求，并获取所述数据请求对应的大数据，将所述大数据以文件形式表达，并建立包括大数据的文件和数据请分别与服务请求的关联关系信息，将所述服务请求发送至服务网关；/n所述服务网关接收所述服务消费方发送的服务请求，在识别到所述服务请求关联的数据请求时，提取所述服务请求关联的数据请求，将所述服务请求路由到服务提供方，将所述数据请求路由到分布式大文件传输服务器；/n所述服务提供方接收所述服务网关发送的服务请求，向所述服务网关反馈响应服务，使所述服务网关将所述响应服务传输至所述服务消费方；/n所述服务消费方接收所述响应服务，通过所述分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括所述大数据的文件。/n

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：
服务消费方在发送携带有大数据量的数据传输请求时，将所述数据传输请求拆分为传输大数据的数据请求和请求通信的服务请求，并获取所述数据请求对应的大数据，将所述大数据以文件形式表达，并建立包括大数据的文件和数据请分别与服务请求的关联关系信息，将所述服务请求发送至服务网关；
所述服务网关接收所述服务消费方发送的服务请求，在识别到所述服务请求关联的数据请求时，提取所述服务请求关联的数据请求，将所述服务请求路由到服务提供方，将所述数据请求路由到分布式大文件传输服务器；
所述服务提供方接收所述服务网关发送的服务请求，向所述服务网关反馈响应服务，使所述服务网关将所述响应服务传输至所述服务消费方；
所述服务消费方接收所述响应服务，通过所述分布式大文件传输服务器提供的文件传输服务向所述服务提供方传输包括所述大数据的文件。


2.根据权利要求1所述的数据传输方法，其特征在于，所述服务消费方通过文件传输服务向所述服务提供方传输包括所述大数据的文件包括：
所述分布式大文件传输服务器接收所述数据请求，设置文件传输服务，建立与所述服务消费方之间的传输通道；
所述服务消费方通过所述传输通道向所述分布式大文件传输服务器传输包括所述大数据的文件；
所述分布式大文件传输服务器将接收的文件传输至所述服务提供方。


3.根据权利要求2所述的数据传输方法，其特征在于，所述分布式大文件传输服务器将接收的文件传输至所述服务提供方包括：
所述分布式大文件传输服务器存储接收的文件，通知所述服务提供方；
所述服务提供方在接收通知后，从所述分布式大文件传输服务器获取文件。


4.根据权利要求3所述的数据传输方法，其特征在于，还包括：
所述服务网关监测所述分布式大文件传输服务器向所述服务提供方传输文件的进度，在所述文件传输完成后，向所述服务提供方发送传输完成的通知信息。


5.根据权利要求4所述的数据传输方法，其特征在于，还包括：
所述服务提供方收到所述传输完成的通知信息后，解析所述文件，以获取所述文件携带的大...

【专利技术属性】
技术研发人员：蒲伟，张伟，王玮，叶华文，安振文，潘成鹏，孙义磊，赵歆，
申请(专利权)人：中海油信息科技有限公司，
类型：发明
国别省市：广东;44