数据传输方法、数据系统及相关装置制造方法及图纸

本发明专利技术提供了一种数据传输方法、数据系统及相关装置。其中，该数据系统包括：源服务器，分别位于不同集群的多个目标服务器，还包括：为各集群分别设置的代理服务器；其中，源服务器，适于传输待传输数据至各集群的代理服务器；对于各集群中的任意一个集群，该集群内的代理服务器，适于接收待传输数据，并转发待传输数据至本集群内的所有目标服务器；该集群内的各目标服务器，适于接收本集群代理服务器下发的待传输数据。依据本发明专利技术实施例能够提高了源服务器的资源利用率。

【技术实现步骤摘要】

本专利技术涉及数据传输领域，特别是涉及一种数据传输方法、数据系统及相关装置。
技术介绍
随着网络技术的快速发展，在大型网站的源服务器，每时每刻都有很多新生成的网页文件、代码文件和配置文件等各种类型的数据。为保证互联网用户能够及时访问或者使用，源服务器需要以较快的速度把新生成的数据分发到数十台、甚至数百台位于不同地点的目标服务器上。现有技术中，源服务器将生成的数据传输至各个目标服务器的方式有两种：串行处理方式和并行处理方式：串行处理方式，即源服务器将每一批的待传输数据串行地传输到所有目标服务器上，当存在多批待传输数据时，重复以上过程。这种传输方式虽然稳定性好，但是传输速度慢，导致待传输数据不能够及时高效地传输到目标服务器上。并行处理方式，即源服务器并行地将每一批的待传输数据传输到所有的目标服务器上。这种传输方式虽然传输速度比第一种传输方式快，但是至少存在以下两个缺点：(1)源服务器需要同时与所有目标服务器建立网络连接，因此网络连接和进程/线程数量不易控制；(2)每次数据传输操作的多个目标服务器通常处于不同的地域，并且可能距离源服务器距离远，因此传输过程的稳定性差。
技术实现思路
鉴于上述问题，本专利技术的实施例提出了一种数据传输方法、数据系统及相关装置，以克服上述问题或者至少部分地解决上述问题。依据本专利技术的一个方面，提供了一种源服务器，包括：传输模块，适于传输所述待传输数据至为各集群分别设置的代理服务器，其中，各集群的代理服务器用于将所述待传输数据转发至其所在集群的各目标服务器。可选地，所述源服务器还包括：分配模块，适于根据所述待传输数据的参数分配N个用于传输所述待传输数据的队列，其中，N为不小于1的正整数；传输模块，适于利用分配的所述N个队列向所述各集群的代理服务器传输所述待传输数据。可选地，所述源服务器还包括：监测模块，适于在传输过程中，监测当前待传输数据的参数是否发生变化；以及，当监测到当前待传输数据的参数发生变化，触发所述分配模块；所述分配模块，还适于接收所述监测模块的触发，并根据变化后的参数重新分配M个用于传输所述待传输数据的队列；所述传输模块，还适于利用重新分配的所述M个队列继续进行数据传输操作。可选地，所述分配模块还适于：根据所述待传输数据的参数确定本源服务器的配置信息，其中，所述配置信息包括进程数量信息、网络连接数信息；以及，根据所述配置信息分配N个用于传输所述待传输数据的队列。可选地，所述传输模块进一步包括：确定单元，适于根据所述待传输数据的参数确定所述待传输数据的优先级级别；排序单元，适于利用所述待传输数据的优先级级别在所述N个队列中对缓存的所述待传输数据进行排序；以及传输单元，适于根据排序结果进行所述数据传输操作。可选地，所述排序单元还适于：将优先级较高的待传输数据置于优先级较低的待传输数据之前，以优先传输所述优先级较高的待传输数据。可选地，所述源服务器还包括：接收模块，适于接收所述各集群的代理服务器返回的传输结果。可选地，所述源服务器还包括：处理模块，适于根据所述传输结果进行传输状态分析，得到分析结果，其中，所述传输状态包括以下至少之一：传输速度、传输成功率、传输丢包率；所述分配模块，还适于利用所述分析结果分配队列数目。可选地，所述传输模块还适于：当所述接收模块接收所述传输结果之后，若任一代理服务器返回的传输结果为传输操作失败，重新传输所述待传输数据至该代理服务器。依据本专利技术的另一方面，还提供了一种代理服务器，设置于一个集群，其中，所述集群中还存在多个目标服务器，包括：接收模块，适于接收来自源服务器的待传输数据；发送模块，适于发送所述待传输数据至本集群内的各目标服务器。可选地，所述发送模块还适于：返回传输结果至所述源服务器，以供所述源服务器根据所述传输结果调整后续传输操作。依据本专利技术的再一方面，还提供了一种数据系统，包括上述的源服务器和至少一个集群，其中，每个集群中包括多个目标服务器，还包括上述的代理服务器，其中，所述源服务器，适于传输待传输数据至所述各集群的代理服务器；对于所述各集群中的任意一个集群，该集群内的代理服务器，适于接收所述待传输数据，并转发所述待传输数据至本集群内的各目标服务器；以及，该集群内的各目标服务器，适于接收本集群代理服务器下发的所述待传输数据。可选地，所述各集群中任一集群的代理服务器还适于通过以下步骤设置：在本集群中选择任一目标服务器作为代理服务器；或者，为本集群单独设置一个代理服务器。依据本专利技术的又一方面，还提供了一种应用于数据系统的数据传输方法，所述数据系统包含源服务器、分别位于至少一集群中的多个目标服务器，所述方法包括：为每一集群设置代理服务器；将待传输数据传输至对应的代理服务器；以及利用所述对应的代理服务器将所述待传输数据转发到本集群中的目标服务器。依据本专利技术的再一方面，还提供了一种应用于源服务器的数据传输方法，包括：传输待传输数据至为各集群分别设置的代理服务器，其中，所述代理服务器用于将所述待传输数据转发至其所在集群的各目标服务器。可选地，所述方法还包括：传输待传输数据至为各集群分别设置的代理服务器之前，根据所述待传输数据的参数分配N个用于传输所述待传输数据的队列，其中，N为不小于1的正整数；以及利用分配的所述N个队列向所述各集群的代理服务器传输所述待传输数据。可选地，所述方法还包括：在传输过程中，监测当前待传输数据的参数是否发生变化；当监测到当前待传输数据的参数发生变化，根据变化后的参数重新分配M个用于传输所述待传输数据的队列；以及利用重新分配的所述M个队列继续进行数据传输操作。可选地，根据所述待传输数据的参数分配N个用于传输所述待传输数据的队列，包括：根据所述待传输数据的参数确定本源服务器的配置信息，其中，所述配置信息包括进程数量信息、网络连接数信息；以及根据所述配置信息分配N个用于传输所述待传输数据的队列。可选地，所述利用分配的所述N个队列向所述各集群的代理服务器传输所述待传输数据，包括：根据所述待传输数据的参数确定所述待传输数据的优先级级别；利用所述待传输数据的优先级级别在所述N个队列中对缓存的所述待传输数据进行排序；以及根据排序结果进行所述数据传输操作。可选地，利用所述待传输数据的优先级级别在所述N个队列中对缓存的所述待传输数据进行排序，包括：将优先级较高的待传输数据置于优先级本文档来自技高网...

【技术保护点】
一种源服务器，包括：传输模块，适于传输所述待传输数据至为各集群分别设置的代理服务器，其中，各集群的代理服务器用于将所述待传输数据转发至其所在集群的各目标服务器。

【技术特征摘要】
1.一种源服务器，包括：
传输模块，适于传输所述待传输数据至为各集群分别设置的代理服务器，
其中，各集群的代理服务器用于将所述待传输数据转发至其所在集群的各
目标服务器。
2.根据权利要求1所述的源服务器，其中，还包括：
分配模块，适于根据所述待传输数据的参数分配N个用于传输所述待传输
数据的队列，其中，N为不小于1的正整数；
传输模块，适于利用分配的所述N个队列向所述各集群的代理服务器传输
所述待传输数据。
3.根据权利要求2所述的源服务器，其中，还包括：
监测模块，适于在传输过程中，监测当前待传输数据的参数是否发生变化；
以及当监测到当前待传输数据的参数发生变化，触发所述分配模块；
所述分配模块，还适于接收所述监测模块的触发，并根据变化后的参数重
新分配M个用于传输所述待传输数据的队列；
所述传输模块，还适于利用重新分配的所述M个队列继续进行数据传输
操作。
4.根据权利要求2或3所述的源服务器，其中，所述分配模块还适于：
根据所述待传输数据的参数确定本源服务器的配置信息，其中，所述配置
信息包括进程数量信息、网络连接数信息；以及
根据所述配置信息分配N个用于传输所述待传输数据的队列。
5.根据权利要求2至4任一项所述的源服务器，其中，所述传输模块进一
步包括：
确定单元，适于根据所述待传输数据的参数确定所述待传输数据的优先级
级别；
排序单元，适于利用所述待传输数据的优先级级别在所述N个队列中对缓
存的所述待传输数据进行排序；以...

【专利技术属性】
技术研发人员：赵剑锋，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：北京;11