一种数据传输调度方法和系统技术方案

本发明专利技术公开了一种数据传输调度方法和系统，所述方法涉及数据传输技术领域，所述方法包括：所述调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；所述调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。采用本发明专利技术，可以在数据消费集群中实现有效的负载均衡，进一步可以提高数据消费集群的数据处理质量和设备资源利用率。

A Data Transmission Scheduling Method and System

【技术实现步骤摘要】
一种数据传输调度方法和系统
本专利技术涉及数据传输
，特别涉及一种数据传输调度方法和系统。
技术介绍
随着网络技术和数据处理技术的飞速发展，CDN集群、云服务集群等业务服务集群(可称为数据生产集群)的业务规模不断扩大，服务能力不断增加。为了保证业务服务的质量，业务服务方一般会通过数据分析集群(可称为数据消费集群)对业务服务集群中的业务服务器生成的数据进行采集和分析，以便基于分析结果对业务服务器的运行状态进行调整。由于需要采集和分析的数据量巨大，数据分析系统中往往会存在大量的数据分析设备(可称为数据消费者)，而每台业务服务器(可称为数据生产者)在生成数据之后，均可以将数据传输给预先指定的数据分析设备进行分析。例如，数据分析系统中存在A、B、C三台数据分析设备，网络服务系统中存在30台业务服务器，可以设定第1-10台业务服务器将生成的数据传输给A进行分析，第11-20台业务服务器将生成的数据传输给B进行分析，第21-30台业务服务器将生成的数据传输给C进行分析。在实现本专利技术的过程中，专利技术人发现现有技术至少存在以下问题：受数据分析设备的处理能力和待分析的数据的数量的不同，每台数据分析设备的负载也不同，在上述数据传输机制下会出现部分数据分析设备持续过载的同时，部分数据分析设备长期闲置的情况，这样不仅会影响数据分析系统的数据处理质量，而且数据分析系统的设备资源利用率较低。
技术实现思路
为了解决现有技术的问题，本专利技术实施例提供了一种数据传输调度方法和系统。所述技术方案如下：第一方面，提供了一种数据传输调度方法，所述方法应用于数据传输调度系统，所述数据传输调度系统包括至少一台调度服务器、多台数据生产者和数据消费者，其中：所述调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；所述调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。可选的，所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输，包括：对于目标在线数据生产者，所述调度服务器将所述传输调度表发送给所述目标在线数据生产者进行存储；当需要向数据消费者传输目标数据时，所述目标在线数据生产者根据已存储的传输调度表对所述目标数据进行传输。可选的，所述方法还包括：所述调度服务器在服务器前端缓存所述传输调度表；如果所述目标在线数据生产者存储的传输调度表中不存在所述目标数据对应的调度信息，所述目标在线数据生产者则向所述调度服务器发送数据调度请求；所述调度服务器在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述数据生产者反馈所述目标调度信息；所述目标在线数据生产者根据所述目标调度信息传输所述目标数据。可选的，所述目标在线数据生产者则向所述调度服务器发送数据调度请求之后，还包括：如果所述服务器前端缓存的传输调度表中不存在所述目标数据对应的调度信息，所述调度服务器则基于所述目标在线数据生产者的基础设备信息生成所述目标数据对应的目标调度信息，并向所述目标在线数据生产者反馈所述目标调度信息。可选的，所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输，包括：所述调度服务器在服务器前端缓存所述传输调度表；对于任一在线数据生产者，当需要向数据消费者传输目标数据时，所述在线数据生产者向所述调度服务器发送数据调度请求；所述调度服务器在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述在线数据生产者反馈所述目标调度信息；所述在线数据生产者根据所述目标调度信息传输所述目标数据。可选的，所述方法还包括：当接收到针对目标数据生产者的注册请求或者重新上线请求时，所述调度服务器获取所述目标数据生产者的基础设备信息；所述调度服务器将所述目标数据生产者标记为在线数据生产者，并基于所述目标在线数据生产者的基础设备信息为所述目标数据生产者分配当前周期内的在线数据消费者。可选的，所述方法还包括：当接收到针对目标数据生产者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据生产者发送的保活消息，所述调度服务器将所述目标数据生产者标记为非在线数据生产者。可选的，所述方法还包括：当接收到针对目标数据消费者的注册请求或者重新上线请求时，所述调度服务器获取所述目标数据消费者的基础设备信息，将所述目标数据消费者标记为在线数据消费者；所述调度服务器根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；所述调度服务器向所述所有在线数据生产者提供所述最新传输调度表，以使所述所有在线数据生产者基于所述最新传输调度表进行数据传输。可选的，所述方法还包括：当接收到针对目标数据消费者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据消费者发送的保活消息，所述调度服务器将所述目标数据消费者标记为非在线数据消费者；所述调度服务器根据所有在线数据生产者的基础设备信息和上一周期内的数据生产情况，以及所有在线数据消费者的基础设备信息和上一周期内的数据消费情况，生成最新传输调度表；所述调度服务器向所述所有在线数据生产者提供所述最新传输调度表，以使所述所有在线数据生产者基于所述最新传输调度表进行数据传输。第二方面，提供了一种数据传输调度系统，所述系统包括至少一台调度服务器、多台数据生产者和数据消费者，其中，所述调度服务器用于：周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。可选的，所述调度服务器，具体用于将所述传输调度表发送给所述目标在线数据生产者进行存储；所述目标在线数据生产者，用于当需要向数据消费者传输目标数据时，根据已存储的传输调度表对所述目标数据进行传输。可选的，所述调度服务器，还用于在服务器前端缓存所述传输调度表；所述目标在线数据生产者，还用于如果所述目标在线数据生产者存储的传输调度表中不存在所述目标数据对应的调度信息，则向所述调度服务器发送数据调度请求；所述调度服务器，还用于在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述数据生产者反馈所述目标调度信息；所述目标在线数据生产者，还用于根据所述目标调度信息传输所述目标数据。可选的，所述调度服务器，还用于：如果所述服务器前端缓存的传输调度表中不存在所述目标数据对应的调度信息，则基于所述目标在线数据生产者的基础设备信息生成所述目标数据对应的目标调度信息，并向所述目标在线数据生产者反馈所述目标调度信息。可选的，所述调度服务器，具体用于在服务器前端缓存所述传输本文档来自技高网...

【技术保护点】
1.一种数据传输调度方法，其特征在于，所述方法应用于数据传输调度系统，所述数据传输调度系统包括至少一台调度服务器、多台数据生产者和数据消费者，其中：所述调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；所述调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。

【技术特征摘要】
1.一种数据传输调度方法，其特征在于，所述方法应用于数据传输调度系统，所述数据传输调度系统包括至少一台调度服务器、多台数据生产者和数据消费者，其中：所述调度服务器周期性获取所有在线数据生产者在上一周期内的数据生产情况和所有在线数据消费者在上一周期内的数据消费情况；所述调度服务器根据所有在线数据生产者和所有在线数据消费者的基础设备信息，以及所述数据生产情况和所述数据消费情况，生成传输调度表；所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输。2.根据权利要求1所述的方法，其特征在于，所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输，包括：对于目标在线数据生产者，所述调度服务器将所述传输调度表发送给所述目标在线数据生产者进行存储；当需要向数据消费者传输目标数据时，所述目标在线数据生产者根据已存储的传输调度表对所述目标数据进行传输。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：所述调度服务器在服务器前端缓存所述传输调度表；如果所述目标在线数据生产者存储的传输调度表中不存在所述目标数据对应的调度信息，所述目标在线数据生产者则向所述调度服务器发送数据调度请求；所述调度服务器在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述数据生产者反馈所述目标调度信息；所述目标在线数据生产者根据所述目标调度信息传输所述目标数据。4.根据权利要求3所述的方法，其特征在于，所述目标在线数据生产者则向所述调度服务器发送数据调度请求之后，还包括：如果所述服务器前端缓存的传输调度表中不存在所述目标数据对应的调度信息，所述调度服务器则基于所述目标在线数据生产者的基础设备信息生成所述目标数据对应的目标调度信息，并向所述目标在线数据生产者反馈所述目标调度信息。5.根据权利要求1所述的方法，其特征在于，所述调度服务器向所述所有在线数据生产者提供所述传输调度表，以使所述所有在线数据生产者基于所述传输调度表进行数据传输，包括：所述调度服务器在服务器前端缓存所述传输调度表；对于任一在线数据生产者，当需要向数据消费者传输目标数据时，所述在线数据生产者向所述调度服务器发送数据调度请求；所述调度服务器在所述服务器前端缓存的传输调度表中查找所述目标数据对应的目标调度信息，并向所述在线数据生产者反馈所述目标调度信息；所述在线数据生产者根据所述目标调度信息传输所述目标数据。6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：当接收到针对目标数据生产者的注册请求或者重新上线请求时，所述调度服务器获取所述目标数据生产者的基础设备信息；所述调度服务器将所述目标数据生产者标记为在线数据生产者，并基于所述目标在线数据生产者的基础设备信息为所述目标数据生产者分配当前周期内的在线数据消费者。7.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：当接收到针对目标数据生产者的注销请求或者休眠请求时，或者在预设时长内未接收到所述目标数据生产者发送的保活消息，所述调度服务器将所述目标数据生产者标记为非在线数据生产者。8.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包...

【专利技术属性】
技术研发人员：王开鹏，
申请(专利权)人：网宿科技股份有限公司，
类型：发明
国别省市：上海,31