【技术实现步骤摘要】
数据的传输控制方法、装置、设备以及存储介质
本专利技术实施例涉及数据的传输控制技术，尤其涉及一种数据的传输控制方法、装置、设备以及存储介质。
技术介绍
在互联网行业，“大数据”时代已经来临，各个公司、团体机构都在极力研究、构建自己的大数据处理平台，以挖掘出各种有用的信息。而这些大规模的数据都是需要从各个应用系统中获取，对于规模较大的公司，应用系统众多，数据生成、存储方式以及规范都有所不同，尤其是应用系统的日志数据。因此，如何构建有效的日志传输系统，以可靠、实时的将大规模的日志数据传送到大数据平台进行数据处理，是当前亟需解决的一个重要问题。
技术实现思路
本专利技术实施例提供了一种数据的传输控制方法、装置、设备以及存储介质，将数据分配给传输流中的多个节点中进行并行传输的同时，强化了对传输流以及节点的监管和控制。第一方面，本专利技术实施例提供了一种数据的传输控制方法，包括：获取传输配置信息，并对所述传输配置信息中的数据源进行拆分处理，得到与设定的并行处理数量匹配的拆分结果；根据...
【技术保护点】
1.一种数据的传输控制方法，其特征在于，包括：/n获取传输配置信息，并对所述传输配置信息中的数据源进行拆分处理，得到与设定的并行处理数量匹配的拆分结果；/n根据所述传输配置信息中的目的源以及本地计算算子，生成与各所述拆分结果分别对应的局部传输配置信息，并向代理设备集合中的至少一个目标代理设备分发所述局部传输配置信息；/n其中，各所述局部传输配置信息用于指示每个所述目标代理设备分别运行至少一个目标节点，组合生成与所述传输配置信息匹配的传输流进行数据传输；/n接收所述至少一个目标代理设备上报的所述传输流中各目标节点的传输进程信息，并根据所述传输进程信息，监控所述传输流，和/或目...
【技术特征摘要】
1.一种数据的传输控制方法，其特征在于，包括：
获取传输配置信息，并对所述传输配置信息中的数据源进行拆分处理，得到与设定的并行处理数量匹配的拆分结果；
根据所述传输配置信息中的目的源以及本地计算算子，生成与各所述拆分结果分别对应的局部传输配置信息，并向代理设备集合中的至少一个目标代理设备分发所述局部传输配置信息；
其中，各所述局部传输配置信息用于指示每个所述目标代理设备分别运行至少一个目标节点，组合生成与所述传输配置信息匹配的传输流进行数据传输；
接收所述至少一个目标代理设备上报的所述传输流中各目标节点的传输进程信息，并根据所述传输进程信息，监控所述传输流，和/或目标节点的实时运行状态。
2.根据权利要求1所述的方法，其特征在于，根据所述传输进程信息，监控所述传输流，和/或目标节点的实时运行状态，包括：
分别统计所述传输流中各所述目标节点在至少两个监控时间点下的传输进程信息；
根据对所述传输进程信息的统计结果，计算与各所述目标节点分别对应的传输速率以及传输完成度；
根据所述传输速率以及所述传输完成度，确定每个所述目标节点的实时运行状态；
将各所述目标节点的实时运行状态进行统计计算，并将统计计算结果作为所述传输流的实时运行状态。
3.根据权利要求1所述的方法，其特征在于，在向代理设备集合中的至少一个目标代理设备分发所述局部传输配置信息之后，还包括：
接收所述至少一个目标代理设备上报的各所述目标节点的节点状态信息；
在根据所述传输进程信息，监控所述传输流，和/或目标节点的实时运行状态之后，还包括：
根据所述传输流，和/或各所述目标节点的实时运行状态，以及各所述目标节点的节点状态信息，选取匹配的传输控制方式，对所述传输流，和/或目标节点进行传输控制。
4.根据权利要求3所述的方法，其特征在于：
针对所述传输流的传输控制方式包括下述至少一项：重启、暂停、删除、以及修改；和/或
针对所述目标节点的传输控制方式包括下述至少一项：重启、暂停、以及暂停后重启。
5.根据权利要求1所述的方法，其特征在于，在接收所述至少一个目标代理设备上报的所述传输流中各目标节点的传输进程信息之后，还包括：
对各所述目标节点的传输进程信息进行更新存储；
其中，存储的所述传输进程信息用于所述传输流被异常中断后，在重新启动的所述传输流中对各目标节点已经传输完成的数据进行回溯重传或者断点续传。
6.根据权利要求1所述的方法，其特征在于，在向代理设备集合中的至少一个...
【专利技术属性】
技术研发人员：范小刚，仲毅，刘锋，柳洋，陈相林，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。