一种分布式计算平台中视频数据分布方法及装置制造方法及图纸

本发明专利技术实施例提供了一种分布式计算平台中视频数据分布方法及装置，上述方法包括：在各节点的初始负载不满足预设的均衡条件下，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合，根据目标时长集合，如果第一时长与第二时长的时长比值，小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，将第一时长对应的视频数据块迁移到第一目标节点进行处理，否则，将第二时长对应的视频数据块迁移到第二目标节点进行处理。基于上述处理，能够避免将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上，进而提高视频任务的处理效率。

A method and device for distribution of video data in distributed computing platform

The embodiment of the invention, a distributed computing method and device for video data distribution platform, the method includes: load does not satisfy the equilibrium condition under the presupposition in the initial of each node, determining each high load of each video data block nodes, each node were moved to low load required for processing time long, long time to get the target set, according to the target set, if the first time and the second time when the length ratio of less than or equal to second, the initial target node load ratio and the first initial target node load, the video data in a length corresponding to the first block migration target node processing otherwise, the video data corresponding to the length of second to second target node block migration processing. Based on the above processing, we can avoid moving the video data blocks on the high load nodes to the nodes with weak video data processing ability, and then improve the processing efficiency of the video tasks.

【技术实现步骤摘要】
一种分布式计算平台中视频数据分布方法及装置
本专利技术涉及数据迁移
，特别是涉及一种分布式计算平台中视频数据分布方法、装置、电子设备及计算机可读存储介质。
技术介绍
视频数据存储架构通常包含多个节点。由于各节点存储的视频数据量不同，随着视频数据处理的进行，各节点之间的负载的差异可能会越来越大，进而导致整个视频数据存储架构的负载严重不均衡。为了解决上述问题，现有技术主要采用HDFS(HadoopDistributedFileSystem，称为分布式文件系统)作为视频数据的分布式存储方案。HDFS可以在视频数据处理过程中，将视频数据存储架构中负载较高的节点上的视频数据块迁移到负载较低的节点上进行处理，进而实现整个视频数据存储架构的负载均衡。然而，各节点的视频数据处理能力可能各不相同，上述处理会造成将高负载节点上的视频数据块迁移到视频数据处理能力弱的节点上的情况，导致视频任务的处理效率低。
技术实现思路
本专利技术实施例的目的在于提供一种分布式计算平台中视频数据分布方法、装置、电子设备及计算机可读存储介质，可以提高视频任务的处理效率。具体技术方案如下：第一方面，为了达到上述目的，本专利技本文档来自技高网...

【技术保护点】
一种分布式计算平台中视频数据分布方法，其特征在于，所述方法包括：获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时长；如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点是所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长...

【技术特征摘要】
1.一种分布式计算平台中视频数据分布方法，其特征在于，所述方法包括：获取各节点的初始负载，其中，每一节点的初始负载为本次视频数据迁移前，该节点完成视频数据处理所需的时长；如果所述各节点的初始负载不满足预设的均衡条件，确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，得到目标时长集合；其中，所述高负载节点是所述各节点中初始负载大于平均负载的节点，所述低负载节点是所述各节点中初始负载小于所述平均负载的节点，所述平均负载为所述各节点的初始负载的平均值；判断第一时长与第二时长的时长比值，是否小于或等于第二目标节点的初始负载与第一目标节点的初始负载的负载比值，其中，所述第一时长为所述目标时长集合中的最短时长，所述第一目标节点为所述第一时长对应的低负载节点，所述第二目标节点为所述各节点中初始负载最小的节点，所述第二时长为所述目标时长集合中所述第二目标节点对应的最短时长；如果所述时长比值小于或等于所述负载比值，将所述第一时长对应的视频数据块迁移到所述第一目标节点进行处理；如果所述时长比值大于所述负载比值，将所述第二时长对应的视频数据块迁移到所述第二目标节点进行处理。2.根据权利要求1所述的方法，其特征在于，所述确定将各高负载节点中的每一视频数据块，分别迁移到各低负载节点进行处理所需的时长，包括：针对每一低负载节点，分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，以及该低负载节点完成该视频数据块处理所需的处理时长；将所述迁移时长和该低负载节点的初始负载中的最大值，作为该低负载节点处理该视频数据块的等待时长；将所述处理时长和所述等待时长的和值，作为将该视频数据块迁移到该低负载节点进行处理所需的时长。3.根据权利要求2所述的方法，其特征在于，所述分别确定将所述各高负载节点中的每一视频数据块，迁移到该低负载节点所需的迁移时长，包括：分别确定从所述各高负载节点读取每一视频数据块所需的第一读取时长、将该视频数据块从所属的高负载节点传输到该低负载节点所需的传输时长、以及将该视频数据块写入该低负载节点所需的写入时长；将所述第一读取时长、所述传输时长和所述写入时长的和值，作为将该视频数据块从所属的高负载节点，迁移到该低负载节点所需的迁移时长。4.根据权利要求2所述的方法，其特征在于，所述确定该低负载节点完成该视频数据块处理所需的处理时长，包括：确定该低负载节点读取该视频数据块所需的第二读取时长，以及该低负载节点处理该视频数据块对应的视频任务所需的任务时长；将所述第二读取时长和所述任务时长的和值，作为该低负载节点完成该视频数据块处理所需的处理时长。5.根据权利要求4所述的方法，其特征在于，所述确定该低负载节点处理该视频数据块对应的视频任务所需的任务时长，包括：确定该低负载节点处理单位时长的该视频数据块对应的视频任务所需的平均处理时长；根据所述平均处理时长和该视频数据块的...

【专利技术属性】
技术研发人员：张海涛，马华东，高阳阳，唐炳昌，徐政钧，耿欣，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11