一种分布式计算平台中视频数据迁移方法及装置制造方法及图纸

本发明专利技术实施例提供了一种分布式计算平台中视频数据迁移方法及装置，该方法中，预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间；基于各个运行时间，以及各个物理存储节点的当前负载，预估各个物理存储节点对应的当前待分配视频数据队列；在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。本发明专利技术中，通过对视频数据进行迁移的方式，使得各个当前待分配视频数据队列一直为可使各个物理存储节点负载均衡的队列，减少了集群内部网络资源的消耗。

Method and device for transferring video data in distributed computing platform

The embodiment of the invention, a distributed computing platform video data migration method and device provided, the method, the expected running time of each set of video data in video data to be distributed in the first physical storage nodes; each running time based on the current load and the physical storage node, estimates corresponding to each physical storage the current node to be distributed video data in the current queue; each physical storage node to run the corresponding distribution of video data in the queue to be distributed video data, real-time monitoring of all the video data to be distributed in the queue if there is video data transfer to meet the conditions of transfer of video data, if present, data migration in the presence of to transfer the video data. In the invention, by means of migration of video data, the current distribution of video data has been the queue of each physical storage node load balancing of the queue, the cyber source cluster to reduce consumption.

【技术实现步骤摘要】

本专利技术涉及视频数据处理
，特别是涉及一种分布式计算平台中视频数据迁移方法及装置。
技术介绍
随着科学技术的发展，每天产生的视频数据越来越多，例如：监控视频数据，为了对所产生的大量视频数据进行处理，分布式计算平台应运而生，分布式计算平台运行在分布式集群上，其中，分布式集群一般包括多个物理存储节点和一个管理节点，物理存储节点用于存储视频数据以及处理视频数据，管理节点用于对存储节点进行管理。现有技术中通过分布式集群进行视频数据放置时，是一个随机放置的过程，例如：将视频数据集合中的视频数据随机分配至分布式集群中的各个物理存储节点中，其中，一个视频数据对应一个物理存储节点。由于现有技术中通过分布式集群进行视频数据放置时是面向存储视频数据考虑的，即将视频数据存储到各个物理存储节点即可，因此，在视频数据放置之后，产生某个物理存储节点的负载很大，某个物理存储节点的负载很小的情况。当分布式集群需要进行视频数据计算时，管理节点将检测集群中各个物理存储节点的负载情况，将负载较大的物理存储节点上的视频数据迁移到负载较低的物理存储节点上，即在集群内部进行大量的视频数据迁移以使负载均衡，导致集群内部产生大量的网络传输，使得集群内部网络资源消耗较大。
技术实现思路
本专利技术实施例的目的在于提供一种分布式计算平台中视频数据迁移方法及装置，以减少集群内部网络资源的消耗。具体技术方案如下：一种分布式计算平台中视频数据迁移方法，应用于分布式集群中的管理节点，所述分布式集群还包括N个物理存储节点，所述方法包括：预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，所述第一物理存储节点为所述N个物理存储节点中的任意一个物理存储节点；基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列，其中，各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列；在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。可选的，所述预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间的步骤，包括：根据第一物理存储节点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在所述第一物理存储节点上的运行时间，其中，每一物理存储节点设置有一相对速度因子。可选的，所述基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列的步骤，包括：根据所述运行时间的长短，对所述待分配视频数据进行排序，得到所述待分配视频数据的第一排列顺序；基于所述第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将所述第一待分配视频数据分配至所述第二物理存储节点对应的当前待分配视频数据队列中，并基于已分配的第一待分配视频数据，预估所述第二物理存储节点的当前负载；判断所述视频数据集合中的第二待分配视频数据的数量是否为1，其中，所述第二待分配视频数据为未分配到各个物理存储节点对应的当前待分配视频数据队列中的待分配视频数据；如果是，将所述第二待分配视频数据确定为第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第三物理存储节点，将所述第一待分配视频数据分配至所述第三物理存储节点对应的当前待分配视频数据队列中；如果否，返回执行基于所述第一排列顺序确定一第一待分配视频数据的步骤。可选的，所述在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移的步骤，包括：针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量；如果大于，将该当前待分配视频数据队列中的预设数量个待分配视频数据放置到对应的物理存储节点中运行，并根据运行结果确定所对应的物理存储节点上的当前相对速度因子，基于所述当前相对速度因子，计算该当前待分配视频数据队列中除所述预设数量个待分配视频数据以外的待分配视频数据的总运行时间；基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移，得到各个物理存储节点对应的目标待分配视频数据队列，将所得到的各个目标待分配视频数据队列作为各个物理存储节点对应的当前待分配视频数据队列，返回执行针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量的步骤；如果未大于，将该当前待分配视频数据队列中的所有待分配视频数据放置到对应的物理存储节点中运行。可选的，所述基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据的步骤，包括：分别确定最大总运行时间对应的第四物理存储节点，和最小总运行时间对应的第五物理存储节点；确定所述第四物理存储节点对应的当前待分配视频数据队列中的运行时间最小的第三待分配视频数据，预估将所述第三待分配视频数据迁移至所述第五物理存储节点后，所述第三待分配视频数据在所述第五物理存储节点上的第三运行时间；基于所述最大总运行时间、所述最小总运行时间以及所述第三运行时间，判断所述第三待分配视频数据是否为待迁移视频数据，如果是，确定各个当前待分配视频数据队列中存在待迁移视频数据。一种分布式计算平台中视频数据迁移装置，应用于分布式集群中的管理节点，所述分布式集群还包括N个物理存储节点，所述装置包括：运行时间预估模块，用于预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，所述第一物理存储节点为所述N个物理存储节点中的任意一个物理存储节点；当前待分配视频数据队列预估模块，用于基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列，其中，各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列；迁移模块，用于在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。可选的，所述运行时间预估模块，具体用于：根据第一物理存储节点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在所述第一物理存储节点上的运行时间，其中，每一物理存储节点设置有一相对速度因子。可选的，所述当前待分配视频数据队列预估模块，包括：第一排列顺序确定单元，用于根据所述运行时间的长短，对所述待分配视频数据进行排序，得到所述待分配视频数据的第一排列顺序；当前负载预估单元，用于基于所述第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将所述本文档来自技高网...

【技术保护点】
一种分布式计算平台中视频数据迁移方法，其特征在于，应用于分布式集群中的管理节点，所述分布式集群还包括N个物理存储节点，所述方法包括：预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，所述第一物理存储节点为所述N个物理存储节点中的任意一个物理存储节点；基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列，其中，各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列；在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。

【技术特征摘要】
1.一种分布式计算平台中视频数据迁移方法，其特征在于，应用于分布式集群中的管理节点，所述分布式集群还包括N个物理存储节点，所述方法包括：预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间，其中，所述第一物理存储节点为所述N个物理存储节点中的任意一个物理存储节点；基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列，其中，各个当前待分配视频数据队列为可使各个物理存储节点负载均衡的队列；在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移。2.根据权利要求1所述的方法，其特征在于，所述预估视频数据集合中的各个待分配视频数据在第一物理存储节点上的运行时间的步骤，包括：根据第一物理存储节点上的相对速度因子，计算视频数据集合中的各个待分配视频数据在所述第一物理存储节点上的运行时间，其中，每一物理存储节点设置有一相对速度因子。3.根据权利要求2所述的方法，其特征在于，所述基于所述各个待分配视频数据在第一物理存储节点上的运行时间，以及所述各个物理存储节点的当前负载，预估所述各个物理存储节点对应的当前待分配视频数据队列的步骤，包括：根据所述运行时间的长短，对所述待分配视频数据进行排序，得到所述待分配视频数据的第一排列顺序；基于所述第一排列顺序确定一第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第二物理存储节点，将所述第一待分配视频数据分配至所述第二物理存储节点对应的当前待分配视频数据队列中，并基于已分配的第一待分配视频数据，预估所述第二物理存储节点的当前负载；判断所述视频数据集合中的第二待分配视频数据的数量是否为1，其中，所述第二待分配视频数据为未分配到各个物理存储节点对应的当前待分配视频数据队列中的待分配视频数据；如果是，将所述第二待分配视频数据确定为第一待分配视频数据，基于各个物理存储节点的当前负载，确定一第三物理存储节点，将所述第一待分配视频数据分配至所述第三物理存储节点对应的当前待分配视频数据队列中；如果否，返回执行基于所述第一排列顺序确定一第一待分配视频数据的步骤。4.根据权利要求3所述的方法，其特征在于，所述在各个物理存储节点运行对应的当前待分配视频数据队列中的待分配视频数据时，实时监测各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移的步骤，包括：针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量；如果大于，将该当前待分配视频数据队列中的预设数量个待分配视频数据放置到对应的物理存储节点中运行，并根据运行结果确定所对应的物理存储节点上的当前相对速度因子，基于所述当前相对速度因子，计算该当前待分配视频数据队列中除所述预设数量个待分配视频数据以外的待分配视频数据的总运行时间；基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据，如果存在，对所存在的待迁移视频数据进行数据迁移，得到各个物理存储节点对应的目标待分配视频数据队列，将所得到的各个目标待分配视频数据队列作为各个物理存储节点对应的当前待分配视频数据队列，返回执行针对每个当前待分配视频数据队列，判断该当前待分配视频数据队列中待分配视频数据的数量是否大于预设数量的步骤；如果未大于，将该当前待分配视频数据队列中的所有待分配视频数据放置到对应的物理存储节点中运行。5.根据权利要求4所述的方法，其特征在于，所述基于所计算出的多个总运行时间，判断各个当前待分配视频数据队列中是否存在满足视频数据迁移条件的待迁移视频数据的步骤，包括：分别确定最大总运行时间对应的第四物理存储节点，和最小总运行时间对应的第五物理存储节点；确定所述第四物理存储节点对应的当前待分配视频数据队列中的运行时间最小的第三待分配视频数据，预估将所述第三待分配视频数据迁移至所述第五物理存储节点后，所述第三待分配视频数据在所述第五物理存储节点上的第三运行时间；基于所述最大总运行时间、所述最小总运行时间以及所述第三...

【专利技术属性】
技术研发人员：张海涛，马华东，许彬，唐炳昌，严瑾，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11