一种视频处理的存算分离方法及视频存算分离系统技术方案

本发明专利技术公开一种视频处理的存算分离方法及视频存算分离系统，方法包括：计算资源模块从各个资源提供终端中为客户端部署基础计算资源及扩容计算资源；存储资源模块从各个资源提供终端中为客户端部署基础存储资源及扩容存储资源；管控模块将基础计算资源配置为客户端的虚拟计算模块，并将基础存储资源配置为客户端的虚拟存储模块；管控模块将客户端上传的待处理视频数据转发至虚拟计算模块进行处理，并将虚拟计算模块中的计算节点的处理结果数据存储至虚拟存储模块中关联的虚拟存储区块。本发明专利技术提出的技术方案有利于解决现有的视频处理过程中由于采用计算和存储耦合方式，导致经常需要进行数据迁移的弊端。经常需要进行数据迁移的弊端。经常需要进行数据迁移的弊端。

【技术实现步骤摘要】
一种视频处理的存算分离方法及视频存算分离系统


[0001]本专利技术涉及存算分离
，具体涉及一种视频处理的存算分离方法和一种视频存算分离系统。

技术介绍

[0002]现有技术中，计算和存储采用耦合方式。在这种模式下，经常会出现两种瓶颈情况，第一种是计算先达到瓶颈，第二种是存储先达到瓶颈。两种情况虽然不同，时间点也不一致，但只要出现其中一种，就需要进行设备扩展。
[0003]存算耦合的硬件的拓扑的架构给扩容带来了一个影响，当存储不够，就要去加机器。但是存算耦合架构下，不能只通过加机器扩展硬盘，因为在存算耦合的架构上，数据的节点还需要负责计算，所以 CPU 和内存也不能太差。因此配置的机器都是计算与存储配置非常平衡的机器，在提供足够存储容量的同时，也提供了等量的算力。但实际场景中算力的需求并未显著提升。这样扩出来的算力对视频处理来说造成了更大的浪费，整个集群在存储和I/O上的资源利用率可能是非常不平衡的，当集群越大，这种不平衡就越严重。
[0004]并且，计算和存储耦合模式下，扩展并不容易，这是因为，存储扩展通常需要迁移大量数据，容易造成数据丢失，且不方便。视频处理需要大量的计算资源和存储空间，并且由于视频处理任务量是会变化的，所以不同处理量下对计算资源和存储空间的要求各不相同，容易出现计算资源或存储空间的瓶颈，因此，采用计算和存储耦合方式进行视频处理，就经常会由于存储或者计算的瓶颈，导致需要进行大规模的数据迁移。
[0005]从而，本专利技术提出一种视频处理的存算分离方法和视频存算分离系统，将视频存储和计算进行逻辑分离。

技术实现思路

[0006]本专利技术的主要目的是提供一种视频处理的存算分离方法和一种视频存算分离系统，旨在解决现有的视频处理过程中由于采用计算和存储耦合方式，导致经常需要进行数据迁移的弊端。
[0007]为实现上述目的，本专利技术提出的一种视频处理的存算分离方法中，视频存算分离系统包括管控模块以及分别与管控模块通信连接的计算资源模块和存储资源模块，计算资源模块和存储资源模块分别与各个资源提供终端通信连接；所述管控模块用于与客户端通信连接；所述方法包括：计算资源模块根据为客户端预测的算力占用的时间波动，从各个资源提供终端中为客户端部署基础计算资源及扩容计算资源，基础计算资源和扩容计算资源分别包括从各个资源提供终端中为客户端组织的若干计算节点；存储资源模块根据为客户端预测的存储占用的时间波动，从各个资源提供终端中为客户端部署基础存储资源及扩容存储资源，基础存储资源和扩容存储资源分别包括从各个资源提供终端中为客户端组织的若干存储节点；
管控模块将基础计算资源配置为客户端的虚拟计算模块，并将基础存储资源配置为客户端的虚拟存储模块，根据虚拟计算模块和虚拟存储模块配置虚拟客户端；管控模块将虚拟存储模块中的各个存储节点提供的存储空间映射为虚拟存储空间，并建立虚拟计算模块中的计算节点与虚拟存储空间中不同虚拟存储区块的关联；管控模块将客户端上传的待处理视频数据转发至虚拟计算模块进行处理，并将虚拟计算模块中的计算节点的处理结果数据存储至虚拟存储模块中关联的虚拟存储区块。
[0008]优选地，所述方法，还包括：管控模块根据基础计算资源和扩容计算资源，设定触发算力扩容指令的条件；管控模块根据基础存储资源和扩容存储资源，设定触发存储扩容指令的条件；管控模块侦测为客户端配置的虚拟计算模块和虚拟存储模块的占用，并侦测是否触发算力扩容指令或存储扩容指令；若触发算力扩容指令，将扩容计算资源中的若干计算节点扩容至虚拟计算模块；若触发存储扩容指令，将扩容存储资源中的若干存储节点扩容至虚拟存储模块。
[0009]优选地，所述设定触发算力扩容指令的条件的步骤，包括：在当前基础计算资源占用达到当前虚拟计算模块的计算资源的第一设定高比例时，触发算力扩容指令；所述设定触发存储扩容指令的条件的步骤，包括：在当前基础存储资源占用达到当前虚拟存储模块的存储资源的第二设定高比例时，触发存储扩容指令；所述方法，还包括：在当前基础计算资源占用低于当前虚拟计算模块的计算资源的第一设定低比例时，从虚拟计算模块中释放扩容计算资源中的计算节点为公用基础计算资源；在扩容计算资源对应的第二计算节点集合中的计算节点全部扩容至虚拟计算空间之时，管控模块向计算资源模块发出二次计算扩容指令，以为客户端部署二次扩容计算资源；在扩容存储资源对应的第二存储节点集合中的存储节点全部扩容至虚拟存储空间之时，管控模块向存储资源模块发出二次存储扩容指令，以为客户端部署二次扩容存储资源。
[0010]优选地，还包括：管控模块获取客户端上传的待处理视频队列和视频处理参数，将待处理视频队列和和视频处理参数输入预测模型；通过预测模型预测对客户端进行视频处理的算力占用的时间波动，并预测对客户端进行视频处理的存储占用的时间波动。
[0011]优选地，所述计算资源模块根据为客户端预测的算力占用的时间波动，从各个资源提供终端中为客户端部署基础计算资源及扩容计算资源的步骤，包括：计算资源模块根据预测的算力占用的时间波动，获得未达到算力占用高负荷的算力最大值，根据算力最大值从各个资源提供终端中为客户端部署基础计算资源，并确定基础计算资源对应的第一计算节点集合；计算资源模块根据预测的算力占用的时间波动，获取达到算力占用高负荷的算力
高负荷时段和算力占用顶峰值，根据算力占用顶峰值为客户端部署扩容计算资源，并确定扩容计算资源对应的第二计算节点集合；其中：；；；；；；当，则；当，则；当，则；当，则；X为预测的算力占用随时间的波动集合；为预测的第i个时间点的算力占用数据，1≤i≤n，n为预测的时间点总数，也是集合X中的元素个数；为算力占用顶峰值，即集合X中的算力占用最大值；为算力占用低值集合；为算力占用中值集合；为算力占用高值集合；为算力占用低值集合的元素个数；为算力占用中值集合的元素个数；为算力占用高值集合的元素个数；为算力占用低值集合中的元素数量与所有算力占用数据个数的比值；为算力占用中值集合中的元素数量与所有算力占用数据个数的比值；为算力占用高值集合中的元素数量与所有算力占用数据个数的比值；A为预设比例值，0＜A＜1；为算力占用低值集合中的最大值；
为算力占用中值集合中的最大值；为算力占用高值集合中的最大值；为未达到算力占用高负荷的算力最大值；算力高负荷时段为算力占用大于的时间点对应的时段。
[0012]优选地，所述存储资源模块根据为客户端预测的存储占用的时间波动，从各个资源提供终端中为客户端部署基础存储资源及扩容存储资源的步骤，包括：存储资源模块根据预测的存储占用的时间波动，将存储占用的时间波动根据波动幅度划分为多个存储占用区段；根据第一个存储占用区段，从各个资源提供终端中为客户端部署基础存储资源，并确定基础存储资源对应的第一存储节点集合；根据第一个存储占用区段后每一个存储占用区段的存储占用峰值与上一存储占用区段的存储占用峰值的差距，确定每个扩容存储资源的大小，并确定每个扩容存储资源对应的存储节点，以确定扩容存储资源对应的第二存储节点集合；其中：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理的存算分离方法，其特征在于，视频存算分离系统包括管控模块以及分别与管控模块通信连接的计算资源模块和存储资源模块，计算资源模块和存储资源模块分别与各个资源提供终端通信连接；所述管控模块用于与客户端通信连接；所述方法包括：计算资源模块根据为客户端预测的算力占用的时间波动，从各个资源提供终端中为客户端部署基础计算资源及扩容计算资源，基础计算资源和扩容计算资源分别包括从各个资源提供终端中为客户端组织的若干计算节点；存储资源模块根据为客户端预测的存储占用的时间波动，从各个资源提供终端中为客户端部署基础存储资源及扩容存储资源，基础存储资源和扩容存储资源分别包括从各个资源提供终端中为客户端组织的若干存储节点；管控模块将基础计算资源配置为客户端的虚拟计算模块，并将基础存储资源配置为客户端的虚拟存储模块，根据虚拟计算模块和虚拟存储模块配置虚拟客户端；管控模块将虚拟存储模块中的各个存储节点提供的存储空间映射为虚拟存储空间，并建立虚拟计算模块中的计算节点与虚拟存储空间中不同虚拟存储区块的关联；管控模块将客户端上传的待处理视频数据转发至虚拟计算模块进行处理，并将虚拟计算模块中的计算节点的处理结果数据存储至虚拟存储模块中关联的虚拟存储区块。2.根据权利要求1所述的视频处理的存算分离方法，其特征在于，所述方法，还包括：管控模块根据基础计算资源和扩容计算资源，设定触发算力扩容指令的条件；管控模块根据基础存储资源和扩容存储资源，设定触发存储扩容指令的条件；管控模块侦测为客户端配置的虚拟计算模块和虚拟存储模块的占用，并侦测是否触发算力扩容指令或存储扩容指令；若触发算力扩容指令，将扩容计算资源中的若干计算节点扩容至虚拟计算模块；若触发存储扩容指令，将扩容存储资源中的若干存储节点扩容至虚拟存储模块。3.根据权利要求2所述的视频处理的存算分离方法，其特征在于，所述设定触发算力扩容指令的条件的步骤，包括：在当前基础计算资源占用达到当前虚拟计算模块的计算资源的第一设定高比例时，触发算力扩容指令；所述设定触发存储扩容指令的条件的步骤，包括：在当前基础存储资源占用达到当前虚拟存储模块的存储资源的第二设定高比例时，触发存储扩容指令；所述方法，还包括：在当前基础计算资源占用低于当前虚拟计算模块的计算资源的第一设定低比例时，从虚拟计算模块中释放扩容计算资源中的计算节点为公用基础计算资源；在扩容计算资源对应的第二计算节点集合中的计算节点全部扩容至虚拟计算空间之时，管控模块向计算资源模块发出二次计算扩容指令，以为客户端部署二次扩容计算资源；在扩容存储资源对应的第二存储节点集合中的存储节点全部扩容至虚拟存储空间之时，管控模块向存储资源模块发出二次存储扩容指令，以为客户端部署二次扩容存储资源。4.根据权利要求1所述的视频处理的存算分离方法，其特征在于，所述方法，还包括：管控模块获取客户端上传的待处理视频队列和视频处理参数，将待处理视频队列和和视频处理参数输入预测模型；
通过预测模型预测对客户端进行视频处理的算力占用的时间波动，并预测对客户端进行视频处理的存储占用的时间波动。5.根据权利要求1所述的视频处理的存算分离方法，其特征在于，所述计算资源模块根据为客户端预测的算力占用的时间波动，从各个资源提供终端中为客户端部署基础计算资源及扩容计算资源的步骤，包括：计算资源模块根据预测的算力占用的时间波动，获得未达到算力占用高负荷的算力最大值，根据算力最大值从各个资源提供终端中为客户端部署基础计算资源，并确定基础计算资源对应的第一计算节点集合；计算资源模块根据预测的算力占用的时间波动，获取达到算力占用高负荷的算力高负荷时段和算力占用顶峰值，根据算力占用顶峰值为客户端部署扩容计算资源，并确定扩容计算资源对应的第二计算节点集合；其中：；；；；；；当，则；当，则；当，则；当，则；X为预测的算力占用随时间的波动集合；为预测的第i个时间点的算力占用数据，1≤i≤n，n为预测的时间点总数，也是集合X中的元素个数；为算力占用顶峰值，即集合X中的算...

【专利技术属性】
技术研发人员：邓正秋，吕绍和，邓頔，
申请(专利权)人：湖南马栏山视频先进技术研究院有限公司，
类型：发明
国别省市：