机器学习与图形算力的高复用方法、系统、介质及终端技术方案

本发明专利技术提供一种机器学习与图形算力的高复用方法、系统、介质及终端，其方法包括获取视频流数据处理任务，并通过系统资源对所述视频流数据处理任务进行相应的数据处理，包括，第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法；本发明专利技术可以在非实时需求情况下，使用少于视频源数量的算力同样提供多套算法的机器学习能力，极大的降低了图形算力硬件的投入，极大降低单位视频结构化的成本，尤其适用于长尾算法场景，例如需要7X24不间断的进行计算分析的车辆违章等监控场景。违章等监控场景。违章等监控场景。

【技术实现步骤摘要】
机器学习与图形算力的高复用方法、系统、介质及终端


[0001]本专利技术涉及计算机应用领域，尤其涉及一种机器学习与图形算力的高复用方法、系统、介质及终端。

技术介绍

[0002]深度学习由多层的神经网络组成，这些神经网络包含很多权重和偏置，需要进行大量的浮点运算，是一个计算需求非常强烈的领域，GPU可以执行并行计算，拥有更多的运算单元和浮点计算能力，另外，图形显卡往往拥有更大带宽的显存，在大吞吐量的应用中也会有很好的性能。
[0003]目前，在视频机器学习领域算法程序与图形显卡算力之间存在耦合关系，导致N各视频如果需要进行1种算法计算就需要N个算力支持，如果再需要应用M种算法就需要N
×
M个算力支撑，图形显卡算力成本昂贵，遇到大范围视频机器学习分析领域就会导致整体投入过于庞大的问题。在现有视频分析算法中一些算法使用场景需要7X24不间断的进行计算分析，比如车辆违章，关键人员布控等，而一些算法属于长尾算法，并不需要长期占用算力进行分析计算，这就会造成资源利用率不高，进而导致成本过高的问题。

技术实现思路

[0004]鉴于以上所述现有技术的缺点，本专利技术提供一种机器学习与图形算力的高复用方法、系统、介质及终端，以解决上述技术问题。
[0005]本专利技术提供的机器学习与图形算力的高复用方法，包括：
[0006]获取视频流数据处理任务，并通过系统资源对所述视频流数据处理任务进行相应的数据处理，所述系统资源包括多路并行算力资源；所述相应的数据处理包括，
[0007]第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；
[0008]第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法。
[0009]与本专利技术的一实施例中，所述第一维度解耦处理包括，将多项视频流数据处理任务，按时间顺序依次由一路算力轮流执行数据处理。
[0010]与本专利技术的一实施例中，预先创建数据处理算法的任务接口，所述任务接口包括：
[0011]第一接口，用于增加视频流的算法计算任务；
[0012]第二接口，用于移除视频流的算法计算任务；
[0013]通过间隔调用所述第一接口和第二接口，使一路算力处理多项视频流数据处理任务。
[0014]与本专利技术的一实施例中，所述第二维度解耦处理包括，将数据处理算法装载于容器镜像中，通过调度容器的加载运行，使同一算力在不同时间提供不同的数据处理算法。
[0015]与本专利技术的一实施例中，采用部署容器方式进行应用部署，各容器之间互相隔离，
并通过应用程序接口创建所述容器镜像；
[0016]检测容器运行的状态，并获取数据处理算法供给需求，根据所述容器运行的状态和供给需求选择容器创建的算力节点。
[0017]与本专利技术的一实施例中，获取视频流数据处理任务的目标轮询时长参数，根据预先设定的负载均衡策略，调度数据处理算法在算力上加载。
[0018]与本专利技术的一实施例中，获取视频流数据处理任务，判断所述视频流数据处理任务的类型，所述类型包括需要长期占用算力进行分析计算的普通类型和不需要长期占用算力进行分析计算的长尾类型，根据所述任务类型和预先设定的负载均衡策略，调度数据处理算法在算力上加载。
[0019]本专利技术还提供一种机器学习与图形算力的高复用系统，包括：数据采集模块和数据处理模块，
[0020]通过所述数据采集模块获取视频流数据处理任务；
[0021]数据处理模块通过系统资源对所述视频流数据处理任务进行相应的数据处理，所述系统资源包括多路并行算力资源；所述相应的数据处理包括，
[0022]第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；
[0023]第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法。
[0024]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法。
[0025]本专利技术还提供一种电子终端，包括：处理器及存储器；
[0026]所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述任一项所述方法。
[0027]本专利技术的有益效果：本专利技术中的机器学习与图形算力的高复用方法、系统、介质及终端，可以在非实时需求情况下，使用少于视频源数量的算力同样提供多套算法的机器学习能力，极大的降低了图形算力硬件的投入，极大降低单位视频结构化的成本，尤其适用于长尾算法场景，例如需要7X24不间断的进行计算分析的违章停车等监控场景。
[0028]另外，本专利技术可以通过检测容器运行的状态以及算法供给的需求，自动调度算法在算力上加载，以尽量满足系统的需求，通过这种方式可以让算力与算法之间更松散，提高了分布式海量访问系统的稳定性。
附图说明
[0029]图1是本专利技术实施例中机器学习与图形算力的高复用方法的流程示意图。
[0030]图2是本专利技术实施例中机器学习与图形算力的高复用方法的算法
‑
算力调用示意图。
具体实施方式
[0031]以下通过特定的具体实例说明本专利技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本专利技术的其他优点与功效。本专利技术还可以通过另外不同的具体实
施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本专利技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0032]需要说明的是，以下实施例中所提供的图示仅以示意方式说明本专利技术的基本构想，遂图式中仅显示与本专利技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0033]在下文描述中，探讨了大量细节，以提供对本专利技术实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本专利技术的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本专利技术的实施例难以理解。
[0034]如图1所示，本实施例中的本实施例中的机器学习与图形算力的高复用方法，包括：
[0035]S1.获取视频流数据处理任务，并通过系统资源对所述视频流数据处理任务进行相应的数据处理，所述系统资源包括多路并行算力资源；所述相应的数据处理包括，
[0036]S2.第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；
[0037]S3.第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器学习与图形算力的高复用方法，其特征在于，包括：获取视频流数据处理任务，并通过系统资源对所述视频流数据处理任务进行相应的数据处理，所述系统资源包括多路并行算力资源；所述相应的数据处理包括，第一维度解耦处理，用于通过对算力进行时分复用，使一路算力处理多项视频流数据处理任务；第二维度解耦处理，用于经过所述第一维度解耦处理后，通过对算力进行承载与调度复用，使同一算力在不同时间提供不同的数据处理算法。2.根据权利要求1所述的机器学习与图形算力的高复用方法，其特征在于，所述第一维度解耦处理包括，将多项视频流数据处理任务，按时间顺序依次由一路算力轮流执行数据处理。3.根据权利要求2所述的机器学习与图形算力的高复用方法，其特征在于，预先创建数据处理算法的任务接口，所述任务接口包括：第一接口，用于增加视频流的算法计算任务；第二接口，用于移除视频流的算法计算任务；通过间隔调用所述第一接口和第二接口，使一路算力处理多项视频流数据处理任务。4.根据权利要求1所述的机器学习与图形算力的高复用方法，其特征在于，所述第二维度解耦处理包括，将数据处理算法装载于容器镜像中，通过调度容器的加载运行，使同一算力在不同时间提供不同的数据处理算法。5.根据权利要求4所述的机器学习与图形算力的高复用方法，其特征在于，采用部署容器方式进行应用部署，各容器之间互相隔离，并通过应用程序接口创建所述容器镜像；检测容器运行的状态，并获取数据处理算法供给需求，根据所述容器运行的状态和供给需求选择容...

【专利技术属性】
技术研发人员：张立鹏，张燕妮，
申请(专利权)人：北狐数字科技上海有限公司，
类型：发明
国别省市：