基于深度学习的分布嵌入式实时视频流处理系统及方法技术方案

本发明专利技术涉及一种基于深度学习的分布嵌入式实时视频流处理系统及方法，视频数据采集层通过ARM板采集视频数据并预处理；视频处理层根据指定的视频处理任务在嵌入式GPU处理器集群上根据深度学习算法进行视频处理；GPU资源调度层实时监控嵌入式GPU处理器中的GPU使用情况并根据调度策略进行调度，存储层将处理结果上传到云存储服务器，服务层将结果可视化反馈给客户端。本发明专利技术的一种基于深度学习的分布嵌入式实时视频流处理框架，将视频处理、深度学习相结合，把视频处理利用分布嵌入式技术并行化，以达到实时视频处理的效果；把深度学习应用到视频处理中，提高视频处理的准确率。

【技术实现步骤摘要】
基于深度学习的分布嵌入式实时视频流处理系统及方法
本专利技术属于视频处理的
，尤其涉及一种基于深度学习的分布嵌入式实时视频流处理系统及方法。
技术介绍
目前，随着半导体工艺以及芯片设计水平的不断进步，电子设备的性能取得了极大提高；其中，尤其是嵌入式应用终端得到了空前的发展。现有技术中的嵌入式应用终端能够处理的数据量更大，覆盖的领域更为广泛，一些原本只能在PC机上实现的应用，也已出现在嵌入式设备中，如视频处理。另一方面，人们对于嵌入式设备的应用提出的更高的要求也在推动嵌入式应用终端快速发展，如在视频处理等方面的要求。原本PC机中由图形处理器(GPU)完成的应用不仅需要强大的计算能力以及大数据的处理，更需要低功耗、低成本以适应不断发展的嵌入式系统需求。嵌入式GPU正是为了满足这些功能而设计的，是专用于嵌入式终端或者手持设备上的图形处理器。与PC机的GPU相比，嵌入式GPU需要同时兼顾高性能、低功耗、低成本等特点。例如，JetsonTX1是NVIDIA推出的首款TX系列的嵌入式超级视觉计算系统，也是全球首款模块化超级计算机。在人工智能领域，出现了对嵌入式设备的连续视频数据的快速处理的需求，例如无人机航拍、自动驾驶等。深度学习，是目前机器学习发展中一类最热门的算法，卷积神经网络(ConvolutionalNeuralNetworks，CNN)作为深度学习的一种方法，在物体识别、图像处理等领域有着较好的效果。然而，大规模的深度神经网络需要高性能、高功耗、高成本的硬件支持。一方面，大规模的深度神经网络需要高性能的设备。另一方面，移动设备的计算能力是受限于自身的重量和电池容量性。虽然移动云计算可以讲一部分计算转移到后端云服务器，但是当解决高流量和实时流数据时，带宽，延迟和可用性仍是具有挑战性的，因此，有必要设计一个分布式平台，实现高效的嵌入式计算。综上所述，如何解决对嵌入式设备的连续视频数据的快速处理的需求的实现，如何解决处理高流量和实时流数据时带宽、延迟和可用性的问题，尚缺乏有效的解决方案。
技术实现思路
本专利技术为了解决上述问题，克服现有技术中嵌入式设备无法对连续视频数据进行快速处理，以及在处理高流量和实时流数据时带宽、延迟和可用性中存在的问题，提供一种基于深度学习的分布嵌入式实时视频流处理系统及方法，该系统及方法大幅度地提高了视频流处理的效率，减少了嵌入式设备的功耗。为了实现上述目的，本专利技术采用如下一种技术方案：一种基于深度学习的分布嵌入式实时视频流处理系统，该系统包括：视频数据采集层，所述视频数据采集层采集视频数据并进行预处理；和视频数据处理层，所述视频数据处理层包括嵌入式GPU分布集群，根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；和GPU资源调度层，所述GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；和存储层，所述存储层包括云存储服务器，将视频处理结果上传到云存储服务器进行存储；和服务层，所述服务层与客户端连接，将视频处理结果可视化反馈给客户端。进一步的，所述视频数据采集层包括摄像装置和嵌入式微处理器，所述嵌入式微处理器包括视频采集模块和视频预处理模块；所述视频数据采集层通过嵌入式微处理器的视频采集模块连接摄像装置采集视频数据，采集的视频数据传输至视频预处理模块进行视频数据的预处理，所述视频预处理模块与视频数据处理层连接，将预处理后的视频数据传输至所述视频数据处理层的嵌入式GPU分布集群进行进一步视频处理。进一步的，所述视频数据处理层的嵌入式GPU分布集群包括至少两个的GPU进行视频处理，所述GPU分别与所述GPU资源调度层连接。进一步的，所述视频数据处理层包括深度学习模块，所述深度学习模块包括数据采集模块、训练模块和测试模块；所述数据采集模块采集不同种类的视频数据集，并根据比例分为训练数据集和测试数据集；所述训练模块采用深度学习算法对训练数据集进行训练，生成深度学习网络模型；所述测试模块通过测试数据集对所述深度学习网络模型进行测试，并将测试完善后的深度学习网络模型分别设置于嵌入式GPU分布集群的各个GPU中。本专利技术为了解决上述问题，克服现有技术中嵌入式设备无法对连续视频数据进行快速处理，以及在处理高流量和实时流数据时带宽、延迟和可用性中存在的问题，提供一种基于深度学习的分布嵌入式实时视频流处理系统及方法，该系统及方法大幅度地提高了视频流处理的效率，减少了嵌入式设备的功耗。为了实现上述目的，本专利技术采用如下一种技术方案：一种基于深度学习的分布嵌入式实时视频流处理方法，该方法基于上述一种基于深度学习的分布嵌入式实时视频流处理系统，该方法的具体步骤包括：(1)视频数据采集：视频数据采集层采集视频数据并进行预处理；(2)视频数据处理和GPU资源调度：将深度学习算法部署在GPU嵌入式分布集群上；视频数据处理层根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；(3)视频数据存储：存储层将视频处理结果上传到云存储服务器进行存储；(4)视频处理结果显示：服务层将视频处理结果可视化反馈给与其连接的客户端。进一步的，所述步骤(1)中的视频数据采集的预处理的具体步骤为：在视频预处理模块中，将接收的视频数据进行解码，解码为帧图像传输至所述视频数据处理层的嵌入式GPU分布集群进行进一步视频处理。进一步的，所述步骤(2)中将深度学习算法部署在GPU嵌入式分布集群上的具体步骤为：(2-1a)所述数据采集模块采集不同种类的视频数据集，并根据比例分为训练数据集和测试数据集；(2-2a)所述训练模块采用深度学习算法对训练数据集进行训练，生成深度学习网络模型；(2-3a)所述测试模块通过测试数据集对所述深度学习网络模型进行测试，并将测试完善后的深度学习网络模型分别设置于嵌入式GPU分布集群的各个GPU中。进一步的，所述步骤(2)中视频数据处理层根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理的具体步骤为：将从视频预处理模块中得到的帧图像作为视频数据处理层中的分布式计算框架的输入源，将每一帧图像分别传入分布式计算框架中进行处理，利用分布式计算框架的并行能力在视频数据处理层的各个GPU中进行视频的并行处理。进一步的，所述步骤(2)中GPU资源调度层通过基于GPU的资源调度方法实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；基于GPU的资源调度方法的具体步骤为：实时监控分布式计算框架中各个数据处理组件的GPU使用状况，将GPU消耗过大的进程分配到有较强GPU的数据处理组件上。进一步的，所述步骤(3)中存储层将视频处理结果上传到云存储服务器的具体步骤为：聚合视频处理后的视频处理结果，并将聚合视频处理后的视频处理结果存储到存储服务器中。进一步的，所述步骤(4)中服务层将视频处理结果可视化反馈给与其连接的客户端的具体步骤为：针对客户端不同的业务需求与数据集，通过个性化的交互性强的数据可视化组件将服务层的视频处理结果反馈给与其连接的客户端。本专利技术的有益效果：1.本专利技术的一种基于深度学习的分布嵌入式实时视频流处理系统，在视频数据处理层中采用嵌入式GPU分布集本文档来自技高网...

【技术保护点】
一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：该系统包括：视频数据采集层，所述视频数据采集层采集视频数据并进行预处理；视频数据处理层，所述视频数据处理层包括嵌入式GPU分布集群，根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；GPU资源调度层，所述GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；存储层，所述存储层包括云存储服务器，将视频处理结果上传到云存储服务器进行存储；服务层，所述服务层与客户端连接，将视频处理结果可视化反馈给客户端。

【技术特征摘要】
1.一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：该系统包括：视频数据采集层，所述视频数据采集层采集视频数据并进行预处理；视频数据处理层，所述视频数据处理层包括嵌入式GPU分布集群，根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；GPU资源调度层，所述GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况并进行调度；存储层，所述存储层包括云存储服务器，将视频处理结果上传到云存储服务器进行存储；服务层，所述服务层与客户端连接，将视频处理结果可视化反馈给客户端。2.如权利要求1所述的一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：所述视频数据采集层包括摄像装置和嵌入式微处理器，所述嵌入式微处理器包括视频采集模块和视频预处理模块；所述视频数据采集层通过嵌入式微处理器的视频采集模块连接摄像装置采集视频数据，采集的视频数据传输至视频预处理模块进行视频数据的预处理，所述视频预处理模块与视频数据处理层连接，将预处理后的视频数据传输至所述视频数据处理层的嵌入式GPU分布集群进行进一步视频处理。3.如权利要求1所述的一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：所述视频数据处理层的嵌入式GPU分布集群包括至少两个的GPU进行视频处理，所述GPU分别与所述GPU资源调度层连接。4.如权利要求1所述的一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：所述视频数据处理层包括深度学习模块，所述深度学习模块包括数据采集模块、训练模块和测试模块；所述数据采集模块采集不同种类的视频数据集，并根据比例分为训练数据集和测试数据集；所述训练模块采用深度学习算法对训练数据集进行训练，生成深度学习网络模型；所述测试模块通过测试数据集对所述深度学习网络模型进行测试，并将测试完善后的深度学习网络模型分别设置于嵌入式GPU分布集群的各个GPU中。5.一种基于深度学习的分布嵌入式实时视频流处理方法，该方法基于如权利要求1-4任一所述的一种基于深度学习的分布嵌入式实时视频流处理系统，其特征是：该方法的具体步骤包括：(1)视频数据采集：视频数据采集层采集视频数据并进行预处理；(2)视频数据处理和GPU资源调度：将深度学习算法部署在GPU嵌入式分布集群上；视频数据处理层根据指定的视频处理任务在嵌入式GPU分布集群上通过深度学习算法进行视频处理；GPU资源调度层实时监控嵌入式GPU分布集群中的GPU使用情况...

【专利技术属性】
技术研发人员：张卫山，孙浩云，赵德海，徐亮，卢清华，李忠伟，宫文娟，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：山东,37