基于GPU的视频流智能感知协同处理系统及其处理方法技术方案

一种基于GPU的视频流智能感知协同处理系统及其处理方法，涉及视频处理技术领域，所解决的是现有技术全局性差及占用通信资源多的技术问题。该系统包括通过广域网互联的云服务器及多个视频流感知节点；所述云服务器配置有云存储单元；所述视频流感知节点包括节点摄像头、节点主控模块、节点GPU模块、节点通信模块；云服务器为每个视频流感知节点分配一个与该视频流感知节点的特性相匹配的视频帧处理周期发生器，每个视频流感知节点按照视频帧处理周期发生器生成的处理时间段序列工作；云服务器对每个视频流感知节点发过来的预处理过的视频信息进行深度分析。本发明专利技术提供的系统及方法，全局性好，视频分析效果全面，并且占用通信资源少。

【技术实现步骤摘要】
基于GPU的视频流智能感知协同处理系统及其处理方法
本专利技术涉及视频处理技术，特别是涉及一种基于GPU的视频流智能感知协同处理系统及其处理方法的技术。
技术介绍
随着物联网技术、云计算、大数据分析技术的广泛应用，视频流的实时分析变得越来越重要。视频流分析可以应用到安防监控、远程设备诊断、交通路况分析以及智能汽车无人行驶系统等。目前，高清的视频流主要采用H.265/H.264编码格式，对这种编码图像的分析需要经历解码、图像预处理、图像分析等过程，这些过程所采用的数学模型需要很高的计算资源支持。因而，目前进行视频流分析往往采用2种模式：1）视频流传输到局部监控中心，由监控人员通过眼睛进行分析；这种方式具有需要大量的人力，并且由于人员的疲劳而漏掉重要信息，进一步，这种分析模式缺乏全局性信息，因而人们亟需改进并放弃这种方法。2）视频流被传输到云数据分析与存储中心，需要大规模云平台予以支持。这种方法主要缺陷是：视频流传输占用了大量的广域网络资源，成本过高，规模难以扩大；大规模云平台需要投入大量的人力、物力，消耗了大量的电能，因而很难持续发展。
技术实现思路
针对上述现有技术中存在的缺陷，本专利技术所要解决的技术问题是提供一种全局性好，视频分析效果全面，并且占用通信资源少的基于GPU的视频流智能感知协同处理系统及其处理方法。为了解决上述技术问题，本专利技术所提供的一种基于GPU的视频流智能感知协同处理系统，其特征在于：包括云服务器，及多个视频流感知节点；所述云服务器配置有云存储单元，视频流感知节点、云服务器接入同一个广域网络；所述视频流感知节点包括节点摄像头、节点主控模块、节点GPU模块、节点通信模块，其中的节点GPU模块与节点主控模块互联，节点摄像头的视频数据输出端口接到节点主控模块的数据采集端口，节点主控模块通过节点通信模块接入云服务器所在的网络，使得节点主控模块能与云服务器进行数据交换。进一步的，所述视频流感知节点设置有节点机箱，节点主控模块、节点GPU模块、节点通信模块均安装在节点机箱内，节点机箱上装有用于控制节点摄像头的镜头对准方向的节点云台，节点云台的控制端口接到节点主控模块的控制信号输出端口，所述节点摄像头安装在节点云台上，节点机箱上装有用于节点机箱内的电气部件散热的节点散热通风装置，所述节点散热通风装置中设置有散热风扇、空气过滤部件及温湿度传感器，并且温湿度传感器的感应信号输出端口接到节点主控模块的数据采集端口。本专利技术所提供的基于GPU的视频流智能感知协同处理系统的处理方法，其特征在于：为每个视频流感知节点设定一个节点编号id，并为每个视频流感知节点设定一个节点状态向量SV，节点状态向量SV中包含有用于标识视频流感知节点中的各个部件工作状态的多个状态元素；视频流感知节点启动后，节点主控模块通过节点通信模块向云服务器发送一个包含有本节点注册信息的注册信息包，并等待云服务器的反馈信息包，视频流感知节点的注册信息包括视频流感知节点的节点编号id、节点网络地址ip、节点状态向量SV；在云存储单元中预先存入GPU算法库GS；云服务器收到视频流感知节点发来的注册信息包后，先检测云存储单元是否存储有该视频流感知节点的注册信息；如果云存储单元中已存储有该视频流感知节点的注册信息，云服务器则先为该视频流感知节点分配一个视频帧处理周期发生器CG及一个GPU算法子集GPUS，再为该视频流感知节点构建一个反馈信息包并下发给该视频流感知节点；如果云存储单元中未存储有该视频流感知节点的注册信息，云服务器则先从接收到的注册信息包中获取该视频流感知节点的注册信息，并将所获取的注册信息存入云存储单元，并为该视频流感知节点分配一个视频帧处理周期发生器CG及一个GPU算法子集GPUS，然后再构建一个反馈信息包并下发给该视频流感知节点；云服务器为视频流感知节点构建的反馈信息包中包含有视频流感知节点的节点编号id、节点网络地址ip，及云服务器为视频流感知节点所分配的视频帧处理周期发生器CG的处理周期T，及云服务器为视频流感知节点所分配的GPU算法子集GPUS；视频帧处理周期发生器CG是用于生成处理时间段序列的时间段序列发生器，并且视频帧处理周期发生器CG所生成的处理时间段序列中，各个处理时间段的时长相等，视频帧处理周期发生器CG的处理周期T是指单个处理时间段的时长；GPU算法子集GPUS是GPU算法库GS的子集，是由云服务器从云存储单元所提取的GPU算法的集合；视频流感知节点中，节点主控模块通过节点通信模块获取来自云服务器的反馈信息包，并根据分配给本节点的视频帧处理周期发生器CG的处理周期T、GPU算法子集GPUS来构建节点GPU模块的工作流程，并发送给节点GPU模块，使得节点GPU模块按照分配给本节点的视频帧处理周期发生器CG的处理周期T、GPU算法子集GPUS工作；视频流感知节点中，节点主控模块按照分配给本节点的视频帧处理周期发生器CG的处理周期T从节点摄像头获取当前视频帧frameImg，并从分配给本节点的视频帧处理周期发生器CG获取当前处理时间段t，按照当前处理时间段t及当前视频帧frameImg构建视频帧GPU处理对象VFPO发送给节点GPU模块；视频帧GPU处理对象VFPO由当前处理时间段t、视频流VST、当前视频帧frameImg、GPUAS构成，其中的当前处理时间段t由分配给本节点的视频帧处理周期发生器CG所生成，视频流VST从节点摄像头获取，当前视频帧frameImg是当前处理时间段t内所要处理的当前帧，GPUAS是按照分配给本节点的GPU算法子集GPUS所设定的用于处理视频流VST的算法集合；视频流感知节点中，节点GPU模块根据视频帧GPU处理对象VFPO中的GPUAS对当前视频帧frameImg进行处理，并在处理完毕后构建一个包含有当前处理时间段t、视频流VST及处理结果Rels的视频帧处理结果对象VFPRO，然后再将视频帧处理结果对象VFPRO发送给节点主控模块，节点主控模块再构建一个包含有视频帧处理结果对象VFPRO，及本节点的节点编号id、节点网络地址ip的处理结果消息包，并通过节点通信模块发送给云服务器；云服务器收到视频流感知节点发来的处理结果消息包后，根据处理结果消息包中的节点编号id、节点网络地址ip找出分配给该视频流感知节点的视频帧处理周期发生器CG，并从该视频帧处理周期发生器CG获取一个新的当前处理时间段tt，再从处理结果消息包中的视频帧处理结果对象VFPRO中提取出视频流VST及处理结果Rels，再按照新的当前处理时间段tt，利用GPU算法库GS对所提取的视频流VST、处理结果Rels进行深度分析，并将深度分析结果存入云存储单元。进一步的，视频流感知节点启动后，节点主控模块通过节点状态向量SV检测本节点中的各部件的工作状态，节点主控模块与节点GPU模块、节点通信模块协同通信，互报工作状态。进一步的，视频流感知节点VSN启动后，节点主控模块通过节点状态向量SV检测到本节点中存在着故障部件时，构建一个包含有本节点的节点状态向量SV的报警信息包并发送给云服务器。本专利技术提供的基于GPU的视频流智能感知协同处理系统及其处理方法，采用GPU模块构建视频流感知节点，视频流感知节点利用GPU的强大处理能力对视频进行本文档来自技高网...

【技术保护点】
一种基于GPU的视频流智能感知协同处理系统，其特征在于：包括云服务器，及多个视频流感知节点；所述云服务器配置有云存储单元，视频流感知节点、云服务器接入同一个广域网络；所述视频流感知节点包括节点摄像头、节点主控模块、节点GPU模块、节点通信模块，其中的节点GPU模块与节点主控模块互联，节点摄像头的视频数据输出端口接到节点主控模块的数据采集端口，节点主控模块通过节点通信模块接入云服务器所在的网络，使得节点主控模块能与云服务器进行数据交换。

【技术特征摘要】
1.一种基于GPU的视频流智能感知协同处理系统，其特征在于：包括云服务器，及多个视频流感知节点；所述云服务器配置有云存储单元，视频流感知节点、云服务器接入同一个广域网络；所述视频流感知节点包括节点摄像头、节点主控模块、节点GPU模块、节点通信模块，其中的节点GPU模块与节点主控模块互联，节点摄像头的视频数据输出端口接到节点主控模块的数据采集端口，节点主控模块通过节点通信模块接入云服务器所在的网络，使得节点主控模块能与云服务器进行数据交换。2.根据权利要求1所述的基于GPU的视频流智能感知协同处理系统，其特征在于：所述视频流感知节点设置有节点机箱，节点主控模块、节点GPU模块、节点通信模块均安装在节点机箱内，节点机箱上装有用于控制节点摄像头的镜头对准方向的节点云台，节点云台的控制端口接到节点主控模块的控制信号输出端口，所述节点摄像头安装在节点云台上，节点机箱上装有用于节点机箱内的电气部件散热的节点散热通风装置，所述节点散热通风装置中设置有散热风扇、空气过滤部件及温湿度传感器，并且温湿度传感器的感应信号输出端口接到节点主控模块的数据采集端口。3.根据权利要求1所述的基于GPU的视频流智能感知协同处理系统的处理方法，其特征在于：为每个视频流感知节点设定一个节点编号id，并为每个视频流感知节点设定一个节点状态向量SV，节点状态向量SV中包含有用于标识视频流感知节点中的各个部件工作状态的多个状态元素；视频流感知节点启动后，节点主控模块通过节点通信模块向云服务器发送一个包含有本节点注册信息的注册信息包，并等待云服务器的反馈信息包，视频流感知节点的注册信息包括视频流感知节点的节点编号id、节点网络地址ip、节点状态向量SV；在云存储单元中预先存入GPU算法库GS；云服务器收到视频流感知节点发来的注册信息包后，先检测云存储单元是否存储有该视频流感知节点的注册信息；如果云存储单元中已存储有该视频流感知节点的注册信息，云服务器则先为该视频流感知节点分配一个视频帧处理周期发生器CG及一个GPU算法子集GPUS，再为该视频流感知节点构建一个反馈信息包并下发给该视频流感知节点；如果云存储单元中未存储有该视频流感知节点的注册信息，云服务器则先从接收到的注册信息包中获取该视频流感知节点的注册信息，并将所获取的注册信息存入云存储单元，并为该视频流感知节点分配一个视频帧处理周期发生器CG及一个GPU算法子集GPUS，然后再构建一个反馈信息包并下发给该视频流感知节点；云服务器为视频流感知节点构建的反馈信息包中包含有视频流感知节点的节点编号id、节点网络地址ip，及云服务器为视频流感知节点所分配的视频帧处理周期发生器CG的处理周期T，及云服务器为视频流感知节点所分配的GPU算法子集GPUS；视频帧处理周期发生器CG是用于生成处理时间段序列的时间段序列发生器，并且视频帧处理周期发生器CG所生成的处理时间段序列中，各个处理时间段的时长相等，视频帧处理周期发生器C...

【专利技术属性】
技术研发人员：陈庆奎，那丽春，易猛，赵德玉，庄松林，倪争技，李超凡，龚慧林，王超，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：上海,31