用于对视频帧进行神经网络运算的图像处理装置制造方法及图纸

本公开提供了一种突发事件自动监控系统，包括：监控装置，用于摄取监控区域的监控图像；以及图像处理装置，用于接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。该系统可以通过机器学习的方式由电脑程序实时进行监控视频中的突发事件种类判断，节省大量人力资源。

【技术实现步骤摘要】
用于对视频帧进行神经网络运算的图像处理装置
本公开涉及信息处理
，具体涉及一种突发事件自动监控系统。
技术介绍
现有技术中分析视频中的突发事件，主要是通过人工监控和判断的方式，显然该方式的主要问题在于：人工监控检测需要庞大的人力资源，而且人工浏览难以做到实施不间断监控检测判断；进一步的，人工检索效率低下，时间复杂度高，并且视频资源数量庞大，受视屏质量影响较大，人工浏览不一定能够做到准确判断；还有就是，人工监测受到硬件设备的限制，不能够实现系统的便携化。
技术实现思路
(一)要解决的技术问题有鉴于此，本公开的目的在于提供一种突发事件自动监控系统，以解决以上所述的至少部分技术问题。(二)技术方案为实现上述目的，本公开提供一种突发事件自动监控系统，包括：监控装置，用于摄取监控区域的监控图像；图像处理装置，用于接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。在进一步的方案中，所述图像处理装置包括：存储模块，用于存储指令、神经网络参数和运算数据，所述运算数据包括当前视频帧、历史视频帧和历史视频帧对应的突发事件类型数据；运算电路，用于对所述运算数据执行相应的神经网络运算。在进一步的方案中，所述图像处理装置还包括：控制电路，用于将存储模块内的指令译码成运算指令并输入至运算电路。在进一步的方案中，所述运算电路中，用于对所述运算数据执行相应的神经网络运算，包括：乘法电路，用于将输入神经元和权值数据相乘；加法树，用于所述相乘加过通过加法树逐级相加，得到加权和，以及根据对加权和加偏置或不加偏置；激活函数运算电路，用于对加偏置或不加偏置的加权和作为输入进行激活函数运算，得到输出神经元。在进一步的方案中，所述图像处理装置还包括：直接内存存取DMA，用于存入存储模块中的运算数据，神经网络参数和指令，以供控制电路和/或运算电路调用。在进一步的方案中，所述系统还包括：预处理模块，用于对监控装置摄取的监控图像进行预处理，转化为符合神经网络输入格式的数据；所述预处理模块设置于所述监控装置内或图像处理装置内。在进一步的方案中，所述预处理模块中，所述预处理包括：对监控图像数据切分、高斯滤波、二值化、正则化和/或归一化。在进一步的方案中，所述图像处理装置还包括：指令缓存模块，用于从所述直接内存存取DMA缓存指令，供控制电路调用。在进一步的方案中，所述神经网络参数包括输入神经元、输出神经元和权值，所述处理器还包括：输入神经元缓存模块，用于从所述直接内存存取DMA缓存输入神经元，供运算电路调用；权值缓存模块，用于从所述直接内存存取DMA缓存权值，供运算电路调用；输出神经元缓存模块，用于存储从所述运算电路获得运算后的输出神经元，以输出至直接内存存取DMA。在进一步的方案中，所述指令缓存模块、输入神经元缓存模块、权值缓存模块和输出神经元缓存模块均为片上缓存。在进一步的方案中，所述图像处理装置还用于对神经网络参数进行自适应训练。在进一步的方案中，所述自身性训练包括：输入至少包含突发事件视频图像视频帧的图像与其对应的突发事件种类编码标签；将视频帧输入到当前的神经网络结构当中，并通过损失函数计算当前图片所属种类的网络参数的更新梯度方向以及更新幅度，通过联合损失函数计算该视频片段所属种类的整体神经网络参数的更新梯度方向以及更新幅度；依据上述更新梯度方向和更新幅度更新神经网络参数。在进一步的方案中，所述系统还包括：结果处理和展示装置，用于接收图像处理装置计算出的突发事件类型数据，转化为用户可辨识格式，所述可辨识格式为图片、表格、文本、视频和/或者语音。本公开还提供一种突发事件自动监控系统，包括：图像处理装置，用于接收监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。(三)有益效果(1)本公开的突发事件自动监控系统可以通过机器学习的方式由电脑程序实时进行监控视频中的突发事件种类判断，节省大量人力资源；(2)本公开的突发事件自动监控系统通过机器识别可以实现复杂环境和视频背景下的突发事件类型监测判断，弥补人工监测判断所受监控视频图像质量以及环境干扰带来的判断准确率的降低；(3)本公开的系统中包括能够进行神经网络运算的图像处理装置，通过该图像处理装置可以使得整个判断预警系统需要的硬件结果尺寸大大缩小，不需要庞大的显示系统，可实现手机、平板电脑甚至是专门信号发生接收器即可实现，很容易实现系统的便携式设计；(4)本公开的系统可以极大地推动监控视频突发事件监测的普及，为社会安全提供保障人工监测。附图说明图1是本公开实施例的突发事件自动监控系统方框示意图。图2是图1中自动监控系统的一种图像处理装置的方框示意图。图3是图1中自动监控系统的另一种图像处理装置的方框示意图。图4是本公开实施例的对监控图像进行处理的一种方法流程图。图5是本公开实施例的对监控图像进行处理的另一种方法流程图。具体实施方式下面结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开的保护范围。在本公开中，“视频帧”是指视频拍摄时进行短暂曝光拍摄得到的曝光时间点图像，这些图像连续播放才能构成视频；视频帧可以是待进行神经网络运算的当前视频帧，还可以是已经经过神经网络运算，且有对应的真实突发事件种类编码标签的历史视频帧。本公开中，“突发事件”是指突然发生的，造成或可能造成严重社会危害的自然事件、事故灾难、公共事件或社会事件，包括但不限于洪水、恐怖事件、社会冲突、火灾或者停电。现有的视频监控通过人工监测以及判断，但往往受制于图像质量、监测人员个体因素以及环境等因素的影像，判断准确率和效率均较低。本公开实施例一方面提供一种突发事件自动监控系统以及突发事件自动监控方法，通过机器自动识别实现复杂环境和视频背景下的突发事件类型监测判断，弥补人工监测判断所受监控视频图像质量以及环境干扰带来的判断准确率的降低。图1是本公开实施例的突发事件自动监控系统方框示意图。根据本公开实施例的一方面，提供一种突发事件自动监控系统100，包括监控装置110和图像处理装置120。其中，监控装置110用于摄取监控区域的监控图像；图像处理装置120用于接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。通过将该图像经神经网络运算后输出突发事件类型数据，可以实现突发事件种类的自动判断。该监控装置110可以是现有技术中各种可以摄录影像的设备，包括但不限于摄像机、照相机或手机，通过摄录图像或者图像帧后，再转化为电子格式图像(该电子格式图像可以经过预处理)。本公开实施例的图像处理装置120，接收上述电子格式图像，后以通过硬件电路对该电子格式图像进行神经网络运算，得到突发事件类型(例如判断突发事件类型为火灾事件)数据。在神经网络运算时，所采用的网络模型可以是现有技术已有的各种模型，包括但不限于DNN(深度神经网络)、CNN(卷积神经网络)、或者RNN(循环神经网络)(例如LSTM长短期记忆网络)，且在神经本文档来自技高网...

【技术保护点】
1.一种突发事件自动监控系统，其特征在于包括：监控装置，用于摄取监控区域的监控图像；图像处理装置，用于接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。

【技术特征摘要】
1.一种突发事件自动监控系统，其特征在于包括：监控装置，用于摄取监控区域的监控图像；图像处理装置，用于接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。2.根据权利要求1所述的突发事件自动监控系统，其特征在于，所述图像处理装置包括：存储模块，用于存储指令、神经网络参数和运算数据，所述运算数据包括当前视频帧、历史视频帧和历史视频帧对应的突发事件类型数据；运算电路，用于对所述运算数据执行相应的神经网络运算。3.根据权利要求2所述的突发事件自动监控系统，其特征在于，所述图像处理装置还包括：控制电路，用于将存储模块内的指令译码成运算指令并输入至运算电路。4.根据权利要求2所述的突发事件自动监控系统，其特征在于，所述运算电路中，用于对所述运算数据执行相应的神经网络运算，包括：乘法电路，用于将输入神经元和权值数据相乘；加法树，用于所述相乘加过通过加法树逐级相加，得到加权和，以及根据对加权和加偏置或不加偏置；激活函数运算电路，用于对加偏置或不加偏置的加权和作为输入进行激活函数运算，得到输出神经元。5.根据权利要求3所述的突发事件自动监控系统，其特征在于，所述图像处理装置还包括：直接内存存取DMA，用于存入存储模块中的运算数据，神经网络参数和指令，以供控制电路和/或运算电路调用。6.根据权利要求5所述的突发事件自动监控系统，其特征在于，所述系统还包括：预处理模块，用于对监控装置摄取的监控图像进行预处理，转化为符合神经网络输入格式的数据；所述预处理模块设置于所述监控装置内或图像处理装置内。7.根据权利要求6所述的突发事件自动监控系统，其特征在于，所述预处理模块中，所述预处理包括：对监控图像数据切分、高斯滤波、二值化、正则化和/或归一化。8.根据权利要求5所述的突发事...

【专利技术属性】
技术研发人员：高钰峰，陈云霁，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11