一种利用人工智能芯片处理图像视频帧的方法技术

本公开提供了一种利用人工智能芯片处理图像视频帧的方法，包括：图像处理装置获取监控系统实时摄取的监控图像；图像处理装置接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。该方法可以通过机器学习的方式由电脑程序实时进行监控视频中的突发事件种类判断，节省大量人力资源。

A Method of Image and Video Frame Processing Using Artificial Intelligence Chip

The present disclosure provides a method for processing image and video frames by using artificial intelligence chips, which includes: image processing device obtains real-time monitoring images captured by monitoring system; image processing device receives video frames of the monitoring image, performs artificial neural network operation on the video frames, and outputs corresponding monitoring after operation. Emergency type data of image. This method can judge the types of emergencies in surveillance video real-time by computer program through machine learning, and save a lot of human resources.

【技术实现步骤摘要】
一种利用人工智能芯片处理图像视频帧的方法
本公开涉及信息处理
，具体涉及一种突发事件自动监控方法。
技术介绍
现有技术中分析视频中的突发事件，主要是通过人工监控和判断的方式，显然该方式的主要问题在于：人工监控检测需要庞大的人力资源，而且人工浏览难以做到实施不间断监控检测判断；进一步的，人工检索效率低下，时间复杂度高，并且视频资源数量庞大，受视屏质量影响较大，人工浏览不一定能够做到准确判断；还有就是，人工监测受到硬件设备的限制，不能够实现系统的便携化。
技术实现思路
(一)要解决的技术问题有鉴于此，本公开的目的在于提供一种突发事件自动监控方法，以解决以上所述的至少部分技术问题。(二)技术方案为实现上述目的，本公开提供一种突发事件自动监控方法，包括：图像处理装置获取监控系统实时摄取的监控图像；图像处理装置接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。在进一步的方案中，在获取监控系统实时摄取的监控图像之前，还包括对神经网络模型进行自适应训练。在进一步的方案中，所述自适应性训练包括：输入至少包含突发事件视频图像视频帧的图像与其对应的突发事件种类编码标签；将视频帧输入到当前的神经网络结构当中，并通过损失函数计算当前图片所属种类的网络参数的更新梯度方向以及更新幅度，通过联合损失函数计算该视频片段所属种类的整体神经网络参数的更新梯度方向以及更新幅度；依据上述更新梯度方向和更新幅度更新神经网络参数。在进一步的方案中，在接收所述监控图像中的视频帧之前对通过预处理模块对所述监控图像进行预处理。在进一步的方案中，所述预处理包括：对监控图像数据切分、高斯滤波、二值化、正则化和/或归一化。在进一步的方案中，所述突发事件的类型数据包含n个比特位，用于表示不同类型的突发事件，n为大于1的整数。在进一步的方案中，对所述视频帧进行人工神经网络运算包括：存储模块接收监控图像，该监控图像包含视频帧；通过直接内存存取DMA将存储单元内的指令、视频帧数据和权值分别传入指令缓存模块，输入神经元缓存模块和权值缓存模块中；控制电路从指令缓存模块中读取指令，将其译码后传入运算电路；根据指令，运算电路执行相应的神经网络运算，并将运算结果传入输出神经元缓存模块；将运算完毕的结果作为当前视频帧图像的判断结果由直接内存存取DMA相应的判断结果存储地址。在进一步的方案中，当所述图像为多幅图像时，各图像依次执行人工神经网络运算，运算所得的结果判断结果形成判断队列再作为运算电路的输入，进行加权相加，确定整个监控视频在当前时刻的突发事件种类判断结果。在进一步的方案中，所述自适应训练过程为离线训练，自适应性训练的输入数据可以来源于外部的连续时间图像采集装置。在进一步的方案中，所述运算电路执行相应的神经网络运算，包括：通过乘法电路将输入神经元和权值数据相乘；通过加法树将所述相乘加过通过加法树逐级相加，得到加权和，以及根据对加权和加偏置或不加偏置；通过激活函数运算电路，对加偏置或不加偏置的加权和作为输入进行激活函数运算，得到输出神经元。(三)有益效果(1)本公开的突发事件自动监控方法可以通过机器学习的方式由电脑程序实时进行监控视频中的突发事件种类判断，节省大量人力资源；(2)本公开的突发事件自动监控方法通过机器识别可以实现复杂环境和视频背景下的突发事件类型监测判断，弥补人工监测判断所受监控视频图像质量以及环境干扰带来的判断准确率的降低；(3)本公开的方法中包括能够进行神经网络运算的图像处理，通过该图像处理装置可以使得整个判断预警系统需要的硬件结果尺寸大大缩小，不需要庞大的显示系统，可实现手机、平板电脑甚至是专门信号发生接收器即可实现，很容易实现系统的便携式设计；(4)本公开的方法可以极大地推动监控视频突发事件监测的普及，为社会安全提供保障人工监测。附图说明图1是本公开实施例的突发事件自动监控系统方框示意图。图2是图1中自动监控系统的一种图像处理装置的方框示意图。图3是图1中自动监控系统的另一种图像处理装置的方框示意图。图4是本公开实施例的对监控图像进行处理的一种方法流程图。图5是本公开实施例的对监控图像进行处理的另一种方法流程图。具体实施方式下面结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开的保护范围。在本公开中，“视频帧”是指视频拍摄时进行短暂曝光拍摄得到的曝光时间点图像，这些图像连续播放才能构成视频；视频帧可以是待进行神经网络运算的当前视频帧，还可以是已经经过神经网络运算，且有对应的真实突发事件种类编码标签的历史视频帧。本公开中，“突发事件”是指突然发生的，造成或可能造成严重社会危害的自然事件、事故灾难、公共事件或社会事件，包括但不限于洪水、恐怖事件、社会冲突、火灾或者停电。现有的视频监控通过人工监测以及判断，但往往受制于图像质量、监测人员个体因素以及环境等因素的影像，判断准确率和效率均较低。本公开实施例一方面提供一种突发事件自动监控系统以及突发事件自动监控方法，通过机器自动识别实现复杂环境和视频背景下的突发事件类型监测判断，弥补人工监测判断所受监控视频图像质量以及环境干扰带来的判断准确率的降低。图1是本公开实施例的突发事件自动监控系统方框示意图。根据本公开实施例的一方面，提供一种突发事件自动监控系统100，包括监控装置110和图像处理装置120。其中，监控装置110用于摄取监控区域的监控图像；图像处理装置120用于接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。通过将该图像经神经网络运算后输出突发事件类型数据，可以实现突发事件种类的自动判断。该监控装置110可以是现有技术中各种可以摄录影像的设备，包括但不限于摄像机、照相机或手机，通过摄录图像或者图像帧后，再转化为电子格式图像(该电子格式图像可以经过预处理)。本公开实施例的图像处理装置120，接收上述电子格式图像，后以通过硬件电路对该电子格式图像进行神经网络运算，得到突发事件类型(例如判断突发事件类型为火灾事件)数据。在神经网络运算时，所采用的网络模型可以是现有技术已有的各种模型，包括但不限于DNN(深度神经网络)、CNN(卷积神经网络)、或者RNN(循环神经网络)(例如LSTM长短期记忆网络)，且在神经网络的输出层的神经元中包含图像或者视频帧对应的突发事件类型数据；该神经网路运算通过本公开实施例的硬件设备加速，能够提高整体运算效果，提高突发事件判断的效率。图2是图1中自动监控系统的一种图像处理装置的方框示意图。在一些实施例中，如图2所示，图像处理装置120包括存储模块121和运算电路123；其中，存储模块121用于存储指令、神经网络参数和运算数据，这里的运算数据包括视频帧(包括当前视频帧和历史视频帧)以及历史视频帧对应的突发事件类型数据，运算电路123用于对所述运算数据执行相应的神经网络运算。其中，存储模块121还可以存储经运算电路运算后获得的输出神经元数据。这里的神经网络参数包括但不限于权值本文档来自技高网...

【技术保护点】
1.一种突发事件自动监控方法，其特征在于，包括：图像处理装置获取监控系统实时摄取的监控图像；图像处理装置接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。

【技术特征摘要】
1.一种突发事件自动监控方法，其特征在于，包括：图像处理装置获取监控系统实时摄取的监控图像；图像处理装置接收所述监控图像中的视频帧，对所述视频帧进行人工神经网络运算，运算后输出对应于监控图像的突发事件类型数据。2.根据权利要求1所述的方法，其特征在于，在获取监控系统实时摄取的监控图像之前，还包括对神经网络模型进行自适应训练。3.根据权利要求2所述的方法，其特征在于，所述自适应性训练包括：输入至少包含突发事件视频图像视频帧的图像与其对应的突发事件种类编码标签；将视频帧输入到当前的神经网络结构当中，并通过损失函数计算当前图片所属种类的网络参数的更新梯度方向以及更新幅度，通过联合损失函数计算该视频片段所属种类的整体神经网络参数的更新梯度方向以及更新幅度；依据上述更新梯度方向和更新幅度更新神经网络参数。4.根据权利要求1所述的方法，其特征在于，在接收所述监控图像中的视频帧之前对通过预处理模块对所述监控图像进行预处理。5.根据权利要求4所述的方法，其特征在于，所述预处理包括：对监控图像数据切分、高斯滤波、二值化、正则化和/或归一化。6.根据权利要求1所述的方法，其特征在于，所述突发事件的类型数据包含n个比特位，用于表示不同类型的突发事件，n为大于1的整数。7.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：高钰峰，陈云霁，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11