一种基于深层神经网络的视频重点区域确定方法技术

技术编号:15395558 阅读:115 留言:0更新日期:2017-05-19 06:58
本发明专利技术公开了一种基于深层神经网络的视频重点区域确定方法,该基于深层神经网络的视频重点区域确定方法具体步骤如下:S1:使用一种端到端的网络模型,确定视频图像中的显著性区域,S2:利用深层神经网络提取的重点区域特征进行自适应特征提取,S3:利用基于多层金字塔的特征提取算法提取到的特征。本发明专利技术提供了一种基于深层神经网络的视频质量诊断算法及其在智能安防中的应用,该方法可以有效正确检测视频中重要的参考区域,对视频图像存在的问题进行分类,并能实现自动区分质量问题的严重程度,从而实现视频图像质量的分级告警。

A key region determination algorithm of video based on deep layer neural network

The invention discloses a method for determining the key areas of deep neural network algorithm for video based on video, the key areas of deep neural network based algorithm for determining the specific steps are as follows: S1: the use of an end to end network model, determine the saliency regions in video image S2: adaptive feature extraction, using key regional characteristics deep neural network S3 extraction: using feature extraction algorithm to extract features based on multilayer Pyramid. The invention provides a method and its application in intelligent security based on video quality diagnostic algorithm deep neural network, this method can effectively correct detection of important reference region in the video, the video image classification problems, and can automatically distinguish the severity of quality problems, so as to realize hierarchical alarm video image quality the.

【技术实现步骤摘要】
一种基于深层神经网络的视频重点区域确定算法
本专利技术涉及计算机视觉
,具体为一种基于深层神经网络的视频重点区域确定算法。
技术介绍
随着科学技术与信息化社会的发展,目前我国的视频监控应用行业非常普遍,除了交通、治安、金融、银行、军队和口岸等特殊领域外,社区、写字楼、酒店、公共场所、工厂和商场都已应用了或正在建设视频监控系统。同时网络化、智能化等新技术使得这些监控点不再是简单的单机监控,监控的时间周期也逐渐从每天8小时延长至24小时。2008年北京奥运会的举行、平安城市的建设、国内城市化的发展、快速的城市扩展、部分应用领域安全事故频发等因素,都促进视频监控领域在最近几年更加快速度发展。监控摄像机数量的不断增加,监控的时间不断延长,推动了平安城市,但也给系统维护工作带来了新的挑战,因此针对以上原因就衍生出关于视频诊断方面的产品。视频诊断系统是一种智能化视频故障分析与预警系统。系统采用国际先进的计算机视觉算法,对视频图像出现的雪花、滚屏、模糊、偏色、画面冻结、增益失衡和云台失控等常见摄像头故障做出准确判断并发出报警信息。该系统还可以检测视频信号有无和前端云台摄像机的运行情况,有效预防因硬件导致的图像质量问题及所带来的不必要的损失,并及时检测破坏监控设备的不法行为。
技术实现思路
本专利技术的目的在于提供一种基于深层神经网络的视频重点区域确定算法,该基于深层神经网络的视频重点区域确定算法具体步骤如下:S1:使用一种端到端的网络模型,确定视频图像中的显著性区域,(1)区域提取的网络结构包括十二层:五个卷积层、两个池化层、两个dropout层与三个全连接层,输入图片的大小为任意大小,最后两个卷积层后面均分别包含一个池化层与一个dropout层,本网络包括四个输出神经元,分别代表左上角点的坐标与右下角掉的坐标;(2)特征提取的网络利用步骤(1)中输出的坐标位置与最后一个卷积层的参数作为输入,利用感受野与特征值之间的对应关系,提取出重点区域的卷积层参数,得到特征图;S2:利用深层神经网络提取的重点区域特征进行自适应特征提取,最终得到数据与特征长度均归一化的特征,对于步骤S1中得到的显著区域的特征图,利用三层金字塔的网格结构,由粗到细分别计算出16*256d、4*256d、1*256d的三层特征,将三层特征进行组合,使得任意尺度的特征图都可以得到归一化大小的特征,组合后的特征经过两个结构相同的全连接层与dropout层的组合,得到最终的特征;S3:利用基于多层金字塔的特征提取算法提取到的特征,通过联合训练网络结构,最终的到质量评判的效果,视频质量评分网络单元包含三个结构相同的全连接层、池化层与dropout层的组合,最后连接一个softmax层输出范围在[0,1]之间的分数,视频质量问题分类网络单元包括两个结构相同的全连接层、池化层与dropout层的组合,最后连接一个softmax层输出视频质量问题所属类别的标签与概率。与现有技术相比,本专利技术的有益效果是:本专利技术提供了一种基于深层神经网络的视频质量诊断算法及其在智能安防中的应用,该方法可以有效正确检测视频中重要的参考区域,对视频图像存在的问题进行分类,并能实现自动区分质量问题的严重程度,从而实现视频图像质量的分级告警。该方法通过深层神经网络对视频图像进行特征提取,进行重点区域确定,其次对重点区域的视频质量进行打分;最后对视频质量问题所属的类别进行分类,从而得到视频质量问题类别。附图说明图1为本专利技术视频图像质量诊断算法系统流程图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白,以下结合具体实施例,对本专利技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本专利技术,并不用于限定本专利技术。实施例1一种基于深层神经网络的视频重点区域确定算法,该基于深层神经网络的视频重点区域确定算法具体步骤如下:S1:使用一种端到端的网络模型,确定视频图像中的显著性区域,(1)区域提取的网络结构包括十二层:五个卷积层、两个池化层、两个dropout层与三个全连接层,输入图片的大小为任意大小,最后两个卷积层后面均分别包含一个池化层与一个dropout层,本网络包括四个输出神经元,分别代表左上角点的坐标与右下角掉的坐标;(2)特征提取的网络利用步骤(1)中输出的坐标位置与最后一个卷积层的参数作为输入,利用感受野与特征值之间的对应关系,提取出重点区域的卷积层参数,得到特征图;S2:利用深层神经网络提取的重点区域特征进行自适应特征提取,最终得到数据与特征长度均归一化的特征,对于步骤S1中得到的显著区域的特征图,利用三层金字塔的网格结构,由粗到细分别计算出16*256d、4*256d、1*256d的三层特征,将三层特征进行组合,使得任意尺度的特征图都可以得到归一化大小的特征,组合后的特征经过两个结构相同的全连接层与dropout层的组合,得到最终的特征;S3:利用基于多层金字塔的特征提取算法提取到的特征,通过联合训练网络结构,最终的到质量评判的效果,视频质量评分网络单元包含三个结构相同的全连接层、池化层与dropout层的组合,最后连接一个softmax层输出范围在[0,1]之间的分数,视频质量问题分类网络单元包括两个结构相同的全连接层、池化层与dropout层的组合,最后连接一个softmax层输出视频质量问题所属类别的标签与概率。视频图像质量诊断算法系统流程图如图1所示。该算法的实现主要分为三大模块,分别为:显著性区域定位模块、区域特征的提取与归一化模块、视频图片评分与质量问题分类模块。下面分别详细介绍。1、显著性区域定位模块:该模块主要用于选择合适的区域用来评价图像的质量。随着经济的发展,监控摄像头数目呈指数级别的增长。巨大的基数带来的多种多样的场景,传统的基于全图的质量评价算法只能用来评估整体的图片质量,例如偏亮,有很多现实场景是主要关注的区域亮度处于正常的水平,但周围无关紧要的区域可能处于过暗,或者有些摄像头为了保证重点关注区域正常曝光,导致其他区域产生过曝。对于用户来说这些场景都属于正常,但传统算法都难以区分。监控摄像头又属于可变可调整的设备,提前手动配置显得不可行而且工作量巨大,因此找到一种自动确定显著性区域的方法显得迫在眉睫。本专利技术提出了一种定位显著性区域的方法用以解决这个问题。假设一系列训练样本表示为I={I1,I2…,In},将有效的前景表示为Y={Y1,…,Yn},对于每一个Yi若为前景则表示为1,若为背景则表示为0.通过对样本的标记,我们将目标区域表示为L={L1,..,Ln},L是一个思维的向量用来表示区域的坐标{x1,y1,x2,y2}。对于每一个样本,都有一个变量ΔL用来调整L的值。因此,区域定位问题可以转化为最大似然估计:对于定位网络,我们通过最优化输出与标定的欧氏距离来实现。2、区域特征的提取与归一化模块:本专利技术中使用了显著性区域提取算法,提取的区域大小是不一致的。为了将不同大小的区域提取特征,并归一化到相同大小的特征向量,需要有一种特征提取与归一化模块。传统利用深度神经网络进行特征提取需要保证用于训练的样本尺寸一致,并且进行预测是输入样本尺寸也必须与训练样本一致。通常的算法中,进行不同的任务需要不同的特征,每个任务都必须有自己独立的网络本文档来自技高网...
一种<a href="http://www.xjishu.com/zhuanli/62/201611251748.html" title="一种基于深层神经网络的视频重点区域确定方法原文来自X技术">基于深层神经网络的视频重点区域确定方法</a>

【技术保护点】
一种基于深层神经网络的视频重点区域确定算法,其特征在于:该基于深层神经网络的视频重点区域确定算法具体步骤如下:S1:使用一种端到端的网络模型,确定视频图像中的显著性区域,(1)区域提取的网络结构包括十二层:五个卷积层、两个池化层、两个dropout层与三个全连接层,输入图片的大小为任意大小,最后两个卷积层后面均分别包含一个池化层与一个dropout层,本网络包括四个输出神经元,分别代表左上角点的坐标与右下角掉的坐标;(2)特征提取的网络利用步骤(1)中输出的坐标位置与最后一个卷积层的参数作为输入,利用感受野与特征值之间的对应关系,提取出重点区域的卷积层参数,得到特征图;S2:利用深层神经网络提取的重点区域特征进行自适应特征提取,最终得到数据与特征长度均归一化的特征,对于步骤S1中得到的显著区域的特征图,利用三层金字塔的网格结构,由粗到细分别计算出16*256d、4*256d、1*256d的三层特征,将三层特征进行组合,使得任意尺度的特征图都可以得到归一化大小的特征,组合后的特征经过两个结构相同的全连接层与dropout层的组合,得到最终的特征;S3:利用基于多层金字塔的特征提取算法提取到的特征,通过联合训练网络结构,最终的到质量评判的效果,视频质量评分网络单元包含三个结构相同的全连接层、池化层与dropout层的组合,最后连接一个softmax层输出范围在[0,1]之间的分数,视频质量问题分类网络单元包括两个结构相同的全连接层、池化层与dropout层的组合,最后连接一个softmax层输出视频质量问题所属类别的标签与概率。...

【技术特征摘要】
1.一种基于深层神经网络的视频重点区域确定算法,其特征在于:该基于深层神经网络的视频重点区域确定算法具体步骤如下:S1:使用一种端到端的网络模型,确定视频图像中的显著性区域,(1)区域提取的网络结构包括十二层:五个卷积层、两个池化层、两个dropout层与三个全连接层,输入图片的大小为任意大小,最后两个卷积层后面均分别包含一个池化层与一个dropout层,本网络包括四个输出神经元,分别代表左上角点的坐标与右下角掉的坐标;(2)特征提取的网络利用步骤(1)中输出的坐标位置与最后一个卷积层的参数作为输入,利用感受野与特征值之间的对应关系,提取出重点区域的卷积层参数,得到特征图;S2:利用深层神经网络提取的重点区域特征进行自适应特征提取,最终得到数据与特征长度均归一化的特...

【专利技术属性】
技术研发人员:曾旺环冯琰一徐天适
申请(专利权)人:佳都新太科技股份有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1