交通监控视频编码方法技术

本发明专利技术公开了一种交通监控视频编码方法，该方法基于车辆和背景数据库实现交通监控视频编码，在付出一定存储空间的代价后，可以有效去除交通监控视频在时间维度上存在的全局冗余，最终，总体的效果是在未明显增加编、解码端复杂度的情况下，有效的提升了交通监控视频的整体编码性能。

【技术实现步骤摘要】
交通监控视频编码方法
本专利技术涉及视频编码
，尤其涉及一种交通监控视频编码方法。
技术介绍
近年来，随着智慧交通的迅速发展，监控视频的数据量出现出了爆炸性的增长。为了有效的存储与传输监控视频数据，首先要解决的问题就是监控视频的编码问题。当前，监控视频的压缩通常采用通用视频编码标准H.264/AVC或者H.265/HEVC。然而，考虑到监控视频具有的一些特性，如监控摄像头静止等，直接将通用视频编码技术用在监控视频的编码上，不能充分利用监控视频自有的特性。为了进一步提高监控视频编码的性能，许多研究者专利技术了一系列针对监控视频的编码技术。一般来讲，监控视频中的内容可以大致分为背景内容和前景内容。相应的，针对监控视频的编码可以分别从优化背景编码和优化前景编码两个方面来设计。考虑到监控摄像头静止这个特点，优化背景编码通常先生成一个高质量背景帧，然后依靠质量传递来提高整体监控视频的编码效率。优化前景编码方面，研究者先后提出了一些基于模型和物体分割的前景编码技术。有一些工作还提出了其他的监控视频编码技术，例如：基于背景建模的自适应预测技术(XianguoZhang,TiejunHuang,YonghongTian,andWenGao,“Background-modeling-basedadaptivepredictionforsurveillancevideocoding,”IEEETransactionsonImageProcessing,vol.23,no.2,pp.769–784,2014.)基于车辆3D模型数据库的全局车辆编码技术(JingXiao,RuiminHu,LiangLiao,YuChen,ZhongyuanWang,andZixiangXiong,“Knowledge-basedcodingofobjectsformultisourcesurveillancevideodata,”IEEETransactionsonMultimedia,vol.18,no.9,pp.1691–1706,2016.)以上方法的缺点：1、基于高质量背景帧的背景编码技术在生成高质量背景帧时会引起码流的激增，对网络传输造成不良影响，且编码性能也有待提高。2、基于模型和物体分割的前景编码技术在对前景进行像素级别的精细分割方面本身存在困难，而且由于分割出的前景可能形状不规则，用于表示它的码率是十分巨大的。3、基于背景建模的自适应预测技术在当前帧与参考帧上同时减去重建的背景帧，然后编码前景时直接以得到的当前帧前景像素在参考帧前景像素上做帧间预测。当前景像素的分割效果不佳时，对前景编码效率的提升容易造成不良影响。4、基于车辆3D模型数据库的全局车辆编码技术由于未存储车辆的纹理信息，导致车辆的重建质量无法提高。除此之外，该技术所需的车辆3D模型、监控摄像头的内部参数与外部参数、道路上车辆的位置和姿态信息难以获得或估计，从而为该技术的实用化带来困难。
技术实现思路
本专利技术的目的是提供一种交通监控视频编码方法，可以提高交通监控视频的编码性能。本专利技术的目的是通过以下技术方案实现的：(与权利要求相对应)。由上述本专利技术提供的技术方案可以看出，基于车辆和背景数据库实现交通监控视频编码，在付出一定存储空间的代价后，可以有效去除交通监控视频在时间维度上存在的全局冗余，最终，总体的效果是在未明显增加编、解码端复杂度的情况下，有效的提升了交通监控视频的整体编码性能。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种交通监控视频编码方法的流程图；图2为本专利技术实施例提供的一种交通监控视频编码框架的原理图；图3为本专利技术实施例提供的车辆区域背景SIFT特征去除流程图；图4为本专利技术实施例提供的车辆和背景相似度分析流程图；图5为本专利技术实施例提供的参考索引比特变化信息示意图；图6为本专利技术实施例提供的测试序列截图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种交通监控视频编码方法，如图1所示，其主要包括如下步骤：步骤1、采用前背景分割方法对原始交通监控视频序列进行处理，分离出车辆与背景，并分别去除分离出的车辆与背景之间存在的冗余后放入数据库。步骤2、对于待编码的交通监控视频同样采用前背景分割方法，分离出待编码车辆与待编码背景；对于待编码车辆采用特征匹配与快速运动估计的方式从数据库中选出匹配车辆；对于待编码背景基于绝对差和从数据库中选出匹配背景。步骤3、当采用帧间预测模式或者帧内预测模式时，使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理；根据判断结果进行相应处理，并使用相应的预测模式进行编码。整个编码框架的原理图如图2所示，其中线下部分也即上述的步骤1，线上部分也即上述步骤2～步骤3。为了便于理解，下面针对上述三个步骤做详细的介绍。一、车辆和背景数据库建立。本专利技术实施例中，对于原始交通监控视频序列，采用前背景分割方法(例如，SuBSENSE方法)分离出其中的车辆，背景从前景分离时产生的背景模型处提取，将属于视频序列前段的车辆和背景用于构建数据库。主要实现过程可以参照下述方式：1、车辆数据库建立。车辆数据库建立的较佳实施方式如下：从原始交通监控视频序列前段分离出车辆并去除冗余后，将车辆从1到N进行编号；N为分离出的车辆数目。初始时，数据库中车辆为空；对于某个去除冗余后的车辆vi，采用基于倒排表的方法从除车辆vi外所有其余车辆中检索出相似的车辆{vi1,vi2,…,vim}，其中m为相似车辆的数目。为了确定m的大小，考虑车辆vi和vj匹配的SIFT特征数目，确定两个SIFT特征是否匹配的方式可以采用常规技术，也可以采用后文介绍车辆匹配时所提到的方式来实现。检索相似车辆时，比较车辆vi和其余车辆中任一车辆vj匹配的SIFT特征数目，当车辆vi和车辆vj匹配的SIFT特征数目满足下式时，将车辆vj放入{vi1,vi2,…,vim}中：Nij≥β×Ni；Nij≥min(N0,Ni)；上式中，Nij为车辆vi和车辆vj匹配的SIFT特征数目，Ni为车辆vi中的SIFT特征数目，β和N0为常数；示例性的，β和N0可以分别设置为0.1和4。通过上述方式处理后，可以得到车辆vi对应的相似的车辆{vi1,vi2,…,vim}。之后，对车辆进行像素级别相似度的比较：对于车辆vi，如果数据库中的车辆为空，则将车辆vi放入数据库；否则，将车辆vi与{vi1,vi2,…,vim}中已经放入数据库的车辆进行像素级别相似度的比较，相似度比较时使用快速运动估计方式，损失函数使用绝对差和(SumofAbsoluteDifference，SAD)。此处提到的快速运动估计方式可以通过常规技术实现，也可本文档来自技高网...

【技术保护点】
1.一种交通监控视频编码方法，其特征在于，包括：采用前背景分割方法对原始交通监控视频序列进行处理，分离出车辆与背景，并分别去除分离出的车辆与背景之间存在的冗余后放入数据库；对于待编码的交通监控视频同样采用前背景分割方法，分离出待编码车辆与待编码背景；对于待编码车辆采用特征匹配与快速运动估计的方式从数据库中选出匹配车辆；对于待编码背景基于绝对差和从数据库中选出匹配背景；当采用帧间预测模式或者帧内预测模式时，使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理；根据判断结果进行相应处理，并使用相应的预测模式进行编码。

【技术特征摘要】
1.一种交通监控视频编码方法，其特征在于，包括：采用前背景分割方法对原始交通监控视频序列进行处理，分离出车辆与背景，并分别去除分离出的车辆与背景之间存在的冗余后放入数据库；对于待编码的交通监控视频同样采用前背景分割方法，分离出待编码车辆与待编码背景；对于待编码车辆采用特征匹配与快速运动估计的方式从数据库中选出匹配车辆；对于待编码背景基于绝对差和从数据库中选出匹配背景；当采用帧间预测模式或者帧内预测模式时，使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理；根据判断结果进行相应处理，并使用相应的预测模式进行编码。2.根据权利要求1所述的一种交通监控视频编码方法，其特征在于，所述采用前背景分割方法对原始交通监控视频序列进行处理，分离出车辆与背景，并分别去除分离出的车辆与背景之间存在的冗余后放入数据库包括：对于去除冗余后的车辆，从1到N进行编号；初始时，数据库中车辆为空；对于某个去除冗余后的车辆vi，采用基于倒排表的方法从除车辆vi外所有其余车辆中检索出相似的车辆{vi1,vi2,…,vim}，其中m为相似车辆的数目；检索相似车辆时，比较车辆vi和其余车辆中任一车辆vj匹配的SIFT特征数目，当车辆vi和车辆vj匹配的SIFT特征数目满足下式时，将车辆vj放入{vi1,vi2,…,vim}中：Nij≥β×Ni；Nij≥min(N0,Ni)；上式中，Nij为车辆vi和车辆vj匹配的SIFT特征数目，Ni为车辆vi中的SIFT特征数目，β和N0为常数；之后，对车辆进行像素级别相似度的比较：对于车辆vi，如果数据库中的车辆为空，则将车辆vi放入数据库；否则，将车辆vi与{vi1,vi2,…,vim}中已经放入数据库的车辆进行像素级别相似度的比较，相似度比较时使用快速运动估计方式，损失函数使用绝对差和，如果计算得到的绝对差和平均值小于设定值，则判定判断两辆车在像素级别是相似的；如果{vi1,vi2,…,vim}中已经放入数据库的车辆连续多辆没有与车辆vi在像素级别相似，将车辆vi放入数据库，反之，车辆vi不放入数据库；如果将最终决定车辆vi放入数据库中，则将{vi1,vi2,…,vim}中已经放入数据库的车辆与车辆vi进行像素级别相似度的比较，如果存在与车辆vi在像素级别相似的车辆，则将已放入数据库中的相似的车辆剔除出数据库；如果累计超过多辆车辆与车辆vi在像素级别不相似，上述检查过程停止；采用上述方式处理每一车辆，确定最终放入数据库中的车辆并进行编码后放入数据库；对于去除冗余后的背景，每隔一段时间取一帧背景并进行编码后放入数据库。3.根据权利要求1或2所述的一种交通监控视频编码方法，其特征在于，采用前背景分割方法分离车辆与背景时，将分离出的车辆的左上角至右下角的方形区域中的像素作为车辆，剩余部分作为背景；对于分离出的当前待编码车辆与对应的背景，分别提取二者的SIFT特征，对于从当前待编码车辆上提取的每一SIFT特征，采用下式在对应背景上一定的位置邻域范围内进行检索：(xsc-xsb)2+(ysc-ysb)2≤d2；其中，xsc和ysc表示从当前待编码车辆上提取的SIFT特征的坐标，xsb和ysb表示从对应背景上提取的SIFT特征的坐标，d为位置邻域的界定范围；如果检索到的归一化后欧氏距离最小的SIFT特征与当前待编码车辆的某一SIFT特征的距离小于一定的阈值，则说明背景区域中存在与当前待编码车辆的SIFT特征相像的SIFT特征，当前待编码车辆的相应SIFT特征为背景SIFT特征，将其从车辆SIFT中去除。4.根据权利要求1所述的一种交通监控视频编码方法，其特征在于，对于待编码车辆采用特征匹配与快速运动估计的方式从数据库中选出匹配车辆包括：首先，采用特征匹配的方式从数据库中粗略的选出若干候选车辆：将数据库中每一车辆的SIFT特征采用k-means算法量化成视觉文字，对于每一视觉文字，计算对应的映射均值向量；再将数据库中每一车辆的每一SIFT特征映射到最近邻的视觉文字，比较映射的SIFT特征向量与最近邻视觉文字对应的映射均值向量，得到每一SIFT特征向量的二值化表征；同时，将数据库中的每一车辆用其SIFT特征对应的视觉文字的频率直方图表示，采用倒排表的方式组织数据库中每一车辆的频率直方图；对于当前待编码车辆，同样按照上述处理数据库中车辆的方法，将其每一SIFT特征分配到最近邻的视觉文字，得到当前待编码车辆的频率直方图，同时计算每一SIFT特征的二值化表征；在比较当前待编码车辆与数据库中某个车辆的相似度时，在映射到同一视觉文字的SIFT特征的二值化表征的汉明距离小于一定阈值的条件下，以tf-idf项加权的频率直方图的距离作为相似度的评价指标，得到当前待编码车辆与数据库中每一车辆的相似度的比较结果；依照计算的相似度的比较结果进行排序，选出相似度排名靠前的若干车辆作为候选车辆；然后，使用快速运动估计的方式从若干候选车辆中精选出一个匹配车辆：先将当前待编码车辆与每一候选车辆进行对齐，再将当前待编码车辆划分成固定大小为16x16的块，每一16x16的块在某一候选车辆中搜索损失函数最小的块，其中损失函数由绝对差和及运动矢量的编码码率组成；搜索的方式为以当前16x16的块的位置为起始点，在该起始点周围上下左右64像素范围内进行八点钻石型搜索，将所有16x16的块的损失函数累加作为整个当前待编码车辆在某一候选车辆上的整体损失函数；最终保留整体损失函数最小的候选车辆作为匹配车辆。5.根据权利要求4所述的一种交通监控视频编码方法，其特征在于，将当前待编码车辆与每一候选车辆进行对齐的方式如下：对于当前待编码车辆的某个SIFT特征，计算其与每一候选车辆的所有SIFT特征的距离，将计算得到的距离按从小到大的方式排序后，如果满足下式，则判定当前待编码车辆的相应SIFT特征在相应候选车辆中找到了匹配SIFT特征：d1≤D2；d1/d2≤α；其中，d1和d2分别为最小和第二小距离，D2和α为常数；按照上述方式计算当前待编码车辆的每一SIFT特征，得到当前待编码车辆与每一候选车辆的SIFT匹配对；依照得到的SIFT特征匹配对的结果，计算当前待编码车辆与每一候选车辆的位置偏移，如下式所示：其中，MVx和MVy为偏移的水平分量和竖直分量，n为匹配的SIFT特征对的数目，xci和yci为当前待编码车辆的SIFT特征的坐标，xvi和yvi为候选车辆的SIFT特征的坐标；i为SIFT特征匹配对的序号；再采用迭代的方式去除异常点，得到最终的位置偏移结果；依照计算得到的位置偏移结果，将当前待编码车辆与相应候选车辆进行对齐。6.根据权利要求1所述的一种交通监控视频编码方法，其特征在于，对于待编码背景基于绝对差和从数据库中选出匹配背景包括：以当前待编码背景与数据库中背景对应位置像素的绝对差和作为相似度评价准则，计算当前待编码背景与数据库中每个背景的绝对差和，如下式所示：SAD＝∑k∈B|pck-plk|；其中，pck与plk分别为当前待编码背景与数据库中背景第k个像素的值，B为当前待编码背景像素的集合；将计算结果从小到大排序，以绝对差和最小的背景作为当前待编码背景的匹配背景。7.根据权利要求1所述的一种交通监控视频编码方法，其特征在于，当采用帧间预测模式时，使用预定方式判断待编码车辆或待编码背景是否需要在匹配车辆或匹配背景上进行率失真优化处理包括：帧间预测模式下率失真优化的比较准则为：其中，J为拉格朗日损失函数，D为预测块与匹配块的绝对差和，R为用于表示模式信息的比特数，λ为拉格朗日乘子；首先，计算当前待编码车辆和当前待编码背景与现有参考帧的拉格朗日损失函数：对于当前待编码车辆的每一个现有参考帧，以4×4的块为单位，得到当前待编码车辆对应位置上采用帧间预测4×4的块的运动矢量和及其参考帧的图像编号信息，以此为基础，估计当前待编码车辆上对应4×4的块的运动矢量信息，估计的公式如下：其中，MVXref和MVYref分别为现有参考帧上帧间预测4×4的块运动矢量的水平分量和竖直分量；POCcur、POCref和POCcolref分别为当前待编码车辆所在的帧的图像编号、现有参考帧的图像编号和现有参考帧上帧间预测4×4的...

【专利技术属性】
技术研发人员：刘东，马常月，吴枫，彭秀莲，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34