一种深度视频场景分析方法技术

本发明专利技术公开了一种深度视频场景分析方法。该方法通过对多视点深度视频进行平滑滤波预处理，弥补在获取多视点深度视频过程中深度视频获取精度不高的缺陷；通过在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型，并将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型，其避免了复杂的几何曲面造型和繁冗的人工操作，建模方便高效、且绘制速度快，适合于实时建模和绘制；通过对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧，基于场景关键帧的像素数据做帧差取绝对值，判断场景是否变化，减少了数据处理量，提高了场景变换分析的效率。

【技术实现步骤摘要】
一种深度视频场景分析方法
本专利技术涉及视频分析
，更具体的涉及一种深度视频场景分析方法。
技术介绍
在多视点视频系统中，多视点视频信号主要由多视点彩色视频序列信号和与多视点彩色视频序列信号对应的多视点深度视频序列信号组成，深度视频是多视点视频系统中非常重要的辅助信息。深度视频序列对应于彩色视频序列，反映的是对象物体距离相机的远近，将彩色图中的每个像素点距离相机的实际距离量化到0～255，再将这个量化值赋给彩色图中的对应位置即成为深度图。深度视频序列中亮度值越大说明该像素点位置距离相机越近，反之，说明该像素点距离相机越远。场景变换检测属于一种视频画面异常诊断，可自动判断监控区域是否发生变换，以预防监控设备被非法挪移。现有的场景变换检测技术主要通过对比当前监控画面与预先保存的目标场景画面的差异来实现，即：获取目标场景视频图像的原像素数据，记为数列S1；提取当前场景视频图像像素数据，记为数列S2；S1与S2做帧差，并取绝对值之和，记为SAD；当SAD值大于一定阈值时，判断为场景出现变化。然而，随着虚拟三维场景应用领域的不断拓展，需要展现的三维场景的复杂度也是越来越高，且在判断场景是否变换时需要对目标场景视频图像的所有原像素数据和当前场景视频图像的所有像素数据做帧差处理，工作量大，进而导致场景变换分析的效率低下。
技术实现思路
本专利技术实施例提供一种深度视频场景分析方法，用以解决现有技术中存在深度视频场景变换分析效率低下的问题。本专利技术实施例提供一种深度视频场景分析方法，包括：获取多视点深度视频；其中，所述多视点深度视频包括：彩色视频序列和与彩色视频序列对应的深度视频序列；对多视点深度视频进行平滑滤波预处理；按照彩色视频序列和深度视频序列的对应关系，在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型；将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型；对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧；获取目标场景关键帧视频图像的原始像素数据；按照预设周期获取目标场景当前关键帧视频图像的当前像素数据；对原始像素数据和当前像素数据做帧差，并对所有帧差取绝对值；当帧差绝对值大于预设阈值时，则场景发生变化，否则，场景未发生变化。进一步地，步骤所述按照彩色视频序列和深度视频序列的对应关系，在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型之前还包括：将预处理后的多视角深度视频的每帧图像转换为三维点云数据；将每帧图像的三维点云数据进行配准，获得相应位置上的多个三维点云数据的并集；对配准后的三维点云数据进行压缩处理，获得点的三维坐标和法向量。进一步地，所述从分割出的各个视频场景中提取能够代表场景特征的场景关键帧；具体包括：将分割出的每个视频场景中包含的各视频帧归类到不同的视频帧聚类中；从每个视频帧聚类中抽取离聚类质心最近的视频帧作为该聚类的代表帧，由抽取的所有代表帧组成场景关键帧。进一步地，所述预设周期为1～3s。本专利技术实施例中，提供一种深度视频场景分析方法，与现有技术相比，其有益效果如下：本专利技术首先通过对多视点深度视频进行平滑滤波预处理，弥补在获取多视点深度视频过程中深度视频获取精度不高的缺陷；通过在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型，并将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型，与基于几何建模及其绘制相比，基于图像的建模避免了复杂的几何曲面造型和繁冗的人工操作，建模方便高效、且绘制速度快，适合于实时建模和绘制；通过对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧，基于场景关键帧的像素数据做帧差取绝对值，判断场景是否变化，与基于目标场景视频图像的所有原像素数据做帧差取绝对值后判断场景变化情况相比，减少了数据处理量，提高了场景变换分析的效率。附图说明图1为本专利技术实施例提供的一种深度视频场景分析方法流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种深度视频场景分析方法流程图。如图1所示，该方法包括：步骤S1：获取多视点深度视频；其中，所述多视点深度视频包括：彩色视频序列和与彩色视频序列对应的深度视频序列。需要说明的是，深度视频的获取方法主要有两种，第一种方法是采用基于时间飞行原理的深度相机直接获取，但是构建多视点深度视频采集系统价格昂贵，并且采集距离有限，这些因素很大程度地制约了深度相机的普及；第二种方法是利用捕获的多视点彩色视频通过深度估计软件(DERS，DepthEstimationReferenceSoftware)得到深度视频，该方法的应用越来越广泛。步骤S2：对多视点深度视频进行平滑滤波预处理。由于深度求取的不准确会导致时域抖动效应，从而降低深度的时域相关性，且深度骤变也容易在虚拟视点绘制时出现空洞，造成填补困难与计算复杂度的提高，及虚拟视点生成的速度降低。因此需要对多视点深度视频进行预处理。其预处理具体包括：(21)对待处理的原始多视点深度视频对应的原始多视点彩色视频中的每帧彩色图像进行边缘检测，得到每帧彩色图像的边界，然后对每帧彩色图像的边界进行扩展和块化，得到每帧彩色图像对应的边界掩模，其中，对应的原始多视点彩色视频中包含的彩色图像的帧数为K，对应的原始多视点彩色视频中的每帧彩色图像和每帧彩色图像的边界掩模的分辨率均为W×H。(22)分别对原始多视点深度视频中的每帧深度图像、对应的原始多视点彩色视频中的每帧彩色图像和每帧彩色图像的边界掩模进行重组变换操作，对应得到变换后的多视点深度视频、变换后的多视点彩色视频和变换后的边界掩模序列，其中，原始多视点深度视频中包含的深度图像的帧数为K，原始多视点深度视频中的每帧深度图像的分辨率为W×H，变换后的多视点深度视频中包含的深度图像的帧数、变换后的多视点彩色视频中包含的彩色图像和变换后的边界掩模序列中包含的边界掩模的帧数均为H，变换后的多视点深度视频中的深度图像、变换后的多视点彩色视频中的彩色图像和变换后的边界掩模序列中的边界掩模的分辨率均为W×K。(23)根据变换后的多视点深度视频中的每帧深度图像中的像素点的深度相似度值和变换后的多视点彩色视频中的每帧彩色图像中的像素点的彩色相似度值，对变换后的多视点深度视频进行平滑处理，得到平滑处理后的多视点深度视频，其中，平滑处理后的多视点深度视频中包含的深度图像的帧数为H，平滑处理后的多视点深度视频中的深度图像的分辨率为W×K。(24)对平滑处理后的多视点深度视频中的每帧深度图像进行重组逆变换操作，得到预处理后的多视点深度视频，其中，预处理后的多视点深度视频中包含的深度图像的帧数为K，预处理后的多视点深度视频中的深度图像的分辨率为W×H。步骤S3：按照彩色视频序列和深度视频序列的对应关系，在三维坐标上将像素值作为基本点构建彩色视频序列和本文档来自技高网...

【技术保护点】
1.一种深度视频场景分析方法，其特征在于，包括：获取多视点深度视频；其中，所述多视点深度视频包括：彩色视频序列和与彩色视频序列对应的深度视频序列；对多视点深度视频进行平滑滤波预处理；按照彩色视频序列和深度视频序列的对应关系，在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型；将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型；对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧；获取目标场景关键帧视频图像的原始像素数据；按照预设周期获取目标场景当前关键帧视频图像的当前像素数据；对原始像素数据和当前像素数据做帧差，并对所有帧差取绝对值；当帧差绝对值大于预设阈值时，则场景发生变化，否则，场景未发生变化。

【技术特征摘要】
1.一种深度视频场景分析方法，其特征在于，包括：获取多视点深度视频；其中，所述多视点深度视频包括：彩色视频序列和与彩色视频序列对应的深度视频序列；对多视点深度视频进行平滑滤波预处理；按照彩色视频序列和深度视频序列的对应关系，在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型；将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型；对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧；获取目标场景关键帧视频图像的原始像素数据；按照预设周期获取目标场景当前关键帧视频图像的当前像素数据；对原始像素数据和当前像素数据做帧差，并对所有帧差取绝对值；当帧差绝对值大于预设阈值时，则场景发生变化，否则，场景未发生变化。2.如权利要求1所述的深度视...

【专利技术属性】
技术研发人员：孔俊，齐妙，吕英华，郑彩侠，孙慧，王建中，
申请(专利权)人：东北师范大学，
类型：发明
国别省市：吉林,22