基于三维视频的多任务协同分析方法技术

本发明专利技术提供了一种基于三维视频的多任务协同分析方法。该方法包括：采集三维视频数据，提取所述三维视频数据的面向多视觉任务的网格化移动尺度不变性特征描述；采用仿生物视觉感知的层次化方法建立与视觉任务相关的动态协同特征学习模型；根据所述面向多视觉任务的网格化移动尺度不变性特征描述和所述与视觉任务相关的动态协同特征学习模型，输出并展示所述三维视频数据的多视觉任务协同学习结果。本发明专利技术的方法能够有效地反映三维视频中纹理、形状、运动信息的不变性，提出一种与视觉任务相关的高数据利用率、低资源消耗率的动态协同特征学习机制，实现基于通用特征的多视觉任务协同特征学习。

【技术实现步骤摘要】
基于三维视频的多任务协同分析方法
本专利技术涉及三维数据处理
，尤其涉及一种基于三维视频的多任务协同分析方法。
技术介绍
三维数据的出现为研究并解决复杂场景下多任务的视频监控问题提供了一种有效的数据支持，但是面对大容量数据的高效能、多任务并发的处理需求，迫切需要为三维数据提供快速通用的网格尺度不变性特征，针对视频中的运动信息建立高效能、智能化的协同分析模型，成为解决此问题的有效途径。所谓视觉协同分析是指通过分析生物视觉感知的生理结构，提取视觉信息中具有通用性的特征，结合层次分析原理进行特征学习，实现视觉问题相互协调共生的协同处理机制，快速得到场景中不同视觉任务的鲁棒处理结果。当前主流的视觉信息研究多为与特定任务相关、针对特定目标、使用特定方法解决特定视觉问题的单视觉任务，如人脸识别、表情分析、行为理解、目标跟踪等单一的视觉问题。而随着智慧家居、智能监控、医疗护理等领域的发展，迫切需要使视觉信息分析系统可以在持续时间内同时完成场景辨识、身份认证、情感分析和行为理解等高层次视觉分析任务，即实现多视觉任务的协同分析。主流的二维视频数据因缺少场景中的三维形状和视差距离信息，使得在实际的视觉协同分析中受到以下几个方面的制约，影响性能：光照变化：非实验室环境的光照变化造成二维视频数据差异很大；姿态变化：因缺少形状和距离信息，姿态变化易造成自遮挡影响目标分割；复杂场景：场景中存在的遮挡、动态背景、和颜色相近目标都会影响特征的有效性；精细运动：包括手势和面部肌肉运动等，对包括表情分析、行为理解等高层视觉信息分析具有至关重要的作用，而三维数据到二维平面的投影会造成表面形状信息的大幅度丢失，影响分析结果。二维视频分析算法的局限性促使更多的研究人员相信，通过多模态技术的发展，可以有效地提高视觉分析算法的性能。三维视频可以直接利用三维几何和深度距离信息，具有独立于光照和物体表面的光反射特性，不受光照及物体光滑表面纹理影响。因此，从三维视频中更易求得复杂场景下运动目标的几何信息，克服传统二维视频信息处理的瓶颈，在诸如人脸识别、表情分析、行为理解等多种视觉任务，均表现出显著的性能优势，为视觉协同分析问题的解决提供了有效的数据支持。另一方面，随着视觉信息处理网络化、智能化、普适化时代的到来，迫切需要克服原有的单视觉任务处理模式，实现主动、智能、有选择性地多视觉任务协同分析，而海量三维视频中存在大量冗余信息，会显著地增加运算复杂度，降低运算效率。要实现高效能的多视觉任务协同处理，要面对以下新的问题：(1)如何能够找到一种快速通用的特征描述方法，能够有效地提取数据中的辨识性信息(包括三维几何、颜色、纹理、运动等)，最大程度地降低数据冗余；(2)如何将复杂场景中的多视觉任务与通用特征描述方法建立关联关系，实现其对多视觉任务的协同学习。因此，面向三维视频的通用不变性特征描述和协同学习成为当前实现多视觉任务协同分析中一个亟待解决的问题。
技术实现思路
本专利技术的实施例提供了一种基于三维视频的多任务协同分析方法，以克服现有技术的缺点。为了实现上述目的，本专利技术采取了如下技术方案。一种基于三维视频的多任务协同分析方法，包括：采集三维视频数据，提取所述三维视频数据的面向多视觉任务的网格化移动尺度不变性特征描述；采用仿生物视觉感知的层次化方法建立与视觉任务相关的动态协同特征学习模型；根据所述面向多视觉任务的网格化移动尺度不变性特征描述和所述与视觉任务相关的动态协同特征学习模型，输出并展示所述三维视频数据的多视觉任务协同学习结果。进一步地，所述的采集三维视频数据，提取所述三维视频数据的面向多视觉任务的网格化移动尺度不变性特征描述，包括：进行基于层并行的高斯金字塔和积分图像的快速尺度空间极值检测，针对三维视频数据的特点和多视觉任务系统分析的需求，将层并行高斯金字塔和积分图像的概念引入网格域，在相邻网格帧的高斯金字塔层对间计算光流，提取三维视频数据中的时序运动信息，压缩三维视频数据中的冗余或无关信息，保留三维视频数据中的纹理、几何和运动的辨别性。进一步地，所述的采集三维视频数据，提取所述三维视频数据的面向多视觉任务的网格化移动尺度不变性特征描述，还包括：采用阈值法定位网格化尺度空间数据中的关键点：thresholdnew＝(2precisionofDoG-1)*coefbright∩(-2precisionofDoG+1)*coefdepth对所述关键点进行方向确定，每个关键点的方向由关键点到三维网格帧表面的法向量所建立的姿态无关的参考帧决定，对以关键点为圆心的邻帧关键点进行直方图统计，拟合出关键点方向。进一步地，所述的采集三维视频数据，提取所述三维视频数据的面向多视觉任务的网格化移动尺度不变性特征描述，还包括：针对三维网格序列的数据特点，引入三个正交平面xy,yz,xz，将检测到的关键点分别投影到xy,yz,xz三个正交平面，考虑数据在每个正交平面上的特征描述，通过串联三个正交平面上的关键点特征描述，获得具备尺度、旋转、平移不变性的三维视频数据的通用视觉信息描述方法，表征三维视频数据的时序运动、空间几何和光照纹理的特征。进一步地，所述的采用仿生物视觉感知的层次化方法建立与视觉任务相关的动态协同特征学习模型，包括：构建与任务相关的协同视觉模式感知，将协同视觉感知中的模式与通用低层视觉特征描述相对应，计算低层视觉特征在任务影响下相互间产生的偏置，由偏置值和低层视觉特征生成任务相关的视觉感知区域，实现感知区域提取。进一步地，所述的采用仿生物视觉感知的层次化方法建立与视觉任务相关的动态协同特征学习模型，还包括：学习出特定视觉任务超类的特征描述，实现一种非监督的特征学习，建立分层学习结构，实现任务相关的视觉特征协同学习，将网格化移动尺度不变性特征作为框架的低层特征，视觉任务主题作为隐含层超类特征，层次化任务模型用于协同学习上层先验知识，实现超类的层次化协同特征学习；设输入数据为H,数据中的干净部分为噪声部分为E，由此超类任务满足低秩假设，α(2),α(3)分别为超类任务层和基本类间的投影矩阵，由此建立层次化协同学习模型如下：以上模型通过引入辅助变量和辅助函数方法求解。进一步地，所述的根据所述面向多视觉任务的网格化移动尺度不变性特征描述和所述与视觉任务相关的动态协同特征学习模型，输出并展示所述三维视频数据的多视觉任务协同学习结果，包括：将所述面向多视觉任务的网格化移动尺度不变性特征描述和所述与视觉任务相关的动态协同特征学习模型两部分结果进行整合，利用面向对象的程序设计方法搭建基于多视觉任务协同分析模型的智能演示系统，通过所述智能演示系统输出并展示所述三维视频数据的多视觉任务协同学习结果，将所述智能演示系统作为后续研究的测试平台且具备功能扩展能力。由上述本专利技术的实施例提供的技术方案可以看出，本专利技术实施例提出了一种通用鲁棒的高效网格化移动尺度不变性特征描述方法，能够有效地反映三维视频中纹理、形状、运动信息的不变性，提出一种与视觉任务相关的高数据利用率、低资源消耗率的动态协同特征学习机制，实现基于通用特征的多视觉任务协同特征学习。本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明为了更清楚地说明本专利技术本文档来自技高网...

【技术保护点】
1.一种基于三维视频的多任务协同分析方法，其特征在于，包括：采集三维视频数据，提取所述三维视频数据的面向多视觉任务的网格化移动尺度不变性特征描述；采用仿生物视觉感知的层次化方法建立与视觉任务相关的动态协同特征学习模型；根据所述面向多视觉任务的网格化移动尺度不变性特征描述和所述与视觉任务相关的动态协同特征学习模型，输出并展示所述三维视频数据的多视觉任务协同学习结果。

【技术特征摘要】
1.一种基于三维视频的多任务协同分析方法，其特征在于，包括：采集三维视频数据，提取所述三维视频数据的面向多视觉任务的网格化移动尺度不变性特征描述；采用仿生物视觉感知的层次化方法建立与视觉任务相关的动态协同特征学习模型；根据所述面向多视觉任务的网格化移动尺度不变性特征描述和所述与视觉任务相关的动态协同特征学习模型，输出并展示所述三维视频数据的多视觉任务协同学习结果。2.根据权利要求1所述的方法，其特征在于，所述的采集三维视频数据，提取所述三维视频数据的面向多视觉任务的网格化移动尺度不变性特征描述，包括：进行基于层并行的高斯金字塔和积分图像的快速尺度空间极值检测，针对三维视频数据的特点和多视觉任务系统分析的需求，将层并行高斯金字塔和积分图像的概念引入网格域，在相邻网格帧的高斯金字塔层对间计算光流，提取三维视频数据中的时序运动信息，压缩三维视频数据中的冗余或无关信息，保留三维视频数据中的纹理、几何和运动的辨别性。3.根据权利要求2所述的方法，其特征在于，所述的采集三维视频数据，提取所述三维视频数据的面向多视觉任务的网格化移动尺度不变性特征描述，还包括：采用阈值法定位网格化尺度空间数据中的关键点：thresholdnew＝(2precisionofDoG-1)*coefbright∩(-2precisionofDoG+1)*coefdepth对所述关键点进行方向确定，每个关键点的方向由关键点到三维网格帧表面的法向量所建立的姿态无关的参考帧决定，对以关键点为圆心的邻帧关键点进行直方图统计，拟合出关键点方向。4.根据权利要求3所述的方法，其特征在于，所述的采集三维视频数据，提取所述三维视频数据的面向多视觉任务的网格化移动尺度不变性特征描述，还包括：针对三维网格序列的数据特点，引入三个正交平面xy,yz,xz，将检测到的关键点分别投影到xy,yz,xz三个正交平面，考虑数据在每个正交平面上的特征描述，通过串联三个正交平...

【专利技术属性】
技术研发人员：明悦，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11