一种视频多尺度可视化方法与交互方法技术

本发明专利技术公开了一种视频多尺度可视化方法与交互方法。本方法为：建立目标视频的面向视频内容结构的用户认知模型；提取出该目标视频中的前景对象、背景场景以及前景对象的图像帧；获取运动目标及其相应轨迹；根据基于时间轴的运动目标出现量及对应的时间映射关系计算运动目标的出现密度；从处理后的目标视频数据中提取关键帧，并对关键帧中的运动目标信息进行标注；将处理后的运动目标识别结果及运动目标的轨迹数据进行多尺度划分，生成多尺度的视频信息表示结构；基于用户在交互过程中的交互操作方式，在多尺度的视频信息表示结构的交互界面，结合鼠标交互操作的相应语义，引入草图交互手势；通过草图交互手势在该交互界面对该目标视频进行操作。

【技术实现步骤摘要】
一种视频多尺度可视化方法与交互方法
本专利技术属于人机交互领域，具体涉及一种视频多尺度可视化方法与交互方法。
技术介绍
视频是当今社会信息传播的重要载体，随着计算机软硬件技术的快速发展和数码设备的广泛普及，其数据量在日常生活中呈现出了爆炸式的增长趋势，如何快速地获取视频信息、与其进行高效交互进而有效利用这些视频信息具有巨大的应用价值。伴随着这些视频资源数量的急剧增加，用户基于内容的视频数据访问应用越来越广泛，对视频信息的呈现、编辑、浏览和检索等需求也越来越突出。然而，与这些视频数据如此巨大增幅相对应的则是人与这些信息之间的交互方式并没有随之发生根本性的转变，现有的视频数据分析与交互方法已严重制约着它的进一步发展。随着这些数据超出人脑高效处理信息的能力范围，如何帮助用户对视频信息的需求进行有效认知，支持用户对庞大的信息数据库进行快速浏览、分析、理解与高效交互已经成为了现阶段视频应用研究领域亟需解决的问题。用户对视频内容的理解是一个视频数据底层视觉特征信息与高层语义信息自然融合的过程。其中不同的用户对不同视频内容的理解过程与他们的认知方法、认知能力息息相关。如何提供有效的方法辅助用户对视频信息进行可视分析，高效地实现视频内容理解，是视频内容分析领域的一个重要研究课题，而这里所谓的有效方法的设计基础是要求其符合用户正常学习、使用的认知习惯。一般情况下，用户在浏览和理解一些信息内容的过程中，首先通常习惯在粗尺度上对这些数据内容进行总览，然后根据自己的喜好或目的有针对性地对特定的内容进行更精细尺度上的浏览。所以提取和表达不同尺度、不同层次上的内容信息可以帮助用户快速的获取自己需要的数据(参考文献：WangHA,MaCX.Interactivemulti-scalestructuresforsummarizingvideocontent[J].ScienceChinaInformationSciences,2013,56(5):1-12.)。因此，针对视频内容的可视分析，研究与基于用户认知流程相对应的视频内容多尺度结构表示与分析可以为视频内容的处理及呈现提供理论依据。监控视频是一种以固定镜头拍摄类型的视频，其数据是一系列在内容上存在一定关联关系的静态图片影像在时间维度下按顺序组成的具有一定内容表现含义的流媒体。这种特殊的线性结构特点使当前用户浏览监控数据的主要方式大多是基于时间轴的方式。然而，目前的监控视频研究领域，监控视频数据量大，内容冗余且具有一定的繁琐性，用户在处理监控视频数据时仅仅通过基于时间轴的浏览方式较难实现对监控内容的快速定位、浏览和搜索(参考文献：FanCT,WangYK,HuangCR.HeterogeneousInformationFusionandVisualizationforaLarge-ScaleIntelligentVideoSurveillanceSystem[J].IEEETransactionsonSystemsMan&CyberneticsSystems,2017,47(4):593-604.)。基于监控视频内容的可视分析，其目的是为了解决监控视频内容快速获取的问题，主要将视频内容提取出来，用通俗易懂、简单明了的方式呈现给用户，提供自然直观的交互方式帮助用户快速、有效地访问视频的主要内容及其内容间的关联关系。考虑到视频层次结构本身具有的特性，如果从减轻用户认知负担的角度出发，将视频内容和总体结构清晰有效的描述、表现出来，便可以方便用户快速从这个监控视频“目录”中发现并获取所需要的信息片段。所以，探索针对监控视频内容数据的高效表示方法，提供用户快速查找、定位详细内容的有效手段，是当前实现监控视频信息挖掘，提高监控视频信息利用率和有效信息的提取效率需要迫切解决的问题。
技术实现思路
本专利技术的目的在于提供一种视频多尺度可视化方法与交互方法，由于目前视频内容表示和交互研究领域存在以下几个主要问题：(1)缺乏对视频内容中各部分信息及其关联关系的有效组织和表示；即没有以用户为中心，总结用户反馈进而改进分析方法。多数研究关注于视频关键帧之间的关系，缺乏针对视频中对象、事件、场景之间关联关系的展示和分析的考虑；(2)视频内容的表现形式太过单一，缺乏对视频不同层次、不同尺度的内容的表现；(3)缺乏对视频内容进行可视分析的有效交互方式。因此，本专利技术针对现有的关于视频内容可视分析的优势和不足，以监控视频为例，探索基于视频内容的高效分析方法，提出自然直观的交互方式从而帮助用户快速、有效地理解视频内容信息，搜索、分析和筛选用户感兴趣的信息数据。本专利技术所提出的方法主要包括基于视频数据的用户认知可计算性分析，视频数据的前期预处理、视频内容多尺度结构划分、各尺度视频信息的初始生成和基于草图手势的交互设计与评估等过程。本专利技术以监控视频为例，通过分析监控视频数据，实时完成监控视频中运动目标的检测、特征提取与目标识别、相似度匹配、目标轨迹及异常检测，进一步实现计算机对监控视频内容的自动分析，提取特征信息并从不同尺度构建索引，以辅助用户对自己所需要的视频内容进行高效访问。为实现上述专利技术目的，本专利技术采用如下的技术方案：一种融合认知的视频多尺度可视化方法及交互方法，其步骤为：1)分析用户在浏览监控视频内容时的认知过程，根据该认知过程中用户对不同视频层次数据的理解，给出面向监控视频内容结构的用户认知模型。2)结合步骤1)的用户认知模型及用户在浏览视频过程中获取的视频帧、目标对象、镜头内容及关联关系等信息，给出面向监控视频内容的多尺度结构划分，即低层特征层、实体信息层、模式信息层和抽象语义层。3)对监控视频进行预处理。包括将视频中的前景与背景进行分离，提取出视频中的前景对象及背景场景(同时提取前景对象的图像帧，记录对象出入镜头的时间，并保存前景对象与背景场景的映射关系，为基于时间、空间尺度浏览对象建立有效的索引结构)、基于帧间图像差分计算，获取运动目标及其相应轨迹，最后根据基于时间轴的运动目标出现量及对应的时间映射关系计算运动目标的出现密度。4)对步骤3)处理后的监控视频数据进行冗余内容处理，提取关键帧，并对所提取出的关键帧中的运动目标信息进行标注。5)将步骤3)得到的目标出现的统计信息可视化成密度曲线，将步骤4)处理后的运动目标识别结果、轨迹数据进行相应尺度的定义，以帧信息的可视化方式，实时组织各个尺度的可视化内容，结合视频内容的分段处理，构建可视化内容与视频片段的索引映射，生成多尺度的视频信息表示结构。6)基于用户在交互过程中的交互操作方式，例如用户习惯性的单击、双击，删除、滑动视频播放滚动条等操作带来的交互效果，结合鼠标交互操作的相应语义，引入草图交互手势，用户可以利用这些交互手势实现对监控视频内容的高效访问。进一步的，将推理与基本的认知流程结合起来，考虑到用户从不同角度理解视频内容的过程体现于一个集中的视觉搜索过程，视觉搜索是凭借人的视觉系统在可见的一定区域范围内检测某个目标是否出现，或确定其大概位置的认知过程。如果用户需要从多个视角对可视的视频信息进行有效认知与分析，除了具备自身对信息的基本认知能力外，还需要反映出其大脑对信息不同尺度呈现的具体认知过程以及该过程中视觉搜索范围内各尺度信息的关联。因此本文档来自技高网...

【技术保护点】
1.一种视频多尺度可视化方法，其步骤包括：1)建立目标视频的面向视频内容结构的用户认知模型；2)对该目标视频中的前景与背景进行分离，提取出该目标视频中的前景对象、背景场景以及前景对象的图像帧；基于帧间图像差分计算，获取运动目标及其相应轨迹；根据基于时间轴的运动目标出现量及对应的时间映射关系计算运动目标的出现密度；3)从步骤2)处理后的目标视频数据中提取关键帧，并对所提取出的关键帧中的运动目标信息进行标注；4)将步骤3)处理后的运动目标识别结果及运动目标的轨迹数据进行多尺度划分，然后以帧信息的可视化方式实时组织各设定尺度的可视化内容，生成多尺度的视频信息表示结构。

【技术特征摘要】
1.一种视频多尺度可视化方法，其步骤包括：1)建立目标视频的面向视频内容结构的用户认知模型；2)对该目标视频中的前景与背景进行分离，提取出该目标视频中的前景对象、背景场景以及前景对象的图像帧；基于帧间图像差分计算，获取运动目标及其相应轨迹；根据基于时间轴的运动目标出现量及对应的时间映射关系计算运动目标的出现密度；3)从步骤2)处理后的目标视频数据中提取关键帧，并对所提取出的关键帧中的运动目标信息进行标注；4)将步骤3)处理后的运动目标识别结果及运动目标的轨迹数据进行多尺度划分，然后以帧信息的可视化方式实时组织各设定尺度的可视化内容，生成多尺度的视频信息表示结构。2.一种视频多尺度交互方法，其步骤包括：1)建立目标视频的面向视频内容结构的用户认知模型；2)对该目标视频中的前景与背景进行分离，提取出该目标视频中的前景对象、背景场景以及前景对象的图像帧；基于帧间图像差分计算，获取运动目标及其相应轨迹；根据基于时间轴的运动目标出现量及对应的时间映射关系计算运动目标的出现密度；3)从步骤2)处理后的目标视频数据中提取关键帧，并对所提取出的关键帧中的运动目标信息进行标注；4)将步骤3)处理后的运动目标识别结果及运动目标的轨迹数据进行多尺度划分，然后以帧信息的可视化方式实时组织各设定尺度的可视化内容，生成多尺度的视频信息表示结构；5)基于用户在交互过程中的交互操作方式，在多尺度的视频信息表示结构的交互界面，结合鼠标交互操作的相应语义，引入草图交互手势；用户通过引入的草图交互手势在该交互界面对该目标视频进行操作。3.如权利要求1或2所述的方法，其特征在于，所述步骤4)中，依据该目标视频的多尺度划分结构进行多尺度划分；其中，得到该目标视频的多尺度划分结构的方法为：首先结合所述用户认知模型中的视频信息流向层对该目标视频进行划分，得到该目标视频的低层特征层、实体信息层、模式信息层和抽象语义层；然后将背景、前景及场景分割结果划分到实体信息层，将镜头内容划分到模式信息层，将空间关系、时间关系及对象关系划分到抽象语义层，得到该目标视频的多尺度划分结构。4.如权利要求1或2所述的方法，其特征在于，基于帧的变化量对所述目标视频进行分段处理，其方法为：首先，建立背景时，选择该目标视频帧中的一个帧作为背景帧，然后在一设定时间长度内的连续帧中取一个像素点，将该像素点的中值亮度作为背景帧的该点亮度值；即：其中B0(x，y)...

【专利技术属性】
技术研发人员：马翠霞，黄燕，王宏安，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：北京,11