本发明专利技术公开了一种使用嵌入式可视化探索视频集合的交互系统，包括：视频视图模块、查询视图模块、数据视图模块；其中，视频视图模块显示视频及提取数据，提供与视频的交互功能，并通过指定属性来进行交互式查询；查询视图模块根据视频交互查询进行分层划分，并对划分结果进行显示；数据视图模块显示从查询视图模块中选择视频数据的详细信息。通过该交互系统，用户可以交互式地操纵视频元素，通过一系列针对不同视频元素设计的嵌入式可视化交互，用户可以方便快速地指定查询条件，生成查询结果，从数据集中查询选择出符合条件的视频数据，最后快速定位目标典型视频。快速定位目标典型视频。快速定位目标典型视频。
【技术实现步骤摘要】
一种使用嵌入式可视化探索视频集合的交互系统
[0001]本专利技术属于数据可视化
，具体涉及一种使用嵌入式可视化探索视频集合的交互系统。
技术介绍
[0002]在拍类运动(如羽毛球，乒乓球)中，专家通常会收集大量比赛视频，将其切分为不同级别的片段(局，回合和拍)，以用于比赛分析。专家手动标记视频中的数据，进行统计分析，将获得的见解传达给教练和球员。
[0003]视频分析的研究通常侧重于设计和实现一个具有定制视图的交互式系统，以帮助用户更好地分析视频内容。传统的视频分析是通过观看视频来进行的，这是一个非常耗时的过程。视频可视化技术被引入视频分析系统，以帮助用户有效地分析视频内容，而无需观看整个视频。一些研究尝试通过重新组织视觉内容，以减少观看视频的时间。随着视频数量的增加，可视化原始视觉内容变得困难。为此，研究人员将原始视频视为数据源，并使用最先进的计算机视觉技术从视频中提取多维数据。目前研究人员已设计了不同的可视化分析系统来对提取的数据进行分析。
[0004]抽象数据和视频内容之间的差距促使研究人员通过交互来弥补这一差距。例如，Sacha等人设计了一种方法，帮助运动员通过绘制运动员的动作来查询足球视频。与这项工作密切相关的是，Saquib等人设计了graphiti系统，允许用户直接在视频上绘制草图，以选择和链接元素，从而创建一个抽象的图形结构。但是，graphiti系统是专门为图形分析而设计的。分析视频内容并不是它的主要重点，这种为了便于分析可视化内容而从视频集合中提取的数据的可视化方法是滞后的。
[0005]视频增强更侧重于促进创建数据增强视频的过程。视频增强是通过嵌入式可视化来增强视频的技术。增强后的视频更吸引人，因此视频增强技术已被广泛应用。体育运动也是使用视频增强的一个流行场景。在视频增强中，可视化已被广泛用于解释运动的复杂概念和模式。ESPN等电视公司就在体育比赛视频中嵌入可视化元素，以向观众解释某些战术。在视频中，关键运动员和动作通常会被以不同的视觉形式突出显示，以帮助观众更好地理解比赛背景。
[0006]另外研究人员还提出了各种方法用于创建增强视频。Fischer等人进行了一项调查，并将创建增强视频的的方法分为两部分：商业解决方案和学术解决方案。在众多商业解决方案中，BBC的Agumented video player允许用户为足球视频添加额外的图层。Piero系统和Viz Libero软件被广泛使用，允许用户基于半自动提取的数据在视频中创建战术可视化(例如，形成和覆盖的区域)。Court vision允许用户从观众和教练的角度来观看篮球比赛，从而提高了观看体验。
[0007]在学术解决方案中，Stein等人提出了一个全面的工作流程，从视频中提取运动数据，并将提取的数据与可视化数据集成到视频中。这可以帮助用户感知视觉内容和抽象的数据可视化。Chen等人设计的VisCommentator提供了一种更有效和灵活的方式来创建增强
的体育视频，用户可以轻松地通过数据级操作将不同类型的可视化和视频效果集成到视频中。Chen等人还通过自然语言界面进一步扩展了VisCommentator，以简化创建增强视频的过程。iball和Omnioculars进一步应用数据增强技术，从观众的角度增强篮球的观看体验。
[0008]上述方法可以创建吸引人的直观的增强视频。然而，当面对一个视频集合时，即使可以一一增强每个视频，但整个过程仍然很耗时。
技术实现思路
[0009]鉴于上述，本专利技术的目的是提供一种使用嵌入式可视化探索视频集合的交互系统。通过该交互系统，用户可以交互式地操纵视频元素，通过一系列针对不同视频元素设计的嵌入式可视化交互，用户可以方便快速地指定查询条件，生成查询结果，从数据集中查询选择出符合条件的视频数据，最后快速定位目标典型视频。
[0010]为实现上述专利技术目的，本专利技术提供的一种使用嵌入式可视化探索视频集合的交互系统，包括：视频视图模块、查询视图模块、数据视图模块；
[0011]所述视频视图模块显示视频及提取数据，提供与视频的交互功能，并通过指定属性来进行交互式查询；
[0012]所述查询视图模块根据视频交互查询进行分层划分，并对划分结果进行显示；
[0013]所述数据视图模块显示从查询视图模块中选择视频数据的详细信息。
[0014]优选地，所述视频视图模块具有基本交互功能，视频控制条用小矩形表示的视频帧表示，用户通过视频控制条播放、暂停或控制视频进程，还具有速度控制按钮以让用户改变视频播放速度。
[0015]优选地，所述视频视图模块还提供拍信息面板，具体在视频控制栏下设置面板列表，用来显示每一拍的具体信息，并用长短不同的条形对每个拍的时间范围进行编码，每个拍对应的每个面板显示多维拍信息，当播放视频时，与当前帧对应的笔画面板将被展开突出显示，用户通过点击对应面板转到相应的视频帧。
[0016]优选地，所述视频视图模块还具有查看数据的视频交互功能，用户从交互菜单中选择统计信息，右键单击视频以显示此菜单，统计信息将显示在交互式视频。
[0017]优选地，所述视频视图模块还提供指定查询的视频交互功能，具体包括区域交互、轨迹交互、速度交互以及技术交互；
[0018]针对区域交互，用户使用套索选择指定区域，通过指定球落点的区域或球员运动的区域来创建一个封闭的多边形区域，这种相互作用能够用来定义球的下落位置和球员的位置，鼠标选择的区域位置将使用预先提取的透视矩阵映射到球桌的位置；
[0019]针对轨迹交互，用户通过左键单击并拖动来绘制一段连续的曲线，用以代表球的运动轨迹或运动员的运动轨迹，当视频播放时，轨迹将自动显示在视频上，在用户选择一拍绘制球的轨迹时，视频将会自动切换到发球帧，并用闪烁的半透明圆圈表示击球位置；
[0020]针对速度交互，用户左键一直点击，用以表示速度相关值的条形高度不断增加；
[0021]针对技术交互，提供了一个圆形接口让用户选择击球技术，并将技术划分为不同的类别，用户首先从大圆环中选择技术类别，再从出现的小圆环中选择特定技术。
[0022]优选地，所述视频视图模块还具有交互的记录功能，用户与视频交互并指定查询条件后，交互将被记录在视频下面的拍信息面板下方，用户在面板上刷选多拍，在指定查询
条件后，单击查询按钮，则能够在数据库中进行查询，当得到查询结果后查看查询结果视频时，视频将在符合查询条件的相关时间段中自动减慢，用户还被允许在原始视频和被查询的视频之间进行切换。
[0023]优选地，所述查询视图模块中，采用树结构对视频交互查询结果进行分层划分，具体为：首先根据刷选的顺序对查询进行排序，根据是否符合第一个查询Q1的查询条件，将视频集合分为匹配或不匹配Q1的两组。这两组将呈现为树结构中的第二层，然后，根据下一个查询迭代地划分每一组，最后得到树形结构，其中最顶层的层表示原始视频集合，并进一步计算查询树中每个表示一组视频片段的节点的相关性得分，相关性本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种使用嵌入式可视化探索视频集合的交互系统，其特征在于，包括：视频视图模块、查询视图模块、数据视图模块；所述视频视图模块显示视频及提取数据，提供与视频的交互功能，并通过指定属性来进行交互式查询；所述查询视图模块根据视频交互查询进行分层划分，并对划分结果进行显示；所述数据视图模块显示从查询视图模块中选择视频数据的详细信息。2.根据权利要求1所述的使用嵌入式可视化探索视频集合的交互系统，其特征在于，所述视频视图模块具有基本交互功能，视频控制条用小矩形表示的视频帧表示，用户通过视频控制条播放、暂停或控制视频进程，还具有速度控制按钮以让用户改变视频播放速度。3.根据权利要求1所述的使用嵌入式可视化探索视频集合的交互系统，其特征在于，所述视频视图模块还提供拍信息面板，具体在视频控制栏下设置面板列表，用来显示每一拍的具体信息，并用长短不同的条形对每个拍的时间范围进行编码，每个拍对应的每个面板显示多维拍信息，当播放视频时，与当前帧对应的笔画面板将被展开突出显示，用户通过点击对应面板转到相应的视频帧。4.根据权利要求1所述的使用嵌入式可视化探索视频集合的交互系统，其特征在于，所述视频视图模块还具有查看数据的视频交互功能，用户从交互菜单中选择统计信息，右键单击视频以显示此菜单，统计信息将显示在交互式视频。5.根据权利要求1所述的使用嵌入式可视化探索视频集合的交互系统，其特征在于，所述视频视图模块还提供指定查询的视频交互功能，具体包括区域交互、轨迹交互、速度交互以及技术交互；针对区域交互，用户使用套索选择指定区域，通过指定球落点的区域或球员运动的区域来创建一个封闭的多边形区域，这种相互作用能够用来定义球的下落位置和球员的位置，鼠标选择的区域位置将使用预先提取的透视矩阵映射到球桌的位置；针对轨迹交互，用户通过左键单击并拖动来绘制一段连续的曲线，用以代表球的运动轨迹或运动员的运动轨迹，当视频播放时，轨迹将自动显示在视频上，在用户选择一拍绘制球的轨迹时，视频将会自动切换到发球帧，并用闪烁的半透明圆圈表示击球位置；针对速度交互，用户左键一直点击，用以表示速度相关值的条形高度不断增加；针对...
【专利技术属性】
技术研发人员：巫英才，何墨琪，谢潇，张辉，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。