本发明专利技术是一种基于事件模型的足球视频集锦自动合成方法，包括：针对足球比赛视频集锦，定义足球视频集锦片段是可分解为多动作组合的足球视频事件；构建核心-周围事件模型表示足球集锦片段；利用足球比赛视频及其对应文本解说词构建训练集，选择进球和红黄牌作为两类足球集锦，训练事件模型；输入一段没有解说词的足球比赛视频，识别足球集锦片段在输入视频中的出现位置，并给出匹配分数；根据用户需求，将分数较高的足球集锦片段自动合成为一个足球视频集锦。本发明专利技术生成足球视频集锦的方法能够突破输入视频的镜头远近、视频长度等因素的限制，能够广泛应用推广到个人数字娱乐、体育影视制作等领域。
【技术实现步骤摘要】
本专利技术涉及计算机视觉、视频处理和增强现实领域，具体地说是。
技术介绍
体育视频集锦作为体育影视节目的一种，由于能够在较短时间获取充分的信息， 其短小精悍的特点深受观众喜爱。尤其在足球赛事方面，仅仅为了看到喜爱的球员或精彩的射门镜头而观看长达90分钟的比赛视频非常耗时，因此经常采用足球比赛集锦的方式记录精彩镜头回放、赛事总结、球员个人经历等赛事相关话题。传统视频集锦由人工剪辑比赛视频，虽然剪辑精准度较高且富有感情色彩，但是需要耗费大量人力逐帧检查视频以寻找所需的精彩镜头，且对剪辑师赛事经验知识要求较高。随着视频理解、计算机视觉领域的研究不断进步，为体育赛事视频自动生成集锦视频逐渐成为一个技术和研究热点。目前，根据视频片源不同，为体育赛事视频自动生成集锦视频可以分为两大类。一类是针对电视转播视频的自动集锦。由于电视转播视频加入了转播师对赛事的理解，在处理时能够将转播技巧作为视频集锦的隐含线索。例如，足球比赛转播时，特写镜头或慢放镜头通常会出现在进球之后；两次镜头切换之间通常发生着同一个事件；远景镜头通常意味着开场或球的大范围运动轨迹等等。这类方法通过在足球视频中检测上述线索，完成足球集锦片段检测并最终生成集锦视频，或者直接在视频中检测屏显文字(例如比分牌)来确定足球集锦片段发生时间。这类方法虽然在一定程度上能够获得较好的集锦结果，但是其过分依赖于电视转播视频，在适用范围上有很大局限。另一类是针对非电视转播视频的自动集锦。其中，对视频主题有较强针对性的方法，通常利用该视频主题的特殊先验知识(例如足球视频中的网状球门、大片绿色草坪、观众欢呼声等先验知识)，获得关于该视频主题的精彩镜头检测线索。其较强的针对性决定了该类方法模型固定，可重用性差。而较有研究价值的是在一定范围内具有普遍适用性的集锦方法。目前该方面的研究主要集中在两个方向(1)视频事件分析；( 视频内容摘要。在视频事件分析方面，2010年的ECCV会议上，斯坦福大学的Li Fei-Fei等人提出了一种基于人类动作时序关系的行为模型。该模型将动作表示为不同时间点的行为分割。 该方法训练出两种模型，分别为判别式模型与外观模型判定模型用来编码基于时间分解的视频序列，外观模型用于每个行为分割。在识别过程中，通过学习特征与行为分割分解来进行视频与模型的匹配。该方法通过引入时间结构，可以较好的识别简单与复杂人类动作， 但由于其时间结构模式固定，无法胜任由动作组成的复杂事件。在2009年的CVI^R会议上， 马里兰大学的Larry S. Davis等人提出一种从带有弱标记数据的视频中学习出完整的可视化故事情节模型的方法。其中故事情节模型以与或图的形式来表达，可以将视频中的故事情节变化进行简单编码。与或图中的边相当于基于时空约束的因果关系。用这个模型和学习得到的训练数据，可以进行行为识别与故事情节提取。考虑到视频帧中人体姿态与周围物体的关联关系，2010年美国加州大学的i^owlkes等人提出一种基于人体姿态与周围物体关联关系建模，来识别动作的方法。该方法主要解决静态图像的动作识别问题并将其转化为潜在结构标记问题。在视频内容摘要方面，Pritch等人在2008年的PAMI期刊上提出的方法通过分析视频能够将一段长视频浓缩为一小段摘要，并在每帧上面同时显示多帧的运动信息，但该方法的局限性在于无法处理视频中整个场景都在运动的情况与经过编辑的视频。华盛顿大学的Hwang等人提出一种基于视频物体分割的关键帧提取方法并设计实现了相应系统，能快速、有效的进行在线处理。2005年的CVI3R会议上，微软研究院的Jojic等人针对监控视频提出一种新的交互模型来索引和分析视频。另外，佛蒙特州大学的mi等人提出了一种分层视频摘要策略，通过分析视频内容结构给用户提供多尺度、多级别的视频总结。综上所述，目前在视频集锦技术上，主要存在以下两个方面的问题(1)严重依赖于输入视频质量，适用范围较窄。使用镜头切换、哨声、转场等富有语义暗示信息的线索进行视频集锦虽然能够较快探测出足球集锦片段，但是无法了解足球事件进行过程，因此很难提取出事件发生的时间区间。( 较少以事件为单元进行视频集锦。由于视频事件丰富多样，直接采用特征统计方法的模型难以完全涵盖事件的变化，如何合理利用领域知识，结合事件的视觉特征对事件建模是一个难点和研究热点。
技术实现思路
根据上述实际需求和关键问题，本专利技术的目的在于提出。该方法能够突破输入视频的镜头远近、视频长度、视频声音等因素的限制，尤其当输入视频为非转播视频，无法从中获取特写镜头、欢呼声等集锦关键线索时，本专利技术提出的基于事件模型的集锦方法尤为适用。本专利技术认为足球视频集锦是若干足球集锦片段组合而成的合成视频，每一个集锦片段中含有一个重要足球事件。与其他运动项目视频相比，足球比赛视频具有两个特点第一，较难从视频中找到视频事件的开始及结束线索；第二，足球比赛规则复杂，同类型重要足球事件(例如进球或红黄牌)每次出现时其持续时间、事件经过往往各不相同。通过大量观察得知，重要足球事件通常能够分解成若干动作的组合，其中含有一个经常出现的重要动作，称为核心动作；相对而言，其他动作被称为周围动作。因此，本专利技术认为，足球比赛视频集锦片段可以用一个核心-周围事件模型表示。为了将足球比赛视频浓缩为足球集锦视频，需要在输入视频中检测并提取足球集锦片段。因此，本专利技术首先构建一个核心-周围事件模型，建模事件及组成事件的各动作之间的语义关系、时序关系及视觉特征。核心-周围事件模型的训练过程包含以下步骤(1)输入一系列足球比赛视频及其对应的文本解说词，从解说词中提取关键词，并根据解说词的事件记录，统计每个关键词的出现概率，以及多个关键词同时出现的概率；( 选定出现概率最大的关键词为核心关键词；(3)将解说词与足球比赛视频相对应，记录关键词出现时间，并统计关键词表示的动作持续时间与事件持续时间；(4)在关键词出现时间段计算时空兴趣点的梯度特征和光流特征，统计梯度直方图和光流直方图作为动作的局部视觉特征。概括而言，核心-周围事件模型建模的内容包括每个动作的视觉统计特征；动作在事件发生过程中的先后顺序；动作持续时间与事件持续时间的比值；每个动作发生的概率。模型经过训练后，用于视频事件的检测和提取。总的来说，输入一段足球比赛视频，合成足球集锦视频的步骤可以分为(1)提取集锦片段。对于每类足球集锦片段，首先根据该类集锦片段所含的重要足球事件，在输入视频上分别检测组成该事件的核心动作和周围动作，得到每个动作的出现时间段；然后，以核心动作为基准，结合动作时序关系确定事件发生时间段，计为候选集锦片段的时间段；最后，在候选集锦片段匹配事件模型，得出模型匹配分数。( 合成集锦视频。首先通过步骤(1)为每种类型的足球集锦片段得出一个候选集锦片段列表，将其按照模型匹配分数由高到低排序；然后根据用户需要的集锦片段类别和集锦视频长度选取若干足球集锦片段，并按其发生时间排列；最后选择前一个足球集锦片段的末尾若干帧与后一个片段的开始若干帧做平滑过渡处理，使其更符合视觉感官效果。与其他视频集锦方法相比，本专利技术的优势在于(1)适用视频片源广泛。相较于其他视频集锦方法需要依赖电视台转播视频时的镜头特写和转场切换等线索，本专利技术通过分析本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于事件模型的足球视频集锦自动合成方法，其特征在于包含以下步骤(1)定义足球视频集锦片段是由单人或多人进行的、可分解为多动作组合的重要足球事件；(2)构建一个核心-周围事件模型，根据动作发生概率，指定最可能发生的动作为核心动作，其余动作均为周围动作，该事件模型具体包括动作语义关系、动作时序关系和局部视觉特征三个部分；(3)利用足球比赛视频及其对应的文本解说词构建训练集，选择进球和红黄牌作为两类足球集锦，分别从动作语义关系、动作时序关系和局部视觉特征三个方面训练所述核心-周围事件模型；(4)输入一段没有解说词的足球比赛视频，利用训练得到的事件模型在输入视频中提取足球集锦片段，并给出候选集锦片段与模型的匹配分数；(5)将足球集锦片段分类按照匹配分数排序，将分数较高的足球集锦片段自动合成为一个足球视频集锦。2.根据权利要求1所述的基于事件模型的足球视频集锦自动合成方法，其特征在于 步骤(1)中以视频事件作为足球集锦片段单元，针对某个类型的足球集锦片段单独进行足球视频集锦。3.根据权利要求1所述的基于事件模型的足球视频集锦自动合成方法，其特征在于 步骤O)的核心-周围事件模型要求事件可被分解为多个动作，所述核心-周围事件模型主要建模三个部分内容(2. 1)动作语义关系包括每个动作发生的概率，以及每个周围动作和核心动作同时出现的概率；(2. 2)动作时序关系包括动作在事件发生过程中的先后顺序，以及动作持续时间与事件持续时间的比值；(2. 3)局部视觉...
【专利技术属性】
技术研发人员：赵沁平，陈小武，蒋恺，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。