一种基于与或图的视频事件处理方法技术

本发明专利技术公开了一种基于与或图的视频事件处理方法，首先定义需要处理的视频事件是由单人或多人参与的、具有联系的动作组合，并定义所述视频事件中：与或图的节点类型、节点分布方式以及节点之间的关系；基于所定义的与或图的节点类型、节点分布方式以及节点之间的关系来表达视频事件；使用自底向上和自顶向下相结合的推理方法，推理所述视频事件中的事件发生过程。该方法能够根据视频事件的推理结果自动生成视频内容的解说文本，一方面在视频转播领域能够帮助视频编辑员或解说员减轻工作强度，另一方面为视频检索相关应用提供了一种较好的视频内容理解方法。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了，首先定义需要处理的视频事件是由单人或多人参与的、具有联系的动作组合，并定义所述视频事件中：与或图的节点类型、节点分布方式以及节点之间的关系；基于所定义的与或图的节点类型、节点分布方式以及节点之间的关系来表达视频事件；使用自底向上和自顶向下相结合的推理方法，推理所述视频事件中的事件发生过程。该方法能够根据视频事件的推理结果自动生成视频内容的解说文本，一方面在视频转播领域能够帮助视频编辑员或解说员减轻工作强度，另一方面为视频检索相关应用提供了一种较好的视频内容理解方法。【专利说明】
本专利技术涉及视频处理
，尤其涉及。
技术介绍
目前，理解和分析视频中的人类运动是近年来一个非常热门的研究领域，诸如视频监控、视频转播、基于内容的视频索引和检索等应用及其依赖于视频事件的识别和解析工作。为了完成这项工作，一些关键技术都已取得了良好的研究成果，包括物体跟踪、人类动作识别、人类行为分类等，这些关键技术的成果是进行视频事件理解的前提。由于人的思想更倾向于了解视频中的人们正在做什么事情，给出视频事件的故事线比仅仅给出几个词更能吸引人们的关注。尤其在电视转播应用领域，例如FIFA世界杯转播，与单个人的射门动作相比，人们更愿意了解比赛中重要事件的发生过程，而最重要的一类事件就是射门事件。现有技术在视频事件理解方向上已有相当丰富的研究，尤其在团体行为理解、动作事件分析以及视频事件表达等方面的研究，在团体行为理解方面，现有技术中提出用于识别不同类型高层团体行为的统计方法，采用一种概率模型描述团体成员的个体行为如何组织成团体行为，该方法能够识别诸如“一群小偷从另一组人那里偷了一个东西”或者“一群人袭击一个人”等团体行为；另一种方法提出了一个利用场景信息表达和识别组合视频事件，基于简单事件及其它们之间的时间逻辑关系，约束简单事件在组合事件中的位置。然而，现有技术中的方案对于拍摄距离较远、多人多动作组合的视频事件，无法根据一些明显的动作或物体识别来判断事件的发生。
技术实现思路
本专利技术的目的是提供，该方法能够根据视频事件的推理结果自动生成视频内容的解说文本，一方面在视频转播领域能够帮助视频编辑员或解说员减轻工作强度，另一方面为视频检索相关应用提供了一种较好的视频内容理解方法。，所述处理方法包括:定义需要处理的视频事件是由单人或多人参与的、具有联系的动作组合，并定义所述视频事件中:与或图的节点类型、节点分布方式以及节点之间的关系；基于所定义的与或图的节点类型、节点分布方式以及节点之间的关系来表达视频事件；使用自底向上和自顶向下相结合的推理方法，推理所述视频事件中的事件发生过程。所述节点之间的关系，具体包括:所述视频事件的与或图中上下层节点之间的与或关系；所述视频事件的与或图中同层节点之间的时间关系；所述视频事件的与或图中同层节点之间的角色关系。所述与或图的节点类型包括非终结节点和终结节点，且非终结节点分为与节点和或节点。所述节点分布方式为与节点层和或节点层交替分布，具体为:与节点的下一层全部为或节点，且或节点的下一层全部为与节点。所述与或图中上下层节点之间的与或关系用实线表示，并根据节点的不同，该关系分为以下两种情况:(A)与关系:指与节点与其子节点之间的关系，该关系要求所述与节点成立的条件是其子节点全部成立；(B)或关系:指或节点与其子节点之间的关系，该关系要求所述或节点成立的条件是其子节点中至少有一个成立。所述与或图中同层节点之间的时间关系用虚线表示，对于两个时间段X和y，它们之间的时间关系包括以下6种情况:(A) Before (X, y):x的结束时间先于y的开始时间；(B) Overlaps (x, y):x的开始时间先于y的开始时间，x的结束时间后于y的开始时间且先于y的结束时间；(C)Meets (X, y):x的结束时间等于y的开始时间；(D) During (x, y):x的开始时间后于y的开始时间，x的结束时间先于y的结束时间；(E) Starts (X, y):x的开始时间等于y的开始时间；(F) Finishes (x, y):x的结束时间等于y的结束时间。所述与或图中同层节点之间的角色关系用虚线表示，该角色关系由其拓扑结构中的所有终结节点的角色关系组成；其中，所述终结节点的角色关系包括相同关系、队友关系、敌对关系和攻守关系。所述推理所述视频事件中的事件发生过程，具体包括:为所述视频事件与或图中的每个节点构建能量函数，其中所述能量函数为以该节点为根节点的拓扑结构中数据分能量、结构分能量、关系分能量之和；输入动作集合，从所述视频事件与或图中的终结节点开始，自底向上的为每个节点推荐候选动作集；从根节点的候选动作集开始，自顶向下的修正所述根节点的候选动作集，并最终找到组成所述视频事件的最佳动作集。所述自底向上的为每个节点推荐候选动作集，具体包括:首先对每一个终结节点，在输入动作集中选择与该终结节点具有相同动作标签的动作作为其候选动作集；自底向上从第1层节点开始，为每一层的每一个节点构造候选动作集，其中:如果是或节点，则收集它的每个子节点的最优候选元素作为其候选动作集；如果是与节点，则每次从该与节点每个子节点的候选动作集中选择一个元素，组合成一个候选动作序列，依次遍历完所有的子节点候选动作集后，所有的候选动作序列组成该与节点的候选动作集；计算该与节点的候选动作集中每个元素的能量，将能量值较低的元素舍去；并将具有最大能量值的元素标记为该与节点的最优候选元素；然后再返回根节点的候选动作集。所述自顶向下的修正所述根节点的候选动作集，并最终找到组成所述视频事件的最佳动作集，具体包括:在自顶向下的修正所述根节点的候选动作集过程中，通过衡量每个候选动作序列和输入动作集的相符程度，找到组成所述视频事件的最佳动作集。由上述本专利技术提供的技术方案可以看出，该方法能够根据视频事件的推理结果自动生成视频内容的解说文本，一方面在视频转播领域能够帮助视频编辑员或解说员减轻工作强度，另一方面为视频检索相关应用提供了一种较好的视频内容理解方法。【专利附图】【附图说明】为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例所述基于与或图的视频事件处理方法流程示意图；图2为本专利技术实施例所举实例基于与或图的视频事件表达方式的示意图；图3为本专利技术实施例所举实例终结节点动作类型示意图；图4为本专利技术实施例所举实例视频事件与或图的节点间关系示意图；图5为本专利技术实施例所举实例视频动作初始化处理过程的示意图；图6为本专利技术实施例所举实例视频事件推理过程的流程示意图；图7为本专利技术实施例所举实例视频事件与或图节点的候选集构造过程的流程示意图。【具体实施方式】下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。由于人类视觉系统通本文档来自技高网...

【技术保护点】
一种基于与或图的视频事件处理方法，其特征在于，所述处理方法包括：定义需要处理的视频事件是由单人或多人参与的、具有联系的动作组合，并定义所述视频事件中：与或图的节点类型、节点分布方式以及节点之间的关系；基于所定义的与或图的节点类型、节点分布方式以及节点之间的关系来表达视频事件；使用自底向上和自顶向下相结合的推理方法，推理所述视频事件中的事件发生过程。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈小武，赵沁平，蒋恺，张宇，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11