一种自动分割和分类体育视频镜头的方法和装置制造方法及图纸

本发明专利技术提出一种体育视频镜头自动分割和分类的方法。该方法将体育视频流分成连续的镜头采样单元（ＳＳＵ），则不同的镜头对应于不同的ＳＳＵ时序序列，用隐马尔可夫模型为不同的ＳＳＵ序列建模，就得到不同镜头的隐马尔可夫模型。在此基础上，将所有可能的镜头模型组合串接起来就形成了镜头网络。对于镜头网络中的每条路径即一个镜头模型序列，计算其ｌｏｇ概率，将概率最大的作为最佳路径，则该最佳路径上的所有镜头模型即为最终的分类结果，而相应的ＳＳＵ序列的起始和终止ＳＳＵ即为镜头的边界，从而实现了对体育视频镜头的分割。

【技术实现步骤摘要】

本专利技术涉及视频镜头分割方法及其装置，特别是涉及一种对于体育视频镜 头自动分割和分类的方法和装置。技术背景在体育视频中，镜头是体育视频的基本结构单元，体育视频镜头通常指的是 由单一相机视角拍摄所形成一组连续的图像帧。不同类型的体育视频镜头表现了 不同的语义内容，如远景镜头通常反映的是比赛的全局情况，而中景镜头通常是 对比赛队员的动作跟踪，而特写镜头通常是对队员和裁判的近距离特写， 一般出 现在比赛的暂停阶段。体育视频的镜头分割可以采用一般视频的分割方法，通过 相邻帧的相似程度得到镜头的边界，但是现有方法没有考虑体育视频镜头的特殊 性，即运动快，结构具有重复性等特点，因此镜头分割结果并不准确。对于体育 视频镜头分类，现有的一些方法主要采用领域知识和特定的规则，如根据草色比 例和人员大小对足球视频镜头分割和分类，这些方法能够对特定的体育视频取得 很好的效果，但是不具有通用性，不用的体育视频要根据各自的特点推导出不同 的分类规则。另一方面，体育视频的类型众多，但是大致可以分成远景、中景和特写三种 镜头类型。体育视频镜头分割和分类的目的就是从体育视频中将这三类镜头分割 出来并标注其镜头类型，从而为体育视频建立结构化的索引。但是鉴于不同的体 育视频的镜头具有不同的表现形式，要求所选取的镜头特征既能代表不同镜头类 型的特点，又具有通用性以便能够适用在不同的体育视频上。
技术实现思路
本专利技术的目的是提供一种通用的体育视频镜头分割和分类方法，能够自动 的对体育视频镜头进行分割和分类，从而为体育视频建立结构索引，进一步的用 于体育视频的语义内容分析。为此，本专利技术选取了颜色和运动两个特征作为通用的镜头特征，通过提取颜 色和运动信息的差分得到更为精准的镜头特征。由于镜头是由一组连续的视频帧构成，也就是一段时序信号流，因此对体育视频镜头进行分割和分类需要建立合 适的时序模型来模拟镜头中的时序信号的转换。而隐马尔可夫模型能够很好的解 释时序信号的变化，本专利技术采用隐马尔可夫模型为每种镜头类型建模。而一段体 育视频可以看作是不同类型镜头之间的连接和转换，所以对于一段未知的体育视 频流，镜头分割和分类任务可以看成找到一条最佳的镜头模型连接和转换序列。 为此，本专利技术构造了一种镜头网络，它包括所有可能的镜头模型序列，其中网络 中的每条路径对应一种镜头模型序列，找到最佳的路径也就找到了最佳的镜头分 割和分类结果。实现了镜头分割和分类的同时进行，提高了镜头分割和分类的处 理速度。根据本专利技术的第一方面，提供了一种体育视频镜头自动分割和分类的方法，该方 法包括下列步骤1)将一个镜头分成多个镜头采样单元(Shot Sample Unit—SSU) 的序列；2)根据每个SSU中的视频帧计算每个SSU的颜色相关特征和运动相关 特征；3)根据HMM (隐马尔可夫模型)镜头模型通过镜头网络计算每个镜头模 型的对数概率；4)选取对数概率(log概率)和最大的模型序列，其中，该序 列中的各个模型的状态序列与相应的SSU序列对应。根据本专利技术的第二方面，提供了一种体育视频镜头自动分割和分类的装置， 包括下列部件1)将一个镜头分成多个镜头采样单元(SSU)的序列的部件；2) 根据每个SSU中的视频帧计算每个SSU的颜色相关特征和运动相关特征的部件； 3)根据HMM (隐马尔可夫模型)镜头模型通过镜头网络计算每个镜头模型的对 数概率(log概率)的部件；4)选取对数概率之和最大的模型序列的部件，其 中，该序列中的各个模型的状态序列与相应的SSU序列对应。本专利技术的优点在于1、 将每类镜头分成连续的SSU序列，更好的反映了镜头的边界和时序特征;2、 采用隐马尔可夫模型为每类镜头建模，能够更好的模拟镜头中的SSU序 列的变化；3、 桌用颜色和运动相关的信息，易于特征计算和提取；4、 建立镜头网络来识别体育视频流实现了镜头的自动分割和分类。附图说明图l示意三类镜头模型，(a)为远景镜头，(b)为中景镜头，(c)为特写镜头； 图2表示镜头采样单元(SSU)序列；图3表示从左向右无跳转的5状态隐马尔可夫模型；图4示意一个镜头网络。具体实施方式体育视频都可以分为以下三类镜头，即远景镜头，中景镜头和特写镜头，如 图1所示。本专利技术的目的就是自动分割和分类体育视频中的这三类镜头。下面结 合附图对本专利技术作进一步的描述。本专利技术的方案主要包括以下步骤首先将视频分ssu序列，从每个ssu中 提取颜色和运动特征，在特征提取的基础上，然后采用隐马尔可夫模型训练数据 生成每类镜头的隐马尔可夫模型，将所有可能的镜头模型序列连接成镜头网络，从镜头网络中计算对数概率(log概率)最大的路径，得到最终的镜头分割和分类结果。下面对各步骤进行详细的说明 1、镜头采样单元(SSU)设定和特征提取为了对镜头进行准确和快速的分割，首先将镜头分成一个ssu序列，其中所述SSU之间可以相互重叠，也可以不重叠，如图2所示。由于通常一个镜头 的持续时间是1到120秒，则每个SSU的长度应该应小于镜头的长度，这里设 为25帧，以提高特征提取的速度，采样间隔为10帧。则不同的镜头表现为不同 的SSU序列。对于每个SSU，其特征其所包含的图像帧的特征的平均值。则提 取SSU的特征就转化为提取每帧图像的特征。对于每个图像帧，我们提取两类 特征，包括颜色相关特征和运动相关特征。 *颜色特征提取三类镜头之间的最大差别是其颜色的变化，如在远景中场地的区域占的面积 较大而在特写镜头中几乎没有任何场地信息。由于LUV空间最符合人的视觉感 知，我们采用LUV空间的各个分量最为三个颜色类特征，即L， U， V分量。 而对于每图像帧的L， U， V特征用表示，如下公式计算 =S 丄0c,力/帧/中的像素数目all pixels in the frame/f/广 S (x,力/帧/中的像素数目all pixels in the llrameZZ 「(x，力/帧/中的像素数目(i)all pixels in the frame/其中Z(Jc,力，t/(;c,力，F(x，力为(x，力点像素的L， U， V分量，而~, ,为一帧图像的三个基本颜色特征。在此基础上得到他们的一阶二阶差分信息，如 下所示VZy =丄/ -丄闩w,， r,一(2)其中W,, W(^和V，,(hl， 2)是基本颜色特征的第k阶差分信息。这样一共得到9个颜色相关的特征。 *运动特征提取本专利技术一共提取了三类运动特征，分别是帧差运动信息Z^，如下所示D/ :S:5(H(/力一77(/ —W))帧/中的像素数目 (3) 其中//(/,0表示第/帧中颜色为/的像素数目。 另一个运动相关的特征是基于块的运动补偿帧差C,，如下所示C,计算的主要思想是，将整个帧分成16*16的均匀宏块，然后在该帧的前 一帧中査找与每一宏块最为匹配的小块，求出他们的帧差总和。其中^(x，力为 位置在(x,力点的宏块，dO/，v')/-l为前一帧中最匹配的宏块，而G,为第/帧 中所有小块的数目。『s为每个小块的大小。同时，宏块的运动向量也反映了帧的运动大小，用M,表示宏块的运动强度， 则其计算公式为<formula>formula see original document pag本文档来自技高网...

【技术保护点】
一种体育视频镜头自动分割和分类的方法，包括下列步骤：１）将一个镜头分成多个镜头采样单元ＳＳＵ的序列；２）根据每个ＳＳＵ中的视频帧计算每个ＳＳＵ的颜色相关特征和运动相关特征；３）根据ＨＭＭ镜头模型通过镜头网络计算每个镜 头模型的对数概率；４）选取对数概率之和最大的模型序列，其中，该序列中的各个模型的状态序列与相应的ＳＳＵ序列对应。

【技术特征摘要】
1. 一种体育视频镜头自动分割和分类的方法，包括下列步骤1)将一个镜头分成多个镜头采样单元SSU的序列；2)根据每个SSU中的视频帧计算每个SSU的颜色相关特征和运动相关特征；3)根据HMM镜头模型通过镜头网络计算每个镜头模型的对数概率；4)选取对数概率之和最大的模型序列，其中，该序列中的各个模型的状态序列与相应的SSU序列对应。2、 根据权利要求l的方法，其中每个SSU的颜色相关特征和运动相关特征 是该SSU内所有图象帧的相应特征的平均。3、 根据权利要求2的方法，其中每个图像帧的颜色相关特征包括了 L、 U 和V分量，即三个基本颜色特征Z^ CZ,， 运动相关特征包括帧差运动信息IV，运动补偿帧差CV和宏块的运动强度M,，它们是分别利用下列公式计算的<formula>formula see original document page 2</formula>其中x,力，t/(x,力，r(x,力为(JC，力点像素的L， U， V分量； D/ = (H(/， 0 — — L !'))2 /帧/中的像素数目其中表示第/帧中颜色为/的像素数目；其中5f(:c，力为位置在(;c，力点的宏土央，d(w',v')为前一帧中最匹配的宏块，而(7, 为第/帧中所有小块的数目。P^为每个小块的大小； M S [(x-7+(.)2]1/2其中(',v')即为与^(:c,力最匹配的块0'，v')在帧/-l中的位置。4、 根据权利要求3的方法，其中每个图像帧的颜色相关特征还包括了上述 颜色相关特征的1阶差分信息<table>table see original document page 3</column></row><table>和上述运动相关特征的1阶差分信息5、 根据权利要求4的方法，其中每个图像帧的颜色相关特征还包括了上述 颜色相关特征的2阶差分信息<formula>formula see original document page 3</formula>和上述运动相关特征的2阶差分信息6、 根据权利要求l一5的方法，其中上述镜头网络是通过将所有可能的镜头 模型组合序列连接起来形成的。7、 根据权利要求1一6之一的方法，其中HMM镜头模型是利用上述颜色相关 特征和运动相关特征作为训练数据进行训练后得到的镜头模型。8、 根据权利要求1一7之一的方法，其中HMM镜头模型包括远景、中景和特 写镜头模型。9、 根据权利要求1一8的方法，其中SSU可以分成相互重叠。10、 根据权利要求9的方法，其中每个SSU设为25帧，采样间隔是10帧。11、 一种体育视频镜头自...

【专利技术属性】
技术研发人员：杨颖，林守勋，张勇东，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：11[中国|北京]