一种基于颜色相似度的视频场景分割方法技术

本发明专利技术属于计算机视频数据处理技术领域，涉及一种基于颜色相似度的视频场景分割方法，该方法对于一个视频片段，按照下列方法得到相似度矩阵:所有帧的RGB颜色直方图，利用直方图计算帧之间的相似度，获得整个片段范围的相似度矩阵，并包括下列步骤：进行视频片段的首次场景分割；合并小场景；验证过渡段并再分割。按照本发明专利技术进行场景分割，则能够得到较为准确和可靠的分割结果。

【技术实现步骤摘要】
一种基于颜色相似度的视频场景分割方法所属
本专利技术属于计算机视频数据处理
，特别涉及一种视频场景分割的方法。
技术介绍
近年来随着数字多媒体技术以及计算机存储能力的快速发展，数字视频在人们工作和生活中获得了广泛应用。然而，如何对大量的数字视频数据进行有效的检索与管理则是现阶段需要解决的难题。视频场景分割作为关键性的基础步骤，在解决这个问题上显得尤为重要。显然，把一个完整的视频分割成若干具有显著独立内容的片段集合对完整视频的摘要提取和内容检索具有重要作用。
技术实现思路
本专利技术的目的在于提供一种简单有效的视频场景分割方法。本专利技术提出的视频分割方法，仅使用了视频中各帧图像的颜色特征，且对于视频片段间的骤变分割点和过渡片段的提取都有比较好的效果。为此，本专利技术采用如下的技术方案：一种基于颜色相似度的视频场景分割方法，该方法对于一个视频片段，按照下列方法得到相似度矩阵:所有帧的RGB颜色直方图，利用直方图计算帧之间的相似度，获得整个片段范围的相似度矩阵，并且，规定了一个场景过渡到另一个场景的场景变化形式的分类：（1）骤变分割点：从一个场景直接转向另一个场景，中间没有过渡；（2）淡入淡出的过渡段：从一个场景转向另一个场景的过程中，前一个场景淡出的同时，后一个场景淡入；（3）复杂的过渡段：不能划分到上述两种情况的其他场景变化形式；该方法包括下列的步骤：步骤一按照以下方法进行视频片段的首次场景分割：（1）把第一帧纳入第一个场景，以第二帧作为当前帧；（2）计算当前帧的前一个场景的相似度矩阵所有值的平均值avg0，以及它与前一个场景所有帧的相似度向量的平均值avg1；（3）若|avg0-avg1|<一致性阈值TH1，则把当前帧纳入前一个场景，将当前帧的下帧作为当前帧，继续（2）；否则，以当前帧为起点，开始新的场景，将当前帧的下帧作为当前帧，并继续（2），直到视频片段终止，从而得到分割结果；步骤二合并小场景：在分割结果中，合并若干个连续的帧数小于合并阈值TH2的场景；步骤三验证过渡段并再分割：计算合并而成的场景范围内相似度矩阵所有值的标准差，若标准差小于过渡段判别阈值TH3，则该合并后的场景被判定为伪过渡段，还原为合并前的小场景状态；否则，判定该场景为过渡段，保持合并后的状态，至此获得新的分割结果。作为优选实施方式，其中的三个阈值的训练按照下列步骤进行：（1）获取一批用于训练的视频片段，对该批视频片段的每个真实场景分割点进行从一个场景过渡到另一个场景的场景变化形式的分类：（2）设定一致性阈值TH1的初始值与终止值以及渐增的单位步长，并设定初始的合并阈值TH2和过渡段判别阈值TH3；（3）对每个用于训练的视频片段，按照步骤一中的方法进行首次场景分割，得到分割结果；（4）将分割结果与视频片段的各个真实场景分割点进行比对：用分割结果比对真实场景分割点计算代价值a和覆盖率b，并以评价分割与真实场景分割点的吻合程度，其中，代价值a的计算如下：a初始为0；对分割结果的每一分割处的帧，在真实场景分割点中寻找它，若能够在真实场景分割点中找到，且该处为骤变分割点，则不对a做任何操作；若能够在真实场景分割点中找到，且处于淡入淡出的过渡段或复杂过渡段内，则若无法找到，则a＝a+1；覆盖率b的计算如下：引入变量a1，a1初始为0；对真实场景分割点每一分割处的帧，在分割结果中寻找它，若能够在分割结果中找到，则不对a1做任何操作，若无法找到，则a1＝a1+1；最后计算（5）不断变化TH1的值使得最小，得到用于训练的视频片段的TH1训练值；（6）取所有用于训练的视频片段的TH1训练值的平均值作为一致性阈值的建议值；（7）以上述训练得到的一致性阈值的建议值为TH1，再按照步骤一的方法进行首次场景分割；（8）设定合并阈值TH2的初始值与终止值及渐增的单位步长；（9）把若干个连续的帧数均小于TH2的场景合并为一个场景；（10）按照步骤（4）的方法将合并小场景得到的结果与视频片段的真实场景分割点进行比对；（11）不断变化TH2的值使得最小，得到用于训练的视频片段的TH2训练值；（12）取所有用于训练的视频片段的TH2训练值的平均值作为合并阈值的建议值；（13）以上述训练得到的一致性阈值的建议值为TH1，合并阈值的建议值为TH2，按照步骤一的方法进行首次场景分割，得到分割结果；（14）计算合并而成的场景范围内相似度矩阵所有值的标准差，若标准差小于TH3，则该合并后的场景被判定为伪过渡段，还原为合并前的小场景状态；否则，判定该场景为过渡段，保持合并后的状态；（15）按照步骤（4）的方法将以上判定后得到的分割结果与视频片段的真实场景分割点进行比对；（16）不断变化TH3的值使得最小，得到用于训练的视频片段的TH3训练值；（17）取所有用于训练的视频片段的TH3训练值的平均值作为过渡段判别阈值的建议值。本专利技术的场景分割方法对骤变分割点、淡入淡出的分割段，以及复杂的分割段都能得到较好的效果。设定阈值为某一范围的值并按照本专利技术进行场景分割，则能够得到较为准确的分割结果（图1），说明本专利技术的视频分割方法具有一定效果。为了使分割效果更佳，有必要对阈值进行训练，训练效果可以通过与真实视频场景分割点的比对进行验证。在验证实验中，我们使用了50个视频片段，每个视频片段包含若干个已知的真实场景分割点。在实验中，我们使用以下两个统计数据来衡量总体训练结果的可靠性。（1）代价值a：对一个视频片段，按此方法分割得到的所有分割点去比对真实场景分割点，多余的实验结果分割点的数量的相对代价值。（2）覆盖率b：对一个视频片段，按此方法分割得到的所有分割点中，与真实场景分割点相符的分割点数量占真实场景分割点总数的比率。从以上两个指标可知，代价值a越小则表示多余的实验结果分割点越少，覆盖率b越接近于1则表示遗漏的真实分割点越少。通过对50个视频片段的验证，结果中代价值a均较小，且覆盖率b大体保持在80%以上（图2），则训练得到的阈值建议值是可靠的，且本专利技术的分割效果与真实视频场景分割点吻合程度较高。附图说明图1分割结果图，上图、中图和下图份为骤变分割点、淡入淡出的分割段以及复杂的分割段的分割结果示意图。图2验证结果示意图，图2（a）和图2（b）分别为代价值a的统计结果与覆盖率b的统计结果。图3本专利技术的系统流程图。具体实施方式本专利技术提出一种新的视频场景分割方法。首先对从一个场景过渡到另一个场景的场景转换形式做出分类，如下：（1）骤变分割点：从一个场景直接转向另一个场景，中间没有过渡。特点：场景转换十分迅速，分割点前后帧差异明显，容易准确归属到各自的场景中。（2）淡入淡出的过渡段：从一个场景转向另一个场景的过程中，前一个场景淡出的同时，后一个场景淡入。特点：场景转换相对缓慢，过渡段往往包含几帧到几十帧数量的图像，各帧之间差异大于普通场景段。（3）复杂的过渡段：从一个场景转向另一个场景的过程中遵循某种复杂的变换方式，如溶解、放大等。（不能划分到上述两种情况的其他场景变化形式均划为“复杂的过渡段”）特点：变化方式多样，场景转换缓慢，过渡段往往包含几帧到几十帧数量的图像，各帧之间差异大于普通场景段。本专利技术的场景分割方法首先利用“一致性阈值”根据算法对视频进行第一次分割，再对分割后的各个场景根本文档来自技高网...

【技术保护点】
一种基于颜色相似度的视频场景分割方法，该方法对于一个视频片段，按照下列方法得到相似度矩阵:所有帧的RGB颜色直方图，利用直方图计算帧之间的相似度，获得整个片段范围的相似度矩阵，并且，规定了一个场景过渡到另一个场景的场景变化形式的分类：（1）骤变分割点：从一个场景直接转向另一个场景，中间没有过渡；（2）淡入淡出的过渡段：从一个场景转向另一个场景的过程中，前一个场景淡出的同时，后一个场景淡入；（3）复杂的过渡段：不能划分到上述两种情况的其他场景变化形式；该方法包括下列的步骤：步骤一按照以下方法进行视频片段的首次场景分割：（1）把第一帧纳入第一个场景，以第二帧作为当前帧；（2）计算当前帧的前一个场景的相似度矩阵所有值的平均值avg0，以及它与前一个场景所有帧的相似度向量的平均值avg1；（3）若|avg0？avg1|<一致性阈值TH1，则把当前帧纳入前一个场景，将当前帧的下帧作为当前帧，继续（2）；否则，以当前帧为起点，开始新的场景，将当前帧的下帧作为当前帧，并继续（2），直到视频片段终止，从而得到分割结果；步骤二合并小场景：在分割结果中，合并若干个连续的帧数小于合并阈值TH2的场景；步骤三验证过渡段并再分割：计算合并而成的场景范围内相似度矩阵所有值的标准差，若标准差小于过渡段判别阈值TH3，则该合并后的场景被判定为伪过渡段，还原为合并前的小场景状态；否则，判定该场景为过渡段，保持合并后的状态，至此获得新的分割结果。...

【技术特征摘要】
1.一种基于颜色相似度的视频场景分割方法，该方法对于一个视频片段，按照下列方法得到相似度矩阵:所有帧的RGB颜色直方图，利用直方图计算帧之间的相似度，获得整个片段范围的相似度矩阵，并且，规定了一个场景过渡到另一个场景的场景变化形式的分类：(1)骤变分割点：从一个场景直接转向另一个场景，中间没有过渡；(2)淡入淡出的过渡段：从一个场景转向另一个场景的过程中，前一个场景淡出的同时，后一个场景淡入；(3)复杂的过渡段：不能划分到上述两种情况的其他场景变化形式；该方法包括下列的步骤：步骤一按照以下方法进行视频片段的首次场景分割：(1)把第一帧纳入第一个场景，以第二帧作为当前帧；(2)计算当前帧的前一个场景的相似度矩阵所有值的平均值avg0，以及它与前一个场景所有帧的相似度向量的平均值avg1；其中，avg0是指一个场景内所有帧两两之间的相似度差值组成的矩阵内所有值的平均值，avg1是指当前帧与前一个场景内所有帧的相似度差值组成的向量中所有值的平均值；(3)若|avg0-avg1|<一致性阈值TH1，则把当前帧纳入前一个场景，将当前帧的下帧作为当前帧，继续(2)；否则，以当前帧为起点，开始新的场景，将当前帧的下帧作为当前帧，并继续(2)，直到视频片段终止，从而得到分割结果；步骤二合并小场景：在分割结果中，合并若干个连续的帧数小于合并阈值TH2的场景；步骤三验证过渡段并再分割：计算合并而成的场景范围内相似度矩阵所有值的标准差，若标准差小于过渡段判别阈值TH3，则该合并后的场景被判定为伪过渡段，还原为合并前的小场景状态；否则，判定该场景为过渡段，保持合并后的状态，至此获得新的分割结果。2.根据权利要求1所述的基于颜色相似度的视频场景分割方法，其特征在于，其中的三个阈值的训练按照下列步骤进行：(1)获取一批用于训练的视频片段，对该批视频片段的每个真实场景分割点进行从一个场景过渡到另一个场景的场景变化形式的分类：(2)设定一致性阈值TH1的初始值与终止值以及渐增的单位步长，并设定初始的合并阈值TH2和过渡段判别阈值TH3；(3)对每个用于训练的视频片段，按照步骤一中的...

【专利技术属性】
技术研发人员：张怡，任金昌，袁正雄，温超，
申请(专利权)人：天津大学，
类型：发明
国别省市：