一种基于图像多维特征值比对的视频同步方法技术

本发明专利技术涉及一种基于图像多维特征值比对的视频同步方法，对播出系统中来自不同源头的相同视音频节目，利用多维图像特征值比对的算法，使源视频和目标视频同步，包括以下步骤：提取源视频和目标视频基于Y分量的多个图像特征值，并汇总成多维特征向量；设定滑动窗口大小，在滑动窗口大小前后帧时域方向上计算图像特征值的误差；统计并记录发生最小误差时滑动窗口位置；计算出目标视频相对于源视频超前或滞后帧数确定同步点。本发明专利技术同步误差能够控制在1帧以内，这样就能在无法利用PTS同步的环境中，达到同样的视频同步效果。

【技术实现步骤摘要】
一种基于图像多维特征值比对的视频同步方法
本专利技术涉及广播电视信号监测领域，具体涉及一种基于图像多维特征值比对的视频同步方法。
技术介绍
随着数字电视、IPTV、手机电视等新媒体的不断涌现和兴起，数字电视信号取代模拟电视信号已是大势所趋。在模拟电视时代，电视信号在传输过程中丢失是造成视频质量下降的主要原因，因此可以采用测量信噪比来确定播出质量。而在数字电视时代，信号传输已经不是质量下降的主要原因，卫星电视、地面数字、IPTV、手机电视等各个数字电视信号源间普遍存在着逐层压缩转码，在转码过程中，编码格式、分辨率、码率、参考帧位置等的变化，都会不同程度地带来视频质量的下降。视频质量下降的呈现方式，也从模拟电视信号的雪花形式，演变成数字电视信号的方块效应、马赛克、整体模糊、边缘信息丢失等形式。本专利技术中用到的术语解释如下：Y：是指视频信号的亮度分量；PTS：PresentationTimeStamp，显示时间戳，数字电视传输流中字段。数据同步的算法在计算机存储系统领域有应用，比如申请人是清华大学和北京威视数据系统有限公司，申请号200810225596.X，专利技术名称《一种基于数据差异的逻辑卷快速同步方法》，公开了一种通过比较源逻辑卷和目标逻辑卷数据块特征值而判定源卷和目标卷数据是否同步，并同步源卷和目标卷的方法。图像特征值一般应用在图像相似性上，比如内容识别，人脸识别，指纹识别；电子科技大学计算机科学与工程学院，贺祥，卢光辉发表于《福建电脑》2009年第5期的论作《基于图像相似度的关键帧提取算法》指出为了在视频管理数据库中提供有效的视频检索和浏览功能，必须用简明的方式表示视频的内容，关键帧提取技术是视频分析和视频检索的基础，现阶段关键帧提取技术已成为视频检索的一个重要研究方向，并提出了一种改进的基于内容的视频关键帧提取方法-基于图像相似度的关键帧提取算法。但图像特征值用于数字电视信号的同步算法未见报道。
技术实现思路
本专利技术的目的是，解决当视频节目经过转码后，其包含的显示时间戳PTS将会发生变化，无法通过显示时间戳PTS进行多路视频同步的技术问题，提供一种基于图像多维特征值比对的视频同步方法。为实现上述目的，本专利技术采取的技术方案是：一种基于图像多维特征值比对的视频同步方法，对播出系统中来自不同源头的相同视音频节目，利用多维图像特征值比对的算法，使源视频和目标视频同步，包括以下步骤：步骤a，指定源视频和目标视频的步骤；步骤b，提取源视频和目标视频基于Y分量的多个图像特征值，将多个图像特征值汇总成多维特征向量的步骤；步骤c，设定滑动窗口大小，在滑动窗口大小前后帧时域方向上计算图像特征值的误差，即以源视频实时播出的一帧为参考帧，遍历计算目标视频相对于源视频在滑动窗口上不同位置各特征向量欧氏距离的步骤；步骤d，统计滑动窗口上不同位置时图像特征值的误差，并记录发生最小误差时滑动窗口位置的步骤；步骤e，把滑动窗口的位置相减，计算出目标视频相对于源视频超前或滞后帧数的步骤；步骤f，根据超前或滞后帧数确定源视频和目标视频同步点的步骤。本专利技术基于图像多维特征值比对的视频同步方法的改进，所述步骤f为：步骤f，重复步骤c，步骤d，步骤e，当超前或滞后帧数保持在1帧以内并保持一个足够确认同步的时间，确定找到源视频和目标视频同步点的步骤。这样能够确保同步精度在1帧以内。本专利技术基于图像多维特征值比对的视频同步方法，所述步骤b提取源视频和目标视频Y分量图像特征值并汇总成多维特征向量由以下步骤组成：步骤b1，分别提取源视频和目标视频的Y分量图像的步骤；步骤b2，对源视频和目标视频Y分量的每一个像素点做前后帧时域上的离散卷积计算；步骤b3，对卷积后的结果做高通滤波处理的步骤；步骤b4，计算每一帧卷积后结果的平均值，作为特征值并记录的步骤；步骤b5，计算每一帧卷积后结果大于0部分的平均值，作为特征值并记录的步骤；步骤b6，计算每一帧卷积后结果小于0部分的平均值，作为特征值并记录的步骤；步骤b7，计算源视频和目标视频每一帧Y分量的平均值，作为特征值并记录的步骤；步骤b8，将所述步骤b4、b5、b6、b7所得特征值汇总成多维特征向量的步骤。本专利技术有如下有益效果：采用基于图像多维特征比对的视频同步算法，使源视频和目标视频图像内容进行同步，误差能够控制在1帧以内，这样就能在无法利用PTS同步的环境中，达到同样的视频同步效果。附图说明图1是一种基于图像多维特征值比对的视频同步方法流程图。图2是一种基于图像多维特征值比对的视频同步方法提取图像多维特征值流程图。具体实施方式下面结合实施例并参照附图对本专利技术作进一步描述。本实施例一种基于图像多维特征值比对的视频同步方法，对播出系统中来自不同源头的相同视音频节目，利用多维图像特征值比对的算法，使源视频和目标视频同步。参见图1，一种基于图像多维特征值比对的视频同步方法流程图。具体步骤细化如下：步骤a，指定源视频和目标视频的步骤；步骤b，提取源视频和目标视频基于Y分量的多个图像特征值，将多个图像特征值汇总成多维特征向量的步骤；步骤c，设定滑动窗口大小，在滑动窗口大小前后帧时域方向上计算图像特征值的误差，即以源视频实时播出的一帧为参考帧，遍历计算目标视频相对于源视频在滑动窗口上不同位置各特征向量欧氏距离的步骤；步骤d，统计滑动窗口上不同位置时图像特征值的误差，并记录发生最小误差时滑动窗口位置的步骤；步骤e，把滑动窗口的位置相减，计算出目标视频相对于源视频超前或滞后帧数的步骤；步骤f，根据超前或滞后帧数确定源视频和目标视频同步点的步骤。对于步骤c中的滑动窗口大小优选为参考帧前后125帧；要说明的是对于源视频和目标视频受传输和转码影响小的场合也可以是参考帧前后50帧甚至更少；对于源视频和目标视频受传输和转码影响大的场合选择的滑动窗口应该大一点，但125帧已经考虑到相关影响，是一个冗余度比较大的选择。对于步骤f而言，为了可靠的确定源视频和目标视频同步点，可以反复计算确认一段时间，即：步骤f，重复步骤c，步骤d，步骤e，当超前或滞后帧数保持在1帧以内并保持一个足够确认同步的时间，确定找到源视频和目标视频同步点的步骤。这样能够确保同步精度在1帧以内。上面所述保持一个足够确认同步的时间优选为10秒。对于步骤b提取源视频和目标视频基于Y分量的多个图像特征值，将多个图像特征值汇总成多维特征向量的步骤，应该来说有很多种基于Y分量的图像特征值的提取方法，其中优选的实施方案参见图2一种基于图像多维特征值比对的视频同步方法提取图像多维特征值流程图，具体步骤如下：步骤b1，分别提取源视频和目标视频的Y分量图像的步骤；步骤b2，对源视频和目标视频Y分量的每一个像素点做前后帧时域上的离散卷积计算；步骤b3，对卷积后的结果做高通滤波处理的步骤；步骤b4，计算每一帧卷积后结果的平均值，作为特征值并记录的步骤；步骤b5，计算每一帧卷积后结果大于0部分的平均值，作为特征值并记录的步骤；步骤b6，计算每一帧卷积后结果小于0部分的平均值，作为特征值并记录的步骤；步骤b7，计算源视频和目标视频每一帧Y分量的平均值，作为特征值并记录的步骤；步骤b8，将所述步骤b4、b5、b6、b7所得特征值汇总成多维特征向量的步骤。上面离散卷积的卷积核优选为：。其他的卷积本文档来自技高网...

【技术保护点】
一种基于图像多维特征值比对的视频同步方法，对播出系统中来自不同源头的相同视音频节目，利用多维图像特征值比对的算法，使源视频和目标视频同步，其特征在于包括以下步骤：步骤a，指定源视频和目标视频的步骤；步骤b，提取源视频和目标视频基于Y分量的多个图像特征值，将所述多个图像特征值汇总成多维特征向量的步骤；步骤c，设定滑动窗口大小，在滑动窗口大小前后帧时域方向上计算图像特征值的误差，即以源视频实时播出的一帧为参考帧，遍历计算目标视频相对于源视频在滑动窗口上不同位置各特征向量欧氏距离的步骤；步骤d，统计滑动窗口上不同位置时图像特征值的误差，并记录发生最小误差时滑动窗口位置的步骤；步骤e，把滑动窗口的位置相减，计算出目标视频相对于源视频超前或滞后帧数的步骤；步骤f，根据超前或滞后帧数确定源视频和目标视频同步点的步骤。

【技术特征摘要】
1.一种基于图像多维特征值比对的视频同步方法，对播出系统中来自不同源头的相同视音频节目，利用多维图像特征值比对的算法，使源视频和目标视频同步，其特征在于包括以下步骤：步骤a，指定源视频和目标视频的步骤；步骤b，提取源视频和目标视频基于Y分量的多个图像特征值，将所述多个图像特征值汇总成多维特征向量的步骤；步骤c，设定滑动窗口大小，在滑动窗口大小前后帧时域方向上计算图像特征值的误差，即以源视频实时播出的一帧为参考帧，遍历计算目标视频相对于源视频在滑动窗口上不同位置各特征向量欧氏距离的步骤；步骤d，统计滑动窗口上不同位置时图像特征值的误差，并记录发生最小误差时滑动窗口位置的步骤；步骤e，把滑动窗口的位置相减，计算出目标视频相对于源视频超前或滞后帧数的步骤；步骤f，根据超前或滞后帧数确定源视频和目标视频同步点的步骤。2.根据权利要求1所述视频同步方法，其特征在于，所述步骤c中的所述滑动窗口大小为所述参考帧前后125帧。3.根据权利要求1所述视频同步方法，其特征在于，所述步骤f为：步骤f，重复步骤c...

【专利技术属性】
技术研发人员：陈志强，陈立德，顾樑，熊己兴，
申请(专利权)人：无锡风格软件有限公司，上海风格信息技术股份有限公司，上海风格软件有限公司，
类型：发明
国别省市：