视频序列对齐方法和系统技术方案

本发明专利技术涉及一种视频序列对齐方法和系统，方法包括以下步骤：从待对齐的视频序列中抓取无场景切换的视频片段；分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。

Video sequence alignment method and system

The present invention relates to a video sequence alignment method and system. The method comprises the following steps: from capture video sequences to be aligned in the scene change video clips; respectively, each video frame in the video segment divided into several sub blocks, according to each video frame block generates a video sequence; the the video sequence is input to the scene category classifier training in advance, calculated the probability of the video sequence to each scene category, will be the largest probability values for the scene category of video clips is the first scene categories; the first category belongs to the scene video footage of the original video sequence of the video fragment with pre stored in alignment.

【技术实现步骤摘要】

本专利技术涉及信号检测
，特别是涉及一种视频序列对齐方法和系统。
技术介绍
显示设备是一种可输出图像或感触信息的设备。为了保证显示设备正常工作，通常需要对显示设备的一些性能参数进行检测。以电视机为例，电视机的主板灵敏度是电视机的一个重要性能性能参数。现有的检测电视机主板灵敏度的方案是：利用原始的视频信号作为参考，将待检测的视频信号与原始视频信号进行对齐，将对齐后的视频信号的信号强度调整为经所述显示设备输出后无马赛克效应与出现马赛克效应之间的临界信号强度，并根据该信号强度确定所述显示设备的性能参数。然而，这种方式需要花费较多的时间进行视频信号对齐，导致信号处理效率较低。
技术实现思路
基于此，有必要针对信号处理效率较低的问题，提供一种视频序列对齐方法和系统。一种视频序列对齐方法，包括以下步骤：从待对齐的视频序列中抓取无场景切换的视频片段；分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。一种视频序列对齐系统，包括：视频抓取模块，用于从待对齐的视频序列中抓取无场景切换的视频片段；序列生成模块，用于分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；计算模块，用于将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；对齐模块，用于将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。上述视频序列对齐方法和系统，从待对齐的视频序列中抓取无场景切换的视频片段，分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别，将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐，通过先进行粗对齐找到原始视频序列中属于所述第一场景类别的视频片段，再将待对齐的视频序列与所述第一场景类别的视频片段进行精对齐，能够有效减少视频对齐的时间，提高视频对齐的效率。附图说明图1为一个实施例的视频序列对齐方法流程图；图2为一个实施例的原始视频序列按场景分类示意图；图3为一个实施例的深度卷积网络结构示意图；图4为一个实施例的视频序列对齐系统的结构示意图。具体实施方式下面结合附图对本专利技术的技术方案进行说明。如图1所示，本专利技术提供一种视频序列对齐方法，可包括以下步骤：S1，从待对齐的视频序列中抓取无场景切换的视频片段；其中，所述视频序列的长度应满足一定的时间代价约束条件，所述时间代价约束条件用于表征视频序列对齐操作花费的时间。一般来说，视频序列的长度越长，对齐过程花费的时间越长。为了满足上述约束条件，一般抓取一段较短的视频片段(例如长度为1秒的视频片段)。通过设置时间代价约束条件，能够提高对齐结果的实时性，缩短用户等待时间，提高用户体验。抓取视频片段后，需要对抓取的视频片段进行判断，若不符合条件，则重新抓取。判断的基本原理是：尽量保持获取的视频片段前后变化小，无场景切换等。可采用累积的帧间误差作为评判标准，累积的帧间误差为：式中，f(zi)为第i个视频帧的特征(例如分区域的颜色直方图)，f(zi-1)为第i-1个视频帧的特征，||·||为距离度量函数(例如，L2距离度量函数)，T为预设的距离阈值，n为所述待对齐的视频序列中的视频片段的总数。若不满足上述条件，则需要重新抓取视频片段。一般来说，1秒内的视频片段很容易满足上述条件，因此不会过多地重复采集。无场景切换表示视频内容基本一致，有利于分类。S2，分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；假设步骤S1中抓取到的视频片段为Z＝[z0,z1,...zn]，其中，zi(i＝1,2,…,n)为第i个视频帧，若每个视频帧中包括K个子块，在本步骤中，可以生成如下视频片段序列：S3，将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；其中，所述概率值可以根据如下公式计算：式中，表示所述视频片段序列的第i个视频帧中的第k个子块，Yj表示所述原始视频序列中属于第j场景类别的视频片段，为所述视频片段序列中的子块属于第j场景类别的概率值，p(Yj/Z)为所述视频片段序列属于第j场景类别的概率值，K为所述视频片段序列的一个视频帧中子块的总数，∏表示乘法操作。所述场景类别分类器可以在执行对齐操作之前预先训练。训练场景分类器的方式可包括以下步骤：步骤1，获取视频序列样本，将所述视频序列样本按场景划分为多个场景类别；视频序列中，若场景不进行切换，则相邻图像相似度极高。因此可以将视频序列样本按场景划分为较粗的类别，并保持时间先后关系。在粗定位时，只需确定当前视频片段与哪一个类别最为相似即可。具体分类描述如下：设视频序列样本为Y＝[y1,y2,...ym]，m为视频序列样本中的视频帧的总数。按场景划分为多个类别，如图2所示。图2中，Yl为视频序列样本中的第l个视频片段，每个视频片段包括若干个视频帧。可以预先在场景边界做标注，根据该标注信息进行场景划分(一般原始视频序列20-30分钟，标注量不大，并且是一次性工作)，也可以采用典型的帧间累积误差自动进行场景分类：累积的帧间误差为：其中，f(yi)表示第i个视频帧的特征表示(例如分区域的颜色直方图)，||·||是距离度量函数。若d(Y)小于设置的阈值，则将当前相邻图像划分为同一个类别；后续未划分的序列则重复上述划分过程即可。步骤2，分别将各个场景类别的视频序列样本划分为若干个样本子块；其中，所述视频序列样本中包括非重叠的样本子块；针对每个场景类别中每个图像样本，进行非重叠的子块划分(也可以带重叠，但应包括非重叠划分的特例)，构建立出更为精细的小图(例如256*256，若非重叠划分不能整除256时，可以在最右侧划分时采用重叠划分)，进行训练深度卷积网络。一般学习策略，用的样本越多越好，非重叠下，采用的样本是最少的，不能再少了，并且它们之间没有重叠。而有重叠的划分，需要包括非重叠的特例，否则失去了一般性。这样做的好处有：1)样本数量增多，有利于深度卷积网络训练；2)样本图像尺寸变小，可以有效地减少深度神经网络中全连接层的数量，复杂度降低。例如：每个原始样本图像yi，经过子块划分后，可以得到K+1个子块图像步骤3，根据所述样本子块及其所属的场景类别对深度卷积网络进行训练，得到场景类别分类器。利用收集的场景类别样本图(即子块图像)及其标注(子块图像对应的场景类别)，对深度卷积网络进行训练，得到分类器，如图3所示。本专利技术采用的深度卷积网络包括五个卷积层(ConvolutionalLayer)，每个卷积层的输出都经过ReLU(RectifiedL本文档来自技高网...

【技术保护点】
一种视频序列对齐方法，其特征在于，包括以下步骤：从待对齐的视频序列中抓取无场景切换的视频片段；分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。

【技术特征摘要】
1.一种视频序列对齐方法，其特征在于，包括以下步骤：从待对齐的视频序列中抓取无场景切换的视频片段；分别将所述视频片段中的各个视频帧划分为若干个子块，根据各个视频帧的子块生成视频片段序列；将所述视频片段序列输入至预先训练的场景类别分类器，分别计算所述视频片段序列属于各个场景类别的概率值，将概率值最大的场景类别设为所述视频片段所属的第一场景类别；将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐。2.根据权利要求1所述的视频序列对齐方法，其特征在于，在将所述视频序列输入至预先训练的场景类别分类器之前，还包括以下步骤：获取视频序列样本，将所述视频序列样本按场景划分为多个场景类别；分别将各个场景类别的视频序列样本划分为若干个样本子块；其中，所述视频序列样本中包括非重叠的样本子块；根据所述样本子块及其所属的场景类别对深度卷积网络进行训练，得到场景类别分类器。3.根据权利要求1所述的视频序列对齐方法，其特征在于，还包括以下步骤：若所述视频片段满足如下条件，判定所述视频片段无场景切换：Σi=1n||f(zi)-f(zi-1)||≤T;]]>式中，f(zi)为第i个视频帧的特征，f(zi-1)为第i-1个视频帧的特征，||·||为距离度量函数，T为预设的距离阈值，n为所述待对齐的视频序列中的视频片段的总数。4.根据权利要求1所述的视频序列对齐方法，其特征在于，分别计算所述视频片段序列属于各个场景类别的概率值的步骤包括：根据如下公式计算所述视频片段序列属于各个场景类别的概率值：p(Yj/Z)=p(Yj/z00,...z0K,z10,...z1K,...,zn0,...znK)=Πi,kp(Yj/zik);]]>式中，表示所述视频片段序列的第i个视频帧中的第k个子块，Yj表示所述原始视频序列中属于第j场景类别的视频片段，为所述视频片段序列中的子块属于第j场景类别的概率值，p(Yj/Z)为所述视频片段序列属于第j场景类别的概率值，K为所述视频片段序列的一个视频帧中子块的总数。5.根据权利要求1所述的视频序列对齐方法，其特征在于，将所述视频片段与预存的原始视频序列中属于所述第一场景类别的视频片段进行对齐的步骤包括：根据如下公式将所述视频片段与原始视频序列中属于所述第一场景类别的视频片段进行对齐：Q=argminqd(Z,YJ)=argminqΣi=0nd(zi,yq+i);]]>其中，YJ＝[yu-n,yu-n+1,...yv+n]；式中，Q表示所述视频片段与原始视频序列的最佳对齐位置，d(·)为距离度量函数，Z为所述视频片段，zi为Z中的第i个视频帧，Yj＝[yu,yu+1,...yv]表示所述原始视频序列中属于第j场景类别的视频片段，yi为Yj中的第i个视频帧，yu-i(i＝1,2,…,n)为y0前i时刻的视频帧，yv+i(i＝1,2,…,n)为yn后i时刻的视频帧，...

【专利技术属性】
技术研发人员：雷延强，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：广东;44