确定图像相似度的方法、视频场景切换识别方法及装置制造方法及图纸

本发明专利技术实施例提供了一种确定图像相似度的方法、视频场景切换识别方法及装置，其中，所述确定图像相似度的方法包括：将获取的视频数据中的本帧图像的第一特征点集，与对比帧图像的第二特征点集之间相匹配的特征点，作为关联特征点对集；获取第一特征点集与第二特征点集之间不匹配的特征点的预设相似度；基于关联特征点对集的总数和关联特征点对集的欧式距离，计算关联特征点对集的相似度；关联特征点对集的相似度分别与关联特征点对集的数量呈正相关，与关联特征点对集的欧式距离呈负相关；将预设相似度与关联特征点对集的相似度的加权平均值，确定为本帧图像和对比帧图像之间的全局特征相似度。

Method of Determining Image Similarity, Method and Device of Video Scene Switching Recognition

The embodiment of the present invention provides a method for determining image similarity, a method and a device for video scene switching recognition, in which the method for determining image similarity includes: matching the first feature point set of the frame image in the acquired video data with the second feature point set of the contrast frame image as a pair of associated feature points; The presupposed similarity of feature points that do not match the set of second feature points is calculated based on the total number of correlation feature points and the Euclidean distance of correlation feature point pairs. The similarity of correlation feature point pairs is positively correlated with the number of correlation feature point pairs and negatively correlated with the Euclidean distance of correlation feature point pairs. The weighted average of degree and similarity of correlation feature point pairs is used to determine the global feature similarity between the local image and the contrast image.

【技术实现步骤摘要】
确定图像相似度的方法、视频场景切换识别方法及装置
本专利技术涉及视频处理
，特别是涉及一种确定图像相似度的方法、视频场景切换识别方法及装置。
技术介绍
随着多媒体信息数据的发展，目前影视剧等视频数据在制作过程中，会将不同场景的不同摄影角度的视频片段进行组合，运用不同镜头语言表达不同的情绪和传递多样关系。在制作过程中，往往需要对不同场景的视频片段进行分割，对不同场景的视频片段配置不同的颜色修复参数，比如，在老电影的修复项目中需要对不同场景的视频片段配置不同的颜色修复参数，这样就需要识别出视频的场景切换。目前相关技术中的确定图像相似度的方法，主要步骤包括：通过将视频数据相邻两帧图像进行整帧比较，如果相邻两视频帧的场景变化率超过预设阈值，则认为视频场景切换。比如，某发言人在户外发言，期间发言人不变，但是由于在户外，有不停走动的人群及车辆等变化因素，这样移动的背景会不断变化，相邻两视频帧的场景变化率可能很高，相当于与发言人不相干的变化因素，对视频场景切换造成较大的影响。而实际上发言人的场景并没有变化，因此，在识别视频场景切换过程中，使用这些与发言人不相干的变化因素增大场景变化率，使得相邻两视频帧的场景变化率与实际场景的场景变化率存在较大差异。
技术实现思路
本专利技术实施例的目的在于提供一种确定图像相似度的方法、视频场景切换识别方法及装置，用以解决现有技术中相邻两视频帧的场景变化率与实际场景的场景变化率存在较大差异的技术问题。具体技术方案如下：第一方面，本专利技术实施提供了一种确定图像相似度的方法，所述方法包括：获取视频数据中本帧图像的第一特征点集，与所述视频数据中对比帧图像的第二特征点集之间相匹配的特征点，并将所述第一特征点集与所述第二特征点集相匹配的特征点，作为关联特征点对集，所述对比帧图像与所述本帧图像属于不同帧的图像；获取所述第一特征点集与所述第二特征点集之间不匹配的特征点的预设相似度，所述预设相似度为最小相似度；基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，计算所述关联特征点对集的相似度，所述关联特征点对集的相似度与所述关联特征点对集的数量呈正相关，所述关联特征点对集的相似度与所述关联特征点对集的欧式距离呈负相关；将所述预设相似度与所述关联特征点对集的相似度的加权平均值，确定为所述本帧图像和所述对比帧图像之间的全局特征相似度。进一步的，所述获取视频数据中本帧图像的第一特征点集，与所述视频数据中对比帧图像的第二特征点集之间相匹配的特征点，并将所述第一特征点集与所述第二特征点集相匹配的特征点，作为关联特征点对集，包括：对所述本帧图像进行均匀区块划分，得到两个以上第一区块；对所述第一区块进行特征提取，得到所述第一区块中的特征点集；将所述第一区块中的特征点集作为第一特征点集；对所述对比帧图像进行均匀区块划分，得到各第一区块对应的第二区块；对各第一区块对应的第二区块进行特征提取，得到各第一区块对应的第二区块的特征点集；将所述各第一区块对应的第二区块的特征点集作为第二特征点集；将各第一区块中第一特征点集与所述第一区块对应的第二区块中第二特征点集进行匹配，得到各第一区块中第一特征点集与所述第一区块对应的第二区块中第二特征点集相匹配的特征点；将各第一区块中第一特征点集与所述第一区块对应的第二区块中第二特征点集相匹配的特征点，作为关联特征点对集。进一步的，所述基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，计算所述关联特征点对集的相似度，包括：基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，利用预设相似度计算公式，计算所述关联特征点对集的相似度，其中，所述预设相似度计算公式中包含第一调整系数和第二调整系数，所述第一调整系数用于调整所述关联特征点对集的相似度与所述关联特征点对集的数量呈正相关，所述第二调整系数用于调整所述关联特征点对集的相似度与所述关联特征点对集的欧式距离呈负相关。进一步的，所述预设相似度计算公式为式中，所述sij表示第i行第j列的第一区块以及所述第一区块对应的第二区块的相似度，所述为映射函数，所述映射函数用于将映射到[0，1]的取值范围内，使得sij处于[0,1]的取值范围内，l表示所述关联特征点对集的总数，k表示关联特征点对的序号，1≤k≤l，所述l表示所述关联特征点对集的总数，P表示所述关联特征点对集，A表示由本帧图像生成的numpy矩阵中的第一区块，B表示由对比帧图像生成的numpy矩阵中的第二区块，表示所述本帧图像生成的numpy矩阵以及对比帧图像生成的numpy矩阵的第k关联特征点对，表示第k关联特征点对中位于本帧图像生成的numpy矩阵中的特征点；表示第k关联特征点对中位于对比帧图像生成的numpy矩阵中的特征点，所述x表示特征点的水平坐标，所述y表示特征点的垂直坐标，(x，y)表示关联特征点对集中的任一关联特征点对，所述i表示行的序号，表示的取值范围为到并且i取的值，不取的值，j表示列的序号，表示的取值范围为到并且j取的值，不取的值，所述h为图像的高，所述w为图像的宽，所述h为图像的横向划分个数，所述wb为图像的纵向划分个数，所述Aij表示由所述本帧图像生成的numpy矩阵中第i行j列的第一区块，所述Bij表示由所述对比帧图像生成的numpy矩阵中第i行j列第一区块对应的第二区块，Θ表示所述第二调整系数，0<<1，τ表示所述第一调整系数，0<<1。进一步的，所述将所述预设相似度与所述关联特征点对集的相似度的加权平均值，确定为所述本帧图像和所述对比帧图像之间的全局特征相似度，包括：针对每个第一区块和所述第一区块对应的第二区块，将所有预设相似度和所有关联特征点对集之和，确定为所述第一区块和所述第一区块对应的第二区块之间的相似度；将所述第一区块和所述第一区块对应的第二区块之间的相似度，作为区块匹配相似度；针对所有第一区块和所述第一区块对应的第二区块，将所有区块匹配相似度加权平均值，作为所述本帧图像和所述对比帧图像之间的全局特征相似度。进一步的，采用如下公式，将所述预设相似度与所述关联特征点对集的相似度的加权平均值，确定为所述本帧图像和所述对比帧图像之间的全局特征相似度：其中，s为所述本帧图像和所述对比帧图像之间的全局特征相似度，所述为映射函数，为图像的纵向划分个数，h为图像的横向划分个数，1≤i≤wb，1≤j≤hb，所述sij表示第i行第j列的第一区块以及所述第一区块对应的第二区块的相似度。第二方面，本专利技术实施提供了一种视频场景切换识别方法，所述方法包括：获取视频数据中本帧图像的第一特征点集，与所述视频数据中对比帧图像的第二特征点集之间相匹配的特征点，并将所述第一特征点集与所述第二特征点集相匹配的特征点，作为关联特征点对集，所述对比帧图像与所述本帧图像属于不同帧的图像；获取所述第一特征点集与所述第二特征点集之间不匹配的特征点的预设相似度，所述预设相似度为最小相似度；基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，计算所述关联特征点对集的相似度，所述关联特征点对集的相似度与所述关联特征点对集的数量呈正相关，所述关联特征点对集的相似度与所述关联特征点对集的欧式距离呈负相关；将所述预设相似度与所述关联特征点对集的相似度的加本文档来自技高网...

【技术保护点】
1.一种确定图像相似度的方法，其特征在于，所述方法包括：获取视频数据中本帧图像的第一特征点集，与所述视频数据中对比帧图像的第二特征点集之间相匹配的特征点，并将所述第一特征点集与所述第二特征点集相匹配的特征点，作为关联特征点对集，所述对比帧图像与所述本帧图像属于不同帧的图像；获取所述第一特征点集与所述第二特征点集之间不匹配的特征点的预设相似度，所述预设相似度为最小相似度；基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，计算所述关联特征点对集的相似度，所述关联特征点对集的相似度与所述关联特征点对集的数量呈正相关，所述关联特征点对集的相似度与所述关联特征点对集的欧式距离呈负相关；将所述预设相似度与所述关联特征点对集的相似度的加权平均值，确定为所述本帧图像和所述对比帧图像之间的全局特征相似度。

【技术特征摘要】
1.一种确定图像相似度的方法，其特征在于，所述方法包括：获取视频数据中本帧图像的第一特征点集，与所述视频数据中对比帧图像的第二特征点集之间相匹配的特征点，并将所述第一特征点集与所述第二特征点集相匹配的特征点，作为关联特征点对集，所述对比帧图像与所述本帧图像属于不同帧的图像；获取所述第一特征点集与所述第二特征点集之间不匹配的特征点的预设相似度，所述预设相似度为最小相似度；基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，计算所述关联特征点对集的相似度，所述关联特征点对集的相似度与所述关联特征点对集的数量呈正相关，所述关联特征点对集的相似度与所述关联特征点对集的欧式距离呈负相关；将所述预设相似度与所述关联特征点对集的相似度的加权平均值，确定为所述本帧图像和所述对比帧图像之间的全局特征相似度。2.如权利要求1所述的方法，其特征在于，所述获取视频数据中本帧图像的第一特征点集，与所述视频数据中对比帧图像的第二特征点集之间相匹配的特征点，并将所述第一特征点集与所述第二特征点集相匹配的特征点，作为关联特征点对集，包括：对所述本帧图像进行均匀区块划分，得到两个以上第一区块；对所述第一区块进行特征提取，得到所述第一区块中的特征点集；将所述第一区块中的特征点集作为第一特征点集；对所述对比帧图像进行均匀区块划分，得到各第一区块对应的第二区块；对各第一区块对应的第二区块进行特征提取，得到各第一区块对应的第二区块的特征点集；将所述各第一区块对应的第二区块的特征点集作为第二特征点集；将各第一区块中第一特征点集与所述第一区块对应的第二区块中第二特征点集进行匹配，得到各第一区块中第一特征点集与所述第一区块对应的第二区块中第二特征点集相匹配的特征点；将各第一区块中第一特征点集与所述第一区块对应的第二区块中第二特征点集相匹配的特征点，作为关联特征点对集。3.如权利要求2所述的方法，其特征在于，所述基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，计算所述关联特征点对集的相似度，包括：基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，利用预设相似度计算公式，计算所述关联特征点对集的相似度，其中，所述预设相似度计算公式中包含第一调整系数和第二调整系数，所述第一调整系数用于调整所述关联特征点对集的相似度与所述关联特征点对集的数量呈正相关，所述第二调整系数用于调整所述关联特征点对集的相似度与所述关联特征点对集的欧式距离呈负相关。4.如权利要求3所述的方法，其特征在于，所述预设相似度计算公式为式中，所述sij表示第i行第j列的第一区块以及所述第一区块对应的第二区块的相似度，所述为映射函数，所述映射函数用于将映射到[0，1]的取值范围内，使得sij处于[0,1]的取值范围内，l表示所述关联特征点对集的总数，k表示关联特征点对的序号，1≤k≤l，所述l表示所述关联特征点对集的总数，P表示所述关联特征点对集，A表示由本帧图像生成的numpy矩阵中的第一区块，B表示由对比帧图像生成的numpy矩阵中的第二区块，表示所述本帧图像生成的numpy矩阵以及对比帧图像生成的numpy矩阵的第k关联特征点对，表示第k关联特征点对中位于本帧图像生成的numpy矩阵中的特征点；表示第k关联特征点对中位于对比帧图像生成的numpy矩阵中的特征点，所述x表示特征点的水平坐标，所述y表示特征点的垂直坐标，(x，y)表示关联特征点对集中的任一关联特征点对，所述i表示行的序号，表示i的取值范围为到并且i取的值，不取的值，j表示列的序号，表示j的取值范围为到并且j取的值，不取的值，所述h为图像的高，所述w为图像的宽，所述hb为图像的横向划分个数，所述wb为图像的纵向划分个数，所述Aij表示由所述本帧图像生成的numpy矩阵A中第i行j列的第一区块，所述Bij表示由所述对比帧图像生成的numpy矩阵B中第i行j列第一区块对应的第二区块，Θ表示所述第二调整系数，0<Θ<1，τ表示所述第一调整系数，0<τ<1。5.如权利要求2所述的方法，其特征在于，所述将所述预设相似度与所述关联特征点对集的相似度的加权平均值，确定为所述本帧图像和所述对比帧图像之间的全局特征相似度，包括：针对每个第一区块和所述第一区块对应的第二区块，将所有预设相似度和所有关联特征点对集之和，确定为所述第一区块和所述第一区块对应的第二区块之间的相似度；将所述第一区块和所述第一区块对应的第二区块之间的相似度，作为区块匹配相似度；针对所有第一区块和所述第一区块对应的第二区块，将所有区块匹配相似度加权平均值，作为所述本帧图像和所述对比帧图像之间的全局特征相似度。6.如权利要求2或5所述的方法，其特征在于，采用如下公式，将所述预设相似度与所述关联特征点对集的相似度的加权平均值，确定为所述本帧图像和所述对比帧图像之间的全局特征相似度：其中，S为所述本帧图像和所述对比帧图像之间的全局特征相似度，所述为映射函数，wb为图像的纵向划分个数，hb为图像的横向划分个数，1≤i≤wb，1≤j≤hb，所述sij表示第i行第j列的第一区块以及所述第一区块对应的第二区块的相似度。7.一种视频场景切换识别方法，其特征在于，所述方法包括：获取视频数据中本帧图像的第一特征点集，与所述视频数据中对比帧图像的第二特征点集之间相匹配的特征点，并将所述第一特征点集与所述第二特征点集相匹配的特征点，作为关联特征点对集，所述对比帧图像与所述本帧图像属于不同帧的图像；获取所述第一特征点集与所述第二特征点集之间不匹配的特征点的预设相似度，所述预设相似度为最小相似度；基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，计算所述关联特征点对集的相似度，所述关联特征点对集的相似度与所述关联特征点对集的数量呈正相关，所述关联特征点对集的相似度与所述关联特征点对集的欧式距离呈负相关；将所述预设相似度与所述关联特征点对集的相似度的加权平均值，确定为所述本帧图像和所述对比帧图像之间的全局特征相似度；如果所述全局特征相似度小于预设值，则识别出所述本帧图像相对于所述对比帧图像发生视频场景切换。8.如权利要求7所述的方法，其特征在于，所述获取视频数据中本帧图像的第一特征点集，与所述视频数据中对比帧图像的第二特征点集之间相匹配的特征点，并将所述第一特征点集与所述第二特征点集相匹配的特征点，作为关联特征点对集，包括：对所述本帧图像进行均匀区块划分，得到两个以上第一区块；对所述第一区块进行特征提取，得到所述第一区块中的特征点集；将所述第一区块中的特征点集作为第一特征点集；对所述对比帧图像进行均匀区块划分，得到各第一区块对应的第二区块；对各第一区块对应的第二区块进行特征提取，得到各第一区块对应的第二区块的特征点集；将所述各第一区块对应的第二区块的特征点集作为第二特征点集；将各第一区块中第一特征点集与所述第一区块对应的第二区块中第二特征点集进行匹配，得到各第一区块中第一特征点集与所述第一区块对应的第二区块中第二特征点集相匹配的特征点；将各第一区块中第一特征点集与所述第一区块对应的第二区块中第二特征点集相匹配的特征点，作为关联特征点对集。9.如权利要求8所述的方法，其特征在于，所述基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，计算所述关联特征点对集的相似度，包括：基于所述关联特征点对集的总数和所述关联特征点对集的欧式距离，利用预设相似度计算公式，计算所述关联特征点对集的相似度，其中，所述预设相似度计算公式中包含第一调整系数和第二调整系数，所述第一调整系数用于调整所述关联特征点对集的相似度与所述关联特征点对集的数量呈正相关，所述第二调整系数用于调整所述关联特征点对集的相似度与所述关联特征点对集的欧式距离呈负相关。10.如权利要求9所述的方法，其特征在于，所述预设相似度计算公式为式中，所述sij表示第i行第j列的第一区块以及所述第一区块对应的第二区块的相似度，所述为映射函数，所述映射函数用于将映射到[0，1]的取值范围内，使得sij处于[0,1]的取值范围内，l表示所述关联特征点对集的总数，k表示关联特征点对的序号，1≤k≤l，所述l表示所述关联特征点对集的总数，P表示所述关联特征点对集，A表示由本帧图像生成的numpy矩阵，B表示由对比帧图像生成的numpy矩阵，表示所述本帧图像生成的numpy矩阵以及对比帧图像生成的numpy矩阵的第k关联特征点...

【专利技术属性】
技术研发人员：刘思阳，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11