【技术实现步骤摘要】
视频结构对齐方法和系统
本专利技术实施例涉及图像处理
，更具体地，涉及一种视频结构对齐方法和系统。
技术介绍
视频匹配技术是计算机图形学领域非常重要的工具，能够帮助用户快速检索符合需要的视频内容。自2002年视频时空对齐被提出以来，视频匹配技术被广泛研究，但已有技术基于局部特征匹配或者颜色匹配，用于快速检索完全相同或视觉相似的场景的视频内容，如VideoSnapping系统，能够基于时间线上部分场景匹配的时间区间，预测出未匹配场景时间区间内的对齐。然而，不同的场景间的视频对齐是一项挑战，其原因在于：首先，不同场景间的视频内容不存在鲁棒的局部特征供匹配；其次，不同的场景间的视频的匹配需要满足视觉上的结构信息对齐。图像的边缘检测是计算机视觉和图形学领域的基础问题。自1983年Sobel算子和1986年Canny边缘检测算法提出以来，大量工作相继被提出，如统计边缘方法和gPb方法。近年随着深度学习技术的发展，一些基于卷积神经网络的方法被提出，例如基于N4域的边缘检测和整体嵌套的边缘检测等。然而，对于从视频中如何提取显著边缘以实现不同的场景间的视频结构对齐，已有工作...
【技术保护点】
1.一种视频结构对齐方法，其特征在于，包括：将两个输入视频中任一输入视频的结构边缘信息图和所述任一输入视频的梯度信息图融合，获取所述任一输入视频的显著性边缘特征图；对所述任一输入视频的显著性边缘特征图进行时间维度和空间维度的降采样，构建所述任一输入视频的显著性边缘特征图层，其中，所述显著性边缘特征图层自顶层到底层分辨率逐层升高；基于相关性的匹配度量对所述两个输入视频的显著性边缘特征图层进行匹配，获取预设个数的对齐结果，并选择所述预设个数的对齐结果中的任一对齐结果进行视频结构的对齐。
【技术特征摘要】
1.一种视频结构对齐方法，其特征在于，包括：将两个输入视频中任一输入视频的结构边缘信息图和所述任一输入视频的梯度信息图融合，获取所述任一输入视频的显著性边缘特征图；对所述任一输入视频的显著性边缘特征图进行时间维度和空间维度的降采样，构建所述任一输入视频的显著性边缘特征图层，其中，所述显著性边缘特征图层自顶层到底层分辨率逐层升高；基于相关性的匹配度量对所述两个输入视频的显著性边缘特征图层进行匹配，获取预设个数的对齐结果，并选择所述预设个数的对齐结果中的任一对齐结果进行视频结构的对齐。2.根据权利要求1所述的对齐方法，其特征在于，所述将两个输入视频中任一输入视频的结构边缘信息图和所述任一输入视频的梯度信息图融合，获取所述任一输入视频的显著性边缘特征图，具体包括：获取所述两个输入视频中任一输入视频的二值化的结构边缘信息图；将所述任一输入视频的二值化的结构边缘信息图和所述任一输入视频的梯度信息图融合，获取所述任一输入视频的显著性边缘特征图；其中，若所述二值化的结构边缘信息图中的任一像素属于结构边缘，则为所述任一像素赋予二值中的第一值，若所述二值化的结构边缘信息图中的任一像素不属于结构边缘，则为所述任一像素赋予二值中的第二值。3.根据权利要求2所述的对齐方法，其特征在于，所述获取所述两个输入视频中任一输入视频的二值化的结构边缘信息图，具体包括：通过基于L0平滑的保持边缘图像滤波器，对所述两个输入视频中任一输入视频的每一帧进行平滑，获取平滑后的任一输入视频；通过三维均值平移算法计算获得所述平滑后的任一输入视频的结构边缘，并基于所述平滑后的任一输入视频的结构边缘获取所述任一输入视频的二值化的结构边缘信息图。4.根据权利要求1所述的对齐方法，其特征在于，所述对所述任一输入视频的显著性边缘特征图进行时间维度和空间维度的降采样，构建所述任一输入视频的显著性边缘特征图层，具体包括：对所述任一输入视频的显著性边缘特征图在时间维度降采样到每秒预设帧数，并且，对所述任一输入视频的显著性边缘特征图在在空间维度构建预设层数的特征金字塔；基于在时间维度降采样到每秒预设帧数，以及在空间维度构建预设层数的特征金字塔的所述任一输入视频的显著性边缘特征图，获取所述任一输入视频的显著性边缘特征图层。5.根据权利要求1所述的对齐方法，其特征在于，所述基于相关性的匹...
【专利技术属性】
技术研发人员：胡事民，汪淼，方晓楠，杨国炜，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。