一种基于图像分类的全自动视频分割方法及装置制造方法及图纸

本发明专利技术公开了一种基于图像分类的全自动视频分割方法，包括如下步骤：输入视频图像，检测任意两帧图像的特征点，并对特征点进行匹配；利用多组匹配的特征点对估计视频图像中的每个运动层的平面单应矩阵；对视频图像进行颜色过分割；利用每个运动层的平面单应矩阵对多个图像过分割区域进行分类；获取视频图像中的物体的边缘以及内部点；选取邻近未知点的前景样本点和背景样本点，对前景样本点、背景样本点和未知点进行标记，对未知点进行分类以得到物体的优化边缘。本发明专利技术还公开了一种基于图像分类的全自动视频分割装置。本发明专利技术可以有效地处理视频帧间存在的大运动的场景，并且能够全自动的得到精确的视频分割结果。

【技术实现步骤摘要】

本专利技术涉及运动分割和图像分类
，特别涉及一种基于图像分类的全自动视频分割方法及装置。
技术介绍
运动分割在图像内容识别、图像编码与传输和平面视频转立体视频等领域中具有很重要的位置。传统的运动分割分为两类第一类为半自动运动分割方法，该类方法需要少量的人工输入，由于预先指定了部分先验信息，使得分割结果比较准确，但是人工输入的工作量太大，很多时候不适用；第二类为全自动分割方法，该类方法完全依赖视频本身的信息，因此，对于运动信息和颜色信息不够多的场景，得不到比较准确的分割结果。在运动分割领域，有些运动分割方法需要至少三帧图像信息才能进行分割，有些运动分割方法只能处理帧间存在小运动的视频。为此提出了一种既能只利用连续两帧图像的信息，又能处理帧间存在大运动的视频的方法。但是上述方法由于运动估计的不准确性， 以及进行逐像素分类，使得分割的精度比较差。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一。为此，本专利技术的第一个目的在于提出一种基于图像分类的全自动视频分割方法， 该方法可以有效地处理视频帧间存在的大运动的场景，并且能够全自动的得到精确的视频分割结果。本专利技术的第二个目的在于提出一种基于图像分类的全自动视频分割装置。为实现上述目的，本专利技术第一方面的实施例提出了一种基于图像分类的全自动视频分割方法，包括如下步骤输入视频图像，检测所述视频图像中的任意两帧图像的特征点，并对所述两帧图像的特征点进行匹配以得到多组匹配特征点对；利用所述多组匹配的特征点对估计所述视频图像中的每个运动层的平面单应矩阵；对所述视频图像进行颜色过分割，得到多个图像过分割区域；利用所述每个运动层的平面单应矩阵对所述多个图像过分割区域进行分类以得到初始分割结果；获取所述视频图像中的物体的边缘以及内部点，将所述物体的边缘的预定区域内的所有点作为未知点，根据所述初始分割结果和所述物体的边缘以及内部点选取邻近所述未知点的前景样本点和背景样本点；和对所述前景样本点、所述背景样本点和所述未知点进行标记，对所述未知点进行分类以得到所述物体的优化边缘。根据本专利技术实施例的基于图像分类的全自动视频分割方法，可以有效地处理视频帧间存在的大运动的场景，并且能够全自动地得到精确的视频分割结果。本专利技术第二方面的实施例提出了一种基于图像分类的全自动视频分割装置，包括匹配模块，所述匹配模块用于输入视频图像，检测所述视频图像中的任意两帧图像的特征点，并对所述两帧图像的特征点进行匹配以得到多组匹配特征点对；平面单应矩阵估计模块，所述平面单应矩阵估计模块与所述匹配模块相连，利用所述多组匹配的特征点对估计所述视频图像中的每个运动层的平面单应矩阵；图像过分割模块，所述图像过分割模块与所述平面单元矩阵估计模块相连，用于对所述视频图像进行颜色过分割，得到多个图像过分割区域；区域分类模块，所述区域分类模块与所述图像过分割模块相连，利用所述每个运动层的平面单应矩阵对所述多个图像过分割区域进行分类以得到初始分割结果；样本点选取模块，所述样本点选取模块与所述区域分类模块相连，用于获取所述视频图像中的物体的边缘以及内部点，将所述物体的边缘的预定区域内的所有点作为未知点，根据所述初始分割结果和所述物体的边缘以及内部点选取邻近所述未知点的前景样本点和背景样本点；边缘获取模块，所述边缘获取模块与所述样本点选取模块相连，用于对所述前景样本点、所述背景样本点和所述未知点进行标记，对所述未知点进行分类以得到所述物体的优化边缘。根据本专利技术实施例的基于图像分类的全自动视频分割装置，可以有效地处理视频帧间存在的大运动的场景，并且能够全自动地得到精确的视频分割结果。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图I为根据本专利技术实施例的基于图像分类的全自动视频分割方法的流程图；图2为根据本专利技术实施例的基于图像分类的全自动视频分割装置的示意图。具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。下面参考图I描述根据本专利技术实施例的基于图像分类的全自动视频分割方法。如图I所示，本专利技术实施例提供的基于图像分类的全自动视频分割方法，包括如下步骤SlOl :输入视频图像，对特征点进行检测和匹配。首先，输入视频图像，然后检测视频图像中的任意两帧图像的特征点，并对两帧图像的特征点进行匹配以得到多组匹配特征点对。在本专利技术的一个实施例中，采用尺度不变特征变换(Scale-invariant feature transform, SIFT)算子来检测视频图像中的任意两巾贞图像的特征点，具体包括如下步骤 首先分别检测视频图像中的任意两帧图像的特征点；然后对两帧图像中的一帧的特征点与另一帧的特征点的8个邻域像素点进行颜色相似度比较，在8个邻域像素点中选择相似度最高的像素点作为两帧图像中的一帧的特征点的初始匹配特征点；对另一帧的特征点与初始匹配特征点的8个邻域像素点进行颜色相似度比较，选择相似度最高的像素点作为另一帧的特征点的初始匹配特征点；根据上述运算得到的两帧图像中每帧的特征点的初始匹配特征点，得到多组匹配特征点对。对视频的两帧图像进行特征点检测与匹配是为了利用视频中的运动信息。而采用尺度不变特征变换SIFT算子进行特征点测试是因为该算子在检测特征点时能精确到子像素级别，即使视频存在旋转、模糊、尺寸变化和亮度变化，尺度不变特征变换SIFT算子检测的鲁棒性和区分性也很高。S102 :估计平面单应矩阵。在本步骤中，利用多组匹配的特征点对估计视频图像中的每个运动层的平面单应矩阵。在本专利技术的一个实施例中，采用如下步骤估计平面单应矩阵首先利用步骤SlOl得到的每组匹配特征点对以及与当前匹配特征点对距离最近的第一预定数量的特征点进行单应矩阵估计，得到多个初始平面单应矩阵。在本专利技术的一个实施例中，第一预定数量为5组。换言之，选取与当前匹配特征点距离最近的5组特征点。由于在上述平面单应矩阵中，有些是由不属于同一物体的特征点对估计出的，有些属于同一物体的特征点对会估计出若干平面单应矩阵，在这些平面单应矩阵中，有很多都是错误的和不准确的，需要删除上述错误和不准确的平面单应矩阵，从而得到对图像各运动层进行描述的平面单应矩阵。具体而言，多个初始平面单应矩阵进行筛选，得到视频图像中的每个运动层的平面单应矩阵。在本专利技术的一个实施例中，采用如下步骤筛选多个初始平面单应矩阵将每个初始平面单应矩阵对应的特征点对的数量与特征点对数量阈值进行比较，当每个初始平面单应矩阵对应的特征点对的数量大于特征点对数量阈值时，则保留所述始平面单应矩阵，否则删除所述初始平面单应矩阵。本步骤是为了通过视频中特征点的运动大致估计出视频中各物体的运动，并能采用一定的参数模型对物体的运动进行描述。S103:颜色过分割。采用meanshift颜色分割方法对输入的视频图像进行颜色过分割，以得到多个图像过分割区域。在本专利技术的一个实施例中，首先扫描整幅视频图像本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：戴琼海，闫友为，杨铀，
申请(专利权)人：清华大学，
类型：发明
国别省市：