用于立体匹配的方法和设备技术

提供一种用于立体匹配的方法和设备。一种立体匹配方法包括：基于第一图像的边缘检测获得检测信息；基于检测信息确定边缘线和特征点；从边缘线和特征点采样参考像素；确定以参考像素作为顶点的多边形；基于参考像素的视差预测包括所述多边形内的像素的视差的搜索范围；基于搜索范围执行所述像素的立体匹配。

【技术实现步骤摘要】
用于立体匹配的方法和设备本申请要求于2016年11月29日在韩国知识产权局提交的第10-2016-0160579号韩国专利申请的权益，所述韩国专利申请的全部公开为了所有目的通过引用合并于此。
以下描述涉及一种用于立体匹配(stereomatching)的方法和设备。
技术介绍
人类可通过将在不同位置获得的两个图像进行适当匹配来识别距离。在计算机视觉领域，立体匹配用于将人类的距离提取能力自动化。立体匹配包括左图像和右图像。左图像和右图像被对准，以得到合适的立体效果。通过立体匹配，对应的配对从对准的立体图像被提取。对应的配对的视差(disparity)用于获得深度信息。
技术实现思路
提供该
技术实现思路
用于以简化的形式介绍对在以下的具体实施方式中进一步描述的构思的选择。该
技术实现思路
不意在识别要求保护的主题的关键特征或本质特征，也不意在用于帮助确定要求保护的主题的范围。在一个总体方面，提供一种立体匹配方法，包括：基于第一图像的边缘检测获得检测信息；基于检测信息确定边缘线和特征点；从边缘线和特征点采样参考像素；确定以参考像素作为顶点的多边形；基于参考像素的视差预测包括所述多边形内的像素的视差的搜索范围；基于搜索范围执行所述像素的立体匹配。确定边缘线和特征点的步骤可包括：将与检测信息对应的像素之中的连续分布的像素确定为边缘线；将与检测信息对应的像素之中的离散分布的像素确定为特征点。确定连续分布的像素的步骤可包括：基于存在于一定的距离内的像素的方向性确定连续分布的像素。确定边缘线和特征点的步骤可包括：响应于与检测信息对应的像素之中的沿一个方向的连续像素的数量大于阈值，将所述连续像素确定为边缘线。采样参考像素的步骤可包括：确定边缘线上的邻近像素之间的梯度；响应于所述梯度的变化超过阈值，在所述邻近像素之中确定参考像素。所述立体匹配方法可包括：基于参考像素的数量，调整所述阈值。采样的步骤可包括：在组成特征点的像素之中确定参考像素。预测搜索范围的步骤可包括：响应于所述多边形与邻近多边形共享与边缘线邻近的边，通过将校正因子应用于边缘线上的参考像素的视差，来预测搜索范围。预测搜索范围的步骤可包括：计算位于第一三角形的顶角的第三参考像素的视差与位于第二三角形的顶角的第四参考像素的视差之间的差，其中，第一三角形与第二三角形共享由连接第一参考像素与第二参考像素的线形成的边；响应于第三参考像素的视差与第四参考像素的视差之间的差超过阈值，将校正因子应用于第一参考像素的视差和第二参考像素的视差中的每一个；基于应用了校正因子的第一参考像素的视差和应用了校正因子的第二参考像素的视差来预测搜索范围。所述阈值可基于第一三角形的面积、第二三角形的面积以及第三参考像素与第四参考像素之间的距离中的任何一个或任何组合来确定。所述立体匹配方法可包括：将至少一个参考像素添加到参考像素的密度小于阈值的区域。执行立体匹配的步骤可包括：基于搜索范围，从与第一图像一起组成立体图像的第二图像检测所述像素的对应像素；基于所述像素的位置和所述对应像素的位置，计算所述像素的视差。采样参考像素的步骤可包括：基于边缘线上的邻近像素之间的梯度的变化超过阈值，从边缘线采样参考像素。在一个总体方面，提供一种立体匹配设备，包括：处理器，被配置为：基于第一图像的边缘检测获得检测信息；基于检测信息确定边缘线和特征点；从边缘线和特征点采样参考像素；确定以参考像素作为顶点的多边形；基于参考像素的视差预测包括所述多边形内的像素的视差的搜索范围；基于搜索范围执行所述像素的立体匹配。处理器可被配置为：将与检测信息对应的像素之中的连续分布的像素确定为边缘线；将与检测信息对应的像素之中的离散分布的像素确定为特征点。处理器可被配置为：响应于与检测信息对应的像素之中的沿一个方向的连续像素的数量大于阈值，将所述连续像素确定为边缘线。处理器可被配置为：确定边缘线上的邻近像素之间的梯度；响应于所述梯度的变化超过阈值，在所述邻近像素之中确定参考像素。处理器可被配置为：响应于所述多边形与邻近多边形共享与边缘线邻近的边，通过将校正因子应用于边缘线上的参考像素的视差，来预测搜索范围。处理器可被配置为：计算位于第一三角形的顶角的第三参考像素的视差与位于第二三角形的顶角的第四参考像素的视差之间的差，其中，第一三角形与第二三角形共享由连接第一参考像素与第二参考像素的线形成的边；响应于第三参考像素的视差与第四参考像素的视差之间的差超过阈值，将校正因子应用于第一参考像素的视差和第二参考像素的视差中的每一个；基于应用了校正因子的第一参考像素的视差和应用了校正因子的第二参考像素的视差来预测搜索范围。所述阈值可基于第一三角形的面积、第二三角形的面积以及第三参考像素与第四参考像素之间的距离中的任何一个或任何组合来确定。处理器可被配置为：基于搜索范围，从与第一图像一起组成立体图像的第二图像检测所述像素的对应像素；基于所述像素的位置和所述对应像素的位置，计算所述像素的视差。处理器可被配置为：响应于与检测信息对应的像素之中的沿一个方向的连续分布的像素的数量超过阈值，确定边缘线。在一个总体方面，提供一种立体匹配设备，包括：传感器，被配置为捕获包括第一图像和第二图像的立体图像；处理器，被配置为：基于第一图像的边缘检测确定边缘线和特征点；从边缘线和特征点采样参考像素；确定以参考像素作为顶点的多边形；基于参考像素的视差预测包括所述多边形内的像素的视差的搜索范围；基于搜索范围从第二图像检测所述像素的对应像素；基于所述像素的位置和所述对应像素的位置计算所述像素的视差。其他特征和方面将从以下具体实施方式、附图和权利要求而清楚。附图说明图1示出立体匹配处理的示例。图2示出边缘线和特征点的示例。图3示出确定边缘线的处理的示例。图4示出从边缘线采样参考像素的处理的示例。图5示出视差(disparity)校正处理的示例。图6是示出视差校正处理的示例的示图。图7是示出立体匹配设备的示例的示图。图8是示出立体匹配方法的示例的示图。贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图参考标号将被理解为指代相同的元件、特征和结构。附图可不按比例绘制，为了清楚、说明和简便，附图中的元件的相对大小、比例和描绘可被夸大。具体实施方式提供以下具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，这里描述的操作的顺序仅为示例，并不限于在此阐述的操作的顺序，而是除了必须按照特定次序发生的操作以外可如理解本申请的公开之后将清楚的那样改变。此外，为了更加清楚和简明，本领域公知的特征的描述可被省略。在此描述的特征可以以不同的形式体现，而不将被解释为局限于在此描述的示例。相反，已提供在此描述的示例仅为示出在理解本申请的公开之后将清楚的实现在此描述的方法、设备和/或系统的许多可能方式中的一些方式。诸如第一、第二、A、B、(a)、(b)等的术语可在这里使用以描述组件。这些术语中的每个术语不用于限定相应组件的本质、次序或顺序，而仅用于将相应组件与其他组件区分。例如，第一组件可被称为第二组件，类似地，第二组件也可被称为第一组件。如在此使用的，除非上下文清楚地另有指示，否则术本文档来自技高网...

【技术保护点】
一种立体匹配方法，包括：基于第一图像的边缘检测获得检测信息；基于检测信息确定边缘线和特征点；从边缘线和特征点采样参考像素；确定以参考像素作为顶点的多边形；基于参考像素的视差预测包括所述多边形内的像素的视差的搜索范围；基于搜索范围执行所述像素的立体匹配。

【技术特征摘要】
2016.11.29 KR 10-2016-01605791.一种立体匹配方法，包括：基于第一图像的边缘检测获得检测信息；基于检测信息确定边缘线和特征点；从边缘线和特征点采样参考像素；确定以参考像素作为顶点的多边形；基于参考像素的视差预测包括所述多边形内的像素的视差的搜索范围；基于搜索范围执行所述像素的立体匹配。2.如权利要求1所述的立体匹配方法，其中，确定边缘线和特征点的步骤包括：将与检测信息对应的像素之中的连续分布的像素确定为边缘线；将与检测信息对应的像素之中的离散分布的像素确定为特征点。3.如权利要求2所述的立体匹配方法，其中，确定连续分布的像素的步骤包括：基于存在于一定的距离内的像素的方向性确定连续分布的像素。4.如权利要求1所述的立体匹配方法，其中，确定边缘线和特征点的步骤包括：响应于与检测信息对应的像素之中的沿一个方向的连续像素的数量大于阈值，将所述连续像素确定为边缘线。5.如权利要求1所述的立体匹配方法，其中，采样参考像素的步骤包括：确定边缘线上的邻近像素之间的梯度；响应于所述梯度的变化超过阈值，在所述邻近像素之中确定参考像素。6.如权利要求5所述的立体匹配方法，还包括：基于参考像素的数量，调整所述阈值。7.如权利要求1所述的立体匹配方法，其中，采样的步骤包括：在组成特征点的像素之中确定参考像素。8.如权利要求1所述的立体匹配方法，其中，预测搜索范围的步骤包括：响应于所述多边形与邻近多边形共享与边缘线邻近的边，通过将校正因子应用于边缘线上的参考像素的视差，来预测搜索范围。9.如权利要求1所述的立体匹配方法，其中，预测搜索范围的步骤包括：计算位于第一三角形的顶角的第三参考像素的视差与位于第二三角形的顶角的第四参考像素的视差之间的差，其中，第一三角形与第二三角形共享由连接第一参考像素与第二参考像素的线形成的边；响应于第三参考像素的视差与第四参考像素的视差之间的差超过阈值，将校正因子应用于第一参考像素的视差和第二参考像素的视差中的每一个；基于应用了校正因子的第一参考像素的视差和应用了校正因子的第二参考像素的视差来预测搜索范围。10.如权利要求9所述的立体匹配方法，其中，所述阈值基于第一三角形的面积、第二三角形的面积以及第三参考像素与第四参考像素之间的距离中的任何一个或任何组合来确定。11.如权利要求1所述的立体匹配方法，还包括：将至少一个参考像素添加到参考像素的密度小于阈值的区域。12.如权利要求1所述的立体匹配方法，其中，执行立体匹配的步骤包括：基于搜索范围，从与第一图像一起组成立体图像的第二图像检测所述像素的对应像素；基于所述像素的位置和所述对应像素的位置，计算所述像素的视差。13.如权利要求1所述的立体匹配方法，其中，采样参考像素的步骤包括：基于边缘线上的邻近像素之间的梯度的变化超过阈值，将所述邻近像素之中的位于中...

【专利技术属性】
技术研发人员：金知妍，安民修，成映勋，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR