一种基于消失点检测的图矫正方法技术

本发明专利技术公开了一种基于消失点检测的图矫正方法，涉及图像处理领域，包括：提取原始图片中的垂直线段和水平线段；垂直线段中同方向最多的消失点作为垂直消失点；根据同方向对水平线段分组，分组中外接矩形面积最大的一组作为水平消失点；最后根据垂直和水平消失点对原始图片进行矫正。本发明专利技术使用消失点对图片内提取的直线段进行分组，并通过计算水平线段组覆盖的面积确定水平消失点，能有效的去除天花板，地面，墙体等不相关的干扰，同时也能有效区分多组不同方向或者间隔的货架/冰柜，找到主体区域，进行正确矫正。进行正确矫正。进行正确矫正。

【技术实现步骤摘要】
一种基于消失点检测的图矫正方法


[0001]本专利技术涉及图像处理领域，尤其涉及一种基于消失点检测的图矫正方法。

技术介绍

[0002]在零售稽查场景中，稽查员需要拍摄大量的货架以及冰柜场景。由于拍照的不稳定性以及场地的限制，很多情况下无法保证货架、冰柜排面与相机成像平面保持平行。从而会引起拍摄图片的倾斜导致失真，这时候就需要对图像作矫正，让图片看起来接近正面拍摄。
[0003]目前常用的矫正算法的流程如下：
[0004]1.对图片作简单预处理并检测直线段；
[0005]2.对检测出的直线段，根据其与水平方向的角度，分为垂直线段，水平线段以及其他线段三组；
[0006]由第二步得到的垂直线段及水平线段两组线段，计算出矫正图像所需要的单应性矩阵，将图像矫正成为正视图。
[0007]但是，由于照片拍摄场景比较复杂，地面，天花板，墙面以及立柱上提取的线条都会影响矫正结果。或者一个场景中出现多个朝向不一致的货架时，主体货架受到周边的影响，也会引起矫正错误。通过计算直线段与图片水平方向的角度，并不能准确找到照片主体区域中的水平线段，从而无法对照片主体区域进行正确矫正。
[0008]因此，本领域的技术人员致力于开发一种基于消失点检测的图矫正方法，克服拍摄现场环境的干扰，对拍摄图片的倾斜失真进行矫正。

技术实现思路

[0009]有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是提取拍摄图片的垂直线段，以及主体货架的水平线段，据此对图片进行矫正。
[0010]为实现上述目的，本专利技术提供了一种一种基于消失点检测的图矫正方法，包括以下步骤：
[0011]步骤1、读取原始图片；
[0012]步骤2、提取原始图片上的直线段集合L；
[0013]步骤3、从L中提取垂直线段集合Lv，其余部分记为Lh；
[0014]步骤4、提取垂直消失点；
[0015]步骤5、提取水平消失点；
[0016]步骤6、根据垂直消失点和水平消失点，对原始图片进行矫正。
[0017]进一步地，步骤3中提取Lv的方法具体为：
[0018]与原始图片垂直方向夹角小于垂直判定角的直线段记为Lv。
[0019]进一步地，垂直判定角小于等于15度。
[0020]进一步地，步骤4具体为：
[0021]步骤4.1、任取Lv中两条直线段，计算其交点P；
[0022]步骤4.2、计算Lv中与P同方向的直线段个数C
P
；
[0023]步骤4.3、取C
P
中最大的点作为垂直消失点。
[0024]进一步地，同方向的判定方法为：
[0025]任取一条待判定直线段，作待判定直线段的中点与P的连线，连线与待判定直线段形成锐角夹角θ，如果θ小于同方向判定角，则待判定直线段与P对应的两条直线段同方向，否则不同方向。
[0026]进一步地，同方向判定角小于等于5度。
[0027]进一步地，所述步骤5具体为：
[0028]步骤5.1、任取Lh中两条直线段，计算他们的交点Q；
[0029]步骤5.2、抽取Lh中与Q同方向的直线段，保存为一组水平线段；
[0030]步骤5.3、重复步骤5.1和步骤5.2，继续处理Lh中的剩余直线段，得到多组水平线段；
[0031]步骤5.4、计算多组水平线段中每组直线段外接矩形的面积，取外接矩形的面积中最大的一组对应的交点，作为所述水平消失点。
[0032]进一步地，步骤5具体为：
[0033]步骤5.1、任取Lh中两条直线段，计算他们的交点Q；
[0034]步骤5.2、抽取Lh中与Q同方向的直线段，保存为一组水平线段；
[0035]步骤5.3、重复步骤5.1和步骤5.2，继续处理Lh中的剩余直线段，得到多组水平线段；
[0036]步骤5.4、取多组水平线段中直线段最多的一组对应的交点，作为水平消失点。
[0037]进一步地，步骤5.3中，如果已经取得3组水平线段，则退出循环。
[0038]进一步地，步骤5.3中，如果Lh中剩下的直线段少于4个，则退出循环。
[0039]本专利技术使用消失点对图片内提取的直线段进行分组，根据图像中商品和货架的检出，确定垂直和水平线段。并通过计算水平线段组覆盖的面积，确定主体区域，能有效的去除掉天花板，地面，墙体等不相关的干扰，同时也能有效区分多组不同方向或者间隔的货架/冰柜，找到主体区域，从而帮助图像正确矫正。
[0040]以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。
附图说明
[0041]图1是本专利技术的流程图；
[0042]图2是本专利技术示例的货架的原始图；
[0043]图3是本专利技术示例的货架错误的矫正图；
[0044]图4是本专利技术直线段同方向判定方法示意图；
[0045]图5是本专利技术示例的货架矫正图。
具体实施方式
[0046]以下参考说明书附图介绍本专利技术的多个优选实施例，使其
技术实现思路
更加清楚和便
于理解。本专利技术可以通过许多不同形式的实施例来得以体现，本专利技术的保护范围并非仅限于文中提到的实施例。
[0047]在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本专利技术并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
[0048]如图1所示，为基于消失点检测的图矫正方法，按以下步骤进行图矫正：
[0049]步骤一、导入拍摄的图片；
[0050]步骤二、检测图片中的直线段；
[0051]如图2所示，为拍摄的货架的原始图，图中除了主体货架外，还存在朝向不一致的货架。在提取图片中的直线段时，除了主体货架的商品、货架的层板，还有旁边的货架以及地面的铺装，都会提取出直线段。
[0052]人造空间中存在大量的平行物体，比如立柱边缘，货架层边缘，冰柜边缘等等。3D空间中的平行线，如果不是与相机像平面平行，投影到2D像平面上会交汇于一点，我们称之为消失点。找到消失点就可以对图像内的直线段进行分组。对于货架和冰柜，都有一组垂直消失点以及多组水平消失点。
[0053]如果不能很好地排除非主体货架以及地面的干扰，按照传统方法，根据线段与水平方向角度的大小确定水平线，则会以地面、临近货架等错误的水平线段为基准，对原始图片进行矫正，如图3所示，将地面上铺装形成的线条以及旁边的货架形成的水平线段当成了矫正的参照线，得到错误的矫正图。
[0054]本实施例中采用使用OpenCV库读取原始图像，使用LSD线段检测算法，获取图片内的直线段集合L；
[0055]步骤三、从L中提取垂直线段集合Lv，以及水平线段集合Lh；
[0056]为区分直线段集合L中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于消失点检测的图矫正方法，其特征在于，所述方法包括以下步骤：步骤1、读取原始图片；步骤2、提取所述原始图片上的直线段集合L；步骤3、从所述L中提取垂直线段集合Lv，其余部分记为Lh；步骤4、提取垂直消失点；步骤5、提取水平消失点；步骤6、根据所述垂直消失点和所述水平消失点，对所述原始图片进行矫正。2.如权利要求1所述的基于消失点检测的图矫正方法，其特征在于，所述步骤3中提取Lv的方法具体为：与所述原始图片垂直方向夹角小于垂直判定角的直线段记为Lv。3.如权利要求2所述的基于消失点检测的图矫正方法，其特征在于，所述垂直判定角小于等于15度。4.如权利要求1所述的基于消失点检测的图矫正方法，其特征在于，所述步骤4具体为：步骤4.1、任取所述Lv中两条直线段，计算其交点P；步骤4.2、计算所述Lv中与所述P同方向的直线段个数C
P
；步骤4.3、取所述C
P
中最大的点作为所述垂直消失点。5.如权利要求4所述的基于消失点检测的图矫正方法，其特征在于，所述同方向的判定方法为：任取一条待判定直线段，作所述待判定直线段的中点与所述P的连线，所述连线与所述待判定直线段形成锐角夹角θ，如果θ小于同方向判定角，则所述待判定直线段与所述P对应的两条直线段同方向，否则不同方向。6.如权利要求5所述的基于消失...

【专利技术属性】
技术研发人员：雷昊，
申请(专利权)人：上海零眸智能科技有限公司，
类型：发明
国别省市：