一种图像处理方法和装置制造方法及图纸

技术编号:20161785 阅读:24 留言:0更新日期:2019-01-19 00:14
本发明专利技术实施例公开了一种图像处理方法和装置,所述方法包括:构建第一鱼眼图像和第二鱼眼图像对应的第一金字塔模型和第二金字塔模型;获得第一金字塔模型中的初始图像特征点对应的目标图像特征点,在第二金字塔模型的目标图像层中获得初始图像特征点对应的极线,基于目标图像特征点和极线在目标图像层中搜索目标最优点;若目标图像层的层数大于目标图像特征点的层数,将目标最优点与极线投影到目标图像层的下一图像层,确定在下一图像层中的目标最优点,直至目标最优点所在层次与目标图像特征点的层次一致,则建立目标图像特征点与此时的目标最优点之间的位置匹配关系。采用本发明专利技术,可以提高图像特征提取的准确性,同时提高图像数据处理的效率。

【技术实现步骤摘要】
一种图像处理方法和装置
本专利技术涉及计算机
,尤其涉及一种图像处理方法和装置。
技术介绍
随着图像技术的不断发展,图像技术的应用领域也越发广泛,对于某些需要在多维空间进行定位的产品,比如VR头盔、快递机器人、自动驾驶车等,都需要基于鱼眼图像特征点的匹配进行定位,但是此间匹配的过程比较复杂,计算机相关软件的计算量大且繁复,因此对鱼眼图像特征点进行匹配的技术方案的准确性和效率都提出了更高的要求。现有中对鱼眼图像特征点进行匹配的方案通常为:对原始的鱼眼图像进行畸变校正,提取校正之后的鱼眼图像上的特征点和描述子,进行描述子之间的匹配,通过描述子之间的匹配结果确定特征点之间的匹配位置从而实现定位。由上可知,由于进行畸变校正之后的鱼眼图像的图像信息会有所丢失,而且提取图像的描述子计算量较大,通过提取到的特征点和描述子进行位置匹配会导致定位不准确且效率不高。
技术实现思路
本专利技术实施例提供一种图像处理方法和装置,可以提高图像特征点匹配的准确性和效率。本专利技术一方面提供了一种图像处理方法,包括:构建第一鱼眼图像对应的第一金字塔模型,构建第二鱼眼图像对应的第二金字塔模型,所述第一金字塔模型和所述第二金字塔模型分别包括多个不同分辨率的图像层;提取所述第一鱼眼图像在所述第一金字塔模型的任一图像层的初始图像特征点,将所述第二金字塔模型中具有最小分辨率的图像层确定为目标图像层;根据鱼眼相机模型和三维空间将所述初始图像特征点映射到所述目标图像层,在所述目标图像层中得到初始映射点,并根据所述初始图像特征点、所述初始映射点,生成所述第一鱼眼图像和所述第二鱼眼图像之间的仿射变换矩阵;以所述初始映射点为中心点在所述目标图像层中获取过渡图像块,根据所述仿射变换矩阵对应的逆仿射变换矩阵,将所述过渡图像块映射到所述初始图像特征点所在图像层,在所述初始图像特征点所在图像层中得到所述过渡图像块对应的目标图像块,并确定所述目标图像块的中心点为目标图像特征点;获取所述初始图像特征点映射到所述目标图像层中的目标极线;根据所述目标图像块与所述目标极线上的多个待匹配点对应的待定图像块之间的相似度,在所述第二金字塔模型中逐层依次获取所述目标图像特征点对应的目标最优点,直至获取到的所述目标最优点所在图像层的层次与所述目标图像特征点在所述第一金字塔模型中的层次一致时,停止获取下一图像层中的目标最优点,并建立所述目标图像特征点与最后一次获取到的目标最优点之间的位置匹配关系。其中,所述构建第一鱼眼图像对应的第一金字塔模型,构建第二鱼眼图像对应的第二金字塔模型,包括:获取所述第一鱼眼图像和所述第二鱼眼图像;根据分辨率倍数阈值构建所述第一鱼眼图像对应的所述第一金字塔模型,所述第一金字塔模型中任意相邻两个图像层之间的图像分辨率比例为所述分辨率倍数阈值;根据分辨率倍数阈值构建所述第二鱼眼图像对应的所述第二金字塔模型,所述第二金字塔模型中任意相邻两个图像层之间的图像分辨率比例为所述分辨率倍数阈值。其中,所述根据鱼眼相机模型和三维空间将所述初始图像特征点映射到所述目标图像层,在所述目标图像层中得到初始映射点,并根据所述初始图像特征点、所述初始映射点,生成所述第一鱼眼图像和所述第二鱼眼图像之间的仿射变换矩阵,包括:根据所述鱼眼相机模型和所述三维空间将所述初始图像特征点映射到所述目标图像层,在所述目标图像层中得到所述初始映射点;在所述初始图像特征点所在图像层中获取关联特征点,所述关联特征点是以所述初始图像特征点为中心的附近特征点;根据所述鱼眼相机模型和所述三维空间将所述关联特征点映射到所述目标图像层,在所述目标图像层中得到关联映射点;根据所述初始图像特征点与所述关联特征点之间的位置关系、所述初始映射点以及所述关联映射点,生成所述第一鱼眼图像和所述第二鱼眼图像之间的仿射变换矩阵。其中,所述根据所述鱼眼相机模型和所述三维空间将所述初始图像特征点映射到所述目标图像层,在所述目标图像层中得到所述初始映射点,包括:根据所述鱼眼相机模型、鱼眼相机内参,将所述初始图像特征点映射到三维平面上,得到初始三维点;根据所述第一鱼眼图像对应的鱼眼相机和所述第二鱼眼图像对应的鱼眼相机之间的相对位置、相对旋转信息,将所述初始三维点转换到所述第二鱼眼图像的相机坐标系下,得到过渡三维点;将所述过渡三维点映射到所述第二鱼眼图像的相机坐标系下具有单位深度信息的平面上,得到过渡映射点;对所述过渡映射点进行单点坐标变换,并根据所述鱼眼相机模型将变换后的过渡映射点投影到所述目标图像层中,得到所述初始映射点。其中,所述获取所述初始图像特征点映射到所述目标图像层中的目标极线,包括:将与所述初始图像特征点对应的所述过渡三维点,映射到所述第二鱼眼图像的相机坐标系下具有最小深度信息的平面上,得到最小映射点;将与所述初始图像特征点对应的所述过渡三维点,映射到所述第二鱼眼图像的相机坐标系下具有最大深度信息的平面上,得到最大映射点;将所述最小映射点和所述最大映射点的连线,确定为初始极线线段;对所述初始极线线段中的每个极线点进行单点坐标变换,并根据所述鱼眼相机模型将变换后的每个极线点投影到所述目标图像层中,得到所述目标极线。其中,所述根据所述目标图像块与所述目标极线上的多个待匹配点对应的待定图像块之间的相似度,在所述第二金字塔模型中逐层依次获取所述目标图像特征点对应的目标最优点,直至获取到的所述目标最优点所在图像层的层次与所述目标图像特征点在所述第一金字塔模型中的层次一致时,停止获取下一图像层中的目标最优点,并建立所述目标图像特征点与最后一次获取到的目标最优点之间的位置匹配关系,包括:根据所述目标图像块与所述目标极线上的多个待匹配点对应的待定图像块之间的相似度,确定所述目标图像特征点在所述目标图像层中的最优点,作为目标最优点;若所述目标图像层的层数大于所述目标图像特征点在所述第一金字塔模型中的层数,则将所述目标最优点与所述目标极线投影到所述目标图像层的下一图像层,基于投影后的目标最优点与投影后的目标极线确定在所述下一图像层中的最优点,并将所述下一图像层确定为所述目标图像层,将所述下一图像层中的最优点确定为所述目标最优点;若所述目标图像层在所述第二金字塔模型中的层次与所述目标图像特征点在所述第一金字塔模型中的层次一致,则建立所述目标图像特征点与最后一次所确定的所述目标最优点之间的位置匹配关系。其中,所述将所述目标最优点与所述目标极线投影到所述目标图像层的下一图像层,基于投影后的目标最优点与投影后的目标极线确定在所述下一图像层中的目标最优点,包括:将所述目标最优点与所述目标极线投影到所述目标图像层的下一图像层;基于目标搜索范围,在投影后的目标极线中,确定以投影后的目标最优点为中心点的待搜索极线线段;获取在所述下一图像层中的所述待搜索极线线段上的目标最优点。其中,所述建立所述目标图像特征点与最后一次所确定的所述目标最优点之间的位置匹配关系,包括:以所述目标图像特征点为中心在所述目标图像块中获取局部图像块,并将最后一次所确定的所述目标最优点作为调整点,并在所述调整点所在的图像层中获取以所述调整点为中心点的调整图像块,所述调整图像块的尺寸与所述局部图像块的尺寸相同;根据雅克比、所述调整图像块中的像素值、所述局部图像块中的像素值,确定所述调本文档来自技高网...

【技术保护点】
1.一种图像处理方法,其特征在于,包括:构建第一鱼眼图像对应的第一金字塔模型,构建第二鱼眼图像对应的第二金字塔模型,所述第一金字塔模型和所述第二金字塔模型分别包括多个不同分辨率的图像层;提取所述第一鱼眼图像在所述第一金字塔模型的任一图像层的初始图像特征点,将所述第二金字塔模型中具有最小分辨率的图像层确定为目标图像层;根据鱼眼相机模型和三维空间将所述初始图像特征点映射到所述目标图像层,在所述目标图像层中得到初始映射点,并根据所述初始图像特征点、所述初始映射点,生成所述第一鱼眼图像和所述第二鱼眼图像之间的仿射变换矩阵;以所述初始映射点为中心点在所述目标图像层中获取过渡图像块,根据所述仿射变换矩阵对应的逆仿射变换矩阵,将所述过渡图像块映射到所述初始图像特征点所在图像层,在所述初始图像特征点所在图像层中得到所述过渡图像块对应的目标图像块,并确定所述目标图像块的中心点为目标图像特征点;获取所述初始图像特征点映射到所述目标图像层中的目标极线;根据所述目标图像块与所述目标极线上的多个待匹配点对应的待定图像块之间的相似度,在所述第二金字塔模型中逐层依次获取所述目标图像特征点对应的目标最优点,直至获取到的所述目标最优点所在图像层的层次与所述目标图像特征点在所述第一金字塔模型中的层次一致时,停止获取下一图像层中的目标最优点,并建立所述目标图像特征点与最后一次获取到的目标最优点之间的位置匹配关系。...

【技术特征摘要】
1.一种图像处理方法,其特征在于,包括:构建第一鱼眼图像对应的第一金字塔模型,构建第二鱼眼图像对应的第二金字塔模型,所述第一金字塔模型和所述第二金字塔模型分别包括多个不同分辨率的图像层;提取所述第一鱼眼图像在所述第一金字塔模型的任一图像层的初始图像特征点,将所述第二金字塔模型中具有最小分辨率的图像层确定为目标图像层;根据鱼眼相机模型和三维空间将所述初始图像特征点映射到所述目标图像层,在所述目标图像层中得到初始映射点,并根据所述初始图像特征点、所述初始映射点,生成所述第一鱼眼图像和所述第二鱼眼图像之间的仿射变换矩阵;以所述初始映射点为中心点在所述目标图像层中获取过渡图像块,根据所述仿射变换矩阵对应的逆仿射变换矩阵,将所述过渡图像块映射到所述初始图像特征点所在图像层,在所述初始图像特征点所在图像层中得到所述过渡图像块对应的目标图像块,并确定所述目标图像块的中心点为目标图像特征点;获取所述初始图像特征点映射到所述目标图像层中的目标极线;根据所述目标图像块与所述目标极线上的多个待匹配点对应的待定图像块之间的相似度,在所述第二金字塔模型中逐层依次获取所述目标图像特征点对应的目标最优点,直至获取到的所述目标最优点所在图像层的层次与所述目标图像特征点在所述第一金字塔模型中的层次一致时,停止获取下一图像层中的目标最优点,并建立所述目标图像特征点与最后一次获取到的目标最优点之间的位置匹配关系。2.根据权利要求1所述的方法,其特征在于,所述构建第一鱼眼图像对应的第一金字塔模型,构建第二鱼眼图像对应的第二金字塔模型,包括:获取所述第一鱼眼图像和所述第二鱼眼图像;根据分辨率倍数阈值构建所述第一鱼眼图像对应的所述第一金字塔模型,所述第一金字塔模型中任意相邻两个图像层之间的图像分辨率比例为所述分辨率倍数阈值;根据分辨率倍数阈值构建所述第二鱼眼图像对应的所述第二金字塔模型,所述第二金字塔模型中任意相邻两个图像层之间的图像分辨率比例为所述分辨率倍数阈值。3.根据权利要求1所述的方法,其特征在于,所述根据鱼眼相机模型和三维空间将所述初始图像特征点映射到所述目标图像层,在所述目标图像层中得到初始映射点,并根据所述初始图像特征点、所述初始映射点,生成所述第一鱼眼图像和所述第二鱼眼图像之间的仿射变换矩阵,包括:根据所述鱼眼相机模型和所述三维空间将所述初始图像特征点映射到所述目标图像层,在所述目标图像层中得到所述初始映射点;在所述初始图像特征点所在图像层中获取关联特征点,所述关联特征点是以所述初始图像特征点为中心的附近特征点;根据所述鱼眼相机模型和所述三维空间将所述关联特征点映射到所述目标图像层,在所述目标图像层中得到关联映射点;根据所述初始图像特征点与所述关联特征点之间的位置关系、所述初始映射点以及所述关联映射点,生成所述第一鱼眼图像和所述第二鱼眼图像之间的仿射变换矩阵。4.根据权利要求3所述的方法,其特征在于,所述根据所述鱼眼相机模型和所述三维空间将所述初始图像特征点映射到所述目标图像层,在所述目标图像层中得到所述初始映射点,包括:根据所述鱼眼相机模型、鱼眼相机内参,将所述初始图像特征点映射到三维平面上,得到初始三维点;根据所述第一鱼眼图像对应的鱼眼相机和所述第二鱼眼图像对应的鱼眼相机之间的相对位置、相对旋转信息,将所述初始三维点转换到所述第二鱼眼图像的相机坐标系下,得到过渡三维点;将所述过渡三维点映射到所述第二鱼眼图像的相机坐标系下具有单位深度信息的平面上,得到过渡映射点;对所述过渡映射点进行单点坐标变换,并根据所述鱼眼相机模型将变换后的过渡映射点投影到所述目标图像层中,得到所述初始映射点。5.根据权利要求4所述的方法,其特征在于,所述获取所述初始图像特征点映射到所述目标图像层中的目标极线,包括:将与所述初始图像特征点对应的所述过渡三维点,映射到所述第二鱼眼图像的相机坐标系下具有最小深度信息的平面上,得到最小映射点;将与所述初始图像特征点对应的所述过渡三维点,映射到所述第二鱼眼图像的相机坐标系下具有最大深度信息的平面上,得到最大映射点;将所述最小映射点和所述最大映射点的连线,确定为初始极线线段;对所述初始极线线段中的每个极线点进行单点坐标变换,并根据所述鱼眼相机模型将变换后的每个极线点投影到所述目标图像层中,得到所述目标极线。6.根据权利要求1所述的方法,其特征在于,所述根据所述目标图像块与所述目标极线上的多个待匹配点对应的待定图像块之间的相似度,在所述第二金字塔模型中逐层依次获取所述目标图像特征点对应的目标最优点,直至获取到的所述目标最优点所在图像层的层次与所述目标图像特征点在所述第一金字塔模型中的层次一致时,停止获取下一图像层中的目标最优点,并建立所述目标图像特征点与最后一次获取到的目标最优点之间的位置匹配关系,包括:根据所述目标图像块与所述目标极线上的多个待匹配点对应的待定图像块之间的相似度,确定所述目标图像特征点在所述目标图像层中的最优点,作为目标最优点;若所述目标图像层的层数大于所述目标图像特征点在所述第一金字塔模型中的层数,则将所述目标最优点与所述目标极线投影到所述目标图像层的下一图像层,基于投影后的目标最优点与投影后的目标极线确定在所述下一图像层中的最优点,并将所述下一图像层确定为所述目标图像层,将所述下一图像层中的最优点确定为所述目标最优点;若所述目标图像层在所述第二金字塔模型中的层次与所述目标图像特征点在所述第一金字塔模型中的层次一致,则建立所述目标图像特征点与最后一次所确定的所述目标最优点之间的位置匹配关系。7.根据权利要求6所述的方法,其特征在于,所述将所述目标最优点与所述目标极线投影到所述目标图像层...

【专利技术属性】
技术研发人员:郑远力顾照鹏许可肖泽东陈宗豪
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1