鱼眼图像畸变矫正方法、装置和虚拟显示系统制造方法及图纸

本公开提供了一种鱼眼图像畸变矫正方法、装置和虚拟显示系统，涉及计算机视觉技术领域。包括：当对图像进行矫正时，获取第一鱼眼相机拍摄的第一图像；根据第一投影映射关系，将该第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像；将该多个第一虚拟视点图像拼接成该第一图像矫正后的第二图像。通过该多个第一虚拟视点相机可以得到该第一图像矫正后的第二图像。由于该多个第一虚拟视点相机的视域范围覆盖该第一鱼眼相机的视域范围，因此，通过该多个第一虚拟视点相机得到第一图像的矫正图像时，无需截取第一图像中的部分图像，不会减小可利用视域，得到的矫正后的第二图像中，保留的信息更加完整。

【技术实现步骤摘要】
鱼眼图像畸变矫正方法、装置和虚拟显示系统
本公开涉及计算机视觉
，特别涉及一种鱼眼图像畸变矫正方法、装置和虚拟显示系统。
技术介绍
随着计算机视觉技术的发展，用户对相机能采集到的画面的广度要求越来越高，而普通相机的视场角范围较小，所拍摄的图像不能尽可能有效地反应所拍摄场景的全部信息。因此，拥有超大视场角的鱼眼相机应运而生。鱼眼相机是一种有超广角的特殊镜头的相机，其在任一方向上的视场角均可以达到120°以上，拍摄范围更加广阔。然而，由于鱼眼相机的视场角过大，使其在成像过程中，对光线的折射角度较大，因而生成的鱼眼图像会产生畸变。因此，需要对鱼眼图像上产生的畸变进行矫正。相关技术中，在对第一鱼眼相机拍摄的第一图像进行矫正时，常通过对第一鱼眼相机进行标定进而对第一图像进行矫正。首先通过对第一鱼眼相机进行标定，估算出该第一鱼眼相机标定后的内部参数和外部参数；根据该标定后的内部参数和外部参数建立第一鱼眼相机的成像模型；截取第一图像中的部分图像，通过该成像模型对该部分图像进行矫正，得到满足人眼视觉效果的第二图像，其中该截取的第一图像中的部分图像为第一图像中去除边缘部分的图像。上述相关技术中，只对第一图像中的部分图像进行矫正，而舍弃第一图像中边缘部分的图像，使得第一鱼眼相机的可利用视域减小，矫正后的鱼眼图像中的图像信息不完整。
技术实现思路
为了克服相关技术中存在的第一鱼眼相机的可利用视域减小，矫正后的鱼眼图像中的图像信息不完整的问题，本公开提供了一种鱼眼图像畸变矫正方法、装置和虚拟显示系统。根据本公开实施例的第一方面，提供了一种鱼眼图像畸变矫正方法，所述方法包括：当对图像进行矫正时，获取第一鱼眼相机拍摄的第一图像；根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，所述第一投影映射关系用于存储所述第一鱼眼相机的像素位置与每个第一虚拟视点相机的像素位置之间的映射关系，所述多个第一虚拟视点相机组成的视域范围覆盖所述第一鱼眼相机的视域范围；将所述多个第一虚拟视点图像拼接成所述第一图像矫正后的第二图像。在一种可能的实现方式中，所述根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，包括：对于每个第一虚拟视点相机的成像平面中的第一像素点位置，根据所述第一像素点位置和所述第一投影映射关系，确定与所述第一像素点位置对应的第二像素点位置；从所述第一图像中获取所述第二像素点位置对应的像素值，将所述像素值赋予所述第一像素点位置，得到第一虚拟视点图像。在另一种可能的实现方式中，所述方法还包括：获取所述第一鱼眼相机拍摄的第三图像，以及获取所述多个第一虚拟视点相机拍摄的多个第二虚拟视点图像；根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置与所述三维坐标系中的每个第二像素位置之间的第一映射关系；根据所述每个第一虚拟视点相机的第二投影参数，将所述多个第二虚拟视点图像分别映射到所述第一鱼眼相机的三维坐标系中，得到所述每个第二像素位置与每个第二虚拟视点图像中的每个第三像素位置之间的第二映射关系；根据所述第一映射关系和所述第二映射关系，建立所述第一投影映射关系。在另一种可能的实现方式中，所述根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置与所述三维坐标系中的每个第二像素位置之间的第一映射关系，包括：对于第三图像中的任一像素点，确定所述像素点的第四像素位置；根据所述畸变参数，对所述第四像素位置进行去畸变处理，得到第五像素位置；根据所述第一投影参数，对所述第五像素位置进行平移，得到所述第四像素位置在所述三维坐标系中对应的第六像素位置；将所述第四像素位置处的像素点投影到所述第六像素位置处，得到所述第一映射关系。在另一种可能的实现方式中，所述根据所述每个第一虚拟视点相机的第二投影参数，将所述多个第二虚拟视点图像分别映射到所述第一鱼眼相机的三维坐标系中，得到所述每个第二像素位置与每个第二虚拟视点图像中的每个第三像素位置之间的第二映射关系，包括：确定多个第一虚拟视点相机的旋转矩阵的逆矩阵，得到多个第一逆矩阵，以及根据所述第二投影参数，确定所述多个第二第一虚拟视点相机的投影模型矩阵的逆矩阵，得到多个第二逆矩阵；对于任一第二虚拟视点图像中的任一像素点，确定所述像素点的第七像素位置；将所述第七像素位置乘以所述第二虚拟视点图像对应的第一虚拟视点相机的第一逆矩阵和第二逆矩阵，得到所述第七像素位置在所述三维坐标系中对应的第八像素位置；将所述第七像素位置处的像素点投影到所述第八像素位置处，得到所述第二映射关系。在另一种可能的实现方式中，所述根据所述第一映射关系和所述第二映射关系，建立所述第一投影映射关系，包括：根据所述第一映射关系和所述第二映射关系，确定所述三维坐标中，同一像素位置对应的第三图像中的第九像素位置和第二虚拟视点图像中的第十像素位置；建立所述第九像素位置与所述第十像素位置的映射关系，得到所述第一投影映射关系。在另一种可能的实现方式中，对图像进行矫正之前，所述方法还包括：获取所述多个第一虚拟视点相机配置参数；根据所述多个第一虚拟视点相机的配置参数，设置所述多个第一虚拟视点相机，所述多个第一虚拟视点相机在横向方向上组成的视域范围覆盖所述第一鱼眼相机在横向方向上的视域范围，且所述多个第一虚拟视点相机纵向方向上组成的视域范围覆盖所述第一鱼眼相机在纵向方向上的视域范围。在另一种可能的实现方式中，所述方法还包括：提取所述第二图像中的第一特征点，得到第一特征点集合；分别确定所述第一特征点集合中的每个第一特征点的第一描述子，得到第一描述子集合；根据所述第一投影映射关系，在所述第一图像中确定与所述第一特征点集合中的每个第一特征点对应的第二特征点，得到第二特征点集合；将所述第二特征点集合和所述第一描述子集合确定为所述第二图像的特征点集合和第一描述子集合。在另一种可能的实现方式中，所述提取所述第二图像中的第一特征点，得到第一特征点集合，包括：在所述第二图像中确定所述第一图像所占的第一视场角覆盖范围内的图像区域；提取所述图像区域中的第一特征点，得到所述第一特征点集合。在另一种可能的实现方式中，所述方法还包括：当对所述第一图像和第四图像进行匹配时，确定所述第四图像中的第三特征点集合以及所述第三特征点集合对应的第二描述子集合；根据所述第二特征点集合和所述第一描述子集合，以及所述第三特征点集合和所述第二描述子集合，对所述第一图像和所述第四图像进行匹配。在另一种可能的实现方式中，所述确定所述第本文档来自技高网...

【技术保护点】
1.一种鱼眼图像畸变矫正方法，其特征在于，所述方法包括：/n当对图像进行矫正时，获取第一鱼眼相机拍摄的第一图像；/n根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，所述第一投影映射关系用于存储所述第一鱼眼相机的像素位置与每个第一虚拟视点相机的像素位置之间的映射关系，所述多个第一虚拟视点相机组成的视域范围覆盖所述第一鱼眼相机的视域范围；/n将所述多个第一虚拟视点图像拼接成所述第一图像矫正后的第二图像。/n

【技术特征摘要】
1.一种鱼眼图像畸变矫正方法，其特征在于，所述方法包括：
当对图像进行矫正时，获取第一鱼眼相机拍摄的第一图像；
根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，所述第一投影映射关系用于存储所述第一鱼眼相机的像素位置与每个第一虚拟视点相机的像素位置之间的映射关系，所述多个第一虚拟视点相机组成的视域范围覆盖所述第一鱼眼相机的视域范围；
将所述多个第一虚拟视点图像拼接成所述第一图像矫正后的第二图像。


2.根据权利要求1所述的方法，其特征在于，所述根据第一投影映射关系，将所述第一图像中的像素点投影到多个第一虚拟视点相机的成像平面上，得到多个第一虚拟视点图像，包括：
对于每个第一虚拟视点相机的成像平面中的第一像素点位置，根据所述第一像素点位置和所述第一投影映射关系，确定与所述第一像素点位置对应的第二像素点位置；
从所述第一图像中获取所述第二像素点位置对应的像素值，将所述像素值赋予所述第一像素点位置，得到第一虚拟视点图像。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一鱼眼相机拍摄的第三图像，以及获取所述多个第一虚拟视点相机拍摄的多个第二虚拟视点图像；
根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置与所述三维坐标系中的每个第二像素位置之间的第一映射关系；
根据所述每个第一虚拟视点相机的第二投影参数，将所述多个第二虚拟视点图像分别映射到所述第一鱼眼相机的三维坐标系中，得到所述每个第二像素位置与每个第二虚拟视点图像中的每个第三像素位置之间的第二映射关系；
根据所述第一映射关系和所述第二映射关系，建立所述第一投影映射关系。


4.根据权利要求3所述的方法，其特征在于，所述根据所述第一鱼眼相机的第一投影参数和畸变参数，将所述第三图像映射到所述第一鱼眼相机的三维坐标系中，得到所述第三图像中的每个第一像素位置与所述三维坐标系中的每个第二像素位置之间的第一映射关系，包括：
对于第三图像中的任一像素点，确定所述像素点的第四像素位置；
根据所述畸变参数，对所述第四像素位置进行去畸变处理，得到第五像素位置；
根据所述第一投影参数，对所述第五像素位置进行平移，得到所述第四像素位置在所述三维坐标系中对应的第六像素位置；
将所述第四像素位置处的像素点投影到所述第六像素位置处，得到所述第一映射关系。


5.根据权利要求3所述的方法，其特征在于，所述根据所述每个第一虚拟视点相机的第二投影参数，将所述多个第二虚拟视点图像分别映射到所述第一鱼眼相机的三维坐标系中，得到所述每个第二像素位置与每个第二虚拟视点图像中的每个第三像素位置之间的第二映射关系，包括：
确定多个第一虚拟视点相机的旋转矩阵的逆矩阵，得到多个第一逆矩阵，以及根据所述第二投影参数，确定所述多个第二第一虚拟视点相机的投影模型矩阵的逆矩阵，得到多个第二逆矩阵；
对于任一第二虚拟视点图像中的任一像素点，确定所述任一第二虚拟视点图像中的任一像素点的第七像素位置；
将所述第七像素位置乘以所述第二虚拟视点图像对应的第一虚拟视点相机的第一逆矩阵和第二逆矩阵，得到所述第七像素位置在所述三维坐标系中对应的第八像素位置；
将所述第七像素位置处的像素点投影到所述第八像素位置处，得到所述第二映射关系。


6.根据权利要求3所述的方法，其特征在于，所述根据所述第一映射关系和所述第二映射关系，建立所述第一投影映射关系，包括：
根据所述第一映射关系和所述第二映射关系，确定所述三维坐标中，同一像素位置对应的第三图像中的第九像素位置和第二虚拟视点图像中的第十像素位置；
建立所述第九像素位置与所述第十像素位置的映射关系，得到所述第一投影映射关系。


7.根据权利要求1所述的方法，其特征在于，对图像进行矫正之前，所述方法还包括：
获取所述多个第一虚拟视点相机配置参数；
根据所述多个第一虚拟视点相机的配置参数，设置所述多个第一虚拟视点相机，所述多个第一虚拟视点相机在横向方向上组成的视域范围覆盖所述第一鱼眼相机在横向方向上的视域范围，且所述多个第一虚拟视点相机纵向方向上组成的视域范围覆盖所述第一鱼眼相机在纵向方向上的视域范围。


8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
提取所述第二图像中的第一特征点，得到第一特征点集合；
分别确定所述第一特征点集合中的每个第一特征点的第一描述子，得到第一描述子集合；
根据所述第一投影映射关系，在所述第一图像中确定与所述第一特征点集合中的每个第一特征点对应的第二特征点，得到第二特征点集合；
将所述第二特征点集合和所述第一描述子集合确定为所述第一图像的特征点集合和第一描述子集合。


9.根据权利要求8所述的方法，其特征在于，所述提取所述第二图像中的第一特征点，得到第一特征点集合，包括：
在所述第二图像中确定所述第一图像所占的第一视场角覆盖范围内的图像区域；
提取所述图像区域中的第一特征点，得到所述第一特征点集合。


10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
当对所述第一图像...

【专利技术属性】
技术研发人员：温武超，李佳宁，宋江新，毛慧，浦世亮，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33