一种全景成像方法和装置制造方法及图纸

本发明专利技术提供了一种全景成像方法和装置，其中，通过计算相机的移动距离和旋转角度，确定出相机与地面的位姿关系，根据相机与地面的位姿关系，将第一矫正图像转换为鸟瞰图，并将鸟瞰图与地面鸟瞰图进行拼接，得到全景图像，即使相机与地面的位姿关系发生了变化，也可以根据获取到的当前帧图像数据实时确定相机与地面的位姿关系，从而得到正确的全景图像，大大提高了实际复杂的路况条件下得到的全景图像的准确度。

【技术实现步骤摘要】
一种全景成像方法和装置
本专利技术涉及图像处理
，具体而言，涉及一种全景成像方法和装置。
技术介绍
目前，随着图像处理技术的发展，全景成像技术逐渐普及，全景成像系统通过设置的多个相机实时采集图像，并对图像进行拼接处理生成全景成像系统的周边环境的全景图像。当然，全景成像系统也可以采用单个相机采集图像，并对采集到的图像进行处理后得到全景图像。相关技术中，在采用单个相机的全景成像系统中，需要保持全景成像系统中相机、车辆与地面的位置关系保持不变的前提下，全景成像系统才可以生成比较准确的全景图像。若安装全景成像系统的车辆处于复杂的路况条件下，使得相机、车辆与地面的位置关系经常改变，那么上述全景成像系统在实际使用时往往会得到错误的全景图像。
技术实现思路
为解决上述问题，本专利技术实施例的目的在于提供一种全景成像方法和装置。第一方面，本专利技术实施例提供了一种全景成像方法，包括：确定相机采集到的当前帧图像数据的第一矫正图像和所述当前帧图像数据的上一帧图像数据的第二矫正图像的匹配点对；利用所述匹配点对计算所述相机的移动距离和旋转角度；基于所述相机的移动距离和旋转角度，得到所述第一矫正图像中的地面障碍物特征点，并确定相机与地面的位姿关系；根据所述相机与地面的位姿关系，将所述第一矫正图像转换为鸟瞰图，并将鸟瞰图与地面鸟瞰图进行拼接，得到全景图像，其中，所述全景图像中显示有所述地面障碍物特征点表征的地面障碍物。第二方面，本专利技术实施例还提供了一种全景成像装置，包括：确定模块，用于确定相机采集到的当前帧图像数据的第一矫正图像和所述当前帧图像数据的上一帧图像数据的第二矫正图像的匹配点对；计算模块，用于利用所述匹配点对计算所述相机的移动距离和旋转角度；处理模块，用于基于所述相机的移动距离和旋转角度，得到所述第一矫正图像中的地面障碍物特征点，并确定相机与地面的位姿关系；拼接模块，用于根据所述相机与地面的位姿关系，将所述第一矫正图像转换为鸟瞰图，并将鸟瞰图与地面鸟瞰图进行拼接，得到全景图像，其中，所述全景图像中显示有所述地面障碍物特征点表征的地面障碍物。本专利技术实施例上述第一方面至第二方面提供的方案中，通过计算相机的移动距离和旋转角度，确定出相机与地面的位姿关系，根据相机与地面的位姿关系，将第一矫正图像转换为鸟瞰图，并将鸟瞰图与地面鸟瞰图进行拼接，得到全景图像，与相关技术中必须保持全景成像系统中相机、车辆与地面的位置关系不变的方式相比，即使相机与地面的位姿关系发生了变化，也可以根据获取到的当前帧图像数据实时确定相机与地面的位姿关系，从而得到正确的全景图像，大大提高了实际复杂的路况条件下得到的全景图像的准确度。为使本专利技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了能够应用本专利技术实施例的一种全景成像系统的结构示意图；图2示出了本专利技术实施例1所提供的一种全景成像方法的流程图；图3示出了本专利技术实施例2所提供的一种全景成像装置的结构示意图。图标：100-单目相机；102-图像处理单元；104-图像存储单元；106-图像显示单元；300-确定模块；302-计算模块；304-处理模块；306-拼接模块。具体实施方式目前，若车辆上安装有采用单个相机的全景成像系统的情况下，在保持全景成像系统中相机、车辆与地面的位置关系保持不变的前提下，获取图像数据，并通过图像数据中左路径和右路径的位移差和左路径和右路径之间的距离以及透视变换矩阵来计算车辆的转弯角度，从而生成比较准确的全景图像。但是如果路面不平整，或是路面有障碍物都很有可能导致获取到的图像数据中左右路径不同，从而得到错误的全景图像。而且，若安装全景成像系统的车辆处于复杂的路况条件下，使得相机、车辆与地面的位置关系经常改变，那么上述全景成像系统在实际使用时往往会得到错误的全景图像。基于此，本申请实施例提出一种全景成像方法和装置，即使相机与地面的位姿关系发生了变化，也可以根据获取到的当前帧图像数据实时确定相机与地面的位姿关系，从而得到正确的全景图像，大大提高了实际复杂的路况条件下得到的全景图像的准确度。本申请方案提出的全景成像方法中，通过计算相机的移动距离和旋转角度，确定出相机与地面的位姿关系，根据相机与地面的位姿关系，将第一矫正图像转换为鸟瞰图，并将鸟瞰图与地面鸟瞰图进行拼接，得到全景图像，即使相机与地面的位姿关系发生了变化，也可以根据获取到的当前帧图像数据实时确定相机与地面的位姿关系，从而得到正确的全景图像，大大提高了实际复杂的路况条件下得到的全景图像的准确度。参见图1所示的车辆上安装的全景成像系统，该全景成像系统包括单目相机100、图像处理单元102、图像存储单元104和图像显示单元106。单目相机100安装在车辆尾部，用于获取车辆后方的图像。图像处理单元102主要负责图像畸变矫正、图像拼接、图像透视变换等图像处理任务以及计算车辆位移与旋转角度等分析计算任务，是本专利系统的核心计算单元。图像存储单元104用于存储畸变矫正后的图像以及实时拼接好的全景图像。图像显示单元106用于实时向驾驶员显示全景图像，以视觉的方式向驾驶员全方位无死角展示车辆周边及底部影像。为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请做进一步详细的说明。实施例1参见图2所示的全景成像方法的流程，本实施例提出一种全景成像方法，该全景成像方法的执行主体是上述的图像处理单元。本实施例提出的全景成像方法，包括以下具体步骤：步骤200、确定相机采集到的当前帧图像数据的第一矫正图像和上述当前帧图像数据的上一帧图像数据的第二矫正图像的匹配点对。具体地，为了得到第一矫正图像和第二矫正图像的匹配点对，上述步骤200可以具体执行以下步骤(1)至步骤(2)的流程：(1)获取相机采集到的当前帧图像数据，对上述当前帧图像数据进行畸变矫正操作，得到上述第一矫正图像；(2)获取上述当前帧图像数据的上一帧图像数据的第二矫正图像，并确定当前帧图像数据的第一矫正图像和上述当前帧图像数据的上一帧图像数据的第二矫正图像的匹配点对。在上述步骤(1)中，在得到上述第一矫正图像后，可以得到第一矫正图像上的像素点的像素坐标A(u，v)，根据图像畸变模型中像素坐标与物理坐标的转变公式，可以得到该像素点在第一矫正图像上的物理坐标。具体地，可以通过以下公式(1)该像素点在第一矫正图像上的物理坐标：其中，x′表示该像素点在第一矫正图像上的物理横坐标，y′表示该像素点在第一矫正图像上的物理纵坐标，u表示该像素点在第一矫正图像上的像素横坐标，v表示该像素点在第一矫正图像上的像素纵坐标，Cx和Cy表示相机主光轴与成像平面的交点，其中f为相机焦距，dx和dy分别为该像素点的宽度和高度。在得到该像素点在第一矫正图像上的物理坐标后，可以通过以下公式(2)得到该像素点在上述当前帧图像数据中的物理坐标：其中，x″表示该像素点在上述当前帧图像数据中的物理本文档来自技高网...

【技术保护点】
1.一种全景成像方法，其特征在于，包括：确定相机采集到的当前帧图像数据的第一矫正图像和所述当前帧图像数据的上一帧图像数据的第二矫正图像的匹配点对；利用所述匹配点对计算所述相机的移动距离和旋转角度；基于所述相机的移动距离和旋转角度，得到所述第一矫正图像中的地面障碍物特征点，并确定相机与地面的位姿关系；根据所述相机与地面的位姿关系，将所述第一矫正图像转换为鸟瞰图，并将鸟瞰图与地面鸟瞰图进行拼接，得到全景图像，其中，所述全景图像中显示有所述地面障碍物特征点表征的地面障碍物。

【技术特征摘要】
1.一种全景成像方法，其特征在于，包括：确定相机采集到的当前帧图像数据的第一矫正图像和所述当前帧图像数据的上一帧图像数据的第二矫正图像的匹配点对；利用所述匹配点对计算所述相机的移动距离和旋转角度；基于所述相机的移动距离和旋转角度，得到所述第一矫正图像中的地面障碍物特征点，并确定相机与地面的位姿关系；根据所述相机与地面的位姿关系，将所述第一矫正图像转换为鸟瞰图，并将鸟瞰图与地面鸟瞰图进行拼接，得到全景图像，其中，所述全景图像中显示有所述地面障碍物特征点表征的地面障碍物。2.根据权利要求1所述的方法，其特征在于，所述确定相机采集到的当前帧图像数据的第一矫正图像和所述当前帧图像数据的上一帧图像数据的第二矫正图像的匹配点对，包括：获取相机采集到的当前帧图像数据，对所述当前帧图像数据进行畸变矫正操作，得到所述第一矫正图像；获取所述当前帧图像数据的上一帧图像数据的第二矫正图像，并确定当前帧图像数据的第一矫正图像和所述当前帧图像数据的上一帧图像数据的第二矫正图像的匹配点对。3.根据权利要求1所述的方法，其特征在于，所述基于所述相机的移动距离和旋转角度，得到所述第一矫正图像中的地面障碍物特征点，并确定相机与地面的位姿关系，包括：基于所述相机的移动距离和旋转角度，计算匹配点对中的各匹配点在相机坐标系下的三维坐标；根据各匹配点在所述相机坐标系下的三维坐标，将各匹配点中共面的多个匹配点确定为地面特征点，并将各匹配点中的非地面特征点确定为地面障碍物特征点；对确定出的所述地面特征点进行平面拟合操作，得到地面在相机坐标系中的法向量，从而确定相机与地面的位姿关系。4.根据权利要求1所述的方法，其特征在于，所述根据所述相机与地面的位姿关系，将所述第一矫正图像转换为鸟瞰图，并将鸟瞰图与地面鸟瞰图进行拼接，得到全景图像，包括：根据所述相机与地面的位姿关系，对所述第一矫正图像进行旋转和平移，将所述第一矫正图像转换为鸟瞰图；获取所述地面鸟瞰图，并将所述鸟瞰图与地面鸟瞰图进行拼接，得到全景图像。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述相机的移动距离和旋转角度，得到安装所述相机的车辆的移动距离和旋转角度；根据车辆的移动距离和旋转角度计算车辆在全景图像中的位置和方...

【专利技术属性】
技术研发人员：伍宽，魏宇腾，魏川，
申请(专利权)人：北京双髻鲨科技有限公司，
类型：发明
国别省市：北京,11