用于相机建模和虚拟视图合成的成像表面建模制造技术

本发明专利技术涉及用于相机建模和虚拟视图合成的成像表面建模。一种用于在显示装置上显示捕获的图像的方法。实际图像由基于视觉的成像装置捕获。虚拟图像基于由处理器的映射从捕获的实际图像产生。映射使用具有非平面成像表面的虚拟相机模型。将形成在虚拟相机模型的非平面成像表面上的虚拟图像投影在显示装置上。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及用于相机建模和虚拟视图合成的成像表面建模。一种用于在显示装置上显示捕获的图像的方法。实际图像由基于视觉的成像装置捕获。虚拟图像基于由处理器的映射从捕获的实际图像产生。映射使用具有非平面成像表面的虚拟相机模型。将形成在虚拟相机模型的非平面成像表面上的虚拟图像投影在显示装置上。【专利说明】用于相机建模和虚拟视图合成的成像表面建模相关申请的交叉引用 本申请要求了 2012年10月11日提交的、序号为61/712,433的美国临时申请的优先权，其内容在此结合作为参考。
实施例总体上涉及用于车辆内视觉系统的图像捕获和处理。
技术介绍
车辆系统通常使用用于后视景像检测、侧视景像检测、以及前视景像检测的车辆内视觉系统。对于那些需要图解道路覆盖层或强调捕获图像的区域的应用，关键的是精确地校准相机相对于车辆与周围目标的定位与定向。采用来自装置的捕获的输入图像并且重新建模图像以示出或增强捕获图像的各个区域的相机建模必须在对图像不畸变至对观看重显图像的人而言变得不可使用或不准确的情况下对图像内的全部对像再次定位的模型。车辆上当前的后方备份相机典型地是宽FOV相机，例如135° F0V。宽FOV相机典型地提供引起围绕图像边缘的图像畸变的弧形图像。本领域中公知的各种方法以提供用于这些类型的相机的图像的畸变修正包括使用基于针孔相机的模型和通过限定径向参数对径向畸变做修正。为了对周围的事物提供精确的描述，例如环境图像或超宽图像，可以使用超款视野的相机。这样的相机典型地被认为是鱼眼相机，因为它们的图像显著地成弧形。对于用于各种驾驶方案(例如备份应用)的图像是实际的，图像中的畸变必须修正并且图像的焦点(可利用的停车点)需要提高的那些部分必须展示从而畸变不会降低图像。传统的虚拟相机建模使用展现相机内的平面图像传感器的平面成像表面；然而，当投影到显示装置上时，这样的系统仅可以进行有限的畸变修正特征。这样的显示剩下未修正的或必须应用复杂的程序以除去畸变。
技术实现思路
在此描述的本专利技术的优点是虚拟图像可以利用相机视图合成一个或多个相机使用各种成像效应而合成。成像效应包括产生除实际相机捕获实际图像的外的不同相机姿态观看。例如，如果实际相机位于车辆直接垂直于地面看上方，具有其光轴从水平位置向下30度的备份相机可以建模并且合成，用于显示由上而下的视图。在此描述的技术使用用于对在虚拟相机模型中的捕获图像建模的非平面的成像表面，然而传统的虚拟相机建模方法使用捕获的平面的平面表面。此外，可以使用各种任意形状用于增强捕获图像的区域。例如，通过使用椭圆成像表面，在没有切断或畸变图像的端部的情况下，图像的中心部分可以增强(缩放)。各种非平面成像表面可以动态地插入在虚拟相机模型内用于基于车辆的工作条件合成视图。示例是来自转向信号指示器的信号，其提供至处理器，其中使用增强车辆转向的区域或方向的非平面表面。一种用于在显示装置上显示捕获的图像的方法。实际图像由基于视觉的成像装置捕获。基于由处理器的映射从捕获的实际图像产生虚拟图像。映射使用具有非平面成像表面的虚拟相机模型。将形成在虚拟相机模型的非平面成像表面上的虚拟图像投影在显示装置上。本专利技术还提供了以下方案: 1.一种用于显示在显示装置上的捕获的图像的方法，包括步骤: 由基于视觉的成像装置捕获实际图像； 基于由处理器的映射从捕获的实际图像产生虚拟图像，其中映射使用具有非平面成像表面的虚拟相机模型； 将形成在虚拟相机模型的非平面图像表面上的虚拟图像投影在显示装置上。2.根据方案I所述的方法，其中产生虚拟图像包括步骤: 由处理器提供预校准的实际相机模型，实际相机模型表示基于视觉的成像装置捕获景象； 基于预校准实际相机模型在捕获的图像中确定每个像素的实际入射线角度； 识别非平面成像表面的任意形状； 识别虚拟相机模型的姿态； 基于虚拟图像模型和非平面成像表面在虚拟图像中确定每个像素的虚拟入射线角度； 将虚拟入射线映射至实际图像捕获装置的相关的实际入射线，其中如果虚拟相机模型的姿态不同于实际图像捕获装置的姿态，转动补偿作用到虚拟入射线角度上，用于将虚拟入射线与实际入射线相关联； 作为实际入射线与虚拟入射线之间相关映射的函数，将对应于非平面虚拟成像表面上的坐标的虚拟图像中的像素映射到实际捕获图像上相关的像素上。3.根据方案2所述的方法，其中实际图像上的各个实际图像像素由坐标 和V—表示，用于识别实际入射线在哪里成像在实际图像表面，其中实际入射线由角度表示，其中尽-是实际入射线与实际图像捕获装置的光轴之间的角度，以及I是实际图像捕获装置X轴与实际入射线在实际图像捕获装置x-y平面上的投影之间的角度。4.根据方案3所述的方法，其中实际入射线角度基于预定和校准的实际相机模型确定。5.根据方案4所述的方法，其中实际相机模型包括鱼眼相机模型，其中鱼眼相机模型表示用于在具有有效传感器尺寸的平面成像平面上产生超宽角度视野景象的、具有实质上的径向畸变的鱼眼镜头，其中来自实际图像捕获装置的实际图像传感器上的实际入射线与实际图像像素之间的关系表示如下:【权利要求】1.一种用于显示在显示装置上的捕获的图像的方法，包括步骤: 由基于视觉的成像装置捕获实际图像； 基于由处理器的映射从捕获的实际图像产生虚拟图像，其中映射使用具有非平面成像表面的虚拟相机模型； 将形成在虚拟相机模型的非平面图像表面上的虚拟图像投影在显示装置上。2.根据权利要求1所述的方法，其中产生虚拟图像包括步骤: 由处理器提供预校准的实际相机模型，实际相机模型表示基于视觉的成像装置捕获景象； 基于预校准实际相机模型在捕获的图像中确定每个像素的实际入射线角度； 识别非平面成像表面的任意形状； 识别虚拟相机模型的姿态； 基于虚拟图像模型和非平面成像表面在虚拟图像中确定每个像素的虚拟入射线角度； 将虚拟入射线映射至实际 图像捕获装置的相关的实际入射线，其中如果虚拟相机模型的姿态不同于实际图像捕获装置的姿态，转动补偿作用到虚拟入射线角度上，用于将虚拟入射线与实际入射线相关联； 作为实际入射线与虚拟入射线之间相关映射的函数，将对应于非平面虚拟成像表面上的坐标的虚拟图像中的像素映射到实际捕获图像上相关的像素上。3.根据权利要求2所述的方法，其中实际图像上的各个实际图像像素由坐标 和&^!表示，用于识别实际入射线在哪里成像在实际图像表面，其中实际入射线由角度表示，其中尽《I是实际入射线与实际图像捕获装置的光轴之间的角度，以及科*|是实际图像捕获装置X轴与实际入射线在实际图像捕获装置x-y平面上的投影之间的角度。4.根据权利要求3所述的方法，其中实际入射线角度基于预定和校准的实际相机模型确定。5.根据权利要求4所述的方法，其中实际相机模型包括鱼眼相机模型，其中鱼眼相机模型表示用于在具有有效传感器尺寸的平面成像平面上产生超宽角度视野景象的、具有实质上的径向畸变的鱼眼镜头，其中来自实际图像捕获装置的实际图像传感器上的实际入射线与实际图像像素之间的关系表示如下: 6.根据权利要求5所述的方法，其中径向畸变修正作用到鱼眼相机模型上，其中径向畸变通过基于视觉的成像装置的透镜的畸变效应确定，其中径向畸变由畸变的径向本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：W张，J王，BB利特库希，KS利贝克，RM弗拉克斯，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：