一种基于虚拟相机的图像一致化方法技术

本发明专利技术公开了一种基于虚拟相机的图像一致化方法，属于图像处理技术领域。步骤包括：标定设置物理相机和虚拟相机的内部参数和外部参数；分别计算从世界坐标系到虚拟相机坐标系和物理相机坐标系转换的旋转矩阵；建立虚拟图像坐标与世界坐标的关系；计算虚拟相机坐标原点与世界坐标某点的连线与投影面的交点；将交点由世界坐标系转换到物理图像坐标系；建立虚拟图像坐标与物理图像坐标的关系；虚拟图像中每个点都建立映射关系,得到映射表Map，通过查表得到虚拟图像。本发明专利技术通过模拟出一个特定相机在某个位置的成像，让不同的相机产生相似的成像效果，满足了摄像头型号不同安装位置不同情况下终端图像视觉一致性需求。

【技术实现步骤摘要】
一种基于虚拟相机的图像一致化方法
本专利技术涉及图像处理
，特别涉及一种基于虚拟相机的图像一致化方法。
技术介绍
摄像机作为图像传感器在机器视觉领域是必不可少的。尤其在车载领域，包括记录仪、流媒体后视镜、电子后视镜等都需要摄像头作为图像显示的。对于不同的车辆往往摄像头的安装位置不同，有的高有的低，这就导致摄像机的成像效果差别较大。摄像头千差万别。是否可以在使用不同摄像头，安装在车辆不同位置的同时具备相同或者接近的成像效果呢，急需提供一种解决方法。
技术实现思路
有鉴于此，本公开提供一种基于虚拟相机的图像一致化方法，通过模拟出一个特定相机在某个位置的成像，从而可以让不同的相机有着相似的成像效果，包括如下步骤：步骤1：标定物理相机的内部参数和外部参数，设置虚拟相机的内部参数和外部参数；步骤2：分别计算从世界坐标系到物理相机坐标系转换的旋转矩阵、从世界坐标系到虚拟相机坐标系转换的旋转矩阵；步骤3：建立虚拟图像坐标与世界坐标的关系；步骤4：计算虚拟相机坐标原点与世界坐标某点的连线与投影面的交点；步骤5：将步骤4的交点由世界坐标系转换到物理图像坐标系；步骤6：建立虚拟图像坐标与物理图像坐标的关系；步骤7：虚拟图像中每个点都建立映射关系,得到映射表Map，通过查表得到虚拟图像。进一步地，所述的步骤1，物理相机的内部参数为相机摄像头的固有属性，包括但不限于:光心、焦距、畸变系数。进一步地，所述的步骤1，物理相机的外部参数为安装参数，包括空间上3个坐标轴方向的位移自由度和绕3个坐标轴的旋转自由度。根据本专利技术实施例的一种具体实现方式，所述的步骤3，建立虚拟图像坐标与世界坐标的关系，包括如下步骤：步骤3.1：运用三维坐标转换原理，通过平移和旋转，建立世界坐标与虚拟相机坐标的关系；步骤3.2：运用相机的小孔成像原理，通过相机内参变换，建立虚拟相机坐标与虚拟图像坐标系。根据本专利技术实施例的一种具体实现方式，所述的步骤5，从世界坐标系转换到物理图像坐标系，包括如下步骤：步骤5.1：运用三维坐标转换原理，通过平移和旋转，将步骤4的交点从世界坐标系转换到物理相机坐标系。步骤5.2：运用相机的小孔成像原理，通过相机内参变换，从物理相机坐标系转换到物理图像坐标系。进一步地，所述的步骤3建立虚拟图像坐标与世界坐标的关系所采用的公式、或者步骤5中的交点由世界坐标系转换到物理图像坐标系所采用的公式如下：x＝PXX＝P-1xP＝K[Rt]其中：x表示二维图像坐标，这里可以是虚拟图像坐标也可以是物理图像坐标；X表示三维世界坐标；P表示世界坐标系转换到图像坐标系的投影矩阵；K表示物理相机或虚拟相机的内部参数，物理相机内部参数是固有的，虚拟相机的内部参数是人为定义的；R表示世界坐标与物理相机坐标转换的坐标轴旋转矩阵或世界坐标与虚拟相机坐标转换的坐标轴旋转矩阵；t表示世界坐标与物理相机坐标转换的平移向量或世界坐标与虚拟相机坐标转换的平移向量。本公开提供一种基于虚拟相机的图像一致化方法，通过模拟出一个特定相机在某个位置的成像，从而可以让不同的相机有着相似的成像效果，使得摄像头安装在车辆不同位置且使用不同摄像头的情况下，能够产生相同或者接近的成像效果，满足了摄像头终端图像视觉一致性需求。附图说明图1为本专利技术提供的一种基于虚拟相机的图像一致化方法示意图；图2为本专利技术实施例物理相机安装位置示意图；图3为本专利技术实施例物理相机外部参数tx，ty示意图；图4至图7为利用本专利技术的虚拟相机生成的虚拟图像示意图；图8为三维坐标系转换示意图；图9为相机的小孔成像模型示意图；图10为图像坐标系与像平面坐标系示意图；图11为本专利技术实施例的3D圆柱投影面示意图图12为本专利技术的虚拟图像坐标与物理图像坐标转换关系演变示意图。具体实施方式下面结合附图对本公开实施例进行详细描述。以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。本专利技术公开了一种基于虚拟相机的图像一致化方法，针对摄像头型号不同安装位置不同情况，提供了终端图像视觉一致化方法。引入了虚拟相机，通过模拟出一个特定相机在某个位置的成像，使得不同的相机能够产生相似的成像效果。实施步骤如图1所示。步骤1：标定物理相机的内部参数和外部参数，设置虚拟相机的内部参数和外部参数。具体地，每个相机的摄像头都具有其独有的固有参数，是摄像头的固有属性，称为内部参数(intrinsicparameters)，相同品牌相同型号的摄像头内部参数接近，是提供好的。内部参数包括但不限于：光心(OpticalCenter简称OC)(xOC,yOC)，焦距f:(fx,fy)，畸变系数K:k1,k2,k3,k4,k5。具体实施时，内部参数还可以包括主点p(主轴与像平面相交的点)的位置，以及像素与真实环境的大小比例等。除了内部参数，摄像头在安装过程中还有外部参数。外部参数主要有以下几个参数：空间上3个方向的位移自由度:tx，ty，tz；绕3个坐标轴旋转的自由度：Rx，Ry，Rz。经过标定可以得到这些参数的准确数值。本专利技术实施例中多次提到坐标系和坐标，说明如下：坐标系是建立图形与数之间对应联系的参考系，可以直观方便的描述图形的几何信息、大小、位置，例如世界坐标系、物理相机坐标系、虚拟相机坐标系是三维直角坐标，物理图像坐标系和虚拟图像坐标系为二维直角坐标系，特征为其原点位置和坐标轴的方向；坐标是在坐标系中为确定坐标系上一点的位置，按规定方法选取的有次序的一组数据，例如在三维坐标系中某点的坐标表示为(X,Y,Z)，二维坐标系中某点的坐标表示为(x，y)。具体实施例的一个物理相机安装位置如图2所示，世界坐标系是以O(X,Y,Z),为原点的，图2中箭头方向为正，其中：X是车左右中心位置；Y是相机高度位置；Z是相机纵深位置；Rx是绕x轴旋转的角度；Ry是绕y轴旋转的角度；Rz是绕z轴旋转的角度。相机安装的外部参数，例如tx，ty，示意如图3。具体实施时，物理相机内部参数和外部参数一般使用的专门的软件进行标定的，这种类似的软件有很多，标定原理可参照张正友2020年12月1日发表于电气和电子工程师协会模式分析与机器智能汇刊的一篇论文《一种灵活的摄像机标定新技术》，本文档来自技高网...

【技术保护点】
1.一种基于虚拟相机的图像一致化方法，其特征在于，包括如下步骤：/n步骤1: 标定物理相机的内部参数和外部参数，设置虚拟相机的内部参数和外部参数；/n步骤2：分别计算从世界坐标系到物理相机坐标系转换的旋转矩阵、从世界坐标系到虚拟相机坐标系转换的旋转矩阵；/n步骤3：建立虚拟图像坐标与世界坐标的关系；/n步骤4：计算虚拟相机坐标原点与世界坐标某点的连线与投影面的交点；/n步骤5：将步骤4的交点由世界坐标系转换到物理图像坐标系；/n步骤6：建立虚拟图像坐标与物理图像坐标的关系；/n步骤7：虚拟图像中每个点都建立映射关系,得到映射表Map，通过查表得到虚拟图像。/n

【技术特征摘要】
1.一种基于虚拟相机的图像一致化方法，其特征在于，包括如下步骤：
步骤1:标定物理相机的内部参数和外部参数，设置虚拟相机的内部参数和外部参数；
步骤2：分别计算从世界坐标系到物理相机坐标系转换的旋转矩阵、从世界坐标系到虚拟相机坐标系转换的旋转矩阵；
步骤3：建立虚拟图像坐标与世界坐标的关系；
步骤4：计算虚拟相机坐标原点与世界坐标某点的连线与投影面的交点；
步骤5：将步骤4的交点由世界坐标系转换到物理图像坐标系；
步骤6：建立虚拟图像坐标与物理图像坐标的关系；
步骤7：虚拟图像中每个点都建立映射关系,得到映射表Map，通过查表得到虚拟图像。


2.根据权利要求1所述的一种基于虚拟相机的图像一致化方法，其特征在于，所述的步骤1，物理相机的内部参数为相机摄像头的固有属性，包括但不限于:光心、焦距、畸变系数。


3.根据权利要求1所述的一种基于虚拟相机的图像一致化方法，其特征在于，所述的步骤1，物理相机的外部参数为安装参数，包括空间上3个坐标轴方向的位移自由度和绕3个坐标轴的旋转自由度。


4.根据权利要求1所述的一种基于虚拟相机的图像一致化方法，其特征在于，所述的步骤3，建立虚拟图像坐标与世界坐标的关系，包括如下步骤：
步骤3.1：运用三维坐标转换原理，通过平移和旋转，建立世界坐标与...

【专利技术属性】
技术研发人员：陈一君，徐洪，徐琳，
申请(专利权)人：深圳市艾为智能有限公司，
类型：发明
国别省市：广东;44