一种全景图像的生成方法、车载图像处理装置及车辆制造方法及图纸

一种全景图像的生成方法、车载图像处理装置及车辆，本申请实施例中方法包括：获取车周物体的图像信息及深度信息，深度信息用于指示车周物体上各个点的坐标点信息；获取初始模型；根据深度信息将初始模型上的第一坐标点调整至第二坐标点，生成第一模型；并根据图像信息和第一模型生成全景图像。本实施例中，根据车辆周围物体的深度信息实时调整第一坐标点的位置，由于实时调整初始模型上的第一坐标点的位置，即该第一模型是根据车辆周围的物体距离车辆的实际距离得到的模型，消除全景图像中的拼接重影和错位从而得到与车周实际环境一致的全景图像。

【技术实现步骤摘要】
【国外来华专利技术】一种全景图像的生成方法、车载图像处理装置及车辆
本申请涉及车载环视
，尤其涉及一种全景图像的生成方法、车载图像处理装置及车辆。
技术介绍
一般来说，传统的基于图像的倒车影像系统只在车尾安装摄像头，摄像头只能覆盖车尾周围有限的区域，而车辆周围和车头的盲区增加了安全驾驶的隐患。为扩大驾驶员视野，提高驾驶安全性，车载环视系统应运而生。车载环视系统利用安装在车辆四周的摄像头重构车辆以及周围场景，对所拍摄的图像进行视角变换和图像拼接，生成3D全景图像。当前技术中，车载环视系统首先对已安装好的4路鱼眼相机进行标定，并得到相机的内外参数后，构建一个立体碗状的固定模型(如图1A所示)，对3D固定模型上的点进行内外参数的映射，得到像素坐标，再将鱼眼图像中对应位置的像素映射在碗状的固定模型上，从而得到3D全景图像。当前3D全景图像是基于3D固定模型生成的，该3D固定模型为车辆周围真实物体的模拟体现。当3D固定模型与虚拟车辆之间的距离，和车辆与实际物体之间的距离不等时，在两个图像的拼接区域会出现拼接重影和错位的问题，从而降低车周障碍物的检测率或产生检测盲区，降低了行车安全性。
技术实现思路
本申请实施例提供了一种全景图像的生成方法、车载图像处理装置及车辆，用于消除全景图像中的拼接重影和错位，得到与车周实际环境一致的全景图像。第一方面，本申请实施例提供了一种全景图像的生成方法，应用于车载图像处理装置，所述包括：车载图像处理装置获取车周物体的图像信息及深度信息，深度信息用于指示车周物体上各个点的坐标点信息；获取初始模型，例如，初始模型为碗状的3D模型，或者，初始模型为圆柱状的3D模型；车载图像处理装置根据深度信息将初始模型上的第一坐标点调整至第二坐标点，生成第一模型；车载图像处理装置根据车辆周围物体的深度信息实时调整第一坐标点的位置，由于实时调整初始模型上的第一坐标点的位置，即该第一模型是根据车辆周围的物体距离车辆的实际距离得到的模型，第一模型的形状可能是不规则的形状，并且该第一模型的形状是随着车辆与车周物体的距离的变化而变化的，车载图像处理装置基于图像信息和第一模型获取全景图像。本申请实施例中，车载图像处理装置在创建3D模型时，引入了深度信息，车载图像处理装置根据深度信息调整初始模型上的坐标点，得到第一模型。车载图像处理装置根据真实世界的车辆周围物体对应生成虚拟的第一模型，基于真实世界的车辆对应生成虚拟的车辆模型，即当车辆周围物体与车辆之间的距离发生变化时，车辆模型与第一模型上物体对应的坐标点的距离也会发生变化，消除全景图像中的拼接重影和错位，从而得到与车周实际环境一致的3D全景图像。在一个可选的实现方式中，所述根据深度信息将初始模型上的第一坐标点调整至第二坐标点，生成第一模型可以包括：车载图像处理装置首先根据图像信息中的像素点及像素点对应的深度信息，将图像信息中的像素点转换为相机坐标系下的第一点云；然后，车载图像处理装置将相机坐标系下的第一点云转换为世界坐标下的第二点云；最后车载图像处理装置通过第二点云中的坐标点调整第一坐标点至第二坐标点，生成第一模型，第二坐标点是根据第二点云中的坐标点得到的。在一个可选的实现方式中，图像信息包括多个图像传感器采集的图像，将相机坐标系下的第一点云转换为世界坐标下的第二点云之后，该方法还包括：车载图像处理装置将多个图像传感器采集的多个图像在世界坐标系下的多片第二点云进行拼接，得到目标点云；该目标点云上的坐标点对应的就是车周物体到图像传感器的实际距离，车载图像处理装置通过第二点云中的坐标点调整第一坐标点至第二坐标点可以包括：首先，车载图像处理装置确定在第一坐标点邻域范围内的多个第三坐标点，第三坐标点为目标点云上的坐标点，然后，车载图像处理装置根据多个第三坐标点确定第二坐标点；其中，该第二坐标点是由第一坐标点邻域范围内的多个第三坐标点得到的。最后，车载图像处理装置将第一坐标点调整至第二坐标点。本实施例中，目标点云是基于车辆周围的物体距离车辆的实际距离得到的点云，车载图像处理装置在目标点云中的大量散点中，确定初始模型上的第一坐标点邻域范围内的多个第三坐标点，再根据多个第三坐标点确定第二坐标点，进而可以将初始模型上的点调整至第二坐标点，车载图像处理装置根据车辆周围的物体与车辆的实际距离精准地重建第一模型。在一个可选的实现方式中，将多个图像传感器采集的多个图像在世界坐标系下的多片第二点云进行拼接，得到目标点云可以包括：首先，车载图像处理装置对两个相邻图像传感器采集的第一图像和第二图像的重叠区域进行匹配，得到第一图像的点云和第二图像的点云之间进行变换的旋转矩阵和平移矩阵；然后，车载图像处理装置利用旋转矩阵和平移矩阵对第二图像的点云进行变换，将变换之后的第二图像的点云和第一图像的点云进行拼接。本实施例中，由于相邻两个相机的位姿不同，由此两个图像传感器采集到的图像会有微小角度和方位的差异，对两个图像传感器采集的图像的重叠区域(相同的景物)进行匹配，从而能够找到两个图像传感器采集到的图像的角度和方位的差异，即通过旋转和平移可以平衡这种差异，进而再将多个图像传感器采集图像的点云进行拼接得到一个整片的目标点云，通过目标点云上的点对初始模型上的第一坐标点进行调整，可以精准的重建3D模型。在一个可选的实现方式中，生成第一模型之后，所述方法还包括：车载图像处理装置对第一模型进行插值光滑化处理，得到第二模型，进一步的，车载图像处理装置根据图像信息对第二模型进行纹理贴图，生成全景图像。本实施例中，插值处理后的第二模型为表面光滑的3D模型，车载图像处理装置对表面光滑的第二模型进行纹理贴图，从而提升第一模型渲染效果。在一个可选的实现方式中，在真实世界中，车周物体包括第一物体和第二物体，当车辆与第一物体间的距离为第一距离，车辆与第二物体间的距离为第二距离时，车辆的位置映射到全景图像中的第一位置，而第一物体的位置映射到全景图像的第二位置，第二物体的位置映射到全景图像中的第三位置，当第一距离大于第二距离时，所述方法还包括：车载图像处理装置显示全景图像，在全景图像中，第一位置与第二位置之间的距离大于第一位置与第三位置之间的距离。本实施例中，当车辆周围物体与车辆之间的距离发生变化时，车辆模型与第一模型上物体对应的坐标点的距离也会发生变化，从而得到与车周实际环境一致的全景图像，消除拼接重影和错位，提高拼缝区域的检测精度和驾驶员体验效果。第二方面，本申请实施例提供了一种车载环视装置，包括：获取模块，用于获取车周物体的图像信息及深度信息，深度信息用于指示车周物体上各个点的坐标点信息；处理模块，用于获取初始模型；根据深度信息将初始模型上的第一坐标点调整至第二坐标点，生成第一模型；基于图像信息和第一模型获取全景图像。在一个可选的实现方式中，处理模块还具体用于：根据图像信息中的像素点及像素点对应的深度信息，将图像信息中的像素点转换为相机坐标系下的第一点云；将相机坐标系下的第一点云转换为世界坐标下的第二点云；通过第二点云中的坐标点调整第一坐标点至第二坐标点，生成第一模型，第二坐标点是根据第二点本文档来自技高网...

【技术保护点】
1.一种全景图像的生成方法，其特征在于，包括：/n获取车周物体的图像信息及深度信息，所述深度信息用于指示所述车周物体上各个点的坐标点信息；/n获取初始模型；/n根据所述深度信息将所述初始模型上的第一坐标点调整至第二坐标点，生成第一模型；/n基于所述图像信息和所述第一模型获取全景图像。/n

【技术特征摘要】
【国外来华专利技术】1.一种全景图像的生成方法，其特征在于，包括：
获取车周物体的图像信息及深度信息，所述深度信息用于指示所述车周物体上各个点的坐标点信息；
获取初始模型；
根据所述深度信息将所述初始模型上的第一坐标点调整至第二坐标点，生成第一模型；
基于所述图像信息和所述第一模型获取全景图像。


2.根据权利要求1所述的方法，其特征在于，所述根据所述深度信息将所述初始模型上的第一坐标点调整至第二坐标点，生成第一模型，包括：
根据图像信息中的像素点及像素点对应的深度信息，将图像信息中的像素点转换为相机坐标系下的第一点云；
将所述相机坐标系下的第一点云转换为世界坐标下的第二点云；
通过所述第二点云中的坐标点调整所述第一坐标点至第二坐标点，生成所述第一模型，所述第二坐标点是根据所述第二点云中的坐标点得到的。


3.根据权利要求2所述的方法，其特征在于，所述图像信息包括多个图像传感器采集的图像，所述将所述相机坐标系下的第一点云转换为世界坐标下的第二点云之后，所述方法还包括：
将所述多个图像传感器采集的多个图像在世界坐标系下的多片第二点云进行拼接，得到目标点云；
所述通过所述第二点云中的坐标点调整所述第一坐标点至第二坐标点，包括：
确定在所述第一坐标点邻域范围内的多个第三坐标点，所述第三坐标点为目标点云上的坐标点；
根据所述多个第三坐标点确定第二坐标点；
将所述第一坐标点调整至所述第二坐标点。


4.根据权利要求3所述的方法，其特征在于，所述将所述多个图像传感器采集的多个图像在世界坐标系下的多片第二点云进行拼接，得到目标点云，包括：
对两个相邻图像传感器采集的第一图像和第二图像的重叠区域进行匹配，得到所述第一图像的点云和所述第二图像的点云之间进行变换的旋转矩阵和平移矩阵；
利用所述旋转矩阵和平移矩阵对所述第二图像的点云进行变换，将变换之后的第二图像的点云和第一图像的点云进行拼接。


5.根据权利要求1-4中任一项所述的方法，其特征在于，所述生成第一模型之后，所述方法还包括：
对所述第一模型进行插值光滑化处理，得到第二模型；
所述基于所述图像信息和第一模型获取全景图像，包括：
根据所述图像信息对所述第二模型进行纹理贴图，生成全景图像。


6.根据权利要求1所述的方法，其特征在于，所述车周物体包括第一物体和第二物体，当车辆与第一物体间的距离为第一距离，所述车辆与第二物体间的距离为第二距离时，所述车辆的位置映射到所述全景图像中的第一位置，所述第一物体的位置映射到所述全景图像的第二位置，所述第二物体的位置映射到全景图像中的第三位置，当所述第一距离大于所述第二距离时，所述方法还包括：
显示所述全景图像，在所述全景图像中，所述第一位置与所述第二位置之间的距离大于所述第一位置与所述第三位置之间的距离。


7.一种车载环视装置，其特征在于，包括：
获取模块，用于获取车周物体的图像信息及深度信息，所述深度信息用于指示所述车周物体上各个点的坐标点信息；
处理模块，用于获取初始模型；根据所述深度信息将所述初始模型上的第一坐标点调整至第二坐标点，生成第一模型；基于所述图像信息和所述第一模型获取全景图像。


8.根据权利要求7所述的装置，其特征在于，...

【专利技术属性】
技术研发人员：陈晓丽，张峻豪，黄为，王笑悦，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44