获取对象的3D信息的方法、系统和设备技术方案

本发明专利技术涉及一种用于获得显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的方法、一种用于执行所述方法的各个步骤的设备以及一种包括这种设备的系统。本发明专利技术还涉及一种包括这种设备或这种系统的车辆。

Methods, systems and devices for obtaining 3D information of objects

【技术实现步骤摘要】
获取对象的3D信息的方法、系统和设备
本专利技术涉及一种用于获得至少部分地显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的方法、一种用于执行所述方法的各个步骤的设备以及一种包括这种设备的系统。本专利技术还涉及一种包括这种设备或这种系统的车辆。
技术介绍
在现有技术中，在车辆，尤其是在机动车辆中提供的高级驾驶员辅助系统(ADAS)的显示器以二维方式显示图像呈现。结果，车辆的驾驶员不能以正确和精确的方式从静止帧判断图像呈现中存在的对象的距离和深度。因此，尽管在车辆上可以使用辅助系统，但是驾驶员仍然需要高度关注显示器，以便解释和理解关于其上显示的各个对象的图像呈现。例如，在停车期间，驾驶员仔细分析了图像呈现以避开撞击场景中存在的对象。此外，额外所需的所述关注伴随着驾驶员对其他事件的更高疏忽。这反过来又会增加事故风险。
技术实现思路
因此，本专利技术旨在以更舒适、可靠和安全的方式提供关于车辆环境的信息。本专利技术通过一种用于获得至少部分地显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的方法解决根据第一方面所述的问题，所述方法包括以下步骤：接收由第一传感器设备获得的至少一个第一图像；接收由第二传感器设备获得的至少一个第二图像；通过组合来自至少所述第一图像和所述第二图像的信息来生成共享3D空间；识别所述共享3D空间中的至少一个对象，由此所述对象至少部分地在所述第一图像中并且至少部分地在所述第二图像中显示；确定所述对象的至少一个3D信息；并且基于所确定的所述3D信息执行至少一个动作。在一个实施方式中，优选的是，所述方法进一步包括以下步骤：(i)接收由至少一个第三传感器设备获得的至少一个第三图像，优选地所述至少一个第三图像为多个第三图像，优选地所述至少一个第三传感器为多个第三传感器设备；(ii)至少部分地在所述第一图像上应用失真校正，特别地基于所述第一传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜畸变校正，尤其地所述预定参数是透镜参数；(iii)至少部分地在所述第二图像上应用失真校正，特别地基于所述第二传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜失真校正，尤其地所述预定参数是透镜参数；(iv)至少部分地在所述第三图像上应用失真校正，特别地基于所述第三传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜失真校正，尤其地所述预定参数是透镜参数；和/或(v)至少部分地接收一个全景(surroundview)图像，由全景图像处理器至少部分地生成至少一个全景图像，为至少一个驾驶员辅助系统至少部分地生成至少一个全景图像和/或通过至少一个驾驶员辅助系统至少部分地显示至少一个全景图像，其中特别地所述全景图像至少部分地基于至少所述第一图像、所述第二图像和/或所述第三图像。在另一实施方式中，(i)生成所述共享3D空间进一步包括以下步骤：执行所述第一图像、所述第二图像和/或所述第三图像的3D数据映射，特别地所述执行是至少部分地执行，和/或确定相应图像的共享视野的至少一部分；(ii)生成所述共享3D空间进一步包括以下步骤：匹配至少部分地显示在所述第一图像、所述第二图像和/或所述第三图像中的对象，所述对象为所述至少一个对象，尤其地所述匹配借助于以下手段进行：(a)图像特征配准，特别地所述图像特征配准是具有较大视差的图像特征配准，(b)随时间进行的跟踪，(c)确定的对象运动结构，和/或(d)至少一种基于随机样本共识(RANSAC)的方法；(iii)所述共享3D空间至少部分地是、包括和/或表示所述车辆的环境的至少一部分的模型，尤其地所述至少一部分是所述车辆的周围区域的至少一部分；(iv)至少部分地基于所述共享3D空间确定所述3D信息；(v)所述3D信息至少部分地包括至少一个深度信息和/或距离；(vi)所述距离是测量的所述对象相对于至少一个参考点的距离，尤其地所述至少一个参考点是至少部分地位于所述车辆上或所述车辆处的至少一个参考点；和/或(vii)所述全景图像至少部分地包括至少一个第一图像部分，其中所述第一图像部分至少部分地由至少包括以下的步骤获得：至少部分地沿着至少一个第一边界剪切所述第一图像；至少一个第二图像部分，其中所述第二图像部分至少部分地由至少包括以下的步骤获得：至少部分地沿着至少一个第二边界剪切所述第二图像；和/或至少一个第三图像部分，其中所述第三图像部分至少部分地由至少包括以下的步骤获得：沿着至少一个第三边界剪切所述第三图像。在又一实施方式中，执行所述动作包括以下步骤：(i)确定所述对象是否至少部分地位于所述全景图像的至少一个盲点区域内，其中特别地，如果所述对象在所述第一图像部分的外部和/或部分地在所述第一图像部分的外部和/或在所述第二图像部分的外部和/或部分地在所述第二图像部分的外部，则所述对象位于所述盲点区域内；并且优选地，响应于所述对象至少部分地位于所述盲点区域内的所述确定，特别地进一步包括以下步骤：调整所述第一边界和/或所述第二边界的至少一部分以便将所述对象至少部分地包含在所述第一图像部分和/或所述第二图像部分中；(ii)触发信号设备，以在所述对象的所述3D信息超过和/或低于第一阈值时通知所述车辆的驾驶员关于所述对象的情况；(iii)利用所述对象的所述3D信息增强以下应用中的至少一种：全景应用、停车应用、远视应用，特别地所述停车应用是距离在1.5米和2米之间的停车应用，特别地所述远视应用是超过20米的远视应用；(iv)根据所述对象的所述3D信息，特别是在所述对象的所述3D信息超过和/或低于第二阈值时，重新整理(rearranging)所述全景图像的至少一部分，特别地所述重新整理借助于以下手段进行：改变所述全景图像的缩放级别，尤其地所述改变是增大和/或减小；至少部分地在所述全景图像上突出显示所述对象；和/或至少部分地在所述全景图像上分离所述对象；和/或(v)将所述对象的所述3D信息至少部分地转发给至少一个高级驾驶员辅助系统。本专利技术通过一种用于获得显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的设备解决根据第二方面所述的问题，所述设备包括适于执行根据本专利技术的所述第一方面所述的方法的步骤的至少一个处理器。本专利技术通过一种用于获得显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的系统解决根据第三方面所述的问题，所述系统包括：至少一个第一传感器设备；至少一个第二传感器设备；以及至少一个根据本专利技术的所述第二方面所述的设备。在一个实施方式中，(i)所述系统进一步包括至少一个第三传感器设备，优选地所述至少一个第三传感器为多个第三传感器设备；(ii)所述系统进一步包括至少一个驾驶员辅助系统和/或至少一个信号设备；(iii)至少一个鸟瞰系统处理器和/或至少一个全景图像处理器；和/或(iv)所述系统进一步包括适于执行以下应用中的至少一种的至少一个设备：全景应用、停车应用、远视应用，特别地所述停车应用是距离在1.5米和2米之间的停车应用，特别地所述远视应用是超过20米的远视应用。在另一实施方式中，(i)所述第一传感器设备适于至少部分地获得至少第一图像；(ii)所述第一传感器设备至少部分地包括和/或表示至少一个第一相机、至少一个第一本文档来自技高网...

【技术保护点】
1.用于获得至少部分地显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的方法，所述方法包括以下步骤：接收由第一传感器设备获得的至少一个第一图像；接收由第二传感器设备获得的至少一个第二图像；通过组合来自至少所述第一图像和所述第二图像的信息来生成共享3D空间；识别所述共享3D空间中的至少一个对象，由此所述对象至少部分地在所述第一图像中并且至少部分地在所述第二图像中显示；确定所述对象的至少一个3D信息；并且基于所确定的所述3D信息执行至少一个动作。

【技术特征摘要】
2018.04.12 DE 102018108751.91.用于获得至少部分地显示在由至少两个车载传感器获得的至少两个图像中的对象的3D信息的方法，所述方法包括以下步骤：接收由第一传感器设备获得的至少一个第一图像；接收由第二传感器设备获得的至少一个第二图像；通过组合来自至少所述第一图像和所述第二图像的信息来生成共享3D空间；识别所述共享3D空间中的至少一个对象，由此所述对象至少部分地在所述第一图像中并且至少部分地在所述第二图像中显示；确定所述对象的至少一个3D信息；并且基于所确定的所述3D信息执行至少一个动作。2.如权利要求1所述的方法，其进一步包括以下步骤：(i)接收由至少一个第三传感器设备获得的至少一个第三图像，优选地所述至少一个第三图像为多个第三图像，优选地所述至少一个第三传感器为多个第三传感器设备；(ii)至少部分地在所述第一图像上应用失真校正，特别地基于所述第一传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜畸变校正，尤其地所述预定参数是透镜参数；(iii)至少部分地在所述第二图像上应用失真校正，特别地基于所述第二传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜失真校正，尤其地所述预定参数是透镜参数；(iv)至少部分地在所述第三图像上应用失真校正，特别地基于所述第三传感器设备的至少一个预定参数应用所述失真校正，特别地所述失真校正是透镜失真校正，尤其地所述预定参数是透镜参数；和/或(v)至少部分地接收一个全景图像，由全景图像处理器至少部分地生成至少一个全景图像，为至少一个驾驶员辅助系统至少部分地生成至少一个全景图像和/或通过至少一个驾驶员辅助系统至少部分地显示至少一个全景图像，其中特别地所述全景图像至少部分地基于至少所述第一图像、所述第二图像和/或所述第三图像。3.如前述权利要求中任一项所述的方法，其中(i)生成所述共享3D空间进一步包括以下步骤：执行所述第一图像、所述第二图像和/或所述第三图像的3D数据映射，特别地所述执行是至少部分地执行，和/或确定相应图像的共享视野的至少一部分；(ii)生成所述共享3D空间进一步包括以下步骤：匹配至少部分地显示在所述第一图像、所述第二图像和/或所述第三图像中的对象，所述对象为所述至少一个对象，尤其地所述匹配借助于以下手段进行：(a)图像特征配准，特别地所述图像特征配准是具有较大视差的图像特征配准，(b)随时间进行的跟踪，(c)确定的对象运动结构，和/或(d)至少一种基于随机样本共识(RANSAC)的方法；(iii)所述共享3D空间至少部分地是、包括和/或表示所述车辆的环境的至少一部分的模型，尤其地所述至少一部分是所述车辆的周围区域的至少一部分；(iv)至少部分地基于所述共享3D空间确定所述3D信息；和/或(v)所述3D信息至少部分地包括至少一个深度信息和/或距离；(vi)所述距离是测量的所述对象相对于至少一个参考点的距离，尤其地所述至少一个参考点是至少部分地位于所述车辆上或所述车辆处的至少一个参考点；和/或(vii)所述全景图像至少部分地包括至少一个第一图像部分，其中所述第一图像部分至少部分地由至少包括以下的步骤获得：至少部分地沿着至少一个第一边界剪切所述第一图像；至少一个第二图像部分，其中所述第二图像部分至少部分地由至少包括以下的步骤获得：至少部分地沿着至少一个第二边界剪切所述第二图像；和/或至少一个第三图像部分，其中所述第三图像部分至少部分地由至少包括以下的步骤获得：沿着至少一个第三边界剪切所述第三图像。4.如前述权利要求中任一项所述的方法，其中执行所述动作包括以下步骤：(i)确定所述对象是否至少部分地位于所述全景图像的至少一个盲点区域内，其中特别地，如果所述对象在所述第一图像部分的外部和/或部分地在所述第一图像部分的外部和/或在所述第二图像部分的外部和/或部分地在所述第二图像部分的外部，则所述对象位于所述盲点区域内；并且优选地，响应于所述对象至少部分地位于所述盲点区域内的所述确定，特别地进一步包括以下步骤：调整所述第一边界和/或所述第二边界的至少一部分以便将所述对象至少部分地包含在所述第一图像部分和/或所述第二图像部分中；(ii)触发信号设备，以在所述对象的所述3D信息超过和/或低于第一阈值时通知所述车辆的驾驶员关于所述对象的情况；(iii)利用所述对象的所述3D信息增强以下应用中的至少一种：全景应用、停车应用、远视应用，特别地所述停车应用是距...

【专利技术属性】
技术研发人员：马克西米兰·考夫曼，凯·乌维·哈根伯格，
申请(专利权)人：玛泽森创新有限公司，
类型：发明
国别省市：英国,GB