用于环绕视图增强的智能车辆系统和控制逻辑技术方案

提出了具有联网的具有相机视图增强能力的车载相机的智能车辆系统、制造/使用这种系统的方法以及配备有这种系统的车辆。一种用于操作机动车辆的方法包括系统控制器从车载相机网络接收包含从一个或多个相机的视角的目标对象的相机图像数据。控制器分析相机图像以识别目标对象的特性，并将这些特性分类到与目标对象的类型相关联的对应模型收集集。然后，控制器识别分配给与目标对象类型相关联的模型收集集的3D对象模型。通过用定位在新朝向上的3D对象模型替换目标对象来生成新的“虚拟”图像。控制器使用新的图像命令驻留车辆系统执行控制操作。行控制操作。行控制操作。

【技术实现步骤摘要】
用于环绕视图增强的智能车辆系统和控制逻辑


[0001]本公开总体上涉及机动车辆的控制系统。更具体地，本公开的各方面涉及具有图像分段、深度推断和对象识别能力的高级驾驶系统。

技术介绍

[0002]当前生产的机动车辆(诸如现代汽车)可以配备有车载电子设备的网络，其提供自动驾驶能力以帮助最小化驾驶员的努力。例如，在汽车应用中，最可识别类型的自动驾驶特征之一是巡航控制系统。巡航控制允许车辆操作者设置特定的车辆速度，并使车载车辆计算机系统保持该速度，而无需驾驶员操作加速器或制动踏板。下一代自适应巡航控制(ACC)是一种自动驾驶特征，其调节车辆速度，同时管理主车辆和领先的“目标”车辆之间的车头间距。另一种类型的自动驾驶特征是防撞系统(CAS)，其检测即将发生的碰撞状况并向驾驶员提供警告，同时还采取预防措施，例如，在没有驾驶员输入的情况下通过转向或制动。智能停车辅助系统(IPAS)、车道监控和自动转向(“自动转向”)系统、电子稳定控制(ESC)系统和其他高级驾驶员辅助系统(ADAS)也可用于许多现代汽车。
[0003]随着车辆处理、通信和感测能力不断改善，制造商将继续提供更多的自动化驾驶能力，希望生产能够在城市和农村场景中在异构车辆类型之间操作的完全自主的“自动驾驶”车辆。原始设备制造商(OEM)正朝着具有更高级别的驾驶自动化的车辆对车辆(V2V)和车辆对基础设施(V2I)“谈话”汽车发展，其采用智能控制系统来实现具有转向、车道变换、场景规划等的车辆路线。自动路径规划系统利用车辆状态和动态传感器、地理定位信息、地图和道路状况数据以及路径预测算法来提供具有自动车道中心和车道变换预测的路线推导。计算机辅助重选路线技术提供了可以例如基于实时和虚拟车辆数据来更新的替代行进路线预测。
[0004]许多汽车现在配备有车载车辆导航系统，其利用全球定位系统(GPS)收发器与导航软件和地理定位地图服务协作来获得与车辆的实时位置相关联的道路地形、交通和速度限制数据。自主驾驶和高级驾驶员辅助系统通常能够基于由车载导航系统获得的道路信息来适应自动驾驶操纵。例如，基于自组织网络的ADAS可以采用GPS和地图数据结合多跳geocast V2V和V2I数据交换来促进自动车辆操纵和动力系统控制。在辅助和无辅助车辆操作期间，居民导航系统可以基于给定行程的路线起点和路线目的地之间的估计最短行进时间或估计最短行进距离来识别推荐的行进路线。然后，该推荐的行驶路线可以在地理编码和注释的地图上显示为地图轨迹或导航驾驶方向，其中车载音频系统输出可选的语音命令。
[0005]自动化和自主车辆系统可以采用各种感测部件来提供目标对象检测和测距。例如，无线电检测和测距(RADAR)系统通过将从对象反射的高频电磁波的脉冲放电回到合适的无线电接收器来检测目标对象的存在、距离和/或速度。作为另一种选择，车辆可以采用激光检测和测距(LADAR)反向散射系统，其发射和检测脉冲激光束以进行精确的距离测量。与基于LADAR的检测同义并且通常用作基于LADAR的检测的总称的是光检测和测距(LIDAR)
技术，其使用各种形式的光能(包括不可见、红外光谱和近红外激光光谱)来确定到静止或移动目标的距离。具有各种数码相机、超声波传感器等的车载传感器群也提供实时目标数据。历史上，这些对象检测和测距系统可能由于车辆近场中的窄视场而在精确性和应用方面受到限制，并且由于对总传感器计数和可用包装位置的约束而在固有系统限制方面受到限制。

技术实现思路

[0006]本文提出了智能车辆系统、制造和使用这种系统的方法以及配备有这种系统的机动车辆，所述智能车辆系统具有联网的车载车辆相机和用于使用对象识别和模型替换进行相机视图增强的伴随控制逻辑。作为示例，提出了采用自然环绕视觉(NSV)技术以基于对象识别、图像分段和深度推断，用从模型集合数据库检索的3D模型替换环绕相机视图中的检测到的对象的系统和方法。这样的对象分类和替换对于对象的部分从驻留相机系统模糊或对驻留相机系统不可见并且因此从期望视点的对象渲染是部分的场景可能是特别有用的。对于模型收集，计算机视觉技术识别可识别的对象(例如，车辆、行人、自行车、灯柱等)并将它们聚合到对应的对象集中以供将来参考。实现图像分段以将二维(2D)相机图像划分为单独的片段；然后在逐段的基础上评估图像，以将每个像素分组成对应的类。另外，深度推断通过向每个图像像素分配范围(深度)来推断2D图像中的3D结构。使用AI神经网络(NN)，对象识别分析2D相机生成的图像以对来自图像的特性进行分类，并将目标对象的特性与对应的模型收集集相关联。目标对象被移除并用对该集通用的3D对象模型替换，例如，在新的“虚拟”图像中。
[0007]所公开的概念中的至少一些的伴随益处包括目标获取系统，其更精确地检测和分类二维(2D)相机图像内的目标对象，例如，以提供更全面的情境感知，并且因此实现更直观的驾驶员和车辆响应。其他伴随的益处可以包括提供虚拟相机感测能力，以使用由驻留相机网络捕获的真实世界图像从辅助有利位置(例如，鸟瞰视图视角或尾随车辆“追逐视图”或“行车记录仪”视角)导出虚拟视角。其他益处可包括车辆系统能够从由物理相机捕获的数据生成具有改善的虚拟场景质量的虚拟视图，同时保留所捕获场景的3D结构并实现对虚拟场景视角的实时改变。
[0008]本公开的各方面涉及用于制造和/或用于操作任何所公开的车辆传感器网络的系统控制逻辑、智能控制技术和计算机可读介质(CRM)。在示例中，提出了一种用于控制机动车辆的操作的方法，该机动车辆具有传感器阵列，该传感器阵列包括安装在车辆上的离散位置处的相机网络。此代表性方法以任何次序且以与上文及下文所揭示的选项及特征中的任一个的任何组合包括：例如经由一个或多个驻留或远程系统控制器从传感器阵列接收指示具有从相机的一个或多个的一个或多个相机视角的目标对象的一个或多个相机图像的相机数据；例如经由系统控制器使用对象识别模块分析相机图像，以识别目标对象的特性并将特性分类到从多个预定义模型收集集中选择的与目标对象的类型相关联的对应模型收集集；例如经由控制器从驻留或远程存储器存储的对象库检索对于与目标对象类型相关联的对应模型收集集通用的三维(3D)对象模型；通过用定位在不同朝向上的3D对象模型替换目标对象来生成一个或多个新的图像(例如，虚拟图像)；以及例如经由系统控制器将一个或多个命令信号发送到一个或多个驻留车辆系统，以使用新的图像执行一个或多个控制
操作。
[0009]还提出了存储指令的非暂时性CRM，所述指令可由机动车辆的系统控制器的一个或多个处理器执行，所述机动车辆包括具有安装在车身上的离散位置处的相机网络的传感器阵列。这些指令在由一个或多个处理器执行时使得控制器执行包含以下各项的操作：从传感器阵列接收指示具有从相机中的一个的相机视角的目标对象的相机图像的相机数据；分析相机图像以识别目标对象的特性并将特性分类到与目标对象的类型相关联的多个模型收集集中的对应一个；确定与目标对象的类型相关联的对应模型收集集的3D对象模型；通过用定位在不同朝向上的3D对象模型替换目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于控制机动车辆的操作的方法，所述机动车辆具有传感器阵列，所述传感器阵列包括安装在所述机动车辆上的离散位置处的相机网络，所述方法包括：经由电子系统控制器从所述传感器阵列接收指示具有从所述相机中的一个的相机视角的目标对象的相机图像的相机数据；经由所述系统控制器使用对象识别模块分析所述相机图像以识别所述目标对象的特性并将所述特性分类到与所述目标对象的类型相关联的多个模型收集集中的对应一个；经由所述控制器从存储器存储的对象库检索对与所述目标对象的所述类型相关联的对应模型收集集通用的3D对象模型；以及使用来自至少一个车辆相机的相机数据从所选视点生成新的虚拟图像，并用定位在不同朝向的所述3D对象模型替换所述虚拟图像中的所述目标对象。2.根据权利要求1所述的方法，还包括：经由所述系统控制器使用图像分段模块将所述相机图像划分为多个不同的片段；以及评估所述片段以将包含在其中的像素分组成多个预定义类中的对应类。3.根据权利要求2所述的方法，其中，所述图像分段模块可操作以执行计算机视觉算法，所述计算机视觉算法个别地分析所述不同的片段中的每一个以识别所述片段中共享预定义属性的像素。4.根据权利要求2所述的方法，还包括经由所述系统控制器使用深度推断模块导出对应于所述物理相机图像映射的每个像素的相应密集深度。5.根据权利要求4所述的方法，其中，所述深度推断模块可操作以：从所述相机中的多个相机的多个相机视角接收指示相机图像与所述目标对象重叠的补充相机数据；以及通过神经网络处理所述补充相机数据，所述神经网络被训练以使用损失函数输出深度数据和语义分段数据，所述损失函数组合包括语义分段损...

【专利技术属性】
技术研发人员：M斯勒茨基，A沙鲁莫夫，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：