使用神经网络的对象检测和碰撞避免制造技术

本公开涉及使用神经网络的对象检测和碰撞避免。一种用于在与车辆相关联的相机的视野中识别对象的装置、系统和技术。在至少一个实施例中，基于例如在第一时间点检测到的对象的图像的大小与在后续时间点检测到的对象的图像的大小之间的差异来识别车辆可能与之碰撞的对象。的对象。的对象。

【技术实现步骤摘要】
使用神经网络的对象检测和碰撞避免


[0001]至少一个实施例涉及处理资源，该处理资源用于在与车辆相关联的相机的视野中识别对象。例如，至少一个实施例涉及用于根据本文描述的各种新技术识别靠近车辆的对象的处理器或计算系统。

技术介绍

[0002]识别对象到车辆的距离会消耗大量的内存、时间和/或计算资源。用于识别对象与车辆的距离的内存、时间或计算资源的数量可以得到改善。
附图说明
[0003]图1示出了根据至少一个实施例的靠近车辆的对象的示例环境；
[0004]图2示出了根据至少一个实施例的使用神经网络来针对移动车辆进行对象检测和碰撞避免的图；
[0005]图3示出了根据至少一个实施例的用于对象检测和碰撞避免的神经网络的架构图；
[0006]图4示出了根据至少一个实施例的使用从车辆的相机获得的源图像和参考图像的示例；
[0007]图5示出了根据至少一个实施例的使用从车辆的相机获得的源图像和参考图像作为神经网络的输入来生成二值分割图的示例；
[0008]图6示出了根据至少一个实施例的生成分割图的过程的说明性示例；
[0009]图7示出了根据至少一个实施例的训练神经网络的过程的说明性示例；
[0010]图8A示出了根据至少一个实施例的推理和/或训练逻辑；
[0011]图8B示出了根据至少一个实施例的推理和/或训练逻辑；
[0012]图9示出了根据至少一个实施例的神经网络的训练和部署；
[0013]图10示出了根据至少一个实施例的示例数据中心系统；
[0014]图11A示出了根据至少一个实施例的自主车辆的示例；
[0015]图11B示出了根据至少一个实施例的图11A的自主车辆的相机位置和视野的示例；
[0016]图11C是根据至少一个实施例的示出图11A的自主车辆的示例系统架构的框图；
[0017]图11D是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图11A的自主车辆之间进行通信的系统的图；
[0018]图12是根据至少一个实施例的示出计算机系统的框图；
[0019]图13是根据至少一个实施例的示出计算机系统的框图；
[0020]图14示出了根据至少一个实施例的计算机系统；
[0021]图15示出了根据至少一个实施例的计算机系统；
[0022]图16A示出了根据至少一个实施例的计算机系统；
[0023]图16B示出了根据至少一个实施例的计算机系统；
[0024]图16C示出了根据至少一个实施例的计算机系统；
[0025]图16D示出了根据至少一个实施例的计算机系统；
[0026]图16E和图16F示出了根据至少一个实施例的共享编程模型；
[0027]图17示出了根据至少一个实施例的示例性集成电路和相关的图形处理器；
[0028]图18A和图18B示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0029]图19A和图19B示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0030]图20示出了根据至少一个实施例的计算机系统；
[0031]图21A示出了根据至少一个实施例的并行处理器；
[0032]图21B示出了根据至少一个实施例的分区单元；
[0033]图21C示出了根据至少一个实施例的处理集群；
[0034]图21D示出了根据至少一个实施例的图形多处理器；
[0035]图22示出了根据至少一个实施例的多图形处理单元(GPU)系统；
[0036]图23示出了根据至少一个实施例的图形处理器；
[0037]图24是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0038]图25示出了根据至少一个实施例的深度学习应用程序处理器；
[0039]图26是根据至少一个实施例的示出了示例神经形态处理器的框图；
[0040]图27示出了根据一个或更多个实施例的图形处理器的至少部分；
[0041]图28示出了根据一个或更多个实施例的图形处理器的至少部分；
[0042]图29示出了根据一个或更多个实施例的图形处理器的至少部分；
[0043]图30是根据至少一个实施例的图形处理器的图形处理引擎的框图；
[0044]图31是根据至少一个实施例的图形处理器核心的至少部分的框图；
[0045]图32A和图32B示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列。
[0046]图33示出了根据至少一个实施例的并行处理单元(“PPU”)；
[0047]图34示出了根据至少一个实施例的通用处理集群(“GPC”)；
[0048]图35示出了根据至少一个实施例的并行处理单元(“PPU”)的存储器分区单元；
[0049]图36示出了根据至少一个实施例的流式多处理器；
[0050]图37是根据至少一个实施例的部署管线的示例数据流图；
[0051]图38是根据至少一个实施例的用于在部署管线中训练、自适应、实例化和部署机器学习模型的示例系统的系统图；
[0052]图39包括根据至少一个实施例的用于处理成像数据的部署管线3810A的示例图示；
[0053]图40A包括根据至少一个实施例的支持超声设备的虚拟仪器的示例数据流图；
[0054]图40B包括根据至少一个实施例的支持CT扫描仪的虚拟仪器的示例数据流图；
[0055]图41A示出了根据至少一个实施例的用于训练机器学习模型的过程的数据流图；以及
[0056]图41B是根据至少一个实施例的利用预训练的注释模型来增强注释工具的客户端
‑
服务器架构的示例图示。
具体实施方式
[0057]车辆，例如自主车辆或半自主车辆，经常在有许多对象和障碍物的环境中行驶。车辆可能需要确定这些对象的距离，以及这些对象是否足够接近可能发生潜在碰撞的距离。在至少一个实施例中，具有附接或固定到所述车辆的相应相机的车辆捕获至少两个图像并且使用所述两个图像来确定视野中的对象是否将在时间间隔内发生碰撞。在至少一个实施例中，本文描述的技术涉及对象碰撞确定以确定环境中的哪些对象可能在时间间隔(也称为碰撞时间(TTC))内与车辆或与车辆相关联的参考平面碰撞。在至少一个实施例中，在确定所述对象是否将在一定时间量内与所述车辆接触之后，所述车辆于是能够执行导航操作以避开其视野中的任何对象。
[0058]在至少一个实施例中，车辆在包括诸如其他车辆、路标、树木等对象的环境中导航。在至少一个实施例中，当车辆移动时，在不同的时间从车辆视点捕获至少两个图像。在至少一个实施例中，神经网络获得在第一时间捕获的图像和在后续的第二时间捕获的另一图像。在至少一个实施例中，神经网络通过基于计算值(例如，TTC值)的因子对在第一时间捕获的图像进行缩放。在至少一个实施例中，神经本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理器，包括：一个或更多个电路，用于使用一个或更多个神经网络来至少部分地基于在第一时间点检测到的一个或更多个对象的图像的大小与在后续时间点检测到的所述一个或更多个对象的图像的大小之间的差异而识别车辆可能会与之碰撞的所述一个或更多个对象。2.如权利要求1所述的处理器，其中所述一个或更多个电路进一步用于：用缩放因子缩放在所述第一时间点检测到的所述一个或更多个对象的所述图像。3.如权利要求2所述的处理器，其中至少部分地基于碰撞时间TTC值来计算所述缩放因子。4.如权利要求3所述的处理器，其中所述一个或更多个电路进一步用于：至少部分地基于在所述第一时间点检测到的所述一个或更多个对象的缩放图像和在所述后续时间点检测到的所述一个或更多个对象的所述图像来确定所述一个或更多个对象中的哪些对象可能在所述TTC值内与所述车辆碰撞。5.如权利要求4所述的处理器，其中所述一个或更多个电路进一步用于：至少部分地基于对所述一个或更多个对象中的哪些对象可能在所述TTC值内与所述车辆碰撞的所述确定来生成分割图。6.如权利要求5所述的处理器，其中所述一个或更多个电路进一步用于：用第二缩放因子缩放在所述第一时间点检测到的所述一个或更多个对象的所述图像，其中至少部分地基于第二TTC值来计算所述第二缩放因子；至少部分地基于用所述第二缩放因子缩放的、在所述第一时间点检测到的所述一个或更多个对象的所述缩放图像和在所述后续时间点检测到的所述一个或更多个对象的所述图像来确定所述一个或更多个对象中的哪些对象可能在所述第二TTC值内与所述车辆碰撞；以及至少部分地基于对所述一个或更多个对象中的哪些对象可能在所述第二TTC值内与所述车辆碰撞的所述确定来生成第二分割图。7.如权利要求6所述的处理器，其中所述一个或更多个电路进一步用于：至少部分地基于所述分割图和所述第二分割图来确定所述一个或更多个对象中的哪些对象可能与所述车辆碰撞。8.一种系统，包括：具有一个或更多个处理器的一个或更多个计算机，所述一个或更多个处理器用于使用一个或更多个神经网络来至少部分地基于在第一时间点检测到的一个或更多个对象的图像的大小与在后续时间点检测到的所述一个或更多个对象的图像的大小之间的差异而识别车辆可能会与之碰撞的所述一个或更多个对象。9.如权利要求8所述的系统，其中所述一个或更多个处理器进一步用于：使用缩放因子缩放在所述第一时间点检测到的所述一个或更多个对象的所述图像；至少部分地基于在所述第一时间点检测到的所述一个或更多个对象的缩放图像和在所述后续时间点检测到的所述一个或更多个对象的所述图像来确定所述一个或更多个对象中的哪些对象可能在时间间隔内与所述车辆碰撞；以及生成分割图，其指示在所述时间间隔内可能与所述车辆碰撞的所述一个或更多个对象中的所述对象。
10.如权利要求8所述的系统，其中所述车辆是手动操作的车辆。11.如权利要求8所述的系统，其中所述一个或更多个处理器进一步用于：从在所述第一时间点检测到的所述一个或更多个对象的所述图像和在所述后续时间点检测到的所述一个或更多个对象的所述图像来确定一个或更多个特征图。12.如权利要求8所述的系统，其中：所述车辆包括具有一个或更多个处理器的所述一个或更多个计算机，所述一个或更多个处理器用于使用一个或更多个神经网络来识别所述车辆可能与之碰撞的所述一个或更多个对象；以及所述车辆至少部分地基于来自所述一个或更多个神经网络的输出来执行一个或更多个导航操作以避免与所述一个或更多个对象的碰撞。13.如权利要求12所述的系统，其中来自所述一个或更多个神经网络的输出指示所述一个或更多个对象相对于所述车辆的碰撞时间。14.一种其上存储有一组指令的机器可读介质，所述一组指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器使用一个或更多个神经网络来至少部分地基于在第一时间点检测到的一个或更多个对象的图像的大小与在后续时间点检测到的所述一个或更多个对象的图像的大小之间的差异而识别车辆可能会与之碰撞的所述一个或更多个对象。15.如权利要求14所述的机器可读介质，其中所述一组指令进一步包括这样的指令：其如果由所述一个或更多个处理器执行，则使所述一个或更多个处理器使用所述一个或更多个神经网络来用缩放因子缩放在所述第一时间点检测到的所述一个或更多个对象的所述图像的特征图。16.如权利要求15所述的机器可读介质，其中所述一组指令还包括这样的指令：其如果由所述一个或更多个处理器执行，则使所述一个或更多个处理器使用所述一个或更多个神经网络来生成二值分割图，其指示所述一个或更多个对象中的哪些对象可能在时间间隔内与所述车辆发生碰撞。17.如权利要求16所述的机器可读介质，其中至少部分地基于所述第一时间点、所述后续时间点和所述时间间隔来计算所述缩放因子。18.如权利要求16所述的机器可读介质，其中所述一个或更多个神经网络在所述二值分割图中分配预定值，以指示在所述时间间隔内可能与所述车辆碰撞的所述一个或更多个对象中的所述对象。19.如权利要求16所述的...

【专利技术属性】
技术研发人员：O，
申请(专利权)人：辉达公司，
类型：发明
国别省市：