对象检测方法、系统和存储介质技术方案

本发明专利技术涉及对象检测方法、系统和存储介质。提供了使用雷达与激光雷达融合的用于对象检测的方法，该方法可以包括生成组合分别针对雷达和激光雷达的点云聚类的聚类，使用深度学习模型根据该聚类确定融合特征。还提供了系统和计算机程序产品。和计算机程序产品。和计算机程序产品。

【技术实现步骤摘要】
对象检测方法、系统和存储介质


[0001]本专利技术涉及对象检测。

技术介绍

[0002]光检测和测距(LiDAR)根据由发射器发射、被对象反射并由检测器检测到的光来确定信息。类似地，无线电检测和测距(RADAR)根据发射器发射并被对象反射的无线电波来确定对象信息。该信息包括诸如到对象的距离、对象的速度等的与对象相关联的数据。检测器是接收对象反射的光的光电检测器。检测器可以是固态光电检测器、光电倍增器或其任意组合。

技术实现思路

[0003]一种用于对象检测的方法，包括：利用至少一个处理器获得在环境中运行的运载工具的光检测和测距传感器即LiDAR传感器所捕获的第一点云；利用所述至少一个处理器获得所述运载工具的无线电检测和测距传感器即RADAR传感器所捕获的第二点云；利用所述至少一个处理器将所述第一点云转换至以运载工具为中心的参考系；利用所述至少一个处理器将所述第二点云转换至所述以运载工具为中心的参考系；利用所述至少一个处理器在所述第一点云中生成点的第一聚类组；利用所述至少一个处理器在所述第二点云中生成点的第二聚类组；利用所述至少一个处理器，基于所述第一聚类组中的点与所述第二聚类组中的点的关联来生成第三聚类组，其中生成所述第三聚类组包括使用从网络中的LiDAR分支和RADAR分支中的各个分支获得的特征、在特征级组合特征以创建经融合的LiDAR/RADAR生成的特征；以及利用所述至少一个处理器并且使用所述经融合的LiDAR/RADAR生成的特征，基于机器学习模型来针对所述第三聚类组中的各个聚类生成对象标签、边界框和速度。
[0004]一种用于对象检测的系统，包括：至少一个处理器；以及存储器，其存储有指令，所述指令在由所述至少一个处理器执行时，使得所述至少一个处理器进行上述方法。
[0005]一种非暂时性计算机可读存储介质，其上存储有指令，所述指令在由一个或多于一个处理器执行时，使得所述一个或多于一个处理器进行上述方法。
附图说明
[0006]图1是可以实现包括自主系统的一个或多于一个组件的运载工具的示例环境；
[0007]图2是包括自主系统的运载工具的一个或多于一个系统的图；
[0008]图3是图1和图2的一个或多于一个装置和/或一个或多于一个系统的组件的图；
[0009]图4A是自主系统的某些组件的图；
[0010]图4B是神经网络的实现的图；
[0011]图4C和图4D是例示卷积神经网络(CNN)的示例操作的图；
[0012]图5是实现使用无线电检测和测距(RADAR)与光检测和测距(LiDAR)融合的对象检
测的处理的图；
[0013]图6A
‑
1和图6A
‑
2是共同示出用于对象检测的RADAR与LiDAR融合网的图；
[0014]图6B是示出针对LiDAR和RADAR聚类的基于启发式的关联的示例工作流的框图；
[0015]图6C是示出在场景处进行LiDAR和RADAR聚类的关联的示例的图；以及
[0016]图7是使用RADAR与LiDAR融合的对象检测的处理的流程图。
具体实施方式
[0017]在以下描述中，为了解释的目的，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，本公开所描述的实施例可以在没有这些具体细节的情况下实施将是明显的。在一些实例中，众所周知的构造和装置是以框图形式例示的，以避免不必要地使本公开的方面模糊。
[0018]在附图中，为了便于描述，例示了示意要素(诸如表示系统、装置、模块、指令块和/或数据要素等的那些要素等)的具体布置或次序。然而，本领域技术人员将要理解，除非明确描述，否则附图中示意要素的具体次序或布置并不意在意味着要求特定的处理次序或序列、或处理的分离。此外，除非明确描述，否则在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其它要素结合。
[0019]此外，在附图中，连接要素(诸如实线或虚线或箭头等)用于例示两个或多于两个其它示意要素之间或之中的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，要素之间的一些连接、关系或关联未在附图中例示，以便不使本公开内容模糊。此外，为了便于例示，可以使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令(例如，“软件指令”)的通信，本领域技术人员应理解，这种要素可以表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
[0020]尽管使用术语“第一”、“第二”和/或“第三”等来描述各种要素，但这些要素不应受这些术语的限制。术语“第一”、“第二”和/或第三”仅用于区分一个要素与另一要素。例如，在没有背离所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点这两者都是触点，但它们不是相同的触点。
[0021]在本文所描述的各种实施例的说明书中使用的术语仅是为了描述特定实施例的目的而包括的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，并且可以与“一个或多于一个”或者“至少一个”互换使用，除非上下文另有明确说明。还将理解的是，如本文所使用的术语“和/或”是指并且包括关联的列出项中的一个或多于一个的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其它特征、整数、步骤、操作、要素、组件和/或其群组。
[0022]如本文所使用的，术语“通信”和“进行通信”是指信息(或者由例如数据、信号、消息、指令和/或命令等表示的信息)的接收、收到、传输、传送和/或提供等中的至少一者。对于要与另一单元进行通信的一个单元(例如，装置、系统、装置或系统的组件、以及/或者它
们的组合等)而言，这意味着该一个单元能够直接地或间接地从另一单元接收信息和/或向该另一单元发送(例如，传输)信息。这可以是指本质上为有线和/或无线的直接或间接连接。另外，即使可以在第一单元和第二单元之间修改、处理、中继和/或路由所传输的信息，两个单元也可以彼此进行通信。例如，即使第一单元被动地接收信息并且不主动地向第二单元传输信息，第一单元也可以与第二单元进行通信。作为另一示例，如果至少一个中介单元(例如，位于第一单元和第二单元之间的第三单元)处理从第一单元接收到的信息、并将处理后的信息传输至第二单元，则第一单元可以与第二单元进行通信。在一些实施例中，消息可以是指包括数据的网络分组(例如，数据分组等)。
[0023]如本文所使用的，取决于上下文，术语“如果”可选地被解释为意指“当
…
时”、“在
…
时”、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于对象检测的方法，包括：利用至少一个处理器获得在环境中运行的运载工具的光检测和测距传感器即LiDAR传感器所捕获的第一点云；利用所述至少一个处理器获得所述运载工具的无线电检测和测距传感器即RADAR传感器所捕获的第二点云；利用所述至少一个处理器将所述第一点云转换至以运载工具为中心的参考系；利用所述至少一个处理器将所述第二点云转换至所述以运载工具为中心的参考系；利用所述至少一个处理器在所述第一点云中生成点的第一聚类组；利用所述至少一个处理器在所述第二点云中生成点的第二聚类组；利用所述至少一个处理器，基于所述第一聚类组中的点与所述第二聚类组中的点的关联来生成第三聚类组，其中生成所述第三聚类组包括使用从网络中的LiDAR分支和RADAR分支中的各个分支获得的特征、在特征级组合特征以创建经融合的LiDAR/RADAR生成的特征；以及利用所述至少一个处理器并且使用所述经融合的LiDAR/RADAR生成的特征，基于机器学习模型来针对所述第三聚类组中的各个聚类生成对象标签、边界框和速度。2.根据权利要求1所述的方法，还包括：针对所述第一聚类组生成第一锚框组；针对所述第二聚类组生成第二锚框组；基于在所述第一锚框组和所述第二锚框组中的所述第一聚类组和所述第二聚类组的关联来生成第三锚框组；以及基于机器学习模型来针对所述第三锚框组中的各个锚框生成对象标签、边界框和速度。3.根据权利要求1所述的方法，其中，所述第一点云和所述第二点云分别从所述LiDAR传感器和所述...

【专利技术属性】
技术研发人员：孟小利，周禄兵，K，
申请(专利权)人：动态AD有限责任公司，
类型：发明
国别省市：