目标检测方法、装置、电子设备、存储介质及车辆制造方法及图纸

本公开提供了一种目标检测方法、装置、电子设备、存储介质及车辆，涉及人工智能技术领域，具体为计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于自动驾驶、智能交通等场景。实现方案为：获取与目标对象有关的第一感测数据和第二感测数据，第一感测数据和第二感测数据分别包括用于对目标对象进行目标检测的语义信息和位置信息；对第一感测数据进行特征提取，以获得与目标对象的语义信息相关联的第一特征；基于第二感测数据，对目标对象进行第一目标检测，以获得与目标对象的位置信息和类别信息相关联的第二特征；对第一特征和第二特征进行融合，以得到经融合的特征；以及基于经融合的特征，对目标对象进行第二目标检测。检测。检测。

【技术实现步骤摘要】
目标检测方法、装置、电子设备、存储介质及车辆


[0001]本公开涉及人工智能
，具体为计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于自动驾驶、智能交通等场景，尤其涉及一种目标检测方法、装置、电子设备、计算机可读存储介质、计算机程序产品和自动驾驶车辆。

技术介绍

[0002]人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0003]近年来，人工智能的兴起也逐渐被应用于自动驾驶技术，为自动驾驶技术的落地提供了技术支持。在自动驾驶中，需要对道路中出现的目标物(例如车辆、行人等)进行准确的目标检测，这是业界或研究学者一直以来关注的热点问题之一。由于自动驾驶车辆一般配备有诸多种类的传感器(例如图像传感器、毫米波雷达、激光雷达等)以辅助车辆对环境进行感知，因此如何更为有效地将这些传感器采集的数据进行处理仍然是重要且关键的。
[0004]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0005]本公开提供了一种目标检测方法、装置、电子设备、计算机可读存储介质、计算机程序产品和自动驾驶车辆。
[0006]根据本公开的一方面，提供了一种目标检测方法，包括：获取与目标对象有关的第一感测数据和第二感测数据，其中，第一感测数据包括用于对目标对象进行目标检测的语义信息，第二感测数据包括用于对目标对象进行目标检测的位置信息；对第一感测数据进行特征提取，以获得与目标对象的语义信息相关联的第一特征；基于第二感测数据，对目标对象进行第一目标检测，以获得与目标对象的位置信息和类别信息相关联的第二特征；对第一特征和第二特征进行融合，以得到经融合的特征；以及基于经融合的特征，对目标对象进行第二目标检测。
[0007]根据本公开的另一方面，提供了一种目标检测装置，包括：数据获取模块，被配置为获取与目标对象有关的第一感测数据和第二感测数据，其中，第一感测数据包括用于对目标对象进行目标检测的语义信息，第二感测数据包括用于对目标对象进行目标检测的位置信息；第一特征获取模块，被配置为对第一感测数据进行特征提取，以获得与目标对象的语义信息相关联的第一特征；第二特征获取模块，被配置为基于第二感测数据，对目标对象进行第一目标检测，以获得与目标对象的位置信息和类别信息相关联的第二特征；特征融
合模块，被配置为对第一特征和第二特征进行融合，以得到经融合的特征；以及目标检测模块，被配置为基于经融合的特征，对目标对象进行第二目标检测。
[0008]根据本公开的另一方面，提供了一种电子设备，包括至少一个处理器；以及与所述至少一个处理器通信连接的存储器，其中，存储器存储有能够被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行如上所述的方法。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现如上所述的方法。
[0011]根据本公开的另一方面，提供了自动驾驶车辆，包括如上所述的电子设备。
[0012]根据本公开的一个或多个实施例，可以提升目标检测的精度和鲁棒性。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
[0015]图1示出了根据本公开实施例的可以在其中实施本文描述的各种方法的示例性系统的示意图；
[0016]图2示出了根据本公开实施例的目标检测方法的流程图；
[0017]图3示出了根据本公开实施例的执行第一目标检测的过程的流程图；
[0018]图4示出了根据本公开实施例的目标对象的高斯分布图的示意图；
[0019]图5示出了根据本公开实施例的目标检测方法的示意图；
[0020]图6示出了根据本公开一个实施例的目标检测装置的结构框图；
[0021]图7示出了根据本公开另一个实施例的目标检测装置的结构框图；
[0022]图8示出了能够用于实现本公开实施例的示例性电子设备的结构框图。
具体实施方式
[0023]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0024]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个要素与另一要素区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0025]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目
的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0026]在相关技术中，已经逐渐提出了对各种不同传感器所采集的数据进行融合以提升目标检测精度的方法。
[0027]一种传统方法是将通过图像传感器采集的图像数据与通过雷达(例如毫米波雷达、激光雷达)采集的点云数据进行卡尔曼滤波加权融合。这种方法虽然在一定程度上提升了目标检测精度，但由于卡尔曼滤波通常需要对于传感器的感知误差有一个先验估计，并且权重的设定通常也依赖于实验或者经验，导致该方法仍然在实践中存在较大缺陷。
[0028]另一种传统方法是在图像(图像数据)和雷达(点云数据)两种模态下分别进行特征提取，然后对提取出的两种模态下的特征进行融合。然而，这种方法存在的问题是，由于雷达模态存在大量的噪声，通常在特征提取之本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测方法，包括：获取与目标对象有关的第一感测数据和第二感测数据，其中，所述第一感测数据包括用于对所述目标对象进行目标检测的语义信息，所述第二感测数据包括用于对所述目标对象进行目标检测的位置信息；对所述第一感测数据进行特征提取，以获得与所述目标对象的所述语义信息相关联的第一特征；基于所述第二感测数据，对所述目标对象进行第一目标检测，以获得与所述目标对象的所述位置信息和类别信息相关联的第二特征；对所述第一特征和所述第二特征进行融合，以得到经融合的特征；以及基于所述经融合的特征，对所述目标对象进行第二目标检测。2.根据权利要求1所述的方法，其中，所述基于所述第二感测数据，对所述目标对象进行第一目标检测，以获得与所述目标对象的所述位置信息和类别信息相关联的第二特征，包括：基于所述第二感测数据，对所述目标对象进行与所述位置信息有关的高斯分布预测以及与所述类别信息有关的类别预测，以获得包含所述目标对象的所述位置信息和所述类别信息的高斯分布图，其中，所述高斯分布图指示特定类别的所述目标对象存在于特定位置上的概率；以及基于所述高斯分布图，获取与所述目标对象的所述位置信息和所述类别信息相关联的所述第二特征。3.根据权利要求1或2所述的方法，其中，所述第一特征和所述第二特征均包括通道维度上的特征，并且其中，所述对所述第一特征和所述第二特征进行融合，以得到经融合的特征，包括：将所述第一特征中通道维度上的特征与所述第二特征中通道维度上的特征进行融合，以生成在通道维度上经融合的特征，其中，所述经融合的特征包括所述在通道维度上经融合的特征。4.根据权利要求3所述的方法，其中，所述第二特征中通道维度上的特征与所述目标对象的所述类别信息相关联。5.根据权利要求1至4中任一项所述的方法，其中，所述对所述第一特征和所述第二特征进行融合，以得到经融合的特征，包括：将所述第一特征和所述第二特征分别转换到鸟瞰图BEV空间下，以生成相应的第一BEV特征和第二BEV特征；以及对所述第一BEV特征和第二BEV特征进行融合，以得到经融合的BEV特征。6.根据权利要求1至5中任一项所述的方法，其中，所述基于所述经融合的特征，对所述目标对象进行第二目标检测，包括：基于所述经融合的特征，获取用于指示所述目标对象的检测框和所述目标对象对应的类别。7.根据权利要求1至6中任一项所述的方法，其中，所述第一感测数据包括基于图像传感器获取的二维图像，所述第二感测数据包括基于毫米波雷达获取的雷达RA图。8.根据权利要求7所述的方法，其中，所述对所述第一感测数据进行特征提取，以获得
与所述语义信息相关联的第一特征，包括：提取所述二维图像的二维图像特征作为所述第一特征。9.根据权利要求7或8所述的方法，其中，所述基于所述第二感测数据，对所述目标对象进行第一目标检测，以获得与所述目标对象的所述位置信息和类别信息相关联的第二特征，包括：将所述雷达RA图输入U
‑
Net网络以生成所述第二特征。10.一种目标检测装置，包括：数据获取模块，被配置为获取与目标对象有关的第一感测数据和第二感测数据，其中，所述第一感测数据包括用于对所述目标对象进行目标检测的语义信息，所述第二感测数据包括用于对所述目标对象进行目标检测的位置信息；第一特征获取模块，被配置为对所述第一感测数据进行特征提取，以获得与所述目标...

【专利技术属性】
技术研发人员：鞠波，叶晓青，谭啸，李莹莹，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：