物体检测方法、装置、设备、存储介质及车辆制造方法及图纸

本发明专利技术实施例公开了一种物体检测方法、装置、设备、存储介质及车辆。其中，该方法包括：将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中，得到位于各目标区域处物体的检测结果。本发明专利技术的技术方案，相比于现有的后融合多传感器检测方案，该方案相当于特征的前融合多传感器检测方案，不需要应用规则以及概率作为融合的基础进行数据关联，在检测出物体的同时，简化了检测流程。

【技术实现步骤摘要】
物体检测方法、装置、设备、存储介质及车辆
本专利技术实施例涉及传感器
，尤其涉及一种物体检测方法、装置、设备、存储介质及车辆。
技术介绍
随着传感器技术的发展，同时采用多个传感器对同一物体或环境等进行检测，并将多个传感器的检测数据进行融合处理得到的检测结果，相比于单一传感器对同一物体或环境等进行检测的结果更全面和准确等。因此多传感器融合检测多应用于物体检测或目标跟踪等领域。目前，多传感器融合检测方案中主要采用的是后融合多传感器检测方案。一个典型的后融合处理过程如图1所示相当于结果融合，传感器1和2分别将传感数据传输到两个不同的检测器中，得到第一对象特征和第二对象特征，对第一对象特征和第二对象特征通过最大化后验概率的方式进行融合得到对象特征。而现有的后融合多传感器检测方案，需要规则以及概率作为融合的基础进行数据关联，一方面流程较长，引起更高的延迟；另一方面不能使用数据驱动对整个融合系统优化。因此提供一个新的多传感器融合方案来实现物体检测是十分必要的。
技术实现思路
本专利技术实施例提供一种物体检测方法、装置、设备、存储介质及车辆，实现了物体检测，同时简化了检测流程。第一方面，本专利技术实施例提供了一种物体检测方法，包括：将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中，得到位于各目标区域处物体的检测结果。第二方面，本专利技术实施例还提供了一种物体检测装置，该装置包括：描述特征获取模块，用于将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；物体检测输入模块，用于将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中；检测结果获取模块，用于得到位于各目标区域处物体的检测结果。第三方面，本专利技术实施例还提供了一种设备，该设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第一方面中任意所述的物体检测方法。第四方面，本专利技术实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意所述的物体检测方法。第五方面，本专利技术实施例提供了一种车辆，包括车体，所述车体上设置有如本专利技术任意实施例提供的设备，以及与所述设备通信连接的激光雷达和图像采集器。本专利技术实施例提供的物体检测方法、装置、设备、存储介质及车辆，通过将场景点云数据和场景图像数据分别输入到预先训练的点云征抽取模型和图像描述特征中得到的场景点云描述特征和图像描述特征以目标区域为单位输入至物体识别模型中，能够得到位于各目标区域处的物体的检测结果。相比于现有的后融合多传感器检测方案，该方案相当于特征的前融合多传感器检测方案，不需要应用规则以及概率作为融合的基础进行数据关联，在检测出物体的同时，简化了检测流程。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1是现有技术提供的一种典型的后处理过程示意图；图2A是本专利技术实施例一中的一种物体检测方法的示意图；图2B是本专利技术实施例所适用的一种物体检测过程示意图；图2C是本专利技术实施例所适用的一种三个模型同步训练过程示意图；图3是本专利技术实施例二中的一种物体检测方法的流程图；图4是本专利技术实施例三中的一种物体检测装置的结构示意图；图5是本专利技术实施例四中的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。实施例一图2A为本专利技术实施例一提供的一种物体检测方法的流程图，图2B是本专利技术实施例所适用的一种物体检测过程示意图，本实施例适用于如何在能够检测到场景中包含的物体的同时简化检测流程的情况。该方法可以由本专利技术实施例中的物体检测装置来执行，该装置可采用软件和/或硬件的方式实现，该装置可以是独立的物理设备，也可以配置于终端(例如自动驾驶移动载体的控制框架)中。如图2A和2B所示，该方法具体包括如下步骤：S210，将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征。其中，点云数据是指一组由包含三维坐标的点所组成的点集，可以用来表征一个物体的外表面形状。其中，每个点的三维空间几何位置信息可用(x，y，z)表示，除此之外点云数据还可以表示一个点的RGB颜色，灰度值，深度，分割结果等。图像数据是指由包含二维坐标系的点所组成的集合，也是用数值表示的各像素的灰度值的集合。本实施例中，可以采用激光雷达和图像采集器如相机同步对某一场景进行采集得到该场景点云数据和场景图像数据。点云描述特征是指用于描述场景点云数据所构建的三维场景点云模型的特征，可以是场景中的物体特征。图像描述特征是指用于描述场景图像数据所构建的二维场景图像模型的特征，也可以是场景中的物体特征。点云描述特征和图像描述特征两者可能描述的是相同物体不同维度的特征，也可能是不同物体的特征等。点云特征抽取模型和图像特征抽取模型均是预先对卷积神经网络进行训练得到，具体的实现可以通过如图2C所示的方式实现，可以是：预先采用激光雷达和图像采集器对样本场景进行采集得到样本点云数据和样本图像数据，将样本点云数据输入到第一卷积神经网络模型中得到样本点云描述特征，将样本图像数据输入到第二卷积神经网络模型中得到样本图像描述特征；在激光雷达坐标系内，以预设大小的物体框均匀排布将样本点云数据分割成各个区域，遍历样本点云数据中各区域，将各区域中包括的样本点云描述特征以及各区域样本点云描述特征对应的样本图像描述特征输入到第三卷积神经网络模型中，并依据样本点云数据中各区域的物体标注结果，同时对三个卷积神经网络模型进行训练，直到第三个卷积神经网络模型可准确的检测出物体的分类、位置及朝向等检测结果时，可以得到点云特征抽取模型、图像特征抽取模型和物体识别模型。其中，第一卷积神经网络模型对应于点云特征抽取模型，第二卷积神经网络模型对应于图像特征抽取模型，第三卷积神经网络模型对应于物体识别模型。需要说明的是，本实施例中将样本点云数据、样本图像数据和样本点云数据中各区域的物体标注结果同时输入到三个卷积神经网络模型中一起训练，不需要关注前两个模型的输出结果，只需第三个模型的最终能够准确输出检测结果即停止训练，相比于逐一对每一模型训本文档来自技高网...

【技术保护点】
1.一种物体检测方法，其特征在于，包括：将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中，得到位于各目标区域处物体的检测结果。

【技术特征摘要】
1.一种物体检测方法，其特征在于，包括：将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中，得到位于各目标区域处物体的检测结果。2.根据权利要求1所述的方法，其特征在于，将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中之前，还包括：对场景中各区域的点云描述特征或图像描述特征进行识别，得到场景中包括的各候选物体，并将候选物体所在区域作为目标区域。3.根据权利要求1所述的方法，其特征在于，将场景中各目标区域的点云描述特征和图像描述特征输入预先训练得到的物体识别模型中，包括：依据激光雷达和图像采集器的参数将各点云目标区域投影到场景图像上，确定各点云目标区域关联的各图像目标区域；将各点云目标区域的点云描述特征和关联的各图像目标区域的图像描述特征输入所述物体识别模型。4.根据权利要求1所述的方法，其特征在于，得到位于各目标区域处物体的检测结果，包括：确定位于各目标区域处物体的类别。5.根据权利要求1所述的方法，其特征在于，得到位于各目标区域处物体的检测结果，包括：通过所述物体识别模型修正所述物体的位置；通过所述物体识别模型确定所述物体的朝向和/或尺寸。6.根据权利要求1所述的方法，其特征在于，所述物体识别模型是基于全卷积网络训练得到的。7.一种物体检测装置，其特征在于，包括：描述特征获取模块，用于将场景点云数据输入预先训练得到的点云特征抽取模型得到场景的点云描述特征，将场景图像数据输入预先训练得到的图像特征抽取模型得到场景的图像描述特征；物体检测输入模块，用于将场景中...

【专利技术属性】
技术研发人员：谢远帆，杨子枢，王亮，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11