一种三维物体检测方法及装置制造方法及图纸

本申请公开了一种三维物体检测方法及装置，其中，所述方法包括：基于三维的第一物体在待检测图像中的投影框，确定所述第一物体的多个着地点的第一平面坐标；基于所述第一物体的位置信息和尺寸信息建立的世界坐标系，获得第一世界坐标信息，所述尺寸信息是基于所述第一物体的图像特征获取的；基于所述第一物体多个着地点的第一平面坐标、第一世界坐标和图像采集装置的内参信息，利用坐标转换处理，获取将所述第一物体的世界坐标转换为相机坐标的外参信息，其中，所述外参信息用于基于所述第一世界坐标信息获取所述第一物体的第一相机坐标信息。标信息。标信息。

【技术实现步骤摘要】
一种三维物体检测方法及装置


[0001]本申请实施例涉及测量
，涉及但不限于一种三维物体检测方法及装置。

技术介绍

[0002]单目摄像装置由于其成本低，分辨率高，普遍架设于路侧用于检测车辆行人等，是车路协同路侧不可或缺的感知手段。但是由于单目摄像装置缺少深度信息，使用单个单目摄像装置获取物体的相机坐标精度低。

技术实现思路

[0003]有鉴于此，本申请实施例提供一种三维物体检测方法、装置、设备及存储介质。
[0004]本申请实施例的技术方案是这样实现的：
[0005]第一方面，本申请实施例提供一种三维物体检测方法，所述方法包括：
[0006]基于三维的第一物体在待检测图像中的投影框，确定所述第一物体的多个着地点的第一平面坐标，其中，所述待检测图像是由图像采集装置进行采集的；
[0007]基于所述第一物体的位置信息和尺寸信息建立的世界坐标系，获取第一世界坐标信息，其中，所述第一世界坐标信息包括所述第一物体多个着地点的第一世界坐标和所述第一物体多个顶点的第一世界坐标，所述尺寸信息是基于所述第一物体的图像特征获取的；
[0008]基于所述第一物体多个着地点的第一平面坐标、第一世界坐标和所述图像采集装置的内参信息，利用坐标转换处理，获取将所述第一物体的世界坐标转换为相机坐标的外参信息，其中，所述外参信息用于基于所述第一世界坐标信息获取所述第一物体的第一相机坐标信息。
[0009]第二方面，本申请实施例提供一种三维物体检测装置，所述装置包括：
[0010]第一确定模块，用于基于三维的第一物体在待检测图像中的投影框，确定所述第一物体的多个着地点的第一平面坐标，其中，所述待检测图像是由图像采集装置进行采集的；
[0011]第一获取模块，用于基于所述第一物体的位置信息和尺寸信息建立的世界坐标系，获取第一世界坐标信息，其中，所述第一世界坐标信息包括所述第一物体多个着地点的第一世界坐标和所述第一物体多个顶点的第一世界坐标，所述尺寸信息是基于所述第一物体的图像特征获取的；
[0012]第二获取模块，用于基于所述第一物体多个着地点的第一平面坐标、第一世界坐标和所述图像采集装置的内参信息，利用坐标转换处理，获取将所述第一物体的世界坐标转换为相机坐标的外参信息，其中，所述外参信息用于基于所述第一世界坐标信息获取所述第一物体的第一相机坐标信息。
[0013]第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。
[0014]第四方面，本申请实施例提供一种存储介质，存储有可执行指令，用于处理器执行时，实现上述方法。
[0015]本申请实施例中，首先基于三维的第一物体在待检测图像中的投影框，确定所述第一物体的多个着地点的第一平面坐标；然后基于所述第一物体的位置信息和尺寸信息建立的世界坐标系，获取第一世界坐标信息；最后基于所述第一物体多个着地点的第一平面坐标、第一世界坐标和所述图像采集装置的内参信息，利用坐标转换处理，获取将所述第一物体的世界坐标转换为相机坐标的外参信息，其中，所述外参信息用于基于所述第一世界坐标信息获取所述第一物体的第一相机坐标信息。这样，可以利用第一物体的图像特征得到第一物体的尺寸信息，之后利用坐标转换处理得到外参信息，并利用该外参信息获取第一相机坐标信息，即得到该三维物体的相机坐标，精度高、鲁棒性好。
附图说明
[0016]图1A为本申请实施例提供的一种三维物体检测方法的实现流程示意图；
[0017]图1B为本申请实施例提供的一张待检测图像；
[0018]图1C为本申请实施例提供的一种标定世界坐标的示意图；
[0019]图2A为本申请实施例提供的一种检测第二物体高度的实现流程示意图；
[0020]图2B为本申请实施例提供的一张包括第一物体和第二物体的世界坐标系示意图；
[0021]图3为本申请实施例提供的一种确定第二物体高度的实现流程示意图；
[0022]图4为本申请实施例提供的基于单个RGB摄像装置的物体3D检测方法的实现流程示意图；
[0023]图5为本申请实施例提供的一种三维物体检测装置的组成结构示意图；
[0024]图6为本申请实施例提供的电子设备的一种硬件实体示意图。
具体实施方式
[0025]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对申请实施例的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0026]在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0027]在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0028]除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
[0029]本申请实施例提供一种三维物体检测方法，如图1A所示，该方法包括：
[0030]步骤S110、基于三维的第一物体在待检测图像中的投影框，确定所述第一物体的
多个着地点的第一平面坐标，其中，所述待检测图像是由图像采集装置进行采集的；
[0031]这里，三维的第一物体可以是待检测图像中正在行驶中的车辆。图1B为本申请实施例提供的一张待检测图像，如图1B所示，该待检测图像中包括多个行驶中的车辆，即第一物体。
[0032]在实施过程中，可以基于深度学习，获得第一物体的8个关键点和其长宽高。这里，8个关键点含义为：物体3D框在2D图像上的投影，其检测效果如图1B所示。这里，由于已知品牌的车辆长宽高范围波动较小，因此基于深度网络学习效果好。
[0033]得到第一物体在待检测图像中的投影框后，可以基于该投影框的位置信息确定第一物体的多个着地点的第一平面坐标。这里，第一平面坐标可以是像素坐标，也可以是图像坐标。
[0034]步骤S120、基于所述第一物体的位置信息和尺寸信息建立的世界坐标系，获取第一世界坐标信息，其中，所述第一世界坐标信息包括所述第一物体多个着地点的第一世界坐标和所述第一物体多个顶点的第一世界坐标，所述尺寸信息是基于所述第一物体的图像特征获取的；
[0035]这里，第一物体的位置信息可以是第一物体的着地点信息。在实施过程中，可以根据第一物体着地点的4个关键点，对第一物体建立世界坐标系。举例来说，以第一物体左下角的着地点为世界坐标系的坐标原点建立第一物体的世界坐标系。图1C为本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维物体检测方法，所述方法包括：基于三维的第一物体在待检测图像中的投影框，确定所述第一物体的多个着地点的第一平面坐标，其中，所述待检测图像是由图像采集装置进行采集的；基于所述第一物体的位置信息和尺寸信息建立的世界坐标系，获取第一世界坐标信息，其中，所述第一世界坐标信息包括所述第一物体多个着地点的第一世界坐标和所述第一物体多个顶点的第一世界坐标，所述尺寸信息是基于所述第一物体的图像特征获取的；基于所述第一物体多个着地点的第一平面坐标、第一世界坐标和所述图像采集装置的内参信息，利用坐标转换处理，获取将所述第一物体的世界坐标转换为相机坐标的外参信息，其中，所述外参信息用于基于所述第一世界坐标信息获取所述第一物体的第一相机坐标信息
。
2.如权利要求1所述的方法，所述方法还包括：基于所述外参信息、所述内参信息和第二物体在所述待检测图像中的多个着地点的第二平面坐标，利用坐标转换处理，获取所述第二物体在所述第一物体的世界坐标系中多个着地点的第二世界坐标，所述第二物体的尺寸信息未知，所述第二物体与所述第一物体之间的距离小于距离阈值；基于所述第二物体顶点的第二平面坐标和所述着地点的第二世界坐标，利用坐标转换处理，确定所述第二物体的高度，其中，所述第二物体的高度用于确定所述第二物体多个顶点的第二世界坐标。3.如权利要求2所述的方法，所述方法还包括：基于所述第二物体多个着地点的第二世界坐标和所述第二物体的高度，利用所述外参信息，确定所述第二物体的第二相机坐标信息。4.如权利要求3所述的方法，所述基于所述第二物体多个着地点的第二世界坐标和所述第二物体的高度，利用所述外参信息，确定所述第二物体的第二相机坐标信息，包括：基于所述多个着地点的第二世界坐标和所述第二物体的高度确定所述第二物体的第二世界坐标系信息；基于所述第二世界坐标系信息利用所述外参信息，确定所述第二物体的第二相机坐标信息。5.如权利要求2所述的方法，所述基于所述第二物体顶点的第二平面坐标和所述着地点的第二世界坐标，利用坐标转换处理，确定所述第二物体的高度，包括：将所述第二物体顶点对应着地点的第二世界坐标作为所述第二物体顶点的第二世界坐标中的两个平面参数；基于所述第二物体顶点的第二平面坐标和所述第二物体顶点对应的第二世界坐标中的两个平面参数，利用坐标转换处理，确定所述第二物体的高度。6.如权利要求2所述的方法，所述基于所述第二物体顶点的第二平面坐标和所述着地点的第二世界坐标，利用坐标转换处理，确定所述第二物体的高度，包括：基于多个所述第二物体顶点的第二平面坐标和多个所述着地点的第二世界坐标，利用坐标转换处理，确定多个所述第二物体的高度；对多个所述第二物体的高度进行平均，确定...

【专利技术属性】
技术研发人员：刘莉，陈旭杰，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：