本发明专利技术提供一种基于关键点匹配的3D目标检测方法及装置，其中方法包括：对二维图像进行目标检测，得到二维图像所包含目标的各关键点的二维坐标和三维坐标；基于各关键点的二维坐标和三维坐标，确定目标的各二维边和各三维边；对目标进行深度估计，得到各二维边和各三维边对应的候选深度；基于目标的各二维边的边特征和各三维边的边特征之间的差异，确定各二维边与各三维边之间的相似度；基于各二维边和各三维边对应的候选深度，以及各二维边与各三维边之间的相似度，确定目标的目标深度；基于目标的目标深度，进行3D目标检测。在此基础上，将得到的目标深度应用于目标检测，能够保证目标检测的可靠性和准确性。标检测的可靠性和准确性。标检测的可靠性和准确性。
【技术实现步骤摘要】
基于关键点匹配的3D目标检测方法及装置
[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于关键点匹配的3D目标检测方法及装置。
技术介绍
[0002]单目三维检测在智能驾驶以及避障导航等多种技术中的应用，吸引了大量的关注。然而，由于单目三维检测是针对二维图像的检测，图像深度信息的缺乏为单目三维检测带来了困难。
[0003]目前，存在多种方式在二维图像的基础上估计物体的三维位置，例如应用预先训练好的深度估计器进行深度估计，或者应用几何约束对物体的二维/三维边进行回归，从而估计物体深度。
[0004]其中，基于深度估计器的方式需要额外的训练数据，成本较高；而基于几何约束的方式，则由于几何约束不充分，常会产生多个候选深度，遂通过求平均确定最终的物体深度，但是多个候选深度的质量高低不定，直接求平均同样影响物体深度的准确性和可靠性。
技术实现思路
[0005]本专利技术提供一种基于关键点匹配的3D目标检测方法及装置，用以解决现有技术中单目三维检测中物体深度信息不准确、不可靠的问题。
[0006]本专利技术提供一种基于关键点匹配的3D目标检测方法，包括：
[0007]对二维图像进行目标检测，得到所述二维图像所包含目标的各关键点的二维坐标和三维坐标；
[0008]基于所述各关键点的二维坐标和三维坐标，确定所述目标的各二维边和各三维边；
[0009]对所述目标进行深度估计，得到所述各二维边和各三维边对应的候选深度；
[0010]基于所述目标的各二维边的边特征和各三维边的边特征之间的差异，确定各二维边与各三维边之间的相似度；
[0011]基于所述各二维边和各三维边对应的候选深度，以及所述各二维边与各三维边之间的相似度，确定所述目标的目标深度；
[0012]基于所述目标的目标深度，进行3D目标检测。
[0013]根据本专利技术提供的一种基于关键点匹配的3D目标检测方法，所述基于所述目标的各二维边的边特征和各三维边的边特征之间的差异，确定各二维边与各三维边之间的相似度，包括：
[0014]基于边匹配模型中的特征提取层，分别提取所述各二维边的边特征和所述各三维边的边特征；
[0015]基于边匹配模型的相似度计算层，应用所述各二维边的边特征和所述各三维边的边特征之间的差异构建边差异矩阵，并应用所述边差异矩阵确定所述各二维边与各三维边
之间的相似度；
[0016]所述边匹配模型是基于样本图像所包含的样本目标的各二维边和各三维边的标签匹配关系训练得到的。
[0017]根据本专利技术提供的一种基于关键点匹配的3D目标检测方法，所述边匹配模型基于如下步骤训练得到：
[0018]确定初始模型；
[0019]基于所述初始模型，应用所述样本图像所包含的样本目标的各二维边和各三维边，确定所述样本目标的样本边差异矩阵；
[0020]基于所述样本边差异矩阵确定所述样本目标的各二维边和各三维边的预估匹配关系；
[0021]基于所述预估匹配关系和所述标签匹配关系，对所述初始模型进行参数迭代，得到所述边匹配模型。
[0022]根据本专利技术提供的一种基于关键点匹配的3D目标检测方法，所述对二维图像进行目标检测，得到所述二维图像所包含目标的各关键点的二维坐标和三维坐标，包括：
[0023]对所述二维图像进行特征提取，得到图像特征；
[0024]对所述图像特征进行关键点提取，得到所述二维图像所包含目标的各关键点的二维坐标和三维坐标。
[0025]根据本专利技术提供的一种基于关键点匹配的3D目标检测方法，所述对所述二维图像进行特征提取，得到图像特征，之后还包括：对所述图像特征进行二维目标检测，得到所述二维图像中所包含目标的二维位置；对所述图像特征进行三维目标检测，得到所述二维图像中所包含的目标的三维尺寸和三维姿态。
[0026]根据本专利技术提供的一种基于关键点匹配的3D目标检测方法，所述对所述目标进行深度估计，得到所述各二维边和各三维边对应的候选深度，包括：基于所述目标的二维位置、三维尺寸、三维姿态和所述目标的各二维边和各三维边，对所述目标进行深度估计，得到所述各二维边和各三维边对应的候选深度。
[0027]本专利技术还提供一种基于关键点匹配的3D目标检测装置，包括：
[0028]坐标确定单元，用于对二维图像进行目标检测，得到所述二维图像所包含目标的各关键点的二维坐标和三维坐标；
[0029]边确定单元，用于基于所述各关键点的二维坐标和三维坐标，确定所述目标的各二维边和各三维边；
[0030]候选深度确定单元，用于对所述目标进行深度估计，得到所述各二维边和各三维边对应的候选深度；
[0031]相似度确定单元，用于基于所述目标的各二维边的边特征和各三维边的边特征之间的差异，确定各二维边与各三维边之间的相似度；
[0032]目标深度确定单元，用于基于所述各二维边和各三维边对应的候选深度，以及所述各二维边与各三维边之间的相似度，确定所述目标的目标深度；
[0033]目标检测单元，用于基于所述目标的目标深度，进行3D目标检测。
[0034]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于关键点匹
配的3D目标检测方法。
[0035]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于关键点匹配的3D目标检测方法。
[0036]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于关键点匹配的3D目标检测方法。
[0037]本专利技术提供一种基于关键点匹配的3D目标检测方法及装置，基于目标的各二维边的边特征和各三维边的边特征之间的差异，确定各二维边与各三维边之间的相似度，此相似度是基于边匹配模型确定的，且边匹配模型是基于样本图像所包含的样本目标的各二维边和各三维边的标签匹配关系训练得到的，还进行了参数迭代，由此得到的边匹配模型有着优良的性能。基于各二维边和各三维边对应的候选深度，以及各二维边与各三维边之间的相似度进行加权求和，确定目标的目标深度，从而使得估计的目标深度很准确、很可靠，其结果可以在单目三维检测中进行广泛应用。
附图说明
[0038]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本专利技术提供的基于关键点匹配的3D目标检测方法的流程示意图之一；
[0040]图2是本专利技术提供的基于关键点匹配的3D目标检测方法中步骤140的流程示意图之一；
[0041]图3是本专利技术提供的边匹配模型的训本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于关键点匹配的3D目标检测方法，其特征在于，包括：对二维图像进行目标检测，得到所述二维图像所包含目标的各关键点的二维坐标和三维坐标；基于所述各关键点的二维坐标和三维坐标，确定所述目标的各二维边和各三维边；对所述目标进行深度估计，得到所述各二维边和各三维边对应的候选深度；基于所述目标的各二维边的边特征和各三维边的边特征之间的差异，确定各二维边与各三维边之间的相似度；基于所述各二维边和各三维边对应的候选深度，以及所述各二维边与各三维边之间的相似度，确定所述目标的目标深度；基于所述目标的目标深度，进行3D目标检测。2.根据权利要求1所述的基于关键点匹配的3D目标检测方法，其特征在于，所述基于所述目标的各二维边的边特征和各三维边的边特征之间的差异，确定各二维边与各三维边之间的相似度，包括：基于边匹配模型中的特征提取层，分别提取所述各二维边的边特征和所述各三维边的边特征；基于边匹配模型的相似度计算层，应用所述各二维边的边特征和所述各三维边的边特征之间的差异构建边差异矩阵，并应用所述边差异矩阵确定所述各二维边与各三维边之间的相似度；所述边匹配模型是基于样本图像所包含的样本目标的各二维边和各三维边的标签匹配关系训练得到的。3.根据权利要求2所述的基于关键点匹配的3D目标检测方法，其特征在于，所述边匹配模型基于如下步骤训练得到：确定初始模型；基于所述初始模型，应用所述样本图像所包含的样本目标的各二维边和各三维边，确定所述样本目标的样本边差异矩阵；基于所述样本边差异矩阵确定所述样本目标的各二维边和各三维边的预估匹配关系；基于所述预估匹配关系和所述标签匹配关系，对所述初始模型进行参数迭代，得到所述边匹配模型。4.根据权利要求1所述的基于关键点匹配的3D目标检测方法，其特征在于，所述对二维图像进行目标检测，得到所述二维图像所包含目标的各关键点的二维坐标和三维坐标，包括：对所述二维图像进行特征提取，得到图像特征；对所述图像特征进行关键点提取，得到所述二维图像所包含目标的各关键点的二维坐标和三维坐标。5.根据权...
【专利技术属性】
技术研发人员：张兆翔，李颖彦，陈韫韬，何嘉伟，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。