对象检测方法和装置制造方法及图纸

提供了一种对象检测方法，包括：基于图像的点云数据，获取第一点云特征；基于第一点云特征，确定图像中的至少一个对象。同时，可以使用人工智能模型来执行上述对象检测方法。用人工智能模型来执行上述对象检测方法。用人工智能模型来执行上述对象检测方法。

【技术实现步骤摘要】
对象检测方法和装置


[0001]本专利技术涉及图像处理领域，更具体地，涉及一种对象检测方法和装置。

技术介绍

[0002]增强现实技术通过在用户面前的现实场景中添加虚拟内容来为用户提供真实的信息体验。在三维空间中，增强现实系统需要对周围物体的三维状态具有高精度的实时处理和理解，以在用户面前呈现高质量的虚实融合效果。
[0003]然而，现有的增强现实技术在进行对象检测和识别时，受限于深度传感器的工作原理，难以有效和准确地进行对象检测和识别。

技术实现思路

[0004]根据本专利技术的示例性实施例，提供了一种对象检测方法，包括：基于图像的点云数据，获取第一点云特征；基于第一点云特征，确定图像中的至少一个对象。
[0005]在获取第一点云特征之前，可对图像的点云数据进行点云补全。
[0006]对图像的点云数据进行点云补全的步骤可包括：提取图像的点云数据的高维特征；基于高维特征，获取点云补全的点云数据。
[0007]确定图像中的至少一个对象的步骤可包括：基于第一点云特征，获取图像中每个对象的第一外观特征和第一几何特征；基于图像中每个对象的第一外观特征和第一几何特征，获取每两个候选区域之间的关系权重，其中，候选区域与对象相应；基于第一点云特征以及关系权重，获取图像中每个对象的第二外观特征和第二几何特征；基于图像中每个对象的第二外观特征和第二几何特征，确定图像中的所述至少一个对象。
[0008]获取图像中每个对象的第二外观特征和第二几何特征的步骤可包括：基于图像中每个对象的第一几何特征，获取每两个候选区域之间的几何权重；基于图像中每个对象的第一外观特征，获取每两个候选区域之间的外观权重；基于几何权重和外观权重，获取每两个候选区域之间的关系权重；基于第一点云特征以及关系权重，获取第二点云特征；基于第二点云特征，获取图像中每个对象的第二外观特征和第二几何特征。
[0009]获取每两个候选区域之间的几何权重的步骤可包括：基于图像中每个对象的第一几何特征，获取每两个候选区域间的几何特征关联向量；基于每两个候选区域间的几何特征关联向量，获取每两个候选区域间的几何权重。
[0010]几何特征以及几何特征关联向量可与对象的中心位置、尺寸和朝向中的至少一个有关。
[0011]根据本专利技术的示例性实施例，提供了一种对象检测装置，包括：特征获取单元，基于点云数据，获取第一点云特征；对象确定单元，基于第一点云特征，确定图像中的至少一个对象。
[0012]根据本专利技术的示例性实施例，提供了一种电子设备，包括存储器和处理器，存储器上存储有计算机可执行指令，当所述指令由处理器执行时，执行前述的方法。
[0013]根据本专利技术的示例性实施例，提供了一种计算机可读介质，其上存储有计算机可执行指令，当执行所述指令时，执行前述的方法。
[0014]将在接下来的描述中部分阐述本专利技术总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本专利技术总体构思的实施而得知。
附图说明
[0015]通过下面结合附图进行的详细描述，本专利技术的上述和其它目的和特点将会变得更加清楚，其中：
[0016]图1是示出根据本专利技术示例性实施例的对象检测方法的示意图；
[0017]图2是示出根据本专利技术示例性实施例的对象检测方法的流程图；
[0018]图3是示出根据本专利技术示例性实施例的点云补全的示意图；
[0019]图4是示出根据本专利技术示例性实施例的点云补全的流程图；
[0020]图5是示出根据本专利技术示例性实施例的点云补全效果的示意图；
[0021]图6是示出根据本专利技术示例性实施例的确定对象的流程图；
[0022]图7是示出根据本专利技术示例性实施例的获取对象的外观特征和几何特征的示意图；
[0023]图8是示出根据本专利技术示例性实施例的获取对象的外观特征和几何特征的流程图；
[0024]图9是示出根据本专利技术示例性实施例的对象检测装置的框图。
具体实施方式
[0025]现将详细参照本专利技术的实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本专利技术。
[0026]图1是示出根据本专利技术示例性实施例的对象检测方法的示意图，图2是示出根据本专利技术示例性实施例的对象检测方法的流程图。
[0027]参照图1和图2，在步骤S210，可基于图像的点云数据，获取第一点云特征。
[0028]更具体地，可对图像的点云数据进行PointNet++特征提取以获取降采样的点云特征，并对降采样的点云特征进行Hough Voting算法以获取聚类后对应于物体几何中心的点云特征，即，第一点云特征。应该了解，这里采用的PointNet++特征提取和Hough Voting算法仅为示例而非限制，本领域技术人员完全可以采用其他的算法来获取第一点云特征。
[0029]在步骤S220，可基于第一点云特征，确定图像中的至少一个对象。
[0030]此外，在获取第一点云特征之前，可对图像的点云数据进行点云补全，并在步骤S220可基于点云补全的点云数据来获取聚类的点云特征。
[0031]下面将参照附图3～5对点云补全的步骤进行更详细地描述，并将参照附图6对步骤S220进行更详细地描述。
[0032]从深度传感器获取的点云数据经常由于被遮挡、表面反光、透明等物体而导致存在由于大量的数据缺失而形成的孔洞，并且这样的不完整的点云将会极大地影响3D对象检测的性能，因此本专利技术加入了点云补全操作。
[0033]图3是示出根据本专利技术示例性实施例的点云补全的示意图，图4是示出根据本专利技术
示例性实施例的点云补全的流程图，图5是示出根据本专利技术示例性实施例的点云补全效果的示意图。
[0034]参照图3和图4，在步骤S410，可提取图像的点云数据的高维特征，其中，该步骤可由编码网络进行。这里，仅作为示例而非限制，编码网络可以是基于卷积神经元的深度学习网络。编码网络的输入是原始的点云数据，输出是编码网络提取到的高维特征，该高维特征可描述对象的形状和边界。此外，编码网络可以有多种形式，其提取的高维特征可以是对象类别的语义特征、对象的轮廓特征和深度信息特征中的至少一个，或者是以上多种特征的组合，其共同点是在真实数据没发生变化的情况下，即便点云数据中存在缺失，提取的特征也可以不受/少受缺失数据的影响而基本不发生变化。
[0035]在步骤S420，可基于高维特征，获取点云补全的点云数据，其中，该步骤可由解码网络进行，并且点云补全的点云数据具有与点云数据相同的尺寸。这里，仅作为示例而非限制，解码网络可以是基于卷积神经元的深度学习网络。解码网络使用编码网络输出的特征图(由高位特征构成)作为输入，输出是补全且稠密的点云数据。
[0036]参照图5，(a)示出实际场景的图像，(b)示出点云数据，其中存在大量孔洞，(c)示出点云补全后的点云数据。对于点云数据中存在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象检测方法，包括：基于图像的点云数据，获取第一点云特征；基于第一点云特征，确定图像中的至少一个对象。2.如权利要求1所述的对象检测方法，其中，在获取第一点云特征之前，对图像的点云数据进行点云补全。3.如权利要求2所述的对象检测方法，其中，对图像的点云数据进行点云补全的步骤包括：提取图像的点云数据的高维特征；基于高维特征，获取点云补全的点云数据。4.如权利要求1所述的对象检测方法，其中，确定图像中的至少一个对象的步骤包括：基于第一点云特征，获取图像中每个对象的第一外观特征和第一几何特征；基于图像中每个对象的第一外观特征和第一几何特征，获取每两个候选区域之间的关系权重，其中，候选区域与对象相应；基于第一点云特征以及关系权重，获取图像中每个对象的第二外观特征和第二几何特征；基于图像中每个对象的第二外观特征和第二几何特征，确定图像中的所述至少一个对象。5.如权利要求4所述的对象检测方法，其中，获取图像中每个对象的第二外观特征和第二几何特征的步骤包括：基于图像中每个对象的第一几何特征，获取每两个候选区域之间的几何权重；基于图像中每个对象的第一外观特征...

【专利技术属性】
技术研发人员：张超，李炜明，金知姸，张现盛，洪性勳，王强，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：