物体检测方法、系统和计算机可读介质技术方案

提出了一种物体检测方法、系统和存储介质。所述方法包括；基于来自神经网络和增强现实(AR)的输出，创建物体表现数据；构建包括物体超点的语义图；确定语义图中的一组物体超点，所述组中的物体超点的位置位于新进物体点的特定距离内；响应新进物体点，更新语义图；和根据更新后的语义图，修改神经网络所识别及新进物体点所属的类别的概率。语义图是由物体超点组成，其具有对应于检测到的标签的得分的列表、观看方向的列表和尺寸的列表。基于语义图，通过修改来自神经网络的物体标签或类别的概率，提高了物体检测的准确性。提高了物体检测的准确性。提高了物体检测的准确性。

【技术实现步骤摘要】
【国外来华专利技术】物体检测方法、系统和计算机可读介质


[0001]本申请涉及图像处理技术，尤其涉及一种物体检测方法、系统及计算机可读介质。

技术介绍

[0002]物体检测可以在增强现实(Augmented Reality，AR)中发挥重要作用。对现实世界场景中物体的感知/理解可以为AR带来很多应用。例如，真实物体的外观可以通过相应地调整虚拟覆盖层来改变，还可以通过某些关联规则将虚拟物体放置到场景中(例如，在真的桌子附近显示相匹配的虚拟椅子)。对于电商应用，也可以根据对场景的了解，推荐相关商品。
[0003]深度神经网络(Deep Neural Network，DNN)，包括SSD、YOLO和快速R
‑
CNN等，已经实现了图像或视频中物体的检测。再者，随着移动设备上移动集成芯片和专用DNN解决方案的进步，越来越多的DNN可以在智能手机上实时运行。然而，用于物体检测的DNN需要大量的训练数据来处理尺寸和视点的变化。此外，移动设备上传统的二维物体检测DNN通常具有相对较低的全类平均精度(mean Average Precision，mAP)，例如MobileNetV2_SSDLite达到22.1％的mAP，这表明在推算过程中有很多假阳误报。使用来自CAD模型或深度相机的几何信息，可以提高正确率。但是，对于许多现实世界的物体来说，获得CAD模型并不容易，而且移动设备上的深度相机相当耗能、昂贵且工作范围有限(<5公尺)。
[0004]另一方面，移动AR框架已经成为主流，例如苹果公司的AR Kit和谷歌公司的ARCore。此类AR框架采用SLAM算法(更具体地说，为VIO算法)来跟踪6个自由度(Degree
‑
of
‑
Freedom，DoF)的相机姿态(即，位置和方向)。此类框架还提供3D稀疏点云数据，可以重建距离相机50米以上的3D数据点。

技术实现思路

[0005]本申请的一个目的是提供一种物体检测方法、系统和计算机可读介质，以使用语义图来提高物体检测的准确性。
[0006]本申请第一方面中，一种物体检测方法包括：
[0007]通过处理器基于来自神经网络和增强现实(AR)的输出，创建物体表现数据，其中所述物体表现数据包括所述神经网络在图像上识别出的物体的物体标签信息、物体点的三维位置以及来自所述AR框架的所述物体点的视点信息和尺寸信息；
[0008]通过处理器构建包括物体超点的语义图，其中每个物体超点由所述物体点的得分历史数据、所述视点信息和所述尺寸信息表示；
[0009]通过处理器确定所述语义图中的一组物体超点，所述组中的物体超点的位置位于新进物体点的特定距离内，其中所述特定距离是基于所述神经网络所识别的所述物体的类别的尺寸来决定的，所述新进物体点属于所述类别；
[0010]通过处理器响应所述新进物体点，更新所述语义图，其中所述语义图中所确定的组中的物体超点的得分基于所述新进物体点的信息进行更新；和
[0011]通过处理器根据更新后的语义图，修改所述神经网络所识别及所述新进物体点所
属的类别的概率。
[0012]根据结合本申请第一方面的一个实施例，所述语义图基于所述物体点构建的，所述物体点在所述图像上的投影位于所述神经网络所识别的所述物体的边界区域内。
[0013]根据结合本申请第一方面的一个实施例，使用在所述图像上的投影位在所述物体的边界区域内的物体点的中间点来构造所述语义图的物体超点。
[0014]根据结合本申请第一方面的一个实施例，所述特定距离为所述新进物体点所属类别的最大尺寸。
[0015]根据结合本申请第一方面的一个实施例，所述响应所述新进物体点，更新所述语义图包括：
[0016]将所述新进物体点的视点信息与所述组中的物体超点的历史视点信息之间的比较和/或所述新进物体点的尺寸信息与所述组中的物体超点的历史尺寸信息之间进行比较，计算所述新进物体点的得分，其中所述新进物体点属于所述神经网络所识别的具有某一概率的类别，所述新进物体点的得分表示所述新进物体点所属类别的概率的变化。
[0017]根据结合本申请第一方面的一个实施例，在计算所述新进物体点的得分时，根据第一权重和第二权重来计算所述新进物体点的得分，其中所述第一权重与对应于所述新进物体点的视点和对应于所述组中的物体超点的所有视点之间的最小角度差相关联，所述第二权重与对应于所述新进物体点的尺寸和对应于所述组中的物体超点的所有尺寸之间的最小尺寸差相关联。
[0018]根据结合本申请第一方面的一个实施例，如果所述最小角度差小于第一预定角度，则将所述第一权重设为第一数值；
[0019]如果所述最小角度差大于第二预定角度，则将所述第一权重设为第二数值，所述第一数值小于所述第二数值且所述第一预定角度小于所述第二预定角度。
[0020]根据结合本申请第一方面的一个实施例，如果所述最小尺寸差在预定范围内，则所述第二权重与所述最小尺寸差成正比，如果所述最小尺寸差超出所述预定范围，则所述第二权重设为定值。
[0021]根据结合本申请第一方面的一个实施例，所述新进物体点的得分随着所述最小角度差和/或所述最小尺寸差增加而增加；所述新进物体点的得分随着所述最小角度差和/或所述最小尺寸差减小而减小，并且所述最小角度差和/或所述最小尺寸差的增加表示使用从所述神经网络获得的新进物体点的类别概率的机会增加，所述最小角度差和/或所述最小尺寸差的减小表示使用从所述神经网络获得的新进物体点的类别概率的机会降低。
[0022]根据结合本申请第一方面的一个实施例，所述响应所述新进物体点，更新所述语义图包括：
[0023]针对与所述神经网络所识别的新进物体点的类别相同的所述组中的物体超点的类别，利用所述新进物体点的得分更新所述组中的物体超点的得分，其中针对与所述新进物体点的类别相同的所述组中的物体超点，如果所述组中的物体超点落入所述新进物体点所属类别的最小尺寸内，则所述组中的物体超点将获得额外的分数。
[0024]根据结合本申请第一方面的一个实施例，所述响应所述新进物体点，更新所述语义图包括：
[0025]如果对应于所述组中的物体超点之一的视点与对应于所述组中的物体超点的所
有视点之间的最小角度差大于预定角度，则更新所述组中任一个物体超点的视点信息的历史数据；和/或如果对应于所述组中的物体超点之一的视点与对应于所述组中的物体超点的所有视点之间的最小尺寸差超过预定值，则更新所述组中任一个物体超点的尺寸信息的历史数据。
[0026]根据结合本申请第一方面的一个实施例，所述响应所述新进物体点，更新所述语义图包括：
[0027]如果所述新进物体点所属类别的最小尺寸内没有物体超点存在，则初始化所述新进物体点的历史数据，其中只有所述新进物体点的当前得分、视点信息和尺寸信息会被记录到所述语义图上。
[0028]根据结合本申请第一方面的一个实施例，所述根据所述更新后的语义图，修改本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种物体检测方法，其特征在于，所述方法包括：通过处理器基于来自神经网络和增强现实(AR)的输出，创建物体表现数据，其中，所述物体表现数据包括所述神经网络在图像上识别出的物体的物体标签信息、物体点的三维位置以及来自所述AR框架的所述物体点的视点信息和尺寸信息；通过处理器构建包括物体超点的语义图，其中，每个所述物体超点由所述物体点的得分历史数据、所述视点信息和所述尺寸信息表示；通过处理器确定所述语义图中的一组物体超点，所述组中的物体超点的位置位于新进物体点的特定距离内，其中，所述特定距离是基于所述神经网络所识别的所述物体的类别的尺寸来决定的，所述新进物体点属于所述类别；通过处理器响应所述新进物体点，更新所述语义图，其中所述语义图中所确定的组中的物体超点的得分基于所述新进物体点的信息进行更新；和通过处理器根据更新后的语义图，修改所述神经网络所识别及所述新进物体点所属的类别的概率。2.根据权利要求1所述的物体检测方法，其特征在于，所述语义图基于所述物体点而构建，所述物体点在所述图像上的投影位于所述神经网络所识别的所述物体的边界区域内。3.根据权利要求2所述的物体检测方法，其特征在于，使用在所述图像上的投影位在所述物体的边界区域内的物体点的中间点来构造所述语义图的物体超点。4.根据权利要求1所述的物体检测方法，其特征在于，所述特定距离为所述新进物体点所属类别的最大尺寸。5.根据权利要求1所述的物体检测方法，其特征在于，所述响应所述新进物体点，更新所述语义图包括：将所述新进物体点的视点信息与所述组中的物体超点的历史视点信息之间的比较和/或所述新进物体点的尺寸信息与所述组中的物体超点的历史尺寸信息之间进行比较，计算所述新进物体点的得分，其中，所述新进物体点属于所述神经网络所识别的具有某一概率的类别，所述新进物体点的得分表示所述新进物体点所属类别的概率的变化。6.根据权利要求5所述的物体检测方法，其特征在于，在计算所述新进物体点的得分时，根据第一权重和第二权重来计算所述新进物体点的得分，其中，所述第一权重与对应于所述新进物体点的视点和对应于所述组中的物体超点的所有视点之间的最小角度差相关联，所述第二权重与对应于所述新进物体点的尺寸和对应于所述组中的物体超点的所有尺寸之间的最小尺寸差相关联。7.根据权利要求6所述的物体检测方法，其特征在于，如果所述最小角度差小于第一预定角度，则将所述第一权重设为第一数值；如果所述最小角度差大于第二预定角度，则将所述第一权重设为第二数值，所述第一数值小于所述第二数值且所述第一预定角度小于所述第二预定角度。8.根据权利要求6所述的物体检测方法，其特征在于，如果所述最小尺寸差在预定范围内，则所述第二权重与所述最小尺寸差成正比，如果所述最小尺寸差超出所述预定范围，则所述第二权重设为定值。9.根据权利要求6所述的物体检测方法，其特征在于，所述新进物体点的得分随着所述最小角度差和/或所述最小尺寸差增加而增加；
所述新进物体点的得分随着所述最小角度差和/或所述最小尺寸差减小而减小，并且所述最小角度差和/或所述最小尺寸差的增加表示使用从所述神经网络获得的新进物体点的类别概率的机会增加，所述最小角度差和/或所述最小尺寸差的减小表示使用从所述神经网络获得的新进物体点的类别概率的机会降低。10.根据权利要求1所述的物体检测方法，其特征在于，所述响应所述新进物体点，更新所述语义图包括：针对与所述神经网络所识别的新进物体点的类别相同的所述组中的物体超点的类别，利用所述新进物体点的得分更新所述组中的物体超点的得分，其中针对与所述新进物体点的类别相同的所述组中的物体超点，如果所述组中的物体超点落入所述新进物体点所属类别的最小尺寸内，则所述组中的物体超点将获得额外的分数。11.根据权利要求1所述的物体检测方法，其特征在于，所述响应所述新进物体点，更新所述语义图包括：如果对应于所述组中的物体超点之一的视点与对应于所述...

【专利技术属性】
技术研发人员：李翔，徐毅，田原，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：