一种基于机器视觉的缺陷检测方法、装置及电子设备制造方法及图纸

本申请实施例提供一种基于机器视觉的缺陷检测方法、装置及电子设备。在本实施例中，基于场景深度图中目标像素点对应的邻域的法向量方向实现了场景深度图的增强，比如依赖于场景深度图中目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，更加突出待检测对象表面上的缺陷区域，最终实现了通过场景深度图的增强方式来进行缺陷检测，并提高了待检测对象表面缺陷区域和正常区域的区分度，进而提高了缺陷检出率。提高了缺陷检出率。提高了缺陷检出率。

【技术实现步骤摘要】
一种基于机器视觉的缺陷检测方法、装置及电子设备


[0001]本申请涉及机器视觉
，尤其涉及一种基于机器视觉的缺陷检测方法、装置及电子设备。

技术介绍

[0002]目前，基于机器视觉的缺陷检测方法常使用2D检测。所谓2D检测，其通常为通过2D相机获取待检测对象对应的图像中的亮度数据，基于亮度数据进行缺陷检测。这里，待检测对象比如为焊接场景下的焊接工件等等，本实施例并不具体限定。
[0003]但是，当待检测对象对应的图像中的缺陷区域的光泽和纹理接近正常区域时，例如，深度较小(毫米级)的划痕，2D检测方法就很难精确检测出待检测对象对应的图像中的缺陷区域。

技术实现思路

[0004]有鉴于此，本申请实施例提供一种基于机器视觉的缺陷检测方法、装置及电子设备，以通过场景深度图的增强方式来实现缺陷检测。
[0005]根据本申请实施例的第一方面，提供一种机器视觉的缺陷检测方法，所述方法包括：
[0006]获得待检测对象在当前场景下的场景深度图；
[0007]针对所述场景深度图中每一目标像素点，依据该目标像素点的位置信息、以及所述场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域；
[0008]确定各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角；
[0009]基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息。
[0010]根据本申请实施例的第二方面，提供一种机器视觉的缺陷检测装置，所述装置包括：
[0011]场景深度图获得模块，用于获得待检测对象在当前场景下的场景深度图；
[0012]邻域确定模块，用于针对所述场景深度图中每一目标像素点，依据该目标像素点的位置信息、以及所述场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域；
[0013]夹角确定模块，用于确定各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角；
[0014]缺陷检测模块，用于基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息。
[0015]根据本申请实施例的第三方面，提供一种电子设备，电子设备包括机器可读存储介质、处理器；所述机器可读存储介质存储有能够被处理器执行的机器可执行指令；所述处
理器用于读取所述机器可执行指令，以实现如第一方面所述的基于机器视觉的缺陷检测方法的步骤。
[0016]本申请实施例提供的技术方案可以包括以下有益效果：
[0017]本申请实施例中，基于场景深度图中目标像素点对应的邻域的法向量方向实现了场景深度图的增强，比如依赖于场景深度图中目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，更加突出待检测对象表面上的缺陷区域，最终实现了通过场景深度图的增强方式来进行缺陷检测；
[0018]进一步地，本申请实施例中，基于场景深度图中目标像素点对应的邻域的法向量方向实现了场景深度图的增强，提高了待检测对象表面缺陷区域和正常区域的区分度，避免通过2D检测方法很难精确检测出待检测对象对应的图像中的缺陷区域的问题。
附图说明
[0019]图1是本申请实施例提供的方法流程图。
[0020]图2a是本申请实施例提供的邻域确定流程图。
[0021]图2b是本申请实施例提供的目标像素点对应的邻域的法向量方向与上述指定标准方向之间的夹角的示意图。
[0022]图3是本申请实施例提供的一缺陷检测流程图。
[0023]图4为本申请实施例提供的另一缺陷检测流程图。
[0024]图5是本申请实施例提供的装置框图。
[0025]图6是本申请实施例提供的装置硬件结构示意图。
具体实施方式
[0026]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0027]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0028]应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0029]为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
[0030]下面对本申请实施例提供的方法进行描述：
[0031]参见图1，图1为本申请实施例提供的方法流程图。该方法应用于电子设备，作为一个实施例，这里的电子设备比如为终端、服务器等，本申请实施例并不具体限定。
[0032]如图1所示，该流程可包括以下步骤：
[0033]S110：获得待检测对象在当前场景下的场景深度图。
[0034]示例性地，上述待检测对象为待检测工件，例如，在焊接场景下，上述待检测对象可以为焊接工件。作为一个实施例，这里的待检测对象的表面可能存在缺陷，比如存在光泽与纹理接近正常区域的缺陷区域等，本实施例并不限定。这里，光泽与纹理接近正常区域的缺陷区域举例为：深度为毫米级的划痕，则表示缺陷区域的光泽与纹理接近正常区域，本实施例并不具体限定。
[0035]示例性地，待检测对象在当前场景下的场景深度图可以由本电子设备直接采集得到。此时，作为一个实施例，这里的电子设备为深度相机等用于采集深度图的设备，比如RGB
‑
D相机、线激光轮廓扫描仪等，本实施例并不具体限定。
[0036]示例性地，待检测对象在当前场景下的场景深度图也可由本电子设备通过有线网络或者无线网络的方式从采集到该场景深度图的其他设备比如深度相机中得到。此时，作为一个实施例，这里的电子设备可为与深度相机等用于采集深度图的设备进行交互的设备，比如上述的终端、服务器等，本实施例并不具体限定。
[0037]S120：针对场景深度图中每一目标像素点，依据该目标像素点的位置信息、以及场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域。
[0038]示例性地，在本实施例中，上述目标像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的缺陷检测方法，其特征在于，所述方法包括：获得待检测对象在当前场景下的场景深度图；针对所述场景深度图中每一目标像素点，依据该目标像素点的位置信息、以及所述场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域；确定各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角；基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息。2.根据权利要求1所述的方法，其特征在于，所述依据该目标像素点的位置信息、以及所述场景深度图中其它各目标像素点的位置信息，确定该目标像素点对应的指定尺寸的邻域，包括：在所述场景深度图中确定出该目标像素点对应的指定尺寸的邻域；所述邻域包含该目标像素点以及所述场景深度图中至少一个其它目标像素点；或者，将所述场景深度图中各目标像素点映射至指定坐标系，得到各目标像素点对应的映射点；所述指定坐标系不同于所述场景深度图对应的坐标系；针对指定坐标系下每一目标像素点对应的映射点，在所述指定坐标系下确定出该映射点对应的指定尺寸的邻域；所述邻域包含该映射点以及至少一个其它映射点。3.根据权利要求1所述的方法，其特征在于，所述基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息，包括：基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，确定对应的残差图；对所述残差图进行灰度处理，得到灰度图；将所述灰度图输入到已训练好的缺陷检测模型中，得到所述待检测对象上的缺陷信息。4.根据权利要求1所述的方法，其特征在于，所述基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，检测所述待检测对象上的缺陷信息，包括：基于各目标像素点对应的邻域的法向量方向与指定标准方向之间的夹角，确定对应的残差图；对所述残差图进行灰度处理，得到灰度图；对所述灰度图进行二值化处理，得到二值化图；基于所述二值化图检测所述待检测对象上的缺陷信息。5.根据权利要求4所述的方法，其特征在于，所述基于所述二值化图检测所述待检测对象上的缺陷信息，包括：对所述二值化图像进行连通域提取处理，根据提取结...

【专利技术属性】
技术研发人员：张天一，龙学雄，
申请(专利权)人：杭州海康机器人股份有限公司，
类型：发明
国别省市：