一种可移动的相机沿检查路径移动，用于光学检查物体的检查表面以进行缺陷检测。在规划检查路径时，生成检查表面上的视点集。每个视点都与一个方块区域相关联，当相机位于视点上方来捕捉视野的图像时，该方块区域是相机视野内检查表面的最大区域。方块区域的有效区域由神经网络根据方块区域的三维几何特征进行有利的预测，从而使预测的有效区域对基于捕获图像的缺陷检测有效。有效区域是指其在捕获的图像上的相应区域没有模糊，既没有曝光不足也没有曝光过度。检查路径是根据与视点集相关的各自有效区域确定的。自有效区域确定的。自有效区域确定的。
【技术实现步骤摘要】
【国外来华专利技术】基于有效区域覆盖的缺陷检测的优化路径规划
[0001]缩略用语列表
[0002]2D 两维
[0003]3D 三维
[0004]AutoML 自动机器学习
[0005]DNN 深度神经网络
[0006]FOV 视野
[0007]NN 神经网络
[0008]本专利技术整体涉及使用可移动的相机对物体的检查表面进行成像，以进行缺陷检测。特别是，本专利技术涉及一种计算机实现的方法，用于规划可移动的相机的检查路径，以便对检查表面进行光学检查以进行缺陷检测。
技术介绍
[0009]表面检查是制造和维护中的一个重要和必要的程序，因为它与质量控制甚至产品的安全有关。例如，表面检查对于识别火车轨道或飞机上的裂缝等是有用的。
[0010]传统上，检查过程涉及通过人眼做出判断，因此可靠性差是一个问题。为了确保检查的均匀性，已经开发了自动化或机器人检查系统来解决这个问题，同时这还具有提高检查过程的效率和生产力的优点。与检查过程相关的一个问题是，相机或成像传感器只能从一个特定的视角覆盖被检查物体的一部分，因此需要对相机或成像传感器所穿越的路径进行规划。本领域中已经开发了路径规划的方法，例如。E.GLORIEUXA,P.FRANCIOSA and D.CEGLAREK,"Coverage Path Planning with Targeted Viewpoint Sampling for Robotic Free
‑
Form Surface Inspection,"Robotics and Computer
‑
Integrated Manufacturing,vol.61,February 2020,101843、W.R.SCOTT,G.ROTH and J.
‑
F.RIVEST,"View Planning for Automated Three
‑
Dimensional Object Reconstruction and Inspection,"ACM Computing Surveys,vol.35,no.1,March 2003,pp.64
‑
96；US 8,059,151 B2、以及CN113343355A。
[0011]现有的路径规划方法主要侧重于提供被检测物体的检查表面的全覆盖，并且在很大程度上忽略了表面的不同光学特性对检测过程的影响。检查表面可能是反射的、半透明的，等等。如果相机的位置不利，而使相机接收到强烈的反射光或不需要的眩光，就会导致无效的检查过程。在某些情况下，即使用拍摄的图像对物体的表面进行了检查，但由于图像质量差，也不能正确检查。因此，检查过程是不完整的，且从检查过程中得到的结果是不可靠的。
[0012]期望的是检查过程能完全覆盖被检查物体的整个表面，并且该物体的所有捕获的图像对于被机器视觉检查算法处理是有效的。本领域需要一种技术，以规划相机移动通过的检查路径，从而使整个检查表面被覆盖，同时避免移动到产生无效捕获图像的不利位置。
技术实现思路
[0013]本专利技术的第一方面是提供一种计算机实现的方法，用于在物体的检查表面上规划检查路径。该检查路径用于引导可移动的相机沿着该检查路径移动，以便对检查表面进行光学检查以进行缺陷检测。
[0014]在该方法中，生成了检查表面上的视点集。单独视点与方块区域相关联，其中该方块区域是当相机位于单独视点上方以捕获相机的视野的图像时，在相机的视野内的检查表面的最大区域。有利的是，方块区域的有效区域由神经网络根据方块区域的三维几何特征进行预测，从而使预测的有效区域对基于与单独视点相关的捕获图像的缺陷检测有效。神经网络在经过训练后预测有效区域。根据与视点集相关的多个各自的有效区域确定检查路径。
[0015]优选地，根据与视点集相关的方块区域的多个各自有效区域对检查路径的确定，包括以下第一和第二步骤。在第一步骤中，确定视点集中的优化子集，使得所确定的优化子集是视点集中最小的非空子集，且其约束条件是与优化子集中的不同存活视点相关联的各自有效区域的方块区域的联合，覆盖整个检查区域。优化后的子集形成了存活视点集。在第二步骤中，检查路径被确定为在每条都连接所有相应的存活视点并访问每个相应的存活视点一次的优化路径，该路径在所有可能的路径中具有最小的移动成本，其中每条路径连接所有相应的存活视点并访问每个相应的存活视点一次。
[0016]优化子集可以根据集合覆盖问题的解决方案来确定。
[0017]优化路径可以根据开环旅行推销员问题的解来确定。
[0018]优选地，三维几何特征由多个三维点数据给出，这些数据包括对方块区域进行建模的点云的组成点的三维坐标。
[0019]同样优选的是，通过神经网络预测方块区域的有效区域，确定所述方块区域的单个组成点是在所述有效区域内还是在所述有效区域外。因此，它允许有效区域由点云表示，该点云对方块区域进行建模，并为单个组成点指示该单个组成点是在有效区域内部还是外部。
[0020]在该方法中，优选地获得物体的CAD模型。该CAD模型至少包括对检查表面进行几何建模的设计数据。结果，根据该CAD模型生成视点集。同样优选的是，在有效区域被预测后，与单个存活的视点相关的有效区域被投射到CAD模型上。
[0021]在某些实施例中，所述神经网络是深度神经网络。
[0022]在某些实施例中，所述神经网络选自PointNet++和ConvPoint。
[0023]在某些实施例中，神经网络是由自动机器学习工具工具生成的。
[0024]在该方法中，可以用训练数据集训练神经网络。训练数据集可包括多个训练样本。单个训练样本可以包括用于训练的方块区域和地面真实有效区域。
[0025]在某些实施例中，该方法进一步包括准备训练数据集。
[0026]训练数据集的准备包括采取以下动作。首先，接收用于训练的方块区域的第一测试图像和第二测试图像第一测试图像和第二测试图像由位于用于训练的方块区域上方的同一位置的相机分别在白色照明条件下和在亮/暗条照明条件下分别捕获，以照明用于训练的方块区域。第二，在第一测试图像上识别图像方块区域。该图像方块区域是出现在第一测试图像上的用于训练的方块区域。第三，根据第一测试图像，识别图像方块区域的第一部
分是过亮或过暗的。第四，根据第二测试图像，识别图像方块区域的第二部分是失焦的。第五，将第一和第二部分从图像方块区域移除，以获得第一测试图像上的第一二维有效区域。第六，进行除噪操作，以去除第一二维有效区域任何一角的虚假区域，从而产生第二二维有效区域。第七，对第二二维有效区域进行中心区域合并操作，产生第三二维有效区域，用于通过合并第二二维有效区域中靠近其中心的相邻区域来消除虚假边界。第八，获取第二多个三维点数据，为用于训练的方块区域建模。第九，从第二多个三维点数据和第三二维有效区域形成第三多个三维点数据，对地面真实有效区域进行建模，从而确定本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法，用于在物体的检查表面规划检查路径，该检查路径用于引导可移动的相机沿着该检查路径移动，以便对所述检查表面进行光学检查从而进行缺陷检测，该方法包括：在所述检查表面上生成视点集；单独视点与方块区域相关联；当所述相机位于该单独视点上方以捕捉所述相机的视野的图像时，该方块区域是所述检查表面在所述相机的所述视野内的最大区域；根据所述方块区域的三维几何特征，通过神经网络预测所述方块区域的有效区域，从而使所预测的有效区域对基于与所述单独视点相关的捕获图像的缺陷检测有效，其中所述神经网络在经过训练后预测所述有效区域；以及根据与所述视点集相关的多个各自的有效区域确定所述检查路径。2.根据权利要求1所述的方法，其中根据与所述视点集相关的方块区域的多个各自的有效区域对所述检查路径的确定，包括：确定所述视点集中的优化子集，以形成存活视点的集合，使得所确定的优化子集是所述视点集中最小的非空子集，且其约束条件是与所述优化子集中不同的存活视点相关联的各有效区域的方块区域的联合，覆盖整个检查区域；以及将所述检查路径确定为连接所有相应的存活视点并访问每个存活视点一次的优化路径，同时在每条都连接所有相应的存活视点并访问每个相应的存活视点一次的所有可能的路径中，所述相机的移动成本最小。3.根据权利要求1所述的方法，其中所述三维几何特征是由多个三维点数据给出的，这些三维点数据包括对所述方块区域进行建模的点云的组成点的三维坐标。4.根据权利要求3所述的方法，其中，由所述神经网络对所述方块区域的所述有效区域进行的所述预测，包括：确定所述方块区域的单个组成点是在所述有效区域内还是在所述有效区域外，从而允许所述有效区域由对所述方块区域建模的所述点云表示，并为所述单个组成点指示该单个组成点是在所述有效区域内还是在所述有效区域外。5.根据权利要求1所述的方法，还包括获得所述物体的CAD模型，该CAD模型至少包括对所述检查表面进行几何建模的设计数据，从而根据该CAD模型生成所述视点集。6.根据权利要求5所述的方法，进一步包括：在预测了所述有效区域后，将与单个存活视点相关的所述有效区域投射到所述CAD模型上。7.根据权利要求3所述的方法，其中所述神经网络是深度神经网络。8.根据权利要求3所述的方法，其中所述神经网络选自PointNet++和ConvPoint。9.根据权利要求3所述的方法，其中所述神经网络是由自动机器学习工具生成的。10.根据权利要求2所述的方法，其中，所述优化子集是根据集合覆盖问题的解决方案确定的。11.根据权利要求2所述的方法，其中所述优化路径是根据开环旅行推销员问题的解确定的。12.根据权利要求3所述的方法，还包括：
用训练数据集...
【专利技术属性】
技术研发人员：戚大卫，王志诚，
申请(专利权)人：香港应用科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。