用于利用人工智能协助检查表面的方法和系统技术方案

本公开涉及用于利用人工智能协助检查表面的方法和系统。公开了一种识别检查表面的感兴趣的区域的系统。控制器包括使用限定检查表面上的感兴趣的区域的存储图像训练的机器学习模型。用于向检查表面上投射激光标记的激光投影仪在空间上相对于检查表面定位，使得激光投影仪能够将激光标记投射到感兴趣的区域。成像器包括生成检查表面的当前图像并将当前图像用信号发送给控制器的图像传感器系统。机器学习模型被导向由激光标记所识别的当前图像的感兴趣的区域，并且机器学习模型实现神经网络以检查由激光标记所定义的感兴趣的区域的当前图像，使能检查表面的局部检查。使能检查表面的局部检查。使能检查表面的局部检查。

【技术实现步骤摘要】
用于利用人工智能协助检查表面的方法和系统
[0001]优先申请
[0002]本申请要求于2022年4月14日提交的美国临时专利申请第63/331,064号的优先权。


[0003]本申请一般地涉及表面的自动检查。更具体地，本专利技术涉及将人工智能用于使用激光投射标记的表面检查以提高效率。

技术介绍

[0004]为了满足和保持高质量的制造标准，对大规模生产组件的检查越来越重要。在大规模生产设施中使用的早期检查过程使用定期的人工检查来实现质量生产方面的适度改进。统计过程控制协助这种努力。然而，效率低下和人为错误使得这些努力不足以满足现代质量标准。为了满足不断增长的质量标准，在许多情况下必须对更高比例的产品进行检查，这使得大多淘汰人工检查的使用。因此，已经做出努力来实现使用相机和传感器的机器视觉检查来检查部件是否已经被合适地装配到工作台。然而，在装配相当大时，诸如，例如在装配是预制结构，诸如桁架，大型航空航天构件，风力涡轮机叶片等的建筑组件时，这种检查方案失败了。此外，在装配率非常高而且只有小块感兴趣的区域需要检查时，检查中等尺寸的表面会变困难。
[0005]在一些情况下，人工智能(“AF”)已经实现了一定的成功。在这些系统中，已经实现了诸如模版匹配、特征提取以及与机器学习(“ML”)算法组合的匹配之类的计算机视觉算法。最近，由于基于学习的算法的实现方式，深度学习(“DL”)和神经网络已经被认为用于AI检查是可行的。基于学习的DL神经网络，诸如卷积神经网络(“CNN”)是这样的算法的示例。这些CNN可以被训练来从模板的图像中学习以生成用于检查装配的组件的机器学习模型。人们认为，通过机器学习可以实现不断提高的准确性。
[0006]使用复杂算法的CNN可以接近人类逻辑和准确性。这些CNN可以经由使用从存储的图像和如本领域普通技术人员已知的类似物中训练的AI模型来训练，以检测被检查部分图像中的异常。然而，这样的CNN算法的计算成本限制了它们在工业规模上处理超大物体的更大图像的能力。即使训练这样的AI模型来检查在包含在大的、检测的图像或高容量的制造过程中的小物体时，也是有问题的。
[0007]因此，期望开发一种用于工业检查的人工智能模型，该模型将在经济上是可行的，并在先前未实现的大规模生产环境中提供效能。

技术实现思路

[0008]一种用于识别检查表面的感兴趣的区域的系统，包括激光投影仪和成像器。控制器包括使用存储的检查表面上的感兴趣的区域的图像训练的机器学习模型(神经网络模型)。将激光标记投射到检查表面上的激光投影仪在空间上相对于检查表面定位，使能激光
标记在感兴趣的区域上的准确投射。成像器包括用于生成检查表面的当前图像并且向控制器发送当前图像的信号的图像传感器系统。机器学习模型将检查导向当前图像中由激光标记所识别的感兴趣的区域并且机器学习模型实现神经网络以检查由激光标记限定的感兴趣的区域的当前图像，使能检查表面的局部检查。
[0009]在检查表面上战略性地投射激光标记的使用提供了降低经由CNN或其他AI模型的代码和分析的复杂度的能力。经由成像器或更具体地相机容易识别具有激光标记的检查表面的感兴趣的区域的照明。与检查整个检查表面需要的类似算法相比较，使用像素传感器使得控制器能够实施极大地简化的CNN算法。感兴趣的区域，更具体地由激光标记限定的区域，一旦被识别，就被分析，而系统工作表面或检查表面的其余区域。在处理CNN或任何其他AI模型时控制器仅分析激光标记也是可能的。本申请的创新过程甚至消除了在执行检查分析时为了确定部件的准确装配的目的而对比较计算机辅助设计(CAD)数据的依赖，进一步降低计算机代码的复杂度并提高检查的速度。CAD数据用于在使激光投影仪的空间位置与检查表面套准时准确地定位检查表面上的感兴趣的区域。一旦投影仪经由传统的激光投影过程相对于检查表面已经在空间上定位，CAD数据就不需要进一步参与检查过程，因为AI算法用于检查分析。CAD引导的激光投射和AI检查的这种双重系统提高了检查的准确性，同时也提高检查的效率。因此，AI和激光投射的组合使能先前认为不可实现的用于机器检查的各个系统的益处的广泛的实现方式。
附图说明
[0010]本专利技术的其他优点将很容易理解，因为当与附图结合考虑时，参考下面的详细描述，它们变得更好理解，其中：
[0011]图1示出了相对于检查表面在空间上定位激光投影仪的本专利技术的检查系统的示意图。
[0012]图2示出了激光投影仪向检查表面上的感兴趣的区域投射激光标记的本专利技术的检查系统的示意图。
[0013]图3示出了在检查系统的控制层面的CNN处理的流程图。
具体实施方式
[0014]参考图1，在10处一般地示出了本专利技术的一种系统。系统10包括成像器12和激光投影仪14。成像器是由一个或多个相机16构成的。包括在任何系统10中的相机16的数量取决于已经在其上执行一些工作的检查表面18的面积。期望由相机16获得整个检查表面18的视图，其目的在下文将变得更明显。因此，期望使用若干相机16来覆盖超大检查表面18，而对于较小的检查表面18可能需要较少的相机16。虽然本申请的附图表示了两个相机16，但是应当理解，根据需要可以使用单个相机16或两个、三个、或更多个相机16。无论如何，相机呈现检查表面18的全视图以使在视图中没有缺口存在。在一个实施例中，每个相机16都包括相机控制器17。然而，应当理解的是经由硬连线或其他无线传输与每个相机16电连接的中央控制器也在本专利技术的范围内。
[0015]激光投影仪14是包括激光20和协作的第一反射镜22及第二反射镜24的传统投影仪。一种合适的激光投影仪14是由维泰克视觉国际有限公司提供的IRIS 3D激光投影仪。激
光投影仪14包括用于检测返回的激光束的激光传感器26，如在美国专利第9,200,899号激光投影系统和方法中进一步说明的，该专利的内容通过引用被包括在本文中。激光控制器28以已知的方式基于第一反射镜22和第二反射镜24的旋转方向计算激光投影的位置和方向。
[0016]激光控制器28执行定位序列以相对于检查表面18在空间上定位激光投影仪14。更具体地，激光投影仪14在三维坐标系内相对于检查表面被定位，使得激光投影仪14能够以边界31(或边界框)的形式将激光标记30(图2)投射到检查表面18上也定义在三维坐标系内的感兴趣的区域32处。
[0017]为了相对于检查表面18定位激光投影仪14，将反射目标34固定到检查表面18上的在CAD数据中定义的预定基准点处。如本领域普通技术人员所知，在三维坐标系中准确地定位基准点使能检查表面18的准确定位。这样，激光投影仪14将激光束36投射到反射目标34，返回激光束被从反射目标34反射到激光传感器26。基于反射镜22、24的方向，由控制器28以已知的方式计算目标34的位置。在美国专利第9,200,899号激光投影系统和方法中进一步说明了确立激光投影仪14与检查表面18之间的关联的过程，其中说明了包括将任意激光点投影本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别检查表面的感兴趣的区域的系统，包括：控制器，包括机器学习模型，机器学习模型包括由限定所述检查表面上的感兴趣的区域的存储图像训练的神经网络；激光投影仪，用于将激光标记投射到所述检查表面上，并且空间上相对于所述检查表面定位从而使得所述激光投影仪能够将所述激光标记投射到所述感兴趣的区域；成像器，包括用于生成检查表面的当前图像并将所述当前图像用信号发送给所述控制器的图像传感器系统；以及所述机器学习模型，所述机器学习模型将检查导向由所述激光标记所识别的所述当前图像的所述感兴趣的区域以及所述机器学习模型实现所述神经网络以检查由所述激光标记所限定的所述感兴趣的区域的所述当前图像从而使能所述检查表面的局部检查。2.根据权利要求1所述的系统，其中所述神经网络包括卷积神经网络(“CNN”)，所述卷积神经网络用于执行根据由所述激光标记所限定的所述感兴趣的区域的存储图像训练的所述机器学习模型。3.根据权利要求2所述的系统，还包括用于基于当前图像到填充所述处理器的所述存储图像的添加来生成和更新所述CNN的处理器。根据权利要求2所述的系统，其中所述处理器与所述控制器电连接以用于用信号向所述处理器发送由所述激光标记所限定的所述当前图像。4.根据权利要求1所述的系统，其中所述激光标记的所述位置由定义所述检查表面的计算机辅助设计数据确立。5.根据权利要求4所述的系统，其中投射到所述检查表面的识别所述感兴趣的区域的所述激光标记定义所述感兴趣的区域的周界。6.根据权利要求5所述的系统，其中所述成像器包括多个相机，每个相机包括成像传感器。7.根据权利要求6所述的系统，其中每个所述成像传感器定义用于由所述激光标记所限定的所述感兴趣的区域的生成的像素化图像。8.根据权利要求7所述的系统，其中填充所述控制器和所述处理器的所述存储图像被定义为用于训练所述CNN的像素化图像。9.根据权利要求8所述的系统，其中所述CNN基于包括所述当前图像和所述存储图像之间的所述激光标记的像素的图像数据提供检查分析。10.根...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：维蒂克影像国际公司，
类型：发明
国别省市：