基于机器视觉的激光雷达扫描仪初始化定位方法及其系统技术方案

本发明专利技术提供了一种基于机器视觉的激光雷达扫描仪初始化定位方法及其系统，该方法主要包括：启动激光雷达扫描仪和高清网络摄像机；所述高清网络摄像机拍摄产品表面的图像；基于机器视觉算法识别所述图像中的目标铆钉；基于机器视觉算法识别所述图像中的激光点；以及判断所述激光点和所述目标铆钉是否重叠。本发明专利技术能够实时且高效地完成激光点初始化定位过程，而无需任何人工参与。此外，无需对高清网络摄像机和激光雷达扫描仪的规格和位置进行限定，因此，该方法适用于多种应用场景。该方法适用于多种应用场景。该方法适用于多种应用场景。

【技术实现步骤摘要】
基于机器视觉的激光雷达扫描仪初始化定位方法及其系统


[0001]本专利技术涉及机器视觉领域，尤其涉及基于机器视觉的激光雷达扫描仪初始化定位方法和实施该方法的该激光雷达扫描仪系统。

技术介绍

[0002]在例如飞机的工业产品的大部段装配过程中，通常使用激光雷达扫描仪获取大部段点云数据，以进行质量分析和通过逆向工程来指导装配。激光雷达扫描仪开始扫描前，需要初始化定位到扫描基准点。扫描基准点位于大部段上特定的三段圆弧包围区域内的铆钉中心。然后，激光雷达扫描仪沿规划路径扫描特定的区域。由于使用后需要拆卸和移动激光雷达扫描仪，因此在初始化定位过程中，按预定程序将激光雷达扫描仪指向基准点时存在一定的误差。
[0003]现阶段用于消除误差的主要手段是采用雷达系统自带的摄像头。通过在激光雷达扫描仪的控制界面显示摄像头的拍摄图像，操作人员可以观察铆钉和激光点位置，判断目标铆钉与激光点的位置差，进而手动控制激光雷达云台运动以实现初始化定位。由于雷达系统自带的摄像头变焦倍数有限，分辨率低，操作环境复杂，因此需要操作人员借助人工光反复观察和调整，导致人工和时间成本较高。
[0004]在本专利技术的
技术介绍
部分中所包括的信息仅用于增强对本专利技术的整体背景的理解，并且不可被视为对该信息构成本领域技术人员已知的现有技术的承认或任何形式的建议。

技术实现思路

[0005]本专利技术通过一种基于机器视觉的激光雷达扫描仪初始化定位方法来解决至少部分上述问题。该基于机器视觉的激光雷达扫描仪初始化定位方法通过外置高清高倍数可变焦网络摄像机拍摄产品的目标区段的图像，并基于机器视觉算法分析该图像。特别地，该方法首先锁定目标部段表面上标记的四段圆弧区域，并在此区域内查找目标铆钉中心，然后在目标部段表面上查找激光点中心。基于机器视觉的激光雷达扫描仪初始化定位方法进一步通过实时计算激光点中心和目标铆钉中心之间的像素坐标差，结合像素距离的分析，控制激光扫描仪按照不同的移动方向和移动步距高效移动，直至激光点中心和目标铆钉中心重叠，最终完成初始化定位过程。
[0006]根据一些实施例，一种基于机器视觉的激光雷达扫描仪初始化定位方法，包括：启动激光雷达扫描仪和高清网络摄像机；高清网络摄像机拍摄产品表面的图像；基于机器视觉算法识别图像中的目标铆钉；基于机器视觉算法识别图像中的激光点；以及判断激光点和目标铆钉是否重叠。
[0007]本专利技术所述方法基于高清网络摄像机的图像，利用机器视觉算法分析该图像并通过控制信号控制激光雷达扫描仪运动，实现激光雷达扫描仪的全自主初始化定位，因而能够有效提高激光雷达扫描仪的初始化定位效率和定位精度。
[0008]根据一些实施例，如果激光点和目标铆钉重叠，则结束；如果激光点和目标铆钉不重叠，则控制装置生成控制信号，并将控制信号传送至激光雷达扫描仪；以及激光雷达扫描仪接收控制信号，使得激光点向目标铆钉移动。
[0009]根据一些实施例，机器视觉算法包括yolov5算法，所述yolov5算法包括能够提高小目标的识别能力的anchors层和head层。
[0010]根据一些实施例，判断激光点和目标铆钉是否重叠包括：计算激光点和目标铆钉之间的坐标差，并且如果坐标差小于预定阈值，则激光点和所述目标铆钉重叠。
[0011]根据一些实施例，高清网络摄像机的最大分辨率至少大于720P。
[0012]根据一些实施例，基于机器视觉算法识别所述图像中的目标铆钉包括：所述图像被拆分成多个低分辨率图像，并且针对每个低分辨率图像，识别目标铆钉。
[0013]根据一些实施例，针对每个低分辨率图像，首先识别四段圆弧区域，然后在四段圆弧区域内识别并计算目标铆钉的最小外接矩形中心的像素坐标作为目标铆钉的像素坐标。
[0014]根据一些实施例，基于机器视觉算法识别所述图像中的激光点包括：选取包括目标铆钉的低分辨率图像，并围绕包括目标铆钉的低分辨率图像拼接拆分的多个低分辨率图像，直至拼接后的低分辨率图像包括激光点和目标铆钉。
[0015]根据一些实施例，通过非最大抑制方法删除拼接后的多个低分辨率图像之间的重叠边缘。
[0016]根据一些实施例，针对拼接后的低分辨率图像，利用机器视觉算法识别并计算激光点所在的最小外接矩形的中心像素坐标作为激光点的像素坐标。
[0017]根据一些实施例，控制信号指示激光雷达扫描仪的移动方向和移动步距。
[0018]根据一些实施例，移动步距随着激光点和目标铆钉之间的距离减小而减小。
[0019]本专利技术的另一方面提供一种基于机器视觉的激光雷达扫描系统，其实施本专利技术的激光雷达扫描仪初始化定位方法，包括高清网络摄像机、激光雷达扫描仪以及控制装置。
[0020]本专利技术的基于机器视觉的激光雷达扫描仪初始化定位方法及其系统通过机器视觉算法能够在产品的全部段精准地识别待追踪目标，尤其是例如铆钉和激光点的小目标，并且能够按照产品不同区域部段、不同方向和不同步长实时且高效地引导激光雷达扫描仪移动以完成激光点初始化定位过程，而无需任何人工参与，因此激光点初始化定位过程耗时短、准确度高、效率高。此外，无需对高清网络摄像机和激光雷达扫描仪的规格和位置进行限定，因此，本专利技术适用于多种应用场景。
附图说明
[0021]当结合附图时，通过参考本公开内容的示例性实施例的以下说明性且非限制性的详细描述，将更全面地理解本公开内容的上述目的以及其他目的、特征和优点。
[0022]图1示出了根据一些实施例的基于机器视觉的激光雷达系统的示意图。
[0023]图2示出了根据一些实施例的基于机器视觉的激光雷达系统的初始化定位方法的流程图。
[0024]图3示出了根据一些实施例的激光点初始化定位的示例。
[0025]图4示出了根据一些实施例的识别激光点和目标铆钉的示例。
具体实施方式
[0026]从下面给出的详细描述中，本公开内容将变得明显。详细描述和具体实施方式仅通过例示的方式公开了本公开的优选实施方式。根据详细描述中的指导，本领域技术人员理解，可以在本公开内容的范围内进行改变和修改。
[0027]因此，应该理解的是，本公开的内容不限于所描述装置的特定构件或所描述方法的步骤，因为这种装置和方法是可以改变的。还应明白的是，在本文中使用的用语仅是为了描述具体实施方式，而并不旨在进行限制。应当注意，当在说明书和所附权利要求中使用时，词语“一”、“一个”、“该”和“所述”意在表示存在一个或多个元素，除非上下文明确地另有说明。因此，例如，对“一个单元”或“该单元”的引用可以包括若干装置等等。此外，词语“包括”、“包含”、“含有”和类似措词并不排除其他要素或步骤。
[0028]现在将参考附图描述本公开内容，在附图中示出了本公开内容的优选示例性实施例。然而，本公开内容可以以其他形式实施，并且不应被解释为受限于本文公开的实施例。提供所公开的实施例是为了向本领域技术人员完全地传达本公开内容的范围。
[0029]图1示出了根据一些实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的激光雷达扫描仪初始化定位方法，包括：启动激光雷达扫描仪和高清网络摄像机；所述高清网络摄像机拍摄产品表面的图像；基于机器视觉算法识别所述图像中的目标铆钉；基于机器视觉算法识别所述图像中的激光点；以及判断所述激光点和所述目标铆钉是否重叠。2.根据权利要求1所述的方法，进一步包括：如果所述激光点和所述目标铆钉重叠，则结束；如果所述激光点和所述目标铆钉不重叠，则控制装置生成控制信号，并将所述控制信号传送至所述激光雷达扫描仪；以及所述激光雷达扫描仪接收所述控制信号，使得所述激光点向所述目标铆钉移动。3.根据权利要求1
‑
2中任一项所述的方法，其中，所述机器视觉算法包括yolov5算法，所述yolov5算法包括能够提高小目标的识别能力的anchors层和head层。4.根据权利要求1
‑
2中任一项所述的方法，其中，判断所述激光点和所述目标铆钉是否重叠包括：计算所述激光点和所述目标铆钉之间的坐标差，并且如果所述坐标差小于预定阈值，则所述激光点和所述目标铆钉重叠。5.根据权利要求1所述的方法，进一步包括：所述高清网络摄像机最大分辨率至少大于720P。6.根据权利要求1所述的方法，其中，基于机器视觉算法识别所述图像中的目标铆钉包括：所述图像被拆分成多个低分辨率图像，并且针...

【专利技术属性】
技术研发人员：陈智超，汪顺利，相泽，范晓骏，方皓，李媛，冯静璇，左正新，
申请(专利权)人：上海飞机制造有限公司，
类型：发明
国别省市：