一种结合点云和语义识别的双目摄像头标定方法技术

本发明专利技术公开了一种结合点云和语义识别的双目摄像头标定方法，涉及双目标定技术领域，包括如下步骤：选择标识物，训练图像识别机器学习模型；双目摄像头输出点云和图片，图像识别机器识别图片中的标识物，从双目摄像头像素中找到对应点云，对标识物进行定位，记录标识物在双目摄像头坐标系下的坐标，同时记录标识物在世界坐标系下的坐标，得到坐标组合；改变双目摄像头与标识物的相对位置；重复多次，得到多组坐标组合；将多组坐标组合输入统计模型，得到标识物在世界坐标系下的准确位置。本发明专利技术通过结合双目摄像头点云和机器学习图像语义识别实现标定，方法简单，可靠性强，能同时纠正双目摄像头点云的可能畸变，大大降低了视觉定位应用门槛。

A binocular camera calibration method combining point cloud and semantic recognition

【技术实现步骤摘要】
一种结合点云和语义识别的双目摄像头标定方法
本专利技术涉及双目标定
，更具体地说，它涉及一种结合点云和语义识别的双目摄像头标定方法。
技术介绍
双目摄像头因其双目视觉的slam(即时定位与地图构建)稳定性好，功能强大，广泛应用于各种机器人上。但是，目前双目摄像头定位方法存在双目点云存在可能畸变的情况，标定方法复杂，精准度较差，并且目前其他双目标定方法都涉及复杂数据计算，视觉定位应用的门槛高。基于上述问题，需要提出一种方法简单，可靠性强，大大降低视觉定位应用门槛的结合点云和语义识别的双目摄像头定位方法。
技术实现思路
针对实际运用中这一问题，本专利技术目的在于提出一种结合点云和语义识别的双目摄像头标定方法，具体方案如下：一种结合点云和语义识别的双目摄像头标定方法，包括如下步骤：1)选择标识物，训练像素级别图像语义识别机器学习模型(M)，通过对所述模型(M)的转移学习，以使得所述语义识别机器学习模型(M)识别标识物；2)双目摄像头输出点云和图片，所述语义识别机器学习模型(M)识别所述图片中的标识物，并从所述双目摄像头像素中找到所述对应像素在点云中的位置，对所述标识物进行定位，记录所述标识物在所述双目摄像头坐标系下的坐标(x)，同时记录所述标识物在世界坐标系下的坐标(y)，得到坐标组合(x，y)；3)改变所述双目摄像头与所述标识物的相对位置；4)重复多次所述步骤2)和所述步骤3)，得到多组所述坐标组合(x，y)；5)将多组所述坐标组合(x，y)输入统计模型f，得到f(x)->y的方法。进一步的，所述步骤5)中统计模型为多个模型组合而成的混合模型；所述步骤5)中统计模型f包括转换矩阵、线性回归或多项式回归模型。进一步的，所述步骤3)中相对位置改变的方式包括改变所述标识物位置和改变所述双目摄像头位置。进一步的，所述步骤5中所述统计模型f用于实现所述标识物在所述双目摄像头坐标系下的坐标到所述标识物在所述世界坐标系下的坐标的转换。与现有技术相比，本专利技术的有益效果如下：本专利技术中，通过结合双目摄像头点云和机器学习图像语义识别，并通过改变标识物与双目摄像头的相对位置，记录多组标识物在双目摄像头坐标系下的坐标和在世界坐标系下的坐标，并通过统计模型计算得出标定的方法，本专利技术中方法适用两种双目摄像头部署方式，方法简单，可靠性强，能同时纠正双目摄像头点云的可能畸变，相较于其他涉及复杂数据计算的双目标定方法来说，本专利技术中标定方法大大降低了视觉定位应用门槛。附图说明图1为本专利技术的中双目摄像头标定方法流程图。具体实施方式下面结合实施例及附图对本专利技术作进一步的详细说明，但本专利技术的实施方式不仅限于此。如图1所示，一种结合点云和语义识别的双目摄像头标定方法，包括如下步骤：1)选择标识物，训练像素级别图像语义识别机器学习模型(M)，通过对模型(M)的转移学习，以使得语义识别机器学习模型(M)识别标识物；2)双目摄像头输出点云和图片，语义识别机器学习模型(M)识别图片中的标识物，并从双目摄像头像素中找到对应像素在点云中的位置，对标识物进行定位，记录标识物在双目摄像头坐标系下的坐标(x)，同时记录标识物在世界坐标系下的坐标(y)，得到坐标组合(x，y)；3)改变双目摄像头与标识物的相对位置；4)重复多次步骤2)和步骤3)，得到多组坐标组合(x，y)；5)将多组坐标组合(x，y)输入统计模型f，得到f(x)->y的方法。步骤5)中统计模型为多个模型组合而成的混合模型；步骤5)中统计模型f包括转换矩阵、线性回归或多项式回归模型。步骤3)中相对位置改变的方式包括改变标识物位置和改变双目摄像头位置。步骤5中统计模型f用于实现标识物在双目摄像头坐标系下的坐标到标识物在世界坐标系下的坐标的转换。本专利技术的具体实施原理为：通过结合双目摄像头点云和机器学习图像语义识别，并通过改变标识物与双目摄像头的相对位置，记录多组标识物在双目摄像头坐标系下的坐标和在世界坐标系下的坐标，并通过统计模型计算得出标定的方法，本专利技术中方法适用两种双目摄像头部署方式，方法简单，可靠性强，能同时纠正双目摄像头点云的可能畸变，相较于其他涉及复杂数据计算的双目标定方法来说，本专利技术中标定方法大大降低了视觉定位应用门槛。以上所述仅是本专利技术的优选实施方式，本专利技术的保护范围并不仅局限于上述实施例，凡属于本专利技术思路下的技术方案均属于本专利技术的保护范围。应当指出，对于本
的普通技术人员来说，在不脱离本专利技术原理前提下的若干改进和润饰，这些改进和润饰也应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种结合点云和语义识别的双目摄像头标定方法，其特征在于，包括如下步骤：/n1)选择标识物，训练像素级别图像语义识别机器学习模型(M)，通过对所述模型(M)的转移学习，以使得所述语义识别机器学习模型(M)识别标识物；/n2)双目摄像头输出点云和图片，所述语义识别机器学习模型(M)识别所述图片中的标识物，并从所述双目摄像头像素中找到所述对应像素在点云中的位置，对所述标识物进行定位，记录所述标识物在所述双目摄像头坐标系下的坐标(x)，同时记录所述标识物在世界坐标系下的坐标(y)，得到坐标组合(x，y)；/n3)改变所述双目摄像头与所述标识物的相对位置；/n4)重复多次所述步骤2)和所述步骤3)，得到多组所述坐标组合(x，y)；/n5)将多组所述坐标组合(x，y)输入统计模型f，得到f(x)->y的方法。/n

【技术特征摘要】
1.一种结合点云和语义识别的双目摄像头标定方法，其特征在于，包括如下步骤：
1)选择标识物，训练像素级别图像语义识别机器学习模型(M)，通过对所述模型(M)的转移学习，以使得所述语义识别机器学习模型(M)识别标识物；
2)双目摄像头输出点云和图片，所述语义识别机器学习模型(M)识别所述图片中的标识物，并从所述双目摄像头像素中找到所述对应像素在点云中的位置，对所述标识物进行定位，记录所述标识物在所述双目摄像头坐标系下的坐标(x)，同时记录所述标识物在世界坐标系下的坐标(y)，得到坐标组合(x，y)；
3)改变所述双目摄像头与所述标识物的相对位置；
4)重复多次所述步骤2)和所述步骤3)，得到多组所述坐标组合(x，y)；
5)将多组所述坐标组合...

【专利技术属性】
技术研发人员：李维钧，陈柯，袁标，王金悦，
申请(专利权)人：上海点甜农业专业合作社，
类型：发明
国别省市：上海;31