一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法技术

本发明专利技术提出了一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法，它包括对测量场地进行标定；对测量物体拍摄并制作数据集进行语义分割的训练；通过训练出的模型实现图像定位，结合本文的数学模型实现位置和姿态的测量。本发明专利技术基于单目视觉测量和语义分割，能适应各种宽度已知高度未知的物体，相关参数经过卡尔曼滤波优化，能够快速准确地实现定位。

【技术实现步骤摘要】
一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法
本专利技术涉及视觉测量
，具体是一种单目视觉下基于语义分割和卡尔曼滤波对目标物体相对于参照物的位置和姿态测量的方法。
技术介绍
视觉测量是以计算机视觉为理论基础，对物体几何尺寸、位置或姿态的精确测量。它具有非接触性、测量精度高和速度快等特点，在质量监控、机器人导航、辅助泊车和港口自动化等多个领域有广阔的应用。近年来，区域间的交流协作日益紧密。港口作为全球贸易的流通载体，在区域经济发展中具有重要地位。面对港口集装箱吞吐量的不断增长，集装箱码头对装卸效率的要求越来越高。自动化地识别集装箱或集装箱卡车，辅助装卸货的位姿测量方法能极大地提高港口效率。为了提高陆侧集装箱装卸作业的效率，国内外学术界、工业界提出了许多基于视觉方法实现集装箱卡车的无人引导。其中较为接近的方法包括：JerneyMrovlj(MrovljeJ,D.Automaticdetectionofthetruckpositionusingstereoscopy[C]//IEEEInternationalConference本文档来自技高网...

【技术保护点】
1.一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法，其特征在于包括如下步骤：/n步骤1：根据实际场地大小定制一张正方形黑白格组成的标定板，将标定板边界平行于停车线放置在待测地面，固定相机拍取20幅图像，使用张氏标定法得到相机的内参矩阵K、外参矩阵R和T，并选择其中一幅清晰图像计算该图像对应的图像坐标到待测地面坐标的转换矩阵M；/n步骤2：以步骤1中选取的图像建立待测地面的世界坐标系，具体为：取标定板中最接近停车线与车道交点的内部角点为原点，以标定板中平行于停车线的边界作为Y轴，平行于车道的边界作为X轴，垂直于地面向上过原点的射线为Z轴；此时，相机坐标系中相机坐标为(0,0,0)，根据式(...

【技术特征摘要】
1.一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法，其特征在于包括如下步骤：
步骤1：根据实际场地大小定制一张正方形黑白格组成的标定板，将标定板边界平行于停车线放置在待测地面，固定相机拍取20幅图像，使用张氏标定法得到相机的内参矩阵K、外参矩阵R和T，并选择其中一幅清晰图像计算该图像对应的图像坐标到待测地面坐标的转换矩阵M；
步骤2：以步骤1中选取的图像建立待测地面的世界坐标系，具体为：取标定板中最接近停车线与车道交点的内部角点为原点，以标定板中平行于停车线的边界作为Y轴，平行于车道的边界作为X轴，垂直于地面向上过原点的射线为Z轴；此时，相机坐标系中相机坐标为(0,0,0)，根据式(1)计算得到对应的世界坐标系中相机坐标为(Xw,Yw,Zw)；



其中，R和T为步骤1中的相机外参矩阵；
步骤3：使用工业相机拍摄至少3000张集卡不同位姿的图像作为样本，使用特征提取网络MobileNetV2和语义分割网络BiseNet，训练得到对集卡顶部的语义分割模型；
步骤4：记集卡端部线段的两个端点分别为A点和B点，点E为连接相机光心和点A的直线与待测平面的交点，点F为连接相机光心和点B的直线与待测平面的交点，由步骤3中语义分割得到点E、F的图像坐标，分别代入式(2)计算对应的世界坐标，再根据式(3)计算得到线段EF长度LEF；






其中，M为相机的图像坐标到世...

【专利技术属性】
技术研发人员：高飞，邱琪，葛一粟，卢书芳，翁立波，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33