【技术实现步骤摘要】
本专利技术涉及多源信息融合技术和视觉导航技术，具体地说是一种多视角相机-imu-二维码融合的自动化车间agv导航方法。
技术介绍
1、在自动化车间中，自动导引运输车需要将大型和重型货物(如包裹、货物)沿着预定义轨道运输到指定位置。由于智能制造业的蓬勃发展，agv在实现智能生产和灵活运输等方面发挥着越来越重要的作用。
2、准确一致的导航系统对引导agv和确保生产安全至关重要。agv导航可分为视觉导航、激光导航、磁导航、导线导航和色带导航方法。其中，基于视觉的导航方法由于其配置灵活、采集信息丰富、成本低等优势，在学术和工业领域都得到了广泛的关注。然而，视觉导航系统存在长期漂移，计算成本高和尺度估计不准确等问题，并且在弱纹理或载体快速旋转等场景下难以有效工作。这些问题阻碍了其在agv精准导航的广泛应用。与视觉传感器相比，惯性测量单元不受外界光照不均、纹理分布不均、存在动态目标等因素的干扰，采集的数据只和本体自身的惯性信息有关二者高度互补，因此将视觉惯性信息结合实现agv自主导航已成为学术界与工业界的共识。然而若相机初始化不准确，将导致系统绝对尺度估计失真。并且随着时间推移，导航系统累积漂移逐渐增大，前视角视觉惯性导航方法将逐渐失准。
技术实现思路
1、本专利技术提出了一种多视角相机-imu-二维码融合的自动化车间agv导航方法，该方法能够实现.车间agv精确导航。
2、本专利技术为实现上述目的所采用的技术方案是：
3、相机-imu-二维码融合的车间ag
4、数据采集：通过前视角相机、下视角相机以及imu采集agv图像信息；
5、数据预处理：分别对采集到的的图像信息进行不同的处理；
6、里程计初始化：初始化多视角相机，并在前视角相机和下视角相机估计计算的轨迹基础上联合初始化，得到相应的前视角图像帧中的3d点坐标；
7、跟踪估计：根据预处理后的数据以及初始化后的参数，基于agv的不同工作状态，分别使用二维码跟踪模型、恒速跟踪模型、参考关键帧跟踪模型和重定位跟踪模型对agv的姿态、速度以及3d地图点进行估计；
8、优化建图：通过局部建图更新跟踪线程所估计的关键帧的姿态和地图点的位置，并通过回环检测对估计结果进行校验。
9、所述数据采集具体为：
10、分别通过前视角相机连续采集agv前进方向图像，获取前视角相机坐标系通过下视角相机采集地面二维码图像，获取下视角相机坐标系通过imu采集agv的加速度和角速度信息，获取imu坐标系(·)b。
11、所述数据预处理具体为：
12、对下视角图像信息依次进行二维码识别、二维码解码、绝对位姿估计；对前视角图像信息依次进行畸变矫正、棋盘标定、光束平差优化；对imu惯性信息依次进行数据观测、离散化积分、imu预积分。
13、所述对下视角图像信息依次进行二维码识别、二维码解码、绝对位姿估计，具体为：
14、二维码识别：将图像转成灰度图，采用自适应阈值的方法进行图像分割；通过轮廓识别算法对阈值图像进行轮廓提取，并进行多边形拟合以及轮廓简化；每个轮廓表示为ci，i是轮廓序列号，每个轮廓长度表示为ti，遍历轮廓ci的所有点pij，j∈1,2,...ti，获得单坐标轴中的最大和最小像素，保存为xmax、xmin、ymax、ymin，计算每个轮廓最小水平包围矩形的长宽比r，r＝(xmax-xmin)/(ymax-ymin)，保留r满足阈值条件的轮廓；
15、二维码解码：将识别到的轮廓进行透视变换，得到二维码轮廓正视图，对正视图进行二值化，得到十六位零一矩阵的二进制编码信息，根据二进制编码信息在指定字典中进行查找，得到当前轮廓对应的二维码标签；
16、绝对位姿估计：第i个二维码标签为qri，相应的位姿信息为结合相对位移进一步计算出下视角相机在世界坐标系(·)w中位置
17、
18、则，agv车体在世界坐标系中的位置{xb,yb,zb}w表示为：
19、
20、其中，表示前视角相机坐标系到车体坐标系的平移矩阵，表示下视角相机坐标系到前视角相机坐标系的平移矩阵。
21、所述imu预积分，具体为：
22、在连续图像帧之间对惯性测量值进行预积分处理，其中对应的旋转增量δrij,平移增量δpij和速度增量δvij分别为：
23、
24、
25、
26、其中，为瞬时t时刻惯性加速度测量结果，为瞬时t时刻的惯性角速度，分别为瞬时t时刻加速度偏差和角速度偏差，ηα,ηω分别为imu加速度噪声和角速度噪声，δt为局部时间间隔，表示从世界坐标系到车体坐标系的旋转矩阵，为车体当前线性加速度，gw为世界坐标系下重力加速度，exp(·)表示李代数so(3)中的元素到李群so(3)中的元素的指数映射，和分别为瞬时ti和tj在世界坐标系中的车体位置，和分别为瞬时ti和tj时的车体速度，δtij分别为时刻ti和tj之间的时间间隔。
27、所述里程计初始化具体为：
28、多视角相机初始化：初始化下视角相机图像帧{cd}和前视角相机图像帧{cf}之间的变换矩阵以及前视角相机的初始尺度s，所述变换矩阵包括旋转矩阵和平移矩阵
29、
30、
31、其中，表示待优化的旋转矩阵，{·}t表示正交矩阵转置，和表示优化过程中的参数，初始化后姿态信息，表示下视角相机姿态信息；
32、联合初始化：通过最大后验概率估计公式优化惯性偏差{bα,bω}、agv速度{v0:k}以及重力方向的旋转矩阵为rwg，其中bα与bω分别为加速度偏差和角速度偏差。
33、所述联合初始化，具体为：
34、设定待初始化的imu参数为χk＝{snew,bα,bω,rwg,v0:k}，其中snew表示在纯视觉初始尺度基础上的尺度更新，rwg∈so(3)表示从重力方向到世界坐标系的旋转矩阵，χk的后验分布为p(χk|i0:k)，通过优化函数χk*得到χk的惯性项，
35、
36、其中，rp为图像特征重投影误差，为相邻关键帧第i-1帧和第i帧之间预积分imu残差即惯性残差，∑p和分别为rp和对应的协方差矩阵；
37、所述惯性残差包括转动残差速度残差和线性残差分别表示为：
38、
39、
40、
41、
42、其中，δri-1,i，δvi-1,i和δpi-1,i分别为imu在第i-1图像帧和第i图像帧之间旋转，速度和平移的预积分测量值，δt为对应的时间间隔，ri和pi分别为第i图像帧的旋转和平移矢量,s为尺度系数，vi为第i图像帧速度测量值，g为重力系数；
43、还需要对rwg的收敛区间进行定义，由于相机绕重力方向旋转且假设重力不变，因此仅使用两个角度δαg和δβg进本文档来自技高网...
【技术保护点】
1.相机-IMU-二维码融合的车间AGV导航方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的相机-IMU-二维码融合的车间AGV导航方法，其特征在于，所述数据采集具体为：
3.根据权利要求1所述的相机-IMU-二维码融合的车间AGV导航方法，其特征在于，所述数据预处理具体为：
4.根据权利要求3所述的相机-IMU-二维码融合的车间AGV导航方法，其特征在于，所述对下视角图像信息依次进行二维码识别、二维码解码、绝对位姿估计，具体为：
5.根据权利要求3所述的相机-IMU-二维码融合的车间AGV导航方法，其特征在于，所述IMU预积分，具体为：
6.根据权利要求1所述的相机-IMU-二维码融合的车间AGV导航方法，其特征在于，所述里程计初始化具体为：
7.根据权利要求6所述的相机-IMU-二维码融合的车间AGV导航方法，其特征在于，所述联合初始化，具体为：
8.根据权利要求1所述的相机-IMU-二维码融合的车间AGV导航方法，其特征在于，所述跟踪估计具体为：
9.根据权利要求1所述
...【技术特征摘要】
1.相机-imu-二维码融合的车间agv导航方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的相机-imu-二维码融合的车间agv导航方法，其特征在于，所述数据采集具体为：
3.根据权利要求1所述的相机-imu-二维码融合的车间agv导航方法，其特征在于，所述数据预处理具体为：
4.根据权利要求3所述的相机-imu-二维码融合的车间agv导航方法，其特征在于，所述对下视角图像信息依次进行二维码识别、二维码解码、绝对位姿估计，具体为：
5.根据权利要求3所述的相机-imu-二维码...
【专利技术属性】
技术研发人员：张吟龙，李耕宇，梁炜，苑旭东，杨雨沱，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。