一种Slam算法优化基于模型的跟踪方法技术

本发明专利技术公开了一种Slam算法优化基于模型的跟踪方法，包括步骤S1、对目标物进行初始化，得到目标物在图像中的精确位姿，确定目标物的边沿；S2、进行边沿追踪，确定目标物运动之后的位姿；S3、使用SLAM算法对目标物所在新的图像位置进行点云提取；S4、点云匹配，确定目标物的精确位姿；本发明专利技术中，相对于传统AR技术中使用人工标志点或者自然特征点方式进行视点定位，创新性的针对风机舱内环境特征纹理比较贫乏的问题将半稠密边缘SLAM技术应用到AR视点定位中。半稠密SLAM技术利用图像中的边缘特征同时完成场景三维重建和视点定位，非常适合风机舱内由线和面等元素构成的场景，具有新意。

A model based tracking method optimized by Slam algorithm

The invention discloses a Slam algorithm to optimize the tracking method based on the model, including step S1, initializing the object, obtaining the precise position of the object in the image, determining the edge of the object; S2, tracking the edge, determining the position after the object movement; S3, using the SLAM algorithm to the target is new to the object. The location of the image is extracted by point cloud; S4 and point cloud are matched to determine the precise position of the object. In this invention, compared with the traditional AR technology, an artificial mark point or a natural feature point method is used to locate the point of view. The innovation of the problem is to apply the semi dense edge SLAM technology to the problem of the poor characteristics of the environment in the wind engine cabin. To the AR point of view. The semi dense SLAM technology uses the edge features of the image to complete the three-dimensional reconstruction of the scene and the location of the view point. It is very suitable for the scene in the wind engine cabin, which is made up of lines and surfaces, and has a new idea.

【技术实现步骤摘要】
一种Slam算法优化基于模型的跟踪方法
本专利技术属于AR相关技术设计开发领域或属于海上风电场可视化运维决策系统领域，尤其是涉及一种Slam算法优化基于模型的跟踪方法。
技术介绍
风电场一般采用预防性维护与纠错性维护相结合的运维策略，海上风电的工况复杂性、交通运输的可达性与安全性、故障处理可完成性等都会成为影响运维质量的重要因素。本专利技术针对海上风电运维体系所存在的管理经验欠缺，人员素质参差不齐，海上风电场天气及作业环境复杂，人员、设备和船只在海上作业危险性高等问题，基于AR(AugmentedReality增强现实)相关技术设计开发海上风电场可视化运维决策系统，利用图像识别、智能检测和数据挖掘技术等技术，帮助操作人员及时准确的定位并排除问题，根据现场情况制定相应的运维策略。AR技术依据实际现场环境与设备状态设计触发点，将实时运行数据嵌入AR显示界面中，实现集控数据与现实场景并存，从而获得人机交互的体感。在基于AR的可视化运维决策系统中现场维护人员通过所佩戴的AR设备对所要维修的对象进行识别，将相关的结构信息和实时运行数据附加在真实场景之上，制造出虚拟数据与现实场景共存的场景，帮助维护人员在现场进行运维问题决策与操作。有鉴于此，特提出本专利技术。
技术实现思路
本专利技术要解决的技术问题在于克服现有技术的不足，提供一种Slam算法优化基于模型的跟踪方法，创新性的针对风机舱内环境特征纹理比较贫乏的问题将半稠密边缘SLAM技术应用到AR视点定位中。半稠密SLAM技术利用图像中的边缘特征同时完成场景三维重建和视点定位，非常适合风机舱内由线和面等元素构成的场景，具有新意。为解决上述技术问题，本专利技术采用技术方案的基本构思是：一种Slam算法优化基于模型的跟踪方法,包括以下步骤：S1、对目标物进行初始化，得到目标物在图像中的精确位姿，确定目标物的边沿；S2、进行边沿追踪，确定目标物运动之后的位姿；S3、使用SLAM算法对目标物所在新的图像位置进行点云提取；S4、点云匹配，确定目标物的精确位姿。在上述方案中，创新性的针对风机舱内环境特征纹理比较贫乏的问题将半稠密边缘SLAM技术应用到AR视点定位中。半稠密SLAM技术利用图像中的边缘特征同时完成场景三维重建和视点定位，非常适合风机舱内由线和面等元素构成的场景，具有新意。优选的，在步骤S1中，所述的对目标物进行初始化包括：根据已知目标物的模型，预先建立其点云数据库，然后确定目标物在图像中的位置，提取目标物在图像中的点云数据，最后将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系。优选的，在进行目标物初始化后，得到目标物的位姿，并根据已知的目标物三维模型，确定目标物的边沿在图像中的坐标，将三维模型与实际图像拟合。优选的，在步骤S2中，包括实时检测目标物的边沿以确定目标物的位置，其中检测目标物边沿的步骤为：S101、对相机采集的图像做高斯平滑处理；S102、计算得到图像的全局梯度；S103、对图形进行保留局部梯度最大的点，而抑制非极大值；S104、用双阈值算法检测和连接图像边缘；S105、获得目标物新的轮廓位置，更新目标物位姿信息。优选的，在步骤S101中，对图像进行高斯平滑处理采用高斯平滑函数为：令g(x，y)为平滑后的图像，用h(x，y，σ)对图像f(x，y)进行平滑处理，即：g(x，y)＝h(x，y，σ)*f(x，y)。优选的，在步骤S102中，还包括以下步骤：S1021、使用一阶有限差分计算x和y方向的偏导数f′x(x，y)和f′y(x，y)，由此得到偏导数矩阵Gx(x，y)和Gy(x，y)，公式如下：f′x(x，y)≈Gx＝[f(x+1，y)-f(x，y)+f(x+1，y+1)-f(x，y+1)]/2；f′y(x，y)≈Gy＝[f(x，y+1)-f(x，y)+f(x+1，y+1)-f(x+1，y)]/2；S1022、进一步求有限差分的均值，以在图像中的同一点计算x和y的偏导数梯度，其中，幅值和方位角可用直角坐标到极坐标的坐标转化公式来计算：θ[x，y]＝arctan(Gx(x，y)/Gy(x，y))；其中，M[x，y]反映了图像的边缘强度；θ[x，y]反映了边缘的方向，使得M[x，y]取得局部最大值的方向θ[x，y]，就反映了边缘的方向。优选的，步骤S103中对图形进行保留局部梯度最大的点，而抑制非极大值包括：比较每一点上的领域的中心像素M[x，y]与沿着梯度线的两个像素相比，如果M[x，y]的梯度值不比沿梯度线的两个相邻像素梯度值大，则令M[x，y]＝0，从而得到非极大值抑制图像。优选的，步骤S104中用双阈值算法检测和连接图像边缘包括：对步骤S103中得到的非极大值抑制图像作用两个阈值th1和th2，其中，th1＝0.4th2；把梯度值小于th1的像素的灰度值设为0，得到图像1，然后把梯度值小于th2的像素的灰度值设为0，得到图像2，以图像2为基础，以图像1为补充来连结图像的边缘。优选的，所述连接图像的边缘的具体步骤如下：S1041、对图像2进行扫描，当遇到一个非零灰度的像素p(x，y)时，跟踪以p(x，y)为开始点的轮廓线，直到轮廓线的终点q(x,y)；S1042、考察图像1中与图像2中q(x,y)点位置对应的点s(x,y)的8邻近区域，如果在s(x,y)点的8邻近区域中有非零像素s(x,y)存在，则将其包括到图像2中，作为r(x,y)点；S1043、从r(x,y)开始，重复上述步骤，直到在图像1和图像2中都无法继续为止；S1044、完成对包含p(x,y)的轮廓线的连结之后，将这条轮廓线标记为已经访问，进入步骤S1041，寻找下一条轮廓线，重复上述步骤，直到图像2中找不到新轮廓线为止。优选的，步骤S3中所述的SLAM算法为LSD-SLAM算法、ORB-SLAM算法、RGBD-SLAM2算法、ElasticFusion算法中的任意一种算法；优选的,SLAM算法选用ORB-SLAM算法。采用上述技术方案，本专利技术具有以下有益效果：本专利技术的Slam算法优化基于模型的跟踪方法，包括步骤S1、对目标物进行初始化，得到目标物在图像中的精确位姿，确定目标物的边沿；S2、进行边沿追踪，确定目标物运动之后的位姿；S3、使用SLAM算法对目标物所在新的图像位置进行点云提取；S4、点云匹配，确定目标物的精确位姿；本专利技术中，相对于传统AR技术中使用人工标志点或者自然特征点方式进行视点定位，创新性的针对风机舱内环境特征纹理比较贫乏的问题将半稠密边缘SLAM技术应用到AR视点定位中。半稠密SLAM技术利用图像中的边缘特征同时完成场景三维重建和视点定位，非常适合风机舱内由线和面等元素构成的场景，具有新意。风电场一般采用预防性维护与纠错性维护相结合的运维策略，海上风电的工况复杂性、交通运输的可达性与安全性、故障处理可完成性等都会成为影响运维质量的重要因素。本专利技术针对海上风电运维体系所存在的管理经验欠缺，人员素质参差不齐，海上风电场天气及作业环境复杂，人员、设备和船只在海上作业危险性高等问题，基于AR(AugmentedReality增强现实)相关技术设计开发海上风电场可视化运维决策系统，利用图像识别、智能检测和数据挖掘技术等技术，帮助操作人员及时准确的定位并排除问题，本文档来自技高网...

【技术保护点】
一种Slam算法优化基于模型的跟踪方法，其特征在于，包括以下步骤：S1、对目标物进行初始化，得到目标物在图像中的精确位姿，确定目标物的边沿；S2、进行边沿追踪，确定目标物运动之后的位姿；S3、使用SLAM算法对目标物所在新的图像位置进行点云提取；S4、点云匹配，确定目标物的精确位姿。

【技术特征摘要】
1.一种Slam算法优化基于模型的跟踪方法，其特征在于，包括以下步骤：S1、对目标物进行初始化，得到目标物在图像中的精确位姿，确定目标物的边沿；S2、进行边沿追踪，确定目标物运动之后的位姿；S3、使用SLAM算法对目标物所在新的图像位置进行点云提取；S4、点云匹配，确定目标物的精确位姿。2.根据权利要求1所述的一种Slam算法优化基于模型的跟踪方法，其特征在于，在步骤S1中，所述的对目标物进行初始化包括：根据已知目标物的模型，预先建立其点云数据库，然后确定目标物在图像中的位置，提取目标物在图像中的点云数据，最后将得到的点云数据与所建立的点云数据库进行点云匹配，得到点云集间的精确变换关系。3.根据权利要求1或2所述的一种Slam算法优化基于模型的跟踪方法，其特征在于，在进行目标物初始化后，得到目标物的位姿，并根据已知的目标物三维模型，确定目标物的边沿在图像中的坐标，将三维模型与实际图像拟合。4.根据权利要求1-3任一所述的一种Slam算法优化基于模型的跟踪方法，其特征在于，在步骤S2中，包括实时检测目标物的边沿以确定目标物的位置，其中检测目标物边沿的步骤为：S101、对相机采集的图像做高斯平滑处理；S102、计算得到图像的全局梯度；S103、对图形进行保留局部梯度最大的点，而抑制非极大值；S104、用双阈值算法检测和连接图像边缘；S105、获得目标物新的轮廓位置，更新目标物位姿信息。5.根据权利要求4所述的一种Slam算法优化基于模型的跟踪方法，其特征在于，在步骤S101中，对图像进行高斯平滑处理采用高斯平滑函数为：令g(x，y)为平滑后的图像，用h(x，y，σ)对图像f(x，y)进行平滑处理，即：g(x，y)＝h(x，y，σ)*f(x，y)。6.根据权利要求5所述的一种Slam算法优化基于模型的跟踪方法，其特征在于，在步骤S102中，还包括以下步骤：S1021、使用一阶有限差分计算x和y方向的偏导数f′x(x，y)和f′y(x，y)，由此得到偏导数矩阵Gx(x，y)和Gy(x，y)，公式如下：f′x(x，y)≈Gx＝[f(x+1，y)-f(x，y)+f(x+1，y+1)-f(x，y+1)]/2；fy(x，y)≈Gy＝[f(x，y+1)-f(x，y)+f(x+1，y+1)-f(x+1，y)]/2；S1022、进一步...

【专利技术属性】
技术研发人员：张新宇，常亮，沈润杰，张梦超，
申请(专利权)人：大唐国信滨海海上风力发电有限公司，同济大学，
类型：发明
国别省市：上海,31