室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法技术

本发明专利技术公开了室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法，包括以下步骤：1)操作者进行环境探索，沿作业路径遍历整个作业现场环境，利用双目视觉里程计和GPS及IMU数据定位，同时创建作业环境概要地图；2)实时定位与路径引导的过程中，同时利用双目视觉里程计进行全局米制定位和利用闭环检测进行拓扑定位；3)判断出回路闭合时，利用场景特征计算出位姿偏差，对当前全局位姿进行纠偏，完成样本库更新；4)利用拓扑概要地图和实时定位结果，进行作业任务路径规划与作业路径引导提示，将信息推送给使用者。本发明专利技术针对室外环境下的设备巡检运维等一类任务的可穿戴式作业辅助系统，提供可靠、实时的作业路径引导及定位功能。

【技术实现步骤摘要】
室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法
本专利技术涉及室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法，属于一种可穿戴式计算技术。
技术介绍
将可穿戴式系统用于设备巡检等应用领域是国内外一项最新技术，能够辅助对作业环境不熟悉的工人，按照任务规定和要求进行设备巡检作业，提高其工作效率，减轻其工作负担。而目前的可穿戴式设备及辅助技术大多集中在导盲等一类服务领域，也大多采用超声、红外等常规的传感器来简单地获取环境信息，仅提供简单避障功能，并不具备工业设备巡检及运维中最需要的点到点路径引导功能。对于视觉传感器的使用也仅仅限于简单的路标物体(如红绿灯等)图像识别，尚未有专利涉及可穿戴式视觉传感器在复杂的室外环境下进行自定位和路径引导问题。在工业领域中，超宽带无线通信技术、近场电磁测距(NFER)系统等是目前较为成熟的定位技术。但是此类室内定位技术造价昂贵，在多金属、多遮挡区域内部署时均面临很多困难，即使增加成本密集布点，定位效果仍然差强人意，达不到预期指标。基于视觉的定位技术具有成本低廉、配置简单、不依赖人工标签、部署灵活方便的特点，已较为广泛地用于机器人导航领域，但是在工业可穿戴式设备领域的应用才刚刚起步。基于视觉的工业可穿戴式设备用于室外定位和路径引导是机器人领域的一项新技术。经专利检索查新，李成荣等人申请了中国专利技术专利第201110449925.0号，名称为“一种双目视觉里程计实现方法”，使用双目摄像机采集室内天花板图像对，推算摄像机的相对运动并更新运动里程信息。路丹晖等人申请了中国专利技术专利第201110417967.6号，名称为“基于机器视觉和惯导融合的移动机器人运动姿态估计方法，采用双目相机图像及三轴惯导数据融合，有效提高了视觉里程计的定位精度和鲁棒性。然而，将视觉用于可穿戴式设备室外定位和路径引导存在的技术难点在于：(1室外环境下基于可穿戴式视觉的可靠、全局、米制(metric)定位；(2)如何刻画室外作业环境信息，以简要抽象的方式描述能够反映作业任务的工作点特征、环境结构特征、工作路径特征等必要信息即可；(3)在这种概要描述的作业环境地图中，如何通过场景识别(闭环检测)来进行拓扑定位，判断当前工人所处的场景点位置，即通常是需要检修的设备所处工作点位置；(4)如何根据工人的作业任务需求，对不熟悉实际现场环境的工人给出合理、友好的路径引导提示。视觉里程计是室外环境下最常用的定位技术，考虑到室外作业环境需求，不低于GPS的定位精度才能确保准确获取自身位置以及后续的路径引导。但是基于单目摄像机来实现视觉里程计存在较大困难，很难在长距离下实现准确的定位；此外，相比移动机器人在平面或者颠簸路面行驶，人的运动一般具有更大的随机性和不平稳性，单目传感器难以胜任。只有双目和全景摄像机的视觉里程计(见“A.C.Murillo,WearableOmnidirectionalVisionSystemforPersonalLocalizationandGuidance,CVPR2012”)能够确保较长距离下的准确定位。视觉里程计仅实现了位姿推算而并非解决全局定位问题，一般需要结合GPS及IMU数据才能实现全局定位。另外，已在室内定位和导航中取得成功应用的深度视觉传感器(YoungHoonLee,GérardMedioni,RGB-Dcamerabasedwearablenavigationsystemforthevisuallyimpaired,ComputerVisionandImageUnderstanding,2016)由于在室外强光环境下存在成像失效性，故也不适合用于室外定位应用。由于在工业设备巡检及运维中，工人的现场任务大多是点到点的导航(见“QianliXu,AWearableVirtualGuideforContext-AwareCognitiveIndoorNavigation.MobileHCI2014”)，即到达目的地一般是待检修设备的工作点，因此路径引导必须依赖环境地图描述。室外作业环境的描述没有必要完全照搬用于机器人的环境栅格地图、三维点云地图等形式。可以采用简化方式，以简要抽象的方式描述能够反映作业任务的工作点特征、环境结构特征、工作路径特征等必要信息即可。在这种概要描述的作业环境地图中，场景识别技术(见“LabbeM,MichaudF.Appearance-basedloopclosuredetectionforonlinelarge-scaleandlong-termoperation.IEEETransactionsonRobotics,2013.”)可以用来进行拓扑定位，判断当前工人所处的场景点位置，即通常是需要检修的设备所处工作点位置。拓扑定位的结果可用于进行工作点到工作点之间的路径规划，得到最短或其它意义上最优的作业轨迹并向工人推荐；还可以通过与原地图中的节点比对来纠正视觉里程计实时定位结果，克服视觉里程计只能开环地进行位姿推算、容易累计定位误差的缺点。在路径引导方面，面向人的可穿戴式辅助系统与面向机器人的导航控制系统有着明显的差异。人的自主性与环境认知能力相对于机器人更强且人也无法做到严格的按照规划出的路径行走，因此面向于个人的定位与路径引导不需要实时提供严格的线速度与角速度，而是需要更多的环境信息，例如当前行走的线路、位置与应沿着的行走方向等，来指导使用者。总之，可穿戴式技术已在服务辅助等领域初步用于定位和路径引导，但是针对工业设备巡检及运维领域的应用尚少见报道，存在诸多技术难点亟待解决。
技术实现思路
专利技术目的：解决室外作业环境的建图问题以及室外作业环境下定位与全局路径引导问题，对于不熟悉作业环境的使用者有很好的指导作用。技术方案：本专利技术提出了一种室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法，包括以下步骤：步骤1，操作者穿戴包含双目视觉传感器及随身处理计算机的可穿戴式辅助系统进行环境探索，沿着室外作业路径遍历整个作业现场环境，利用双目视觉里程计和GPS及IMU数据进行定位，同时创建包含场景点、作业路径在内的作业环境概要地图；步骤2，实时定位与路径引导的过程中，同时利用双目视觉里程计进行全局米制定位和利用闭环检测进行拓扑定位；步骤3，判断出回路闭合即重新访问了某个已创建过的场景点时，利用场景特征由粗到细配准算法计算出当前与关键定位点的位姿偏差，利用该偏差对当前全局位姿进行纠偏，并完成场景样本库的自动更新；步骤4，利用拓扑概要地图和实时定位结果，进行作业任务路径规划与引导作业路径引导提示，将工人完成巡检运维任务所需提示的位置、作业路径等信息推送给使用者。进一步的，步骤1中操作者佩戴着可穿戴式辅助系统进行环境探索，沿着作业路径遍历整个作业现场环境并建立作业环境概要地图，在探索初始时利用GPS数据和IMU偏航角作为全局位姿初值，用双目视觉里程计算法进行增量式位姿推算，并通过坐标转换计算出全局位姿，同时随着探索过程沿途创建拓扑结构地图，包括场景点及场景点之间的连接边，软件内部自动创建节点数据结构并保存场景图像模板、位置、语义标记、相邻场景点之间的有向路径等信息，最终完成环境概要地图及场景样本库的创建。进一步的，步骤1中所述的环境概要地图刻画了含有本文档来自技高网...

【技术保护点】
一种室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法，其特征在于，包括以下步骤：步骤1，操作者穿戴包含双目视觉传感器及随身处理计算机的可穿戴式辅助系统进行环境探索，沿着室外作业路径遍历整个作业现场环境，利用双目视觉里程计和GPS及IMU数据进行定位，同时创建包含场景点、作业路径在内的作业环境概要地图；步骤2，实时定位与路径引导的过程中，同时利用双目视觉里程计进行全局米制定位和利用闭环检测进行拓扑定位；步骤3，判断出回路闭合即重新访问了某个已创建过的场景点时，利用场景特征由粗到细配准算法计算出当前与关键定位点的位姿偏差，利用该偏差对当前全局位姿进行纠偏，并完成场景样本库的自动更新；步骤4，利用拓扑概要地图和实时定位结果，进行作业任务路径规划与引导作业路径引导提示，将工人完成巡检运维任务所需提示的位置、作业路径等信息推送给使用者。

【技术特征摘要】
1.一种室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法，其特征在于，包括以下步骤：步骤1，操作者穿戴包含双目视觉传感器及随身处理计算机的可穿戴式辅助系统进行环境探索，沿着室外作业路径遍历整个作业现场环境，利用双目视觉里程计和GPS及IMU数据进行定位，同时创建包含场景点、作业路径在内的作业环境概要地图；步骤2，实时定位与路径引导的过程中，同时利用双目视觉里程计进行全局米制定位和利用闭环检测进行拓扑定位；步骤3，判断出回路闭合即重新访问了某个已创建过的场景点时，利用场景特征由粗到细配准算法计算出当前与关键定位点的位姿偏差，利用该偏差对当前全局位姿进行纠偏，并完成场景样本库的自动更新；步骤4，利用拓扑概要地图和实时定位结果，进行作业任务路径规划与引导作业路径引导提示，将工人完成巡检运维任务所需提示的位置、作业路径等信息推送给使用者。2.根据权利要求1所述的室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法，其特征在于：步骤1操作者佩戴着可穿戴式辅助系统进行环境探索，沿着作业路径遍历整个作业现场环境并建立作业环境概要地图，在探索初始时利用GPS数据和IMU偏航角作为全局位姿初值，用双目视觉里程计算法进行增量式位姿推算，并通过坐标转换计算出全局位姿，同时随着探索过程沿途创建拓扑结构地图，包括场景点及场景点之间的连接边，软件内部自动创建节点数据结构并保存场景图像模板、位置、语义标记、相邻场景点之间的有向路径等信息，最终完成环境概要地图及场景样本库的创建。3.根据权利要求1或2所述的室外作业环境下基于双目摄像机的可穿戴式定位与路径引导方法，其特征在于：步骤1中所述的环境概要地图刻画了含有感兴趣设备的场景点位置、场景图像特征、场景点之间的路径等核心信息。4.根据权利要求1所述的室...

【专利技术属性】
技术研发人员：钱堃，赵伟，马哲文，徐鹏程，刘环，陈愿，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32