基于坐标定位的操作指引方法和系统技术方案

本申请涉及基于坐标定位的操作指引方法和系统。基于坐标定位的操作指引方法包括以下步骤：在待操作空间内选定固定位置的定位辅助图；对待操作空间进行图像定位扫描，提取操作空间内部的特征点，生成图像定位文件；在待操作空间的指定物体上放置包含提示信息的至少一个虚拟指引标记；操作人员进入后，系统载入生成的图像定位文件和虚拟指引标记，在待操作空间内根据看到的定位辅助图进行定位，获得操作人员的位置和观测角度；操作人员在系统的指引下寻找并播放虚拟指引标记。本申请具有的有益技术效果为：成本低、提示信息丰富、识别率高、误差小。 1

【技术实现步骤摘要】
基于坐标定位的操作指引方法和系统
本申请涉及一种基于坐标定位的操作指引方法和系统，适用于工业维修或检查的

技术介绍
在工业领域，维修或检查人员在检查和操作复杂设备时，经常会出现不知道如何具体操作的情况，尤其是对于新入行的员工来说。通常，只能是一边翻看说明书，一边操作，但这样的操作体验非常差。为了节省时间和精力，经常出现操作者不看说明书，凭模糊记忆发生误操作的情况。根据现场操作人员反应，真正能帮助现场人员的主要手段就是在需要维修或检查的地方放置操作指引信息。这些信息可以给操作员最直观的指导，但现实中不可能将实体形式的操作指引信息到处放置。而且，即便放置一些实体形式的操作指引信息，维修或检查人员也可能无法发现，从而导致一些维修或检查项目的遗漏。目前，有个别报道中采用图像识别技术在某个物体上放置对应的信息。但是采用图像识别技术存在以下几个方面的缺陷：(1)对于三维物体来说，一般通过图像识别某物体需要上千张图片样本学习才能达到90％的识别率，而且对光线等环境条件要求苛刻；如果要挨个识别空间内的不同物体，其计算工作量非常巨大；(2)在碰到两个外观相似甚至完全相同的零件时，靠图像就无法识别这两个零件；(3)由于图片样本是二维形式，所以用其对三维物体进行识别时，其难度非常大，需要采集该三维物体的多个角度的二维图片样本作为学习基础；(4)对于外部不可见的隐藏物体来说，图像识别技术无法应用；例如对于放在柜子中的物体，无法采用图像识别技术在其上放置提示信息。因此，现有技术中需要一种能够高效、方便地向维修或检查人员提供操作指引的方法。
技术实现思路
本申请正是为了克服现有技术中存在的上述缺陷，提出了一种基于坐标定位的操作指引方法和系统，其操作方便、成本低，能够方便地为操作人员提供虚拟的操作信息指引。本申请的第一方面，涉及一种基于坐标定位的操作指引方法，包括以下步骤：(1)在待操作空间内选定固定位置的定位辅助图；(2)对待操作空间进行图像定位扫描，提取操作空间内部的特征点，生成图像定位文件；(3)在待操作空间的指定物体上放置包含提示信息的至少一个虚拟指引标记；(4)操作人员进入后，系统载入生成的图像定位文件和虚拟指引标记，在待操作空间内根据看到的定位辅助图进行定位，获得操作人员的位置和观测角度；(5)操作人员在系统的指引下寻找并播放虚拟指引标记。优选地，当需要进行非现场的远程操作时，通过远程控制终端连接到服务器，并进入摄像头的视角，在某一坐标点上添加虚拟指引标记，或者对已有的虚拟指引标记进行编辑或修改，并将这些编辑或修改信息与该坐标点相关联。本申请的第二方面，涉及一种利用智能设备进行的操作指引方法，包括以下步骤：(1)智能设备根据摄像头拍到图像，提取特征点；(2)智能设备使用特征点匹配算法，与所有定位辅助图进行匹配；(3)识别出某一定位辅助图以后，智能设备根据最佳匹配位移和最佳匹配旋转角度，确定摄像头在空间的坐标和观测角度；(4)智能设备根据摄像头的坐标和观测角度，以及物体与摄像头的相对位置关系，向操作人员提供寻找指定物体上的虚拟指引标记的方向提示；(5)操作人员根据方向提示信息找到预先放置的虚拟指引标记，并播放虚拟指引标记中的提示信息。优选地，利用智能设备在指定物体上放置虚拟指引标记，并对所有的虚拟指引标记进行管理。还可以使用智能设备进行图像定位扫描，统计并记录空间中适合做定位辅助图的物体图像。优选地，还可以包括以下技术特征中的至少一个：(1)当操作人员关注的虚拟指引标记不在当前视野中时，系统给出箭头类的提示，引导操作人员通过旋转和移动来寻找目标标记；(2)实时显示操作人员和虚拟指引标记之间的位置关系，使得操作人员根据该位置关系提示找到目标标记；(3)提示信息中包含虚拟指引标记所在位置的周边环境，利用所显示的周边物体和环境向操作人员提供人工校正定位误差和定位错误的手段；(4)对显示的虚拟指引标记的提示信息的边缘进行分辨性处理以便于操作员观看提示信息；(5)使用不可见光的颜料绘制定位辅助图，使用可感知不可见光的摄像头进行图像定位。。本申请的第三方面，涉及一种利用基于坐标定位的操作指引方法进行设备巡检的方法，包括以下步骤：(1)在待操作的空间内选定固定位置的定位辅助图；(2)去除待操作的空间内的所有临时物体，只保留位置固定的物体；(3)对待操作的空间进行图像定位扫描，提取空间内部的特征点，生成图像定位文件；(4)在待操作的空间内使用智能设备放置巡检任务的虚拟指引标记；(5)持有操作指引系统的操作人员进入待操作的空间，系统载入巡检空间的图像定位文件和虚拟指引标记；(6)操作人员根据看到的定位辅助图进行初始定位，获得自己的位置和观测角度；(7)系统使用运动传感器实时计算操作人员的位移和旋转角度，并将其看到的定位辅助图与图像定位文件中的定位辅助图进行匹配，进行位置和角度的校正；(8)在获得操作人员的精准位置和观测角度以后，操作人员在系统的指引下寻找并播放虚拟指引标记中的提示信息。本申请的第四方面，涉及一种基于坐标定位的操作指引系统，包括计算单元、摄像头、运动传感器、显示设备和通讯模块，其中摄像头、运动传感器、显示设备和通讯模块均与计算单元相连接，其特征在于，计算单元包括空间定位计算模块和虚拟指引标记数据库；所述操作指引系统利用如上所述的操作指引方法进行基于坐标定位的操作指引。优选地，所述操作指引系统集成在智能设备中，所述智能设备可以是智能眼镜、智能头盔、智能手机或平板电脑。本申请具有的有益技术效果为：(1)虚拟指引标记为虚拟的标记，拥有零成本增删的特点，而且可以根据需要，灵活地显示和隐藏。(2)传统的实物操作指引一般仅限于文字，本申请的操作指引方法和系统所包含的虚拟指引标记的内容更加丰富，还可以是语音、图片、动画、视频、三维物体或三维动画等。(3)相对于物体识别技术来说，本申请中基于坐标定位来放置虚拟指引标记，其识别成本低、识别率高。首先，本申请最少只需要识别一个定位辅助图就可以完成空间内所有物体的定位，而无需对物体进行挨个识别；其次，对于外观相同或近似的物体来说，本申请可根据坐标的不同，清楚地分辨这两个相同的零件，并分别给出正确的提示；再其次，本申请优选采取的是平面定位辅助图识别技术，相对于三维物体的识别来说，其难度大幅度降低；最后，本申请是基于坐标定位的操作指引方法和系统，其对于隐藏物体来说亦可以清楚地给出指引。(4)相对于单独使用卫星定位或无线电基站等方法进行定位来说，本申请的定位方法成本低、误差小。另外，卫星定位或无线电基站定位不适用于室内复杂环境，并且只能获得位置信息，难以获得摄像头的观测角度信息。附图说明图1显示了根据本申请的基于坐标定位的操作指引方法的操作流程图。图2显示了根据本申请的基于坐标定位的操作指引系统的组成示意图。图3显示了本申请中的图像定位的原理图。具体实施方式为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。本申请利用很多工业设备的主要部件相对位置恒定的特点，提供了一种使用图像定位的技术，操作者可使用本申请的操作指引方法和系统，在现实指定坐标上添加并播放提示信息。本文档来自技高网...

【技术保护点】
1.基于坐标定位的操作指引方法，其特征在于，包括以下步骤：

【技术特征摘要】
1.基于坐标定位的操作指引方法，其特征在于，包括以下步骤：(1)在待操作空间内选定固定位置的定位辅助图；(2)对待操作空间进行图像定位扫描，提取操作空间内部的特征点，生成图像定位文件；(3)在待操作空间的指定物体上放置包含提示信息的至少一个虚拟指引标记；(4)操作人员进入后，系统载入生成的图像定位文件和虚拟指引标记，在待操作空间内根据看到的定位辅助图进行定位，获得操作人员的位置和观测角度；(5)操作人员在系统的指引下寻找并播放虚拟指引标记。2.根据权利要求1所述的操作指引方法，其特征在于，当需要进行非现场的远程操作时，通过远程控制终端连接到服务器，并进入摄像头的视角，在某一坐标点上添加虚拟指引标记，或者对已有的虚拟指引标记进行编辑或修改，并将这些编辑或修改信息与该坐标点相关联。3.利用智能设备进行的操作指引方法，其特征在于，包括以下步骤：(1)智能设备根据摄像头拍到图像，提取特征点；(2)智能设备使用特征点匹配算法，与所有定位辅助图进行匹配；(3)识别出某一定位辅助图以后，智能设备根据最佳匹配位移和最佳匹配旋转角度，确定摄像头在空间的坐标和观测角度；(4)智能设备根据摄像头的坐标和观测角度，以及物体与摄像头的相对位置关系，向操作人员提供寻找指定物体上的虚拟指引标记的方向提示；(5)操作人员根据方向提示信息找到预先放置的虚拟指引标记，并播放虚拟指引标记中的提示信息。4.根据权利要求3所述的操作指引方法，其特征在于，利用智能设备在指定物体上放置虚拟指引标记，并对所有的虚拟指引标记进行管理。5.根据权利要求3或4所述的操作指引方法，其特征在于，使用智能设备进行图像定位扫描，统计并记录空间中适合做定位辅助图的物体图像。6.根据权利要求1或3所述的操作指引方法，其特征在于，还包括以下技术特征中的至少一个：(1)当操作人员关注的虚拟指引标记不在当前视野中时，系...

【专利技术属性】
技术研发人员：李志新，王江江，
申请(专利权)人：李志新，
类型：发明
国别省市：北京,11