一种适用于AGV舵轮的增强现实装配引导方法及系统技术方案

本发明专利技术公开了一种适用于AGV舵轮的增强现实装配引导方法及系统，佩戴在操作人员头上的AR眼镜获取实时影像后即可自动进行三维注册并播放预先准备好的三维装配动画，实现虚拟现实融合，操作人员可以根据三维装配动画中显示的影像逻辑步骤进行装配，提高装配过程中实物状态与数字模型的一致性与装配效率，降低了错误率，同时操作人员可以通过手势对动画的播放进行控制，提高了装配学习的自由度，相对于传统的通过图纸进行引导的方法，装配效率得到巨大的提高。

An Augmented Reality Assembly Guidance Method and System for AGV Rudder Wheel

The invention discloses an augmented reality assembly guidance method and system for AGV rudder wheel. After the AR glasses worn on the operator's head acquire real-time images, the three-dimensional registration can be automatically carried out and the pre-prepared three-dimensional assembly animation can be played to realize the integration of virtual reality. The operator can assemble according to the image logic steps displayed in the three-dimensional assembly animation to improve the assembly. In the process of assembly, the consistency and assembly efficiency of physical state and digital model reduce the error rate. At the same time, the operator can control the play of animation by gesture, which improves the freedom of assembly learning. Compared with the traditional method of drawing guidance, assembly efficiency has been greatly improved.

【技术实现步骤摘要】
一种适用于AGV舵轮的增强现实装配引导方法及系统
本专利技术涉及AGV舵轮装配领域，具体涉及一种适用于AGV舵轮的增强现实装配引导方法及系统。
技术介绍
AGV是(AutomatedGuidedVehicle)的缩写，意即“自动导引运输车”，是指装备有电磁或光学等自动导引装置，它能够沿规定的导引路径行驶，具有安全保护以及各种移载功能的运输车，AGV属于轮式移动机器人(WMR—WheeledMobileRobot)的范畴。常规的AGV舵轮的装配需要借助二维装配图纸通过工作人员的想象以及过往的经验进行装配，对装配的工作人员有一定的要求，也会出现一些由人为因素引起的装配步骤错误的情况，目前还没有一种很直观、高效的对装配过程进行指导的方法。若使用当前的装配方式对重载AGV小车驱动轮系进行装配，在装配时需要专业的工作人员根据装配图以及经验进行操作，不仅耗时、操作困难还容易出现人为的装配错误导致小车的轮系系统出现故障无法正常工作。
技术实现思路
为了克服上述技术缺陷，本专利技术提供一种适用于AGV舵轮的增强现实装配引导方法及系统，提高装配过程中实物状态与数字模型的一致性与装配效率，降低了错误率，提高了装配学习的自由度。为了解决上述问题，本专利技术按以下技术方案予以实现的：一种适用于AGV舵轮的增强现实装配引导方法，其步骤包括：S1、获取实时影像；所述实时影像包含AGV小车与舵轮的装配点；S2、使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对所述实时影像中的视频帧进行演算，得到所述实时影像的三维注册矩阵；S3、使用Unity3D引擎，结合所述三维注册矩阵，播放所述AGV舵轮三维装配动画模型，实现虚拟融合；S4、获取手势影像，使用手势识别模型识别出所述手势影像所对应的手势指令，根据所述手势指令控制所述AGV舵轮三维装配动画模型的播放。进一步的，步骤S2包括：S21、使用ORB算法提取所述实时影像中的一帧影像的多个特征点，并与所述AGV舵轮三维装配动画模型进行匹配得到多个点对；S22、使用RANSAC方法根据概率公式筛选所述多个点对；S23、使用卡尔曼滤波器对筛选后的所述点对进行平滑处理；S24、使用PNP算法结合筛选后的所述点对求解出单应性矩阵；S25、使用SVD分解算法分解求得所述三维注册矩阵。进一步的，步骤S22包括：S221、使用RANSAC方法根据以下公式求解出各个所述点对的概率：其中Mt、Ma分别表示局内点的数量和数据集的数量，p表示迭代过程中选取的点集是局内点集的概率，n表示估计模型时选用的点个数，k表示迭代次数；S222、计算所述多个点对中所述概率高于预设的概率阈值的点对的数目；当所述数目大于数目阈值时，执行步骤S23；当所述数目小于或等于数目阈值时，获取所述实时影像的下一帧影像并返回步骤S21。进一步的，步骤S3包括：S31、将所述AGV舵轮三维装配动画模型放置在所述Unity3D引擎的世界坐标系原点；S32、将所述三维注册矩阵传入所述Unity3D引擎；S33、所述Unity3D引擎根据所述三维注册矩阵播放所述AGV舵轮三维装配动画模型。进一步的，步骤S4中，所述手势指令包括播放、暂停、回到主菜单。本专利技术还对应公开了一种适用于AGV舵轮的增强现实装配引导系统，包括：摄像模块，用于获取实时影像和手势影像；所述实时影像包含AGV小车与舵轮的装配点；演算模块，用于使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对所述实时影像中的视频帧进行演算，得到所述实时影像的三维注册矩阵；播放模块，用于使用Unity3D引擎，结合所述三维注册矩阵，播放所述AGV舵轮三维装配动画模型，实现虚拟融合；手势识别模块，用于使用手势识别模型识别出所述手势影像所对应的手势指令，根据所述手势指令控制所述AGV舵轮三维装配动画模型的播放。进一步的，所述演算模块包括：匹配单元，用于使用ORB算法提取所述实时影像中的一帧影像的多个特征点，并与所述AGV舵轮三维装配动画模型进行匹配得到多个点对；筛选单元，用于使用RANSAC方法根据概率公式筛选所述多个点对；滤波单元，用于使用卡尔曼滤波器对筛选后的所述点对进行平滑处理；求解单元，用于使用PNP算法结合筛选后的所述点对求解出单应性矩阵；分解单元，用于使用SVD分解算法分解求得所述三维注册矩阵。进一步的，所述筛选单元使用RANSAC方法根据以下公式求解出各个所述点对的概率：其中Mt、Ma分别表示局内点的数量和数据集的数量，p表示迭代过程中选取的点集是局内点集的概率，n表示估计模型时选用的点个数，k表示迭代次数；所述筛选单元计算所述多个点对中所述概率高于预设的概率阈值的点对的数目，并在当所述数目小于或等于数目阈值时，获取所述实时影像的下一帧影像。进一步的，所述播放模块将所述AGV舵轮三维装配动画模型放置在所述Unity3D引擎的世界坐标系原点，再将所述三维注册矩阵传入所述Unity3D引擎；所述Unity3D引擎根据所述三维注册矩阵播放所述AGV舵轮三维装配动画模型。进一步的，所述手势指令包括播放、暂停、回到主菜单。相对于现有技术，本专利技术的有益效果为：本专利技术公开了一种适用于AGV舵轮的增强现实装配引导方法及系统，佩戴在操作人员头上的AR眼镜获取实时影像后即可自动进行三维注册并播放预先准备好的三维装配动画，实现虚拟现实融合，操作人员可以根据三维装配动画中显示的影像逻辑步骤进行装配，提高装配过程中实物状态与数字模型的一致性与装配效率，降低了错误率，同时操作人员可以通过手势对动画的播放进行控制，提高了装配学习的自由度，相对于传统的通过图纸进行引导的方法，装配效率得到巨大的提高。附图说明图1是本专利技术实施例1所述的增强现实装配引导方法的步骤示意图；图2是本专利技术实施例1所述的基于HoloLens眼镜的手势交互的指令示意图；图3是本专利技术实施例2所述的增强现实装配引导系统的结构示意图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本专利技术，并不用于限定本专利技术。实施例1如图1所示，本实施方式公开了一种适用于AGV舵轮的增强现实装配引导方法，其步骤包括：S1、获取实时影像；实时影像包含AGV小车与舵轮的装配点；S2、使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对实时影像中的视频帧进行演算，得到实时影像的三维注册矩阵；S3、使用Unity3D引擎，结合三维注册矩阵，播放AGV舵轮三维装配动画模型，实现虚拟融合；S4、获取手势影像，使用手势识别模型识别出手势影像所对应的手势指令，根据手势指令控制AGV舵轮三维装配动画模型的播放。通过上述公开增强现实装配引导方法，佩戴在操作人员头上的AR眼镜获取实时影像后即可自动进行三维注册并播放预先准备好的三维装配动画，实现虚拟现实融合，操作人员可以根据三维装配动画中显示的影像逻辑步骤进行装配，提高装配过程中实物状态与数字模型的一致性与装配效率，降低了错误率，同时操作人员可以通过手势对动画的播放进行控制，提高了装配学习的自由度，相对于传统的通过图纸进行引导的方法，装配效率得到巨大的提高。进一步的，步骤S2包括：S21、使用ORB算法提取实时影像中的一帧影像的多个特征点，并与AGV舵轮三维装配动画模型进行匹配本文档来自技高网...

【技术保护点】
1.一种适用于AGV舵轮的增强现实装配引导方法，其特征在于，其步骤包括：S1、获取实时影像；所述实时影像包含AGV小车与舵轮的装配点；S2、使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对所述实时影像中的视频帧进行演算，得到所述实时影像的三维注册矩阵；S3、使用Unity3D引擎，结合所述三维注册矩阵，播放所述AGV舵轮三维装配动画模型，实现虚拟融合；S4、获取手势影像，使用手势识别模型识别出所述手势影像所对应的手势指令，根据所述手势指令控制所述AGV舵轮三维装配动画模型的播放。

【技术特征摘要】
1.一种适用于AGV舵轮的增强现实装配引导方法，其特征在于，其步骤包括：S1、获取实时影像；所述实时影像包含AGV小车与舵轮的装配点；S2、使用三维注册算法，结合预设的AGV舵轮三维装配动画模型，对所述实时影像中的视频帧进行演算，得到所述实时影像的三维注册矩阵；S3、使用Unity3D引擎，结合所述三维注册矩阵，播放所述AGV舵轮三维装配动画模型，实现虚拟融合；S4、获取手势影像，使用手势识别模型识别出所述手势影像所对应的手势指令，根据所述手势指令控制所述AGV舵轮三维装配动画模型的播放。2.根据权利要求1所述的适用于AGV舵轮的增强现实装配引导方法，其特征在于，步骤S2包括：S21、使用ORB算法提取所述实时影像中的一帧影像的多个特征点，并与所述AGV舵轮三维装配动画模型进行匹配得到多个点对；S22、使用RANSAC方法根据概率公式筛选所述多个点对；S23、使用卡尔曼滤波器对筛选后的所述点对进行平滑处理；S24、使用PNP算法结合筛选后的所述点对求解出单应性矩阵；S25、使用SVD分解算法分解求得所述三维注册矩阵。3.根据权利要求2所述的适用于AGV舵轮的增强现实装配引导方法，其特征在于，步骤S22包括：S221、使用RANSAC方法根据以下公式求解出各个所述点对的概率：其中Mt、Ma分别表示局内点的数量和数据集的数量，p表示迭代过程中选取的点集是局内点集的概率，n表示估计模型时选用的点个数，k表示迭代次数；S222、计算所述多个点对中所述概率高于预设的概率阈值的点对的数目；当所述数目大于数目阈值时，执行步骤S23；当所述数目小于或等于数目阈值时，获取所述实时影像的下一帧影像并返回步骤S21。4.根据权利要求1所述的适用于AGV舵轮的增强现实装配引导方法，其特征在于，步骤S3包括：S31、将所述AGV舵轮三维装配动画模型放置在所述Unity3D引擎的世界坐标系原点；S32、将所述三维注册矩阵传入所述Unity3D引擎；S33、所述Unity3D引擎根据所述三维注册矩阵播放所述AGV舵轮三维装配动画模型。5.根据权利要求1所述的适用于AGV舵轮的增强现实装配引导方法，其特征在于，步骤S4中，所述手势指令包括播放...

【专利技术属性】
技术研发人员：徐煜林，卢清华，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东,44