一种基于AR眼镜的产品配件检测定位引导组装方法及系统技术方案

本申请公开了一种基于AR眼镜的产品配件检测定位引导组装方法及系统，包括以下步骤：获得安装基座的位置数据；获取安装基座的深度图像数据流和视频数据流；将深度图像数据流转换为点云数据；将视频数据流传输至台式机服务端；接收台式机服务端发送的与安装基座相匹配的配件的识别数据；将配件的识别数据与点云数据进行比对，并得到配件的三维坐标数据；识别配件上的二维码，并得到配件的序号；配件的模拟模型与安装基座的模拟模型之间建立模拟引导线。本申请实现了采用三维点云的目标识别，并结合二维码识别辅助，能够快速定位目标配件的三维空间位置，得到较为精确的三维坐标，将物件与物件之间能够进行虚拟模型引导，以便于快速安装。快速安装。快速安装。

【技术实现步骤摘要】
一种基于AR眼镜的产品配件检测定位引导组装方法及系统


[0001]本申请涉及目标检测技术的领域，尤其是涉及一种基于AR眼镜的产品配件检测定位引导组装方法及系统。

技术介绍

[0002]随着社会生活的发展，产品的复杂程度越来越高，在复杂产品的装配过程中，存在大量各类型号的配件，如何确保这些配件能够正确的被安装到合适的位置至关重要。然而配件的安装过程往往存在各种误差，安装的质量因人而异，这就给质量一致性保障带来了挑战。这些误差不仅有损产品性能、影响商业用途，而且严重的表观质量甚至会造成后期使用的安全隐患。
[0003]目前复杂产品配件安装检测技术主要依靠人工目测和手触判断的方法，工作量大，容易遗漏缺陷，造成很大安全隐患，需要多次检测，极不方便。

技术实现思路

[0004]本申请实施例通过提供一种基于AR眼镜的产品配件检测定位引导组装方法，解决了现有技术中依靠人工目测和手触判断配件安装位置，导致需要多次判断，容易遗漏缺陷的技术问题，实现了采用三维点云的目标识别，并结合二维码识别辅助，能够快速定位目标配件的三维空间位置，得到较为精确的三维坐标，将物件与物件之间能够进行虚拟模型引导，以便于快速安装。
[0005]本申请实施例提供了一种基于AR眼镜的产品配件检测定位引导组装方法，包括以下步骤：对安装基座上的二维码进行识别定位，得到所述安装基座的位置数据；获取所述安装基座的深度图像数据流和视频数据流；将所述深度图像数据流转换为点云数据；将所述视频数据流传输至台式机服务端；接收所述台式机服务端发送的与所述安装基座相匹配的配件的识别数据，所述配件的识别数据是由所述台式机服务端基于所述视频数据流对所述安装基座进行目标识别匹配得到的；将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据；识别所述配件上的二维码，并得到所述配件的序号；根据所述配件的三维坐标数据、所述配件的识别数据、所述配件的序号、所述配件安装基座的位置数据，将所述配件的模拟模型与所述安装基座的模拟模型之间建立模拟引导线。
[0006]进一步地，在对安装基座上的二维码进行识别定位后，放置所述配件安装基座的虚拟模型，并与所述配件安装基座重合。
[0007]进一步地，所述将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据，包括以下步骤：将所述配件的二维坐标数据进行坐标转换，得到配件转换数据；将所述配件转换数据与所述点云数据进行比对；若所述配件转换数据在相应的点云区域内有数据，则认定为所述配件三维坐标数据。
[0008]进一步地，所述将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据，还包括以下步骤：对所述配件转换数据相应的点云区域内的点云数据
进行预处理；所述预处理包括以下步骤：对所述配件转换数据相应的点云区域内的点云数据取均值；将所述配件边缘的交界点深度值过大的异常点过滤掉。
[0009]进一步地，所述预处理之后还包括：将所述预处理后的点云数据的矢量坐标值作为一组数组，取的所述数组的平均值点作为显示配件虚拟模型的空间锚点。
[0010]本申请还提供了一种基于AR眼镜的产品配件检测定位引导组装系统，所述系统包括：识别定位单元，被配置为对安装基座上的二维码进行识别定位，得到所述安装基座的位置数据；获取单元，被配置为获取所述安装基座的深度图像数据流和视频数据流；虚拟模型匹配单元，被配置为放置所述配件安装基座的虚拟模型，并与所述配件安装基座重合；转换单元，被配置为将所述深度图像数据流转换为点云数据；传输单元，被配置为将所述视频数据流传输至台式机服务端；接收单元，被配置为接收所述台式机服务端发送的与所述安装基座相匹配的配件的识别数据；比对单元，被配置为将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据；配件识别单元，被配置为识别所述配件上的二维码，并得到所述配件的序号；模拟引导单元，被配置为根据所述配件的三维坐标数据、所述配件的识别数据、所述配件的序号、所述配件安装基座的位置数据，将所述配件的模拟模型与所述安装基座的模拟模型之间建立模拟引导线。
[0011]进一步地，所述比对单元包括：转换子单元，被配置为将所述配件的二维坐标数据进行坐标转换，得到配件转换数据；比对子单元，被配置为将所述配件转换数据与所述点云数据进行比对；认定子单元，被配置为若所述配件转换数据在相应的点云区域内有数据，则认定为所述配件三维坐标数据。
[0012]进一步地，所述比对单元还包括预处理子单元，所述预处理子单元被配置为对所述配件转换数据相应的点云区域内的点云数据进行预处理，所述预处理子单元包括：取均值极单元，被配置为对所述配件转换数据相应的点云区域内的点云数据取均值；过滤极单元，被配置为将所述配件边缘的交界点深度值过大的异常点过滤掉。
[0013]本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0014]1、采用三维点云的目标识别，并结合二维码识别辅助，能够快速定位目标配件的三维空间位置，得到较为精确的三维坐标，将物件与物件之间能够进行虚拟模型引导，以便于快速安装。
附图说明
[0015]图1为本申请实施例中一种基于AR眼镜的产品配件检测定位引导组装方法的流程图；
[0016]图2为本申请实施例中配件的识别数据与点云数据的比对步骤的流程图；
[0017]图3为本申请实施例中预处理的步骤的流程图；
[0018]图4为本申请实施例中一种基于AR眼镜的产品配件检测定位引导组装系统的结构示意图；
[0019]图5为本申请实施例中比对单元的结构示意图；
[0020]图6为本申请实施例中预处理子单元的结构示意图。
具体实施方式
[0021]本申请实施例公开了一种基于AR眼镜的产品配件检测定位引导组装方法及系统，解决了现有技术中依靠人工目测和手触判断配件安装位置，导致需要多次判断，容易遗漏缺陷的技术问题。
[0022]针对上述技术问题，本申请提供的技术方案总体思路如下：
[0023]本申请实施例提供了一种基于AR眼镜的产品配件检测定位引导组装方法，所示方法包括：对安装基座进行识别定位；获取深度图像数据流和视频数据流；将深度图像数据流转换为点云数据；将视频数据流传输至台式机服务端；接收安装基座相匹配的配件的识别数据；将配件的识别数据与点云数据进行比对；识别配件的上的二维码；根据配件的三维坐标数据、配件的识别数据、配件的序号、配件安装基座的位置数据，将配件的模拟模型与安装基座的模拟模型之间建立模拟引导线。
[0024]为使本申请实施例的上述基本方法能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。
[0025]实施例一
[0026]图1是本申请实施例中一种基于AR眼镜的产品配件检测定位引导组装方法，以下通过具体步骤进行详细说明。
[0027]S11，对安装基座上的二维码进行识别定位，得到所述安装基座的位置数据。...

【技术保护点】

【技术特征摘要】
1.一种基于AR眼镜的产品配件检测定位引导组装方法，其特征在于，包括以下步骤：对安装基座上的二维码进行识别定位，得到所述安装基座的位置数据；获取所述安装基座的深度图像数据流和视频数据流；将所述深度图像数据流转换为点云数据；将所述视频数据流传输至台式机服务端；接收所述台式机服务端发送的与所述安装基座相匹配的配件的识别数据，所述配件的识别数据是由所述台式机服务端基于所述视频数据流对所述安装基座进行目标识别匹配得到的；将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据；识别所述配件上的二维码，并得到所述配件的序号；根据所述配件的三维坐标数据、所述配件的识别数据、所述配件的序号、所述配件安装基座的位置数据，将所述配件的模拟模型与所述安装基座的模拟模型之间建立模拟引导线。2.如权利要求1所述的一种基于AR眼镜的产品配件检测定位引导组装方法，其特征在于，在对安装基座上的二维码进行识别定位后，放置所述配件安装基座的虚拟模型，并与所述配件安装基座重合。3.如权利要求1所述的一种基于AR眼镜的产品配件检测定位与引导组装方法，其特征在于，所述将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据，包括以下步骤：将所述配件的二维坐标数据进行坐标转换，得到配件转换数据；将所述配件转换数据与所述点云数据进行比对；若所述配件转换数据在相应的点云区域内有数据，则认定为所述配件三维坐标数据。4.如权利要求3所述的一种基于AR眼镜的产品配件检测定位引导组装方法，其特征在于，所述将所述配件的识别数据与所述点云数据进行比对，并得到所述配件的三维坐标数据，还包括以下步骤：对所述配件转换数据相应的点云区域内的点云数据进行预处理；所述预处理包括以下步骤：对所述配件转换数据相应的点云区域内的点云数据取均值；将所述配件边缘的交界点深度值过大的异常点过滤掉。5.如权利要求4所述的一种基于AR眼镜的产品配件检测定位引导组装方法，其特征在于，所述预处理之...

【专利技术属性】
技术研发人员：陈鹏，牛子寒，陈建峰，黄琼娇，许浪，胡涛，章军，夏懿，王兵，
申请(专利权)人：安徽大学，
类型：发明
国别省市：