旋转目标检测方法、系统、电子设备及存储介质技术方案

本发明专利技术提供一种旋转目标检测方法、系统、电子设备及存储介质，该方法通过构建SASM旋转目标检测网络模型，实现仅由三维虚拟模型的二维平面图像便能够获取到下一步需要装配的虚拟装配件的类别、旋转定位框以及旋转角度，以便于AR装配信息设计人员精准地获取待装配工件；另外，由于SASM旋转目标检测网络模型的处理对象是二维平面图像，能够极大地降低数据处理的复杂程度，较好地保证输出标准数据集的速度，因此，能够保证实现快速指导AR装配信息设计人员的作业。计人员的作业。计人员的作业。

【技术实现步骤摘要】
旋转目标检测方法、系统、电子设备及存储介质


[0001]本专利技术涉及增强现实辅助装配
，尤其涉及一种旋转目标检测方法、系统、电子设备及存储介质。

技术介绍

[0002]在机械加工中，装配是机械生产中必不可少的工序，而个性化的复杂产品由于需要较高的灵巧性和适应性，大部分仍然依赖人工操作。对于手动装配任务，操作人员通常会一步一步地执行包含大量指令的程序，这些装配指令通常以2D格式在纸上呈现，这意味着额外的时间或认知负荷对于获取下一个手动操作所呈现的信息至关重要。
[0003]增强现实技术作为一种直观的引导方法，已经在现代制造业中广泛应用。在增强现实辅助装配中，虚拟模型利用三维跟踪注册实现与现实世界的融合，经人工手动平移、旋转等操作调整至相应位置。然而，在复杂装配场景下，AR装配信息设计人员在大量虚拟模型中检索并手动调整至相应位置的难度较大。
[0004]因此，现有技术中在通过增强现实技术辅助装配操作的过程中，存在由于装配场景复杂导致难以实现精准、快速地指导AR装配信息设计的问题。

技术实现思路

[0005]有鉴于此，有必要提供一种旋转目标检测方法、系统、电子设备及存储介质，用以解决现有技术中在通过增强现实技术辅助装配操作的过程中，存在的由于装配场景复杂导致难以实现精准、快速地指导AR装配信息设计的问题。
[0006]为了解决上述问题，本专利技术提供一种旋转目标检测方法，应用于AR虚拟装配件辅助安装
，该方法包括：
[0007]获取三维虚拟模型样本的二维平面图像样本，及二维平面图像样本对应的虚拟装配件样本的标准数据集样本；
[0008]构建初始SASM旋转目标检测网络模型，将二维平面图像样本作为初始SASM旋转目标检测网络模型的训练样本，并以对应的标准数据集样本作为样本标签，训练初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型；
[0009]实时获取待装配工件的三维虚拟模型的二维平面图像，基于SASM旋转目标检测网络模型确定对应的虚拟装配件的标准数据集，根据标准数据集指引安装待装配工件；
[0010]其中，标准数据集包括虚拟装配件的类别、旋转定位框以及旋转角度。
[0011]进一步地，初始SASM旋转目标检测网络模型包括主干网络和RepPoints检测头网络；
[0012]其中，主干网络包括多个BottleNeck层、通道分割与梯度分流网络结构、卷积层和最大池化下采样层；
[0013]每个BottleNeck层均由两个1
×
1卷积层和一个PConv部分卷积层构成；
[0014]通道分割与梯度分流网络结构包括通道扩充层、通道分割层以及多个Resblock残
差网络层；
[0015]通道扩充层包括一个1
×
1卷积层；
[0016]每个Resblock残差网络均由两个3
×
3卷积层和一个捷径分支构成。
[0017]进一步地，构建初始SASM旋转目标检测网络模型，将二维平面图像样本作为初始SASM旋转目标检测网络模型的训练样本，并以对应的标准数据集样本作为样本标签，训练初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型，包括：
[0018]将二维平面图像样本输入至主干网络，得到特征层样本；
[0019]通过RepPoints检测头网络对特征层样本进行检测，输出对应的虚拟装配件样本的类别样本、旋转定位框样本以及旋转角度样本；
[0020]其中，基于通道分割与梯度分流网络结构对初始SASM旋转目标检测网络模型进行轻量化处理。
[0021]进一步地，基于通道分割与梯度分流网络结构对初始SASM旋转目标检测网络模型进行轻量化处理，包括：
[0022]将通道分割与梯度分流网络结构的输入特征层通道经过卷积层扩充处理变为隐藏通道；
[0023]通过通道分割，将隐藏通道的数量减半，得到多层级的减半隐藏通道；
[0024]通过函数拼接，对多层级的减半隐藏通道进行拼接，得到拼接隐藏通道；
[0025]拼接隐藏通道通过卷积层，确定输出通道。
[0026]进一步地，将二维平面图像样本输入至主干网络，得到特征层样本，包括：
[0027]将二维平面图像样本经过卷积层和最大池化下采样层的数据处理，压缩二维平面图像样本的空间特征，并扩充特征通道，得到多个新特征层样本；
[0028]将多个新特征层样本依次经过通道分割与梯度分流网络层和多个BottleNeck层交替处理，得到特征层样本。
[0029]进一步地，获取三维虚拟模型样本的二维平面图像样本，及二维平面图像样本对应的虚拟装配件样本的标准数据集样本，包括：
[0030]构建三维虚拟模型样本的三维虚拟模型；
[0031]基于AR引擎，将三维虚拟模型经渲染叠加在装配场景中，并采集AR场景下的三维虚拟模型的二维平面图像样本，以及二维平面图像样本对应的虚拟装配件样本；
[0032]基于标注软件对虚拟装配件样本进行标注，得到对应的标准数据集样本。
[0033]进一步地，基于AR引擎，将三维虚拟模型经渲染叠加在装配场景中，还包括：
[0034]标定工业相机以确定单应性矩阵，并获取工业相机的内参矩阵；
[0035]基于Aruco标志物的角点坐标值，通过函数计算确定三维虚拟模型与装配场景之间的单应性矩阵；
[0036]根据内参矩阵和单应性矩阵，确定三维虚拟模型与装配场景之间的投影矩阵；
[0037]获取三维虚拟模型样本的顶点坐标，根据顶点坐标和投影矩阵对三维虚拟模型与装配场景进行无缝融合。
[0038]为了解决上述问题，本专利技术提供一种旋转目标检测系统，应用于交互式AR辅助装配
，包括：
[0039]样本获取模块，用于获取三维虚拟模型样本的二维平面图像样本，及二维平面图
像样本对应的虚拟装配件样本的标准数据集样本；
[0040]SASM旋转目标检测网络模型构建模块，用于构建初始SASM旋转目标检测网络模型，将二维平面图像样本作为初始SASM旋转目标检测网络模型的训练样本，并以对应的标准数据集样本作为样本标签，训练初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型；
[0041]指引安装模块，用于实时获取待装配工件的三维虚拟模型的二维平面图像，基于SASM旋转目标检测网络模型确定对应的虚拟装配件的标准数据集，根据标准数据集指引安装待装配工件；
[0042]其中，标准数据集包括虚拟装配件的类别、旋转定位框以及旋转角度。
[0043]为了解决上述问题，本专利技术提供一种电子设备，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现如上述任一技术方案所述的旋转目标检测方法。
[0044]为了解决上述问题，本专利技术提供一种存储介质，存储介质存储有计算机程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种旋转目标检测方法，应用于AR虚拟装配件辅助安装技术领域，其特征在于，包括：获取三维虚拟模型样本的二维平面图像样本，及所述二维平面图像样本对应的虚拟装配件样本的标准数据集样本；构建初始SASM旋转目标检测网络模型，将所述二维平面图像样本作为所述初始SASM旋转目标检测网络模型的训练样本，并以对应的所述标准数据集样本作为样本标签，训练所述初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型；实时获取待装配工件的三维虚拟模型的二维平面图像，基于所述SASM旋转目标检测网络模型确定对应的虚拟装配件的标准数据集，根据所述标准数据集指引安装所述待装配工件；其中，所述标准数据集包括所述虚拟装配件的类别、旋转定位框以及旋转角度。2.根据权利要求1所述的旋转目标检测方法，其特征在于，所述初始SASM旋转目标检测网络模型包括主干网络和RepPoints检测头网络；其中，所述主干网络包括多个BottleNeck层、通道分割与梯度分流网络结构、卷积层和最大池化下采样层；每个所述BottleNeck层均由两个1
×
1卷积层和一个PConv部分卷积层构成；所述通道分割与梯度分流网络结构包括通道扩充层、通道分割层以及多个Resblock残差网络层；所述通道扩充层包括一个1
×
1卷积层；每个所述Resblock残差网络均由两个3
×
3卷积层和一个捷径分支构成。3.根据权利要求2所述的旋转目标检测方法，其特征在于，所述构建初始SASM旋转目标检测网络模型，将所述二维平面图像样本作为所述初始SASM旋转目标检测网络模型的训练样本，并以对应的所述标准数据集样本作为样本标签，训练所述初始SASM旋转目标检测网络模型，得到训练完备的SASM旋转目标检测网络模型，包括：将所述二维平面图像样本输入至所述主干网络，得到特征层样本；通过所述RepPoints检测头网络对所述特征层样本进行检测，输出对应的所述虚拟装配件样本的类别样本、旋转定位框样本以及旋转角度样本；其中，基于所述通道分割与梯度分流网络结构对所述初始SASM旋转目标检测网络模型进行轻量化处理。4.根据权利要求3所述的旋转目标检测方法，其特征在于，所述基于所述通道分割与梯度分流网络结构对所述初始SASM旋转目标检测网络模型进行轻量化处理，包括：将所述通道分割与梯度分流网络结构的输入特征层通道经过卷积层扩充处理变为隐藏通道；通过通道分割，将所述隐藏通道的数量减半，得到多层级的减半隐藏通道；通过函数拼接，对所述多层级的减半隐藏通道进行拼接，得到拼接隐藏通道；所述拼接隐藏通道通过卷积层，确定输出通道。5.根据权利要求3所述的旋转目标检测方法，其特征在于，所述将所述二维平面图像样...

【专利技术属性】
技术研发人员：杜百岗，郭经纬，郭钧，彭兆，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：