板材识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及视觉识别技术领域，尤其涉及一种板材识别方法、装置、设备及存储介质。该方法包括：获取板材工件的二维图像特征；获取板材工件的三维点云特征；融合二维图像特征和三维点云特征，获得板材工件的融合特征；解析融合特征，获取板材工件的板材类型，以及解析融合特征，获取板材工件的空间位姿信息。本发明专利技术用以解决现有技术中板材工件类型和位姿的识别准确度较低的缺陷。准确度较低的缺陷。准确度较低的缺陷。

【技术实现步骤摘要】
板材识别方法、装置、设备及存储介质


[0001]本专利技术涉及视觉识别
，尤其涉及一种板材识别方法、装置、设备及存储介质。

技术介绍

[0002]工业生产尤其是汽车制造、重型装备制造业等领域中，大型板材折弯工艺在整个装备生产工艺中的占比较大，且需要人工吊装作业，存在效率低下且安全风险高的问题。目前，视觉识别的异军突起，给工业生产带了新的可选项。
[0003]现有技术中常采用基于传统点云和图像处理的方法，实现对板材工件的摆放位置和类型的识别，例如，基于canny算子进行图像的边缘检测、基于区域聚类和区域生长的点云分割方案或直接使用ICP估计位姿等。但是，现有技术中的各种方法对对光照和板材工件摆放要求过高，无法识别和定位精度误差过大的问题时有发生，板材工件类型和位姿的识别准确度较低。

技术实现思路

[0004]本专利技术提供一种板材识别方法、装置、设备及存储介质，用以解决现有技术中板材工件类型和位姿的识别准确度较低的缺陷。
[0005]本专利技术提供一种板材识别方法，包括：获取板材工件的二维图像特征；获取所述板材工件的三维点云特征；融合所述二维图像特征和所述三维点云特征，获得所述板材工件的融合特征；解析所述融合特征，获取所述板材工件的板材类型，以及解析所述融合特征，获取所述板材工件的空间位姿信息。
[0006]根据本专利技术提供的一种板材识别方法，所述获取板材工件的二维图像特征，包括：获取所述板材工件在环境空间内的二维图像；将所述二维图像输入预设的二维特征提取模型，获取所述二维特征提取模型输出的所述二维图像特征；其中，所述二维特征提取模型的模型网络架构包括深度残差网络、轻量级神经网络或视觉骨干网络。
[0007]根据本专利技术提供的一种板材识别方法，所述获取所述板材工件的三维点云特征，包括：获取所述板材工件在环境空间内的点云图像；将所述点云图像输入预设的三维特征提取模型，获取所述三维特征提取模型输出的所述三维点云特征；其中，所述三维特征提取模型的模型网络架构包括分层神经网络。
[0008]根据本专利技术提供的一种板材识别方法，所述融合所述二维图像特征和所述三维点云特征，获得所述板材工件的融合特征之后，所述解析所述融合特征，获取所述板材工件的板材类型之前，还包括：获取所述板材工件所在环境空间对应的底层特征；对所述融合特征进行上采样后，融合上采样后的所述融合特征和所述底层特征，以对所述板材工件进行分割；获取分割后的板材特征；所述解析所述融合特征，获取所述板材工件的板材类型，包括：解析分割后的板材特征，获取所述板材工件的板材类型。
[0009]根据本专利技术提供的一种板材识别方法，所述解析所述融合特征，获取所述板材工
件的板材类型，包括：获取预先设置的至少一个模板特征，其中，每一个所述模板特征分别通过对应模板工件的二维模板特征和三维模板特征融合得到，每一个所述模板特征对应一个模板类型；分别对于每一个所述模板特征：将所述融合特征和所述模板特征输入预先设置的孪生网络模型；获取所述孪生网络模型输出的所述融合特征分别与每一个所述模板特征的相似度；将所述相似度最高的所述模板特征对应的所述模板类型，确定为所述板材工件的板材类型。
[0010]根据本专利技术提供的一种板材识别方法，所述孪生网络模型的损失函数采用对比损失或基于圆形决策边界的损失函数。
[0011]根据本专利技术提供的一种板材识别方法，所述解析所述融合特征，获取所述板材工件的空间位姿信息，包括：将所述融合特征输入预设的位姿计算模型，获取所述位姿计算模型输出的所述空间位姿信息；其中，所述位姿计算模型基于神经网络架构预先设置；所述获取所述位姿计算模型输出的所述空降位姿信息之后，还包括：基于所述空间位姿信息和所述融合特征，对所述位姿计算模型进行优化。
[0012]本专利技术还提供一种板材识别装置，包括：第一获取模块，用于获取板材工件的二维图像特征；第二获取模块，用于获取所述板材工件的三维点云特征；融合模块，用于融合所述二维图像特征和所述三维点云特征，获得所述板材工件的融合特征；解析模块，用于解析所述融合特征，获取所述板材工件的板材类型，以及解析所述融合特征，获取所述板材工件的空间位姿信息。
[0013]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述板材识别方法。
[0014]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述板材识别方法。
[0015]本专利技术提供的板材识别方法、装置、设备及存储介质，获取板材工件的二维图像特征；获取板材工件的三维点云特征；融合二维图像特征和三维点云特征，获得板材工件的融合特征；解析融合特征，获取板材工件的板材类型，以及解析融合特征，获取板材工件的空间位姿信息。具体的，单独的三维点云特征无法体现板材工件的纹理信息，单独的二维图像特征无法体现板材空间的几何信息。在上述过程中，识别板材工件的板材类型和空间位置信息时，既采用板材工件的二维图像特征，又采用板材工件的三维点云特征，将二维图像特征和三维点云特征进行融合，使融合特征能够包含板材工件更多、更全面的信息。而基于融合特征得出的板材类型和空间位姿信息则更加准确，提升板材识别准确度。
附图说明
[0016]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本专利技术提供的板材识别方法的流程示意图之一；
[0018]图2是本专利技术提供的板材识别方法的流程示意图之二；
[0019]图3是本专利技术提供的板材识别装置的结构示意图；
[0020]图4是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0021]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]下面结合图1至图4描述本专利技术的板材识别方法、装置、设备及存储介质。
[0023]一个实施例中，如图1所示，板材识别方法实现的流程步骤如下：
[0024]步骤101，获取板材工件的二维图像特征。
[0025]本实施例中，板材工件指的是需要进行类型识别和空间位姿识别(即摆放位置识别)的工件。基于实际生产活动，该板材工件会根据实际情况摆放在厂房的环境空间中。该环境空间的特定位置会安装摄像头等图像采集装置，以采集环境空间的图像。当板材工件摆放在该环境空间中时，图像采集装置采集图像时，采集到的图像则会包括板材工件。通过图像采集装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种板材识别方法，其特征在于，包括：获取板材工件的二维图像特征；获取所述板材工件的三维点云特征；融合所述二维图像特征和所述三维点云特征，获得所述板材工件的融合特征；解析所述融合特征，获取所述板材工件的板材类型，以及解析所述融合特征，获取所述板材工件的空间位姿信息。2.根据权利要求1所述的板材识别方法，其特征在于，所述获取板材工件的二维图像特征，包括：获取所述板材工件在环境空间内的二维图像；将所述二维图像输入预设的二维特征提取模型，获取所述二维特征提取模型输出的所述二维图像特征；其中，所述二维特征提取模型的模型网络架构包括深度残差网络、轻量级神经网络或视觉骨干网络。3.根据权利要求1所述的板材识别方法，其特征在于，所述获取所述板材工件的三维点云特征，包括：获取所述板材工件在环境空间内的点云图像；将所述点云图像输入预设的三维特征提取模型，获取所述三维特征提取模型输出的所述三维点云特征；其中，所述三维特征提取模型的模型网络架构包括分层神经网络。4.根据权利要求1所述的板材识别方法，其特征在于，所述融合所述二维图像特征和所述三维点云特征，获得所述板材工件的融合特征之后，所述解析所述融合特征，获取所述板材工件的板材类型之前，还包括：获取所述板材工件所在环境空间对应的底层特征；对所述融合特征进行上采样后，融合上采样后的所述融合特征和所述底层特征，以对所述板材工件进行分割；获取分割后的板材特征；所述解析所述融合特征，获取所述板材工件的板材类型，包括：解析分割后的板材特征，获取所述板材工件的板材类型。5.根据权利要求1所述的板材识别方法，其特征在于，所述解析所述融合特征，获取所述板材工件的板材类型，包括：获取预先设置的至少一个模板特征，其中，每一个所述模板特征分别通过...

【专利技术属性】
技术研发人员：钱鹏飞，
申请(专利权)人：盛景智能科技嘉兴有限公司，
类型：发明
国别省市：