一种基于深度学习对托盘进行准确识别的方法及系统技术方案

本发明专利技术公开了一种基于深度学习对托盘进行准确识别的方法及系统，包括：利用图像采集装置对托盘进行采集，得到多张托盘的深度图像和彩色图像并对齐；对彩色图像中托盘的位置进行标注后，作为深度学习训练数据集，并输入到神经网络；神经网络通过深度学习的方式识别出彩色图像中托盘的坐标，并得到托盘在深度图像中的位置，在该位置输入托盘外形尺寸构建出标准托盘点云集；将图像采集装置当前采集到的实际托盘点云集和标准托盘点云集进行ICP点云匹配，获取目标托盘相对于虚拟托盘的位置和角度，从而得到目标托盘相对于图像采集装置的位姿。本发明专利技术用于解决采用基于点云平面轮廓匹配的检测方法对托盘进行识别容易出现误判的技术问题。术问题。术问题。

【技术实现步骤摘要】
一种基于深度学习对托盘进行准确识别的方法及系统


[0001]本专利技术涉及图像识别
，具体涉及一种基于深度学习对托盘进行准确识别的方法及系统。

技术介绍

[0002]对托盘的检测是仓储机器人进行货物搬运的关键步骤，针对当前检测方法光照鲁棒性不强、受托盘与传感器之间相对位姿的约束等问题，人们提出一种基于点云平面轮廓匹配的检测方法。该方法使用ToF(Time
‑
of
‑
Flight)相机采集点云，再将点云进行预处理后，使用以法线为约束的区域生长算法进行平面分割，并沿其主法线方向投影生成栅格图，解决受相对位姿约束的问题，最后在对栅格图进行轮廓提取后，利用融合Hu不变矩和尺度比例特征的轮廓特征进行目标与模板的匹配，实现对托盘的检测。
[0003]但是由于TOF相机输出的是深度点云数据，构建出的图像是灰色和黑色组合的图像，因此单纯使用深度相机容易出现误判情况，比如托盘边上站了一个人有可能会把人的腿和托盘识别在一起，从而导致计算出错误的托盘位姿，也有可能将不是托盘的物体识别成托盘。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供一种基于深度学习对托盘进行准确识别的方法及系统，用于解决采用基于点云平面轮廓匹配的检测方法对托盘进行识别容易出现误判的技术问题，从而达到提高对托盘进行识别时的准确性的目的。
[0005]为解决上述问题，本专利技术所采用的技术方案如下：
[0006]一种基于深度学习对托盘进行准确识别的方法，包括以下步骤：r/>[0007]利用图像采集装置对托盘进行采集，得到多张托盘的深度图像和彩色图像，并将所述深度图像和所述彩色图像进行对齐；
[0008]对所述彩色图像中托盘的位置进行标注后，将标注后的彩色图像作为深度学习训练数据集，并输入到神经网络；
[0009]所述神经网络通过深度学习的方式识别出彩色图像中托盘的坐标；
[0010]根据所述托盘的坐标得到所述托盘在所述深度图像中的位置，并在所述深度图像中托盘的位置，输入托盘外形尺寸构建出标准托盘点云集；
[0011]将所述图像采集装置当前采集到的实际托盘点云集和所述标准托盘点云集进行ICP点云匹配，获取目标托盘相对于虚拟托盘的位置和角度，从而得到所述目标托盘相对于所述图像采集装置的位姿；
[0012]其中，所述实际托盘点云集包括所需识别的目标托盘，所述标准托盘点云集包括根据托盘的位置和托盘外形尺寸构建的虚拟托盘。
[0013]作为本专利技术优选的实施方式，在所述神经网络通过深度学习的方式识别出彩色图像中托盘的坐标时，包括：
[0014]通过input层将输入的彩色图像对齐成640*640大小的RGB图片后，输入到backbone层；
[0015]所述backbone层对所述RGB图片进行特征提取，输出三层不同size大小的特征图至head层；
[0016]所述head层对所述三层不同size大小的特征图再次进行特征提取和检测后，得到所述目标托盘的坐标；
[0017]其中，所述神经网络包括input层、backbone层和head层。
[0018]作为本专利技术优选的实施方式，在input层将输入的彩色图像进行对齐时，包括：
[0019]将输入的深度学习训练数据集进行自适应尺寸处理，调整大小为1280*1280的RGB图片后，利用16层的卷积模块降低所述深度学习训练数据集的大小为640*640，并经过归一化处理和对齐后，通过激活函数激活后送入到所述backbone层。
[0020]作为本专利技术优选的实施方式，在所述backbone层对所述RGB图片进行特征提取时，包括：
[0021]BConv层接收到所述RGB图片后，通过卷积层进行特征提取，利用BN层进行加速收敛，并采用激活函数进行激活后，输入到交替的E
‑
ELAN层和MPConv层中，通过所述交替的E
‑
ELAN层和MPConv层输出三层不同size大小的特征图；
[0022]其中，所述backbone层包括BConv层、E
‑
ELAN层以及MPConv层，所述BConv层由卷积层、BN层以及激活函数组成。
[0023]作为本专利技术优选的实施方式，在所述head层进行特征提取和检测时，包括：
[0024]所述head层通过SPPCPC层、若干BConv层、若干MPConv层以及若干Catconv层对所述backbone层输出的三层不同size大小的特征图再次进行特征提取，再次输出三层不同size大小的特征图，分别经过三个RepVGG block层和三个conv层进行检测后，得到所述目标托盘的坐标。
[0025]作为本专利技术优选的实施方式，在获取目标托盘相对于虚拟托盘的位置时，包括：
[0026]将所述标准托盘点云集和所述实际托盘点云集按一定的约束条件进行约束，具体如公式1和公式2所示：
[0027][0028][0029]式中，为标准托盘点云集的单个点，为标准托盘点云集，为的质心，为实际托盘点云集的单个点，为实际托盘点云集，为的质心。
[0030]作为本专利技术优选的实施方式，在获取目标托盘相对于虚拟托盘的位置时，还包括：
[0031]根据所述约束条件，建立第一损失函数方程，具体如公式3所示：
[0032][0033]式中，R为旋转矩阵，t为平移矩阵；
[0034]令N为点云总数|P
s
|，对所述第一损失函数方程进行求导，令导数为0，获得坐标方程，具体如公式4所示：
[0035][0036]根据所述坐标方程可获得最优的t，所述最优的t即所述目标托盘相对于所述虚拟托盘的坐标(X,Y,Z)。
[0037]作为本专利技术优选的实施方式，在获取目标托盘相对于虚拟托盘的角度时，包括：
[0038]在不考虑平移的情况下，建立第二损失函数方程，如公式5所示：
[0039][0040]式中，R为旋转矩阵，为标准托盘点云集的质心，为实际托盘点云集的质心；
[0041]通过关系式6和关系式7对所述第二损失函数方程中的进行简化，得到简化关系式，具体如公式8所示：
[0042]R
T
R＝I
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)；
[0043][0044][0045]式中，上标T为矩阵的转置矩阵，I为R
T
本身；
[0046]由于所述托盘的坐标(X,Y,Z)是确定的，与R无关，通过求取的最大值，最小化所述第二损失函数方程，具体如公式9所示：
[0047][0048]作为本专利技术优选的实施方式，在获取目标托盘相对于虚拟托盘的角度时，还包括：
[0049]根据关系式10对所述公式9进行转化，如公式11所示：
[0050][0051]R
*
＝argmax
R
trace(P
tT...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习对托盘进行准确识别的方法，其特征在于，包括以下步骤：利用图像采集装置对托盘进行采集，得到多张托盘的深度图像和彩色图像，并将所述深度图像和所述彩色图像进行对齐；对所述彩色图像中托盘的位置进行标注后，将标注后的彩色图像作为深度学习训练数据集，并输入到神经网络；所述神经网络通过深度学习的方式识别出彩色图像中托盘的坐标；根据所述托盘的坐标得到所述托盘在所述深度图像中的位置，并在所述深度图像中托盘的位置，输入托盘外形尺寸构建出标准托盘点云集；将所述图像采集装置当前采集到的实际托盘点云集和所述标准托盘点云集进行ICP点云匹配，获取目标托盘相对于虚拟托盘的位置和角度，从而得到所述目标托盘相对于所述图像采集装置的位姿；其中，所述实际托盘点云集包括所需识别的目标托盘，所述标准托盘点云集包括根据托盘的位置和托盘外形尺寸构建的虚拟托盘。2.根据权利要求1所述的基于深度学习对托盘进行准确识别的方法，其特征在于，在所述神经网络通过深度学习的方式识别出彩色图像中托盘的坐标时，包括：通过input层将输入的彩色图像对齐成640*640大小的RGB图片后，输入到backbone层；所述backbone层对所述RGB图片进行特征提取，输出三层不同size大小的特征图至head层；所述head层对所述三层不同size大小的特征图再次进行特征提取和检测后，得到所述目标托盘的坐标；其中，所述神经网络包括input层、backbone层和head层。3.根据权利要求2所述的基于深度学习对托盘进行准确识别的方法，其特征在于，在input层将输入的彩色图像进行对齐时，包括：将输入的深度学习训练数据集进行自适应尺寸处理，调整大小为1280*1280的RGB图片后，利用16层的卷积模块降低所述深度学习训练数据集的大小为640*640，并经过归一化处理和对齐后，通过激活函数激活后送入到所述backbone层。4.根据权利要求2所述的基于深度学习对托盘进行准确识别的方法，其特征在于，在所述backbone层对所述RGB图片进行特征提取时，包括：BConv层接收到所述RGB图片后，通过卷积层进行特征提取，利用BN层进行加速收敛，并采用激活函数进行激活后，输入到交替的E
‑
ELAN层和MPConv层中，通过所述交替的E
‑
ELAN层和MPConv层输出三层不同size大小的特征图；其中，所述backbone层包括BConv层、E
‑
ELAN层以及MPConv层，所述BConv层由卷积层、BN层以及激活函数组成。5.根据权利要求2所述的基于深度学习对托盘进行准确识别的方法，其特征在于，在所述head层进行特征提取和检测时，包括：所述head层通过SPPCPC层、若干BConv层、若干MPConv层以及若干Catconv层对所述backbone层输出的三层不同size大小的特征图再次进行特征提取，再次输出三层不同size大小的特征图，分别经过三个RepVGGblock层和三个conv层进行检测后，得到所述目标托盘的坐标。
6.根据权利要求1所述的基于深度学习对托盘进行准确识别的方法，其特征在于，在获取目标托盘相对于虚拟托盘的位置时，包括：将所述标准托盘点云集和所述实际托盘点云集按一定的约束条件进行约束，具体如公式1和公式2所示：式1和公式2所示：式中，为标准托盘点云集的单个点，为标准托盘点云集，为的质心，为实际托盘点云集的单个点，为实际托盘点云集，为的质心。7.根据权利要求6所述的基于深度学习对托盘进行准确识别的方法，...

【专利技术属性】
技术研发人员：邹家帅，昝学彦，李发频，李飞军，张四龙，李家钧，蒋干胜，徐波，
申请(专利权)人：珠海创智科技有限公司，
类型：发明
国别省市：