垛型中组垛箱体的识别方法、装置及机器人制造方法及图纸

本发明专利技术公开了一种垛型中组垛箱体的识别方法、装置及机器人，方法包括：根据从垛型上方拍摄的深度图像，提取垛型的最高层点云，根据垛型的最高层点云提取最高层边缘点云；将最高层边缘点云投射到二维平面，得到目标待识别图像；根据标准箱体图像与目标待识别图像进行边缘匹配处理，根据边缘匹配结果确定目标待识别图像中的各个箱体图像区域；根据各个箱体图像区域，确定垛型的最高层中各个组垛箱体的位置信息。通过上述方式，能够提升垛型中组垛箱体识别的准确性，从而保证后续垛型相关操作的准确性。确性。确性。

【技术实现步骤摘要】
垛型中组垛箱体的识别方法、装置及机器人


[0001]本专利技术涉及仓储物流
，具体涉及一种垛型中组垛箱体的识别方法、机器人及计算设备。

技术介绍

[0002]仓储物流智能化包括通过机械手对箱体垛型进行拆解、码放、整合等操作，操作前需要对垛型进行识别。由于垛型中最高层箱子最易操作，且码放箱子时需要基于最高层箱子的码放情况给出码放建议，因此机械手操作垛型前需要识别最高层各箱子的箱体边缘，进而识别箱体摆放情况，以给出拆解、码放、整合执行方案的参考。
[0003]但是专利技术人在实现本专利技术的过程中发现：现有技术中垛型边缘的识别不准确，导致箱体摆放情况的识别也不准确，例如单个箱体中间的缝隙被判定为两个箱体间的缝隙，则会导致后续操作出现错误。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的垛型中组垛箱体的识别方法、装置及机器人。
[0005]根据本专利技术的一个方面，提供了一种垛型中组垛箱体的识别方法，包括：
[0006]根据从垛型上方拍摄的深度图像，提取垛型的最高层点云，根据垛型的最高层点云提取最高层边缘点云；
[0007]将最高层边缘点云投射到二维平面，得到目标待识别图像；
[0008]根据标准箱体图像与目标待识别图像进行边缘匹配处理，根据边缘匹配结果确定目标待识别图像中的各个箱体图像区域；
[0009]根据各个箱体图像区域，确定垛型的最高层中各个组垛箱体的位置信息。
[0010]可选地，根据标准箱体图像与目标待识别图像进行边缘匹配处理，根据边缘匹配结果确定目标待识别图像中的各个箱体图像区域进一步包括：
[0011]步骤S0，令i＝1；
[0012]步骤S1，根据标准箱体图像与第i轮待识别图像进行边缘匹配处理，根据边缘匹配结果确定各个第i轮边缘箱体图像区域；
[0013]其中，当i的赋值为1时，第i轮待识别图像为目标待识别图像；
[0014]步骤S2，从第i轮待识别图像中删除各个第i轮边缘箱体图像区域，根据删除之后的剩余图像判断是否满足匹配终止条件；若是，则确认箱体图像区域识别结束；若否，将i赋值为i+1，将剩余图像确定为第i轮待识别图像，并跳转执行步骤S1。
[0015]可选地，根据标准箱体图像与第i轮待识别图像进行边缘匹配处理，根据边缘匹配结果确定各个第i轮边缘箱体图像区域进一步包括：
[0016]利用标准箱体图像在第i轮待识别图像中进行移动遍历；
[0017]当标准箱体图像移动到任一遍历位置角度时，计算标准箱体图像与第i轮待识别
图像的边缘重合度；
[0018]根据边缘重合度，确定第i轮待识别图像中的各个第i轮边缘箱体图像区域。
[0019]可选地，计算标准箱体图像与第i轮待识别图像的边缘重合度进一步包括：
[0020]计算标准箱体图像的任一组相邻边缘与第i轮待识别图像的任一组相邻边缘的边缘重合度。
[0021]可选地，利用标准箱体图像在第i轮待识别图像中进行移动遍历进一步包括：
[0022]利用标准箱体图像在第i轮待识别图像的各个预设区域中进行移动遍历；
[0023]根据边缘重合度，确定第i轮待识别图像中的各个第i轮边缘箱体图像区域进一步包括：
[0024]针对于任一预设区域，根据边缘重合度最高时标准箱体图像的位置角度信息，确定该预设区域内的第i轮边缘箱体图像区域。
[0025]可选地，各个预设区域根据预设原点位置信息、预设遍历步长信息以及预设遍历角度信息划分得到。
[0026]可选地，根据边缘重合度，确定第i轮待识别图像中的各个第i轮边缘箱体图像区域进一步包括：
[0027]计算第i轮待识别图像中各个边缘与标准箱体图像的相应边缘之间的长度比例；
[0028]根据边缘重合度以及第i轮待识别图像中各个边缘与标准箱体图像的相应边缘之间的长度比例，计算移动到该位置角度时标准箱体图像的重合可信度；
[0029]根据重合可信度，确定第i轮待识别图像中的各个第i轮边缘箱体图像区域。
[0030]可选地，方法进一步包括：
[0031]将各个第1轮边缘箱体图像区域与最高层点云进行比对，若存在至少一个第1轮边缘箱体图像区域超出最高层点云的区域面积达到预设比例，则过滤至少一个第1轮边缘箱体图像区域。
[0032]可选地，方法进一步包括：
[0033]获取从垛型上方拍摄的彩色图像，对彩色图像进行边缘提取处理，得到彩色边缘图像；
[0034]将彩色边缘图像与目标待识别图像进行合成，得到最高层边缘合成图像；
[0035]则根据标准箱体图像与目标待识别图像进行边缘匹配处理进一步包括：
[0036]根据标准箱体图像与最高层边缘合成图像进行边缘匹配处理。
[0037]可选地，根据边缘匹配结果确定各个第i轮边缘箱体图像区域之后，方法进一步包括：
[0038]根据任一第i轮边缘箱体图像区域，确定针对该第i轮边缘箱体图像区域对应的目标箱体的拆垛配置信息，以供根据拆垛配置信息对目标箱体进行拆垛操作；
[0039]其中，拆垛配置信息包括：抓取位置信息以及移动方向信息。
[0040]可选地，根据任一第i轮边缘箱体图像区域，确定针对该第i轮边缘箱体图像区域对应的目标箱体的拆垛配置信息进一步包括：
[0041]根据该第i轮边缘箱体图像区域中与第i轮待识别图像的至少一组相邻边缘的位置重合的至少一组相邻边缘，确定目标箱体的移动方向信息及抓取位置信息。
[0042]可选地，将最高层边缘点云投射到二维平面进一步包括：
[0043]根据最高层的高度信息以及相机的内参信息，将最高层边缘点云投射到二维平面。
[0044]根据本专利技术的另一方面，提供了一种垛型中组垛箱体的识别装置，包括：
[0045]边缘提取模块，适于根据从垛型上方拍摄的深度图像，提取垛型的最高层点云，根据垛型的最高层点云提取最高层边缘点云；
[0046]转换模块，适于将最高层边缘点云投射到二维平面，得到目标待识别图像；
[0047]边缘匹配模块，适于根据标准箱体图像与目标待识别图像进行边缘匹配处理，根据边缘匹配结果确定目标待识别图像中的各个箱体图像区域；
[0048]定位模块，适于根据各个箱体图像区域，确定垛型的最高层中各个组垛箱体的位置信息。
[0049]可选地，装置进一步包括：
[0050]校正模块，适于判断目标待识别图像的形状是否为矩形；
[0051]若否，对目标待识别图像进行校正处理以将目标待识别图像的形状校正为矩形，得到校正后的目标待识别图像；
[0052]则边缘匹配模块进一步适于：
[0053]根据标准箱体图像与校正后的目标待识别图像进行边缘匹配处理。
[0054]可选地，边缘匹配模块进一步适于执行以下步骤：
[0055]步骤S0，令i＝1；
...

【技术保护点】

【技术特征摘要】
1.一种垛型中组垛箱体的识别方法，包括：根据从垛型上方拍摄的深度图像，提取垛型的最高层点云，根据所述垛型的最高层点云提取最高层边缘点云；将所述最高层边缘点云投射到二维平面，得到目标待识别图像；根据标准箱体图像与所述目标待识别图像进行边缘匹配处理，根据边缘匹配结果确定所述目标待识别图像中的各个箱体图像区域；根据所述各个箱体图像区域，确定所述垛型的最高层中各个组垛箱体的位置信息。2.根据权利要求1所述的方法，其中，所述方法进一步包括：判断所述目标待识别图像的形状是否为矩形；若否，对所述目标待识别图像进行校正处理以将所述目标待识别图像的形状校正为矩形，得到校正后的目标待识别图像；则所述根据标准箱体图像与所述目标待识别图像进行边缘匹配处理进一步包括：根据标准箱体图像与所述校正后的目标待识别图像进行边缘匹配处理。3.根据权利要求1或2所述的方法，其中，所述根据标准箱体图像与所述目标待识别图像进行边缘匹配处理，根据边缘匹配结果确定所述目标待识别图像中的各个箱体图像区域进一步包括：步骤S0，令i＝1；步骤S1，根据标准箱体图像与第i轮待识别图像进行边缘匹配处理，根据边缘匹配结果确定各个第i轮边缘箱体图像区域；其中，当i的赋值为1时，第i轮待识别图像为所述目标待识别图像；步骤S2，从所述第i轮待识别图像中删除所述各个第i轮边缘箱体图像区域，根据删除之后的剩余图像判断是否满足匹配终止条件；若是，则确认箱体图像区域识别结束；若否，将i赋值为i+1，将所述剩余图像确定为第i轮待识别图像，并跳转执行步骤S1。4.根据权利要求3所述的方法，其中，所述根据标准箱体图像与第i轮待识别图像进行边缘匹配处理，根据边缘匹配结果确定各个第i轮边缘箱体图像区域进一步包括：利用所述标准箱体图像在所述第i轮待识别图像中进行移动遍历；当所述标准箱体图像移动到任一遍历位置角度时，计算所述标准箱体图像与所述第i轮待识别图像的边缘重合度；根据边缘重合度，确定所述第i轮待识别图像中的各个第i轮边缘箱体图像区域。5.根据权利要求4所述的方法，其中，所述计算所述标准箱体图像与所述第i轮待识别图像的边缘重合度进一步包括：计算所述标准箱体图像的任一组相邻边缘与第i轮待识别图像的任一组相邻边缘的边缘重合度。6.根据权利要求4或5所述的方法，其中，所述利用所述标准箱体图像在所述第i轮待识别图像中进行移动遍历进一步包括：利用所述标准箱体图像在所述第i轮待识别图像的各个预设区域中进行移动遍历；所述根据边缘重合度，确定所述第i轮待识别图像中的各个第i轮边缘箱体图像区域进一步包括：针对于任一预设区域，根据边缘重合度最高时所述标准箱体图像的位置角度信息，确
定该预设区域内的第i轮边缘箱体图像区域。7.根据权利要求6所述的方法，其中，所述各个预设区域根据预设原点位置信息、预设遍历步长信息以及预设遍历角度信息划分得到。8.根据权利要求4所述的方法，其中，所述根据边缘重合度，确定所述第i轮待识别图像中的各个第i轮边缘箱体图像区域进一步包括：计算所述第i轮待识别图像中各个边缘与所述标准箱体图像的相应边缘之间的长度比例；根据边缘重合度以及所述第i轮待识别图像中各个边缘与所述标准箱体图像的相应边缘之间的长度比例，计算移动到该位置角度时标准箱体图像的重合可信度；根据重合可信度，确定所述第i轮待识别图像中的各个第i轮边缘箱体图像区域。9.根据权利要求3所述的方法，其中，所述方法进一步包括：将各个第1轮边缘箱体图像区域与所述最高层点云进行比对，若存在至少一个第1轮边缘箱体图像区域超出所述最高层点云的区域面积达到预设比例，则过滤所述至少一个第1轮边缘箱体图像区域。10.根据权利要求1所述的方法，其中，所述方法进一步包括：获取从所述垛型上方拍摄的彩色图像，对所述彩色图像进行边缘提取处理，得到彩色边缘图像；将所述彩色边缘图像与所述目标待识别图像进行合成，得到最高层边缘合成图像；则所述根据标准箱体图像与所述目标待识别图像进行边缘匹配处理进一步包括：根据所述标准箱体图像与所述最高层边缘合成图像进行边缘匹配处理。11.根据权利要求3所述的方法，其中，所述根据边缘匹配结果确定各个第i轮边缘箱体图像区域之后，所述方法进一步包括：根据任一第i轮边缘箱体图像区域，确定针对该第i轮边缘箱体图像区域对应的目标箱体的拆垛配置信息，以供根据所述拆垛配置信息对所述目标箱体进行拆垛操作；其中，所述拆垛配置信息包括：抓取位置信息以及移动方向信息。12.根据权利要求11所述的方法，其中，所述根据任一第i轮边缘箱体图像区域，确定针对该第i轮边缘箱体图像区域对应的目标箱体的拆垛配置信息进一步包括：根据该第i轮边缘箱体图像区域中与第i轮待识别图像的至少一组相邻边缘的位置重合的至少一组相邻边缘，确定所述目标箱体的移动方向信息及抓取位置信息。13.根据权利要求1所述的方法，其中，所述将所述最高层边缘点云投射到二维平面进一步包括：根据最高层的高度信息以及相机的内参信息，将所述最高层边缘点云投射到二维平面。14.一种垛型中组垛箱体的识别装置，包括：边缘提取模块，适于根据从垛型...

【专利技术属性】
技术研发人员：魏海永，段文杰，盛文波，丁有爽，邵天兰，
申请(专利权)人：梅卡曼德北京机器人科技有限公司，
类型：发明
国别省市：