榴莲鼓包范围的确定方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术公开了一种榴莲鼓包范围的确定方法、装置、电子设备及存储介质，本发明专利技术通过引入鼓包标记物，来标记榴莲上各个鼓包的中心点，并获取带有鼓包标记物的榴莲的二维图像和三维图像，其中，二维图像用于确定各个鼓包标记物的像素坐标，而三维图像则用于获取榴莲的点云数据，因此，在中心点的二维坐标确定时，基于该二维坐标和点云数据，确定出每个鼓包中心点的空间坐标；最后，以各个中心点的空间坐标为中心，进行区域扩展，即可得到鼓包范围；由此，本发明专利技术实现了榴莲鼓包的数据化，可以为榴莲后续进行机械臂抓取、3D图像识别、点云重建、定位检测、敲击声音和果肉体积模拟识别等功能提供数据基础，实现了榴莲质量分析工业化的数据基础的建立。础的建立。础的建立。

【技术实现步骤摘要】
榴莲鼓包范围的确定方法、装置、电子设备及存储介质


[0001]本专利技术属于榴莲鼓包判断
，具体涉及一种榴莲鼓包范围的确定方法、装置、电子设备及存储介质。

技术介绍

[0002]榴莲，又名韶子、麝香猫果，属木棉科热带落叶乔木；榴莲果肉营养丰富，有“水果之王”的美称，其营养价值极高，经常食用可以强身健体，健脾补气，补肾壮阳，温暖身体，属滋补有益的水果，同时，榴莲性热，可以活血散寒，缓解经痛，特别适合受痛经困扰的女性食用，且榴莲还能改善腹部寒凉，促进体温上升，是寒性体质者的理想补品；因此，榴莲越来越受到人们的喜爱，已成为最受欢迎的水果之一。
[0003]榴莲在发育过程中由于果肉形成会导致表面的鼓包逐步凸起，而随着成熟度的提升，果肉水分流失会导致鼓包上的榴莲刺变软，颜色变黄，敲击鼓包声音时亦有不同音调，因此，榴莲鼓包含有大量榴莲的质量信息，对于榴莲果肉的大小、榴莲的成熟度以及榴莲是否损伤等方面具有重要的观察意义。
[0004]目前，榴莲鼓包范围通常使用人工通过肉眼观测突起进行确定，其存在以下不足，大多依据主观经验进行判断，不仅无法得出准确的鼓包范围，还无法形成榴莲鼓包数据，不能为后续榴莲的数据化分析提供数据基础，从而导致无法实现榴莲质量分析的工业化；因此，提供一种榴莲鼓包范围的确定方法，以实现榴莲鼓包范围的数据化，成为榴莲质量检测工业化应用所要亟待解决的问题。

技术实现思路

[0005]本专利技术的目的是提供一种榴莲鼓包范围的确定方法、装置、电子设备及存储介质，以解决现有采用人工确定榴莲鼓包范围所存在的不能得出准确的鼓包范围，无法形成榴莲鼓包数据，不能为后续榴莲的数据化分析提供数据基础，从而导致无法实现榴莲质量分析工业化的问题。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]第一方面，本专利技术提供了一种榴莲鼓包范围的确定方法，包括：
[0008]获取待识别榴莲的二维图像和第一三维图像，其中，所述二维图像和所述第一三维图像中均包括至少一个鼓包标记物，且所述至少一个鼓包标记物中的每个鼓包标记物用于表征所述待识别榴莲上对应鼓包的中心点；
[0009]基于所述第一三维图像，得到所述待识别榴莲的点云数据；
[0010]根据所述二维图像，得出所述每个鼓包标记物在所述二维图像中的像素坐标；
[0011]基于每个鼓包标记物的像素坐标和所述点云数据，得出每个鼓包标记物的空间坐标；
[0012]根据所述每个鼓包标记物的空间坐标，确定出所述待识别榴莲上每个鼓包标记物对应鼓包的鼓包范围。
[0013]基于上述公开的内容，本专利技术通过引入鼓包标记物，来标记榴莲上各个鼓包的中心点，并获取带有鼓包标记物的榴莲的二维图像和三维图像，其中，二维图像用于确定各个鼓包标记物的像素坐标，其相当于确定了每个鼓包的中心点的二维坐标；而三维图像则用于获取榴莲的点云数据(每个点云数据包含有三维坐标)，因此，在中心点的二维坐标确定时，基于该二维坐标，即可确定出每个鼓包中心点的三维坐标，也就是在三维图像中的空间坐标；最后，以各个中心点的空间坐标为中心，进行区域扩展，即可得到鼓包范围；其中，扩展可根据后续数据分析类型来决定，如利用鼓包进行果肉检验，则扩展5立方厘米，而若是后续进行机械臂抓取，则扩展1立方厘米等。
[0014]通过上述设计，本专利技术可通过机器视觉确定出榴莲上各个鼓包的中心点的三维坐标，从而可基于中心点的三维坐标来得出鼓包范围，由此，本专利技术实现了榴莲鼓包的数据化，可以为榴莲后续进行机械臂抓取、3D图像识别、点云重建、定位检测、敲击声音和果肉体积模拟识别等功能提供数据基础，实现了榴莲质量分析工业化的数据基础的建立。
[0015]在一个可能的设计中，基于每个鼓包标记物的像素坐标和所述点云数据，得出每个鼓包标记物的空间坐标，包括：
[0016]对于所述至少一个鼓包标记物中的任一鼓包标记物，在所述点云数据中，提取出目标点云数据，其中，所述目标点云数据中的每个目标点云数据的三维坐标中的横纵坐标与任一鼓包标记物的像素坐标中的横纵坐标相同；
[0017]在所述目标点云数据对应的三维坐标中，筛选出z轴坐标值最大的三维坐标，作为所述任一鼓包标记物的空间坐标。
[0018]基于上述公开的内容，本专利技术公开了各个鼓包标记物空间坐标的获取过程，即对于任一鼓包标记物，可通过二维图像，确定其在二维图像中的二维坐标，也就是横纵坐标，在横纵坐标确定后，以该横纵坐标值为约束，即可在点云数据中查找出多个横纵坐标值相同，而z轴坐标值不同的点云数据，最后，在查找出的点云数据对应的三维坐标中，筛选出z轴值最大的一个三维坐标，即可作为该任一鼓包标记物的空间坐标。
[0019]在一个可能的设计中，在确定出所述待识别榴莲上每个鼓包标记物对应鼓包的鼓包范围后，所述方法还包括：
[0020]获取所述待识别榴莲的第二三维图像，其中，所述第二三维图像仅包括所述待识别榴莲；
[0021]对所述第二三维图像进行鼓包识别，得出所述待识别榴莲上每个鼓包的机器识别范围；
[0022]判断每个鼓包的鼓包范围与对应的机器识别范围是否相同；
[0023]若是，则输出每个鼓包的鼓包范围；否则，则输出鼓包范围错误提示信息，以使工作人员根据所述鼓包范围错误提示信息，重新对所述待识别榴莲进行鼓包标记，以得到新的二维图像以及新的第一三维图像。
[0024]基于上述公开的内容，本专利技术在得出各个鼓包的鼓包范围后，为保证识别的准确率，还设置有校验步骤，即获取未带有鼓包标记物的榴莲的三维图像，然后进行机器识别，得出榴莲上各个鼓包的机器识别范围，最后，二者进行相比，若相同，则说明前述基于空间坐标得出的鼓包范围正确，否则，则不正确，需要重新标记，并重新确定鼓包标记物的空间坐标；由此通过前述设计，可进一步的提高鼓包范围确定的准确性。
[0025]在一个可能的设计中，对所述第二三维图像进行鼓包识别，得出所述待识别榴莲上每个鼓包的机器识别范围，包括：
[0026]对所述第二三维图像进行曲面平滑处理，得到平滑榴莲三维图像；
[0027]将所述平滑榴莲三维图像输入至鼓包识别模型中，得到所述待识别榴莲上每个鼓包的机器识别范围；或
[0028]将所述平滑榴莲三维图像，划分为多个图像区域；
[0029]对于所述多个图像区域中的每个图像区域，对所述每个图像区域进行特征点识别，得到每个图像区域的特征点个数，其中，所述特征点用于表征对应图像区域内的鼓包点；
[0030]基于每个图像区域的特征点个数，得到所述待识别榴莲上每个鼓包的机器识别范围。
[0031]基于上述公开的内容，本专利技术公开了机器识别鼓包范围的具体方法，其一是：直接利用训练后的深度神经网络进行鼓包范围的识别；其二是：将平滑榴莲三维图像划分为多个图像区域，并通过识别每个图像区域中鼓包点的个数，从而来得出每个图像区域的鼓包点总个数，最后，基于鼓包点总个数，即可得出榴莲上每个鼓包的机器识别范围。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种榴莲鼓包范围的确定方法，其特征在于，包括：获取待识别榴莲的二维图像和第一三维图像，其中，所述二维图像和所述第一三维图像中均包括至少一个鼓包标记物，且所述至少一个鼓包标记物中的每个鼓包标记物用于表征所述待识别榴莲上对应鼓包的中心点；基于所述第一三维图像，得到所述待识别榴莲的点云数据；根据所述二维图像，得出所述每个鼓包标记物在所述二维图像中的像素坐标；基于每个鼓包标记物的像素坐标和所述点云数据，得出每个鼓包标记物的空间坐标；根据所述每个鼓包标记物的空间坐标，确定出所述待识别榴莲上每个鼓包标记物对应鼓包的鼓包范围。2.如权利要求1所述的方法，其特征在于，基于每个鼓包标记物的像素坐标和所述点云数据，得出每个鼓包标记物的空间坐标，包括：对于所述至少一个鼓包标记物中的任一鼓包标记物，在所述点云数据中，提取出目标点云数据，其中，所述目标点云数据中的每个目标点云数据的三维坐标中的横纵坐标与任一鼓包标记物的像素坐标中的横纵坐标相同；在所述目标点云数据对应的三维坐标中，筛选出z轴坐标值最大的三维坐标，作为所述任一鼓包标记物的空间坐标。3.如权利要求1所述的方法，其特征在于，在确定出所述待识别榴莲上每个鼓包标记物对应鼓包的鼓包范围后，所述方法还包括：获取所述待识别榴莲的第二三维图像，其中，所述第二三维图像仅包括所述待识别榴莲；对所述第二三维图像进行鼓包识别，得出所述待识别榴莲上每个鼓包的机器识别范围；判断每个鼓包的鼓包范围与对应的机器识别范围是否相同；若是，则输出每个鼓包的鼓包范围；否则，则输出鼓包范围错误提示信息，以使工作人员根据所述鼓包范围错误提示信息，重新对所述待识别榴莲进行鼓包标记，以得到新的二维图像以及新的第一三维图像。4.如权利要求3所述的方法，其特征在于，对所述第二三维图像进行鼓包识别，得出所述待识别榴莲上每个鼓包的机器识别范围，包括：对所述第二三维图像进行曲面平滑处理，得到平滑榴莲三维图像；将所述平滑榴莲三维图像输入至鼓包识别模型中，得到所述待识别榴莲上每个鼓包的机器识别范围；或将所述平滑榴莲三维图像，划分为多个图像区域；对于所述多个图像区域中的每个图像区域，对所述每个图像区域进行特征点识别，得到每个图像区域的特征点个数，其中，所述特征点用于表征对应图像区域内的鼓包点；基于每个图像区域的特征点个数，得到所述待识别榴莲上每个鼓包的机器识别范围。5.如权利要求4所述的方法，其特征在于，对所述每个图像区域进行特征点识别，得到每个图像区域的特征点个数，包括：a.对于每个图像区域中的任一点，获取所述任一点的特征直线，其中，所述特征直线为所述任一点，与所述任一点的最相邻点之间的连线；
b.获取每个图像区域中，所述任一点的目标点，并利用所述目标点组成目标面，其中，所述目标点为包围所述任一点的所有点；c.计算所述特征直线与所述目标面的夹角，得到特征夹角；d.判断所述特征夹角是否大于预设阈值；e.若是，则将所述任一点作为特征点；重复前述步骤a～e，并在将每个图像区域中的所有点遍历完成后，得到每个图像区域的特征点个数；相应的，基于每个图像区域的特征点个数，得到所述待识别榴莲上每个鼓包的机器识别...

【专利技术属性】
技术研发人员：吴曦，
申请(专利权)人：北京市真我本色科技有限公司，
类型：发明
国别省市：