【技术实现步骤摘要】
本专利技术涉及农业生物信息技术、农业人工智能、计算机视觉和果树育苗育种等领域，具体涉及一种球形3d柑橘果实点云补全及表型检测方法。
技术介绍
1、柑橘果实表型数据采集多采用人工检测的方式。比如利用游标卡尺多次测量果实的横径和纵径，选取最大值为最终结果；利用排水法采集果实的体积，将果皮撕下平铺再使用面积测量仪检测表面积等等。过程繁琐，耗时很长，并且常需要多人配合进行数据采集操作。果实的大小、体积、颜色等果实表型变化直接反映了遗传特性和环境响应。目前果实表型的无损检测成为育种和生产上迫切的需求。
2、现有技术针对物体的遮挡、目标表面材质反射率的差异以及视觉传感器分辨率和视角的限制等问题，会导致捕获的点云不完整。针对果实的点云补全研究很少，急需从捕获的残缺柑橘果实点云中恢复完整点云，给果实表型检测技术提出新的方案。
技术实现思路
1、（一）要解决的技术问题
2、本专利技术针对现有技术中存在的柑橘果实表型检测方法繁琐、设备昂贵、人工成本高以及模型搭建困难等问题，提供一种球形3d柑橘果实点云补全及表型检测方法，能够有效提高果实表型检测精度，简化测定过程，降低成本，增强模型的适用性，从而实现快速、准确的柑橘果实表型检测。
3、（二）技术方案
4、本专利技术公开了球形3d柑橘果实点云补全及表型检测方法，具体技术方案如下。
5、一种球形3d柑橘果实点云补全及表型检测方法，包括：
6、步骤s1，将摘后柑橘果实置于拍摄台上，采集柑
7、步骤s2，训练深度学习实例分割模型，并将采集到的柑橘果实彩色对齐图像使用该模型对图像区域进行分割，得到柑橘果实的分割图像，经二值化处理得到彩色柑橘果实分割图像的二值图；
8、步骤s3，使用彩色柑橘果实分割图像的二值图对深度图像进行掩膜处理，得到掩膜后的深度图像；
9、步骤s4，使用步骤s1得到的柑橘果实的彩色对齐图和步骤s3得到的掩膜后的深度图像生成单视角下柑橘果实的点云，再进行点云滤波，得到预处理后点云；
10、步骤s5，将预处理后点云中最大横径处的点云提取出来，针对这部分点云拟合出圆心和整圆，并计算得到圆心的空间坐标和整圆面积a；
11、步骤s6，将步骤s4中预处理后点云沿平行于相机坐标系z轴的旋转轴进行旋转，该旋转轴穿过步骤s5中的圆心，并将旋转后点云与原点云进行拼接，得到拼接后点云；
12、步骤s7，训练球形3d果实点云补全网络，使用该模型对步骤s6中拼接后点云进行补全操作，得到网络补全后点云；
13、步骤s8，对网络补全后点云进行滤波，mesh化，平均采样，得到最终优化后点云；
14、步骤s9，基于步骤s8输出的最终优化后点云，提取柑橘果实表型数据。
15、优选地，步骤s2的具体步骤如下：
16、步骤s21，选取步骤s1中采集到的彩色对齐图像作为训练集；
17、步骤s22，对图片中的柑橘果实区域进行人工标注，得到标签文件；
18、步骤s23，将图片和对应的标签文件输入实例分割网络进行训练，得到柑橘果实实例分割模型；
19、步骤s24，使用柑橘果实实例分割模型分割采集到的柑橘果实rgb图像，并将其二值化得到彩色柑橘果实分割图像的二值图。
20、优选地，步骤s6的具体步骤如下：
21、步骤s61，以圆心空间坐标为原点，作一条平行于相机坐标系z轴的单位向量，以该单位向量为旋转轴；
22、步骤s62，将步骤s4中预处理后点云中最大横径处的点云提取出来；若点云存在缺失，根据提取后最大横径处点云的缺失量来确定步长s和旋转次数n；
23、步骤s63，缺失情形下，提取的最大横径处的点云为一段无法闭环的点云圆弧，以圆弧的2个端的端点与圆心坐标连接形成2条半径，2条半径与所述点云圆弧围成一个扇形；计算步骤该扇形的面积a，进而计算得到扇形内角p为360*a/a°，基于内角度数确定旋转次数n，n = [360/p]，其中[]为取整数运算，每次旋转的步长s为[360/(n+1)]°；
24、步骤s64，将步骤s4中预处理后点云绕步骤s61中的旋转轴旋转n次，步长为[360/(n+1)]°，分别得到旋转[360/(n+1)]°、2*[360/(n+1)]°……n*[360/(n+1)]°的n组旋转后点云；
25、步骤s65，将步骤s4中预处理后点云和步骤s64得到的n组旋转后点云进行拼接，得到拼接后点云。
26、优选地，步骤s7中训练球形3d果实点云补全网络，使用该模型对步骤s6中拼接后点云进行补全操作，得到网络补全后点云的具体步骤如下：
27、步骤s71，选取果实大小差异大和不同品种的果实个体，用结构光扫描仪扫描柑橘果实得到完整的柑橘果实点云作为训练集；
28、步骤s72，对训练集中不同品种的完整柑橘果实点云进行类别标注；
29、步骤s73，将点云和对应的标注文件输入点云补全网络进行训练，得到点云补全网络模型；
30、步骤s74，使用点云补全网络模型补全步骤s6中拼接后点云，得到网络补全后点云。
31、优选地，步骤s8中对步骤s7中网络补全后点云进行滤波，mesh化，最后平均采样后得到最终优化后点云的具体步骤如下：
32、步骤s81，对步骤s7中网络补全后点云进行统计滤波，滤除多余的噪声点云，得到平滑果实点云；
33、步骤s82，对滤波后的平滑果实点云mesh化；
34、步骤s83，在网格上进行均匀采样10000个点得到最终优化后点云。
35、优选地，步骤s9中基于步骤s8输出的最终优化后点云，提取柑橘果实表型数据步骤如下：
36、步骤s91，将步骤s8输出的最终优化后点云mesh化后得到体积和表面积；
37、步骤s92，对步骤s8输出的最终优化后点云通过包围盒得到横径和纵径。
38、（三）有益效果
39、相对于现有技术而言，本专利技术具备显著积极的技术效果，其有益效果至少体现在以下几个方面。
40、（1）现有技术中柑橘果实表型数据采集多采用人工检测的方式。比如利用游标卡尺多次测量果实的横径和纵径，选取最大值为最终结果；利用排水法采集果实的体积，将果皮撕下平铺再使用面积测量仪检测表面积等等。相比之下，本方法能极大的减少人力和时间成本的浪费，并拥有较高的精度。
41、（2）现有技术针对物体的遮挡、目标表面材质反射率的差异以及视觉传感器分辨率和视角的限制等问题，会导致捕获的点云不完整。因此，本方法从残缺的柑橘果实点云中恢复完整点云，给表型检测技术提出来新的方案。现有技术对果实针对遮挡条件下的果实进行表型检测时，并没有对捕获的不完全点云进行补全，本方法给果实表型检测方案提供了新的思路和方法。
42、（3）现有本文档来自技高网...
【技术保护点】
1.一种球形3D柑橘果实点云补全及表型检测方法，其特征在于，包括：
2.根据权利要求1所述的一种球形3D柑橘果实点云补全及表型检测方法，其特征在于，步骤S2的具体步骤如下：
3.根据权利要求1所述的一种球形3D柑橘果实点云补全及表型检测方法，其特征在于，步骤S6的具体步骤如下：
4.根据权利要求1所述的一种球形3D柑橘果实点云补全及表型检测方法，其特征在于，步骤S7中训练球形3D果实点云补全网络，使用该模型对步骤S6中拼接后点云进行补全操作，得到网络补全后点云的具体步骤如下：
5.根据权利要求1所述的一种球形3D柑橘果实点云补全及表型检测方法，其特征在于，步骤S8中对步骤S7中网络补全后点云进行滤波，mesh化，最后平均采样后得到最终优化后点云的具体步骤如下：
6.根据权利要求1所述的一种球形3D柑橘果实点云补全及表型检测方法，其特征在于，其特征在于，步骤S9中基于步骤S8输出的最终优化后点云，提取柑橘果实表型数据步骤如下：
【技术特征摘要】
1.一种球形3d柑橘果实点云补全及表型检测方法，其特征在于，包括：
2.根据权利要求1所述的一种球形3d柑橘果实点云补全及表型检测方法，其特征在于，步骤s2的具体步骤如下：
3.根据权利要求1所述的一种球形3d柑橘果实点云补全及表型检测方法，其特征在于，步骤s6的具体步骤如下：
4.根据权利要求1所述的一种球形3d柑橘果实点云补全及表型检测方法，其特征在于，步骤s7中训练球形3d果实点云补全网络，使用该模型对...
【专利技术属性】
技术研发人员：徐胜勇，易同舟，廖庆喜，李善军，汪劭东，
申请(专利权)人：华中农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。