【技术实现步骤摘要】
本专利技术涉及计算机视觉，更具体的说是涉及一种基于神经辐射场的荔枝三维表型测量方法。
技术介绍
1、在荔枝的生产中，表型数据是至关重要的，它关乎到荔枝的生长、成熟、产量、疾病抵抗能力以及其他与荔枝品质相关的特征。表型数据能够帮助研究人员和种植者了解荔枝的生长习性和生产潜力。通过对不同荔枝品种的果实大小、形状、颜色等特征的记录和分析，可以为荔枝的选育工作提供宝贵的参考信息。选育出适应性强、产量高、口感好的品种，是提高荔枝产业竞争力的关键。
2、荔枝果实通常展现为一个卵形至近似心形的外观，顶端可能稍微尖状或凹陷，而基部通常是宽而圆润的。该果实的外部表面为粗糙的鳞片状，使用人工测量或者二维图像技术难以对荔枝表型进行完整的测量，需要采用三维图像技术获取其精确的形状参数和尺寸。这种详细的描述可以帮助研究者更好地理解和分类不同的荔枝品种，并为荔枝的遗传和生理研究提供有价值的数据。
3、在果实表型测量方法中，公开号cn110660127a专利基于三维点云扫描技术构建枸杞果实表型，公开号cn110458882a基于计算机视觉的植物果实表型测定，将果实固定在测产辅助板拍照，进行边缘检测和外轮廓确认。
4、目前常用的三维数据获取方式包括：第一种方式，通过激光扫描仪对物体进行激光扫描获取物体点云信息，该方式的不足点是激光扫描仪成本较高、耗时大，难以推广；第二种方式，利用深度相机同时获取rgb图像以及深度信息，但该方式在室外场景明亮的阳光下，红外光干扰会导致深度数据的损失或误读，且深度相机的价格也比普通rgb相机要高
5、因此，如何提供一种基于神经辐射场的荔枝三维表型测量方法是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种基于神经辐射场的荔枝三维表型测量方法，解决了表型数据测量中存在的果实遮挡、设备成本过高等问题。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种基于神经辐射场的荔枝三维表型测量方法，包括以下步骤：
4、s1，图像采集：利用摄像装置采集荔枝果实的图像或视频数据，根据所述图像或视频数据制作荔枝果实的二维图像集，并对二维图像进行标注；
5、s2，图像匹配：利用colmap技术对标注后的二维图像的关键点进行采集，找到多个二维图像之间的对应点，并根据所述对应点估计所述摄像装置的位置和方向；
6、s3，模型训练：利用基于射线行进技术和张量辐射场改进的nerf网络，将标注后的二维图像集以及二维图像对应的位置和方向输入改进的nerf网络中进行训练，获得三维隐式表示模型；
7、s4，获取点云数据：基于所述三维隐式表示模型，利用体积密度、颜色、光线以及三维隐式场景，生成三维显示表达方式网格模型，通过对异常点判断筛选获得荔枝果实的点云数据；
8、s5，果实表型测量：根据所述点云数据对荔枝的表型参数进行测量。
9、进一步的，所述步骤s1具体包括：
10、s11，利用所述摄像装置对荔枝果实进行360°环绕拍摄，采集荔枝果实的图像或视频；
11、s12，对所述图像或视频进行筛选，按预设间隔帧从视频中抽取图像，确保每张图像之间的重叠度超过40％，并删除模糊抖动的图像，获得二维图像集；
12、s13，使用交互式分割标注工具，标注出二维图像中的荔枝果实轮廓，并保存mask文件；
13、s14，将原始二维图像的rgb三通道扩增为rgba四通道，增加alpha通道，用于控制图像中每个像素的透明度，并根据所述mask文件，将荔枝果实的透明度置1，背景透明度置0。
14、进一步的，所述步骤s2具体包括：
15、s21，特征检测与提取：利用sift算法从标注后的二维图像中找到稀疏特征点，并提取关键点和sift描述符；
16、s22，特征匹配与几何验证：利用sift算法找到不同二维图像关键点之间的对应关系，并根据sift描述符找到匹配的关键点对，基于匹配关键点对估计不同二维图像之间的几何关系；
17、s23，相机姿态估计：利用pnp算法估计新图像的相机姿态，利用bundleadjustment最小化摄像头观测到的二维点与通过摄像头参数和三维点计算出的投影点之间的误差，通过迭代优化来最小化整个场景中所有投影误差的总和，获得精确的三维点和摄像头内外部参数；
18、s24，深度图像生成：使用相机参数对二维图像进行去畸变处理，对处理后的二维图像彼此进行对比，利用stereo matching找到图像间相对应的像素点，计算每个像素点的深度，由匹配代价最小化得到深度，通过双边滤波对深度图进行滤波，去除不一致的深度值和噪声。
19、进一步的，所述步骤s3具体包括：
20、s31，在nerf中引入射线行进技术，采用指数步进、空白跳过和样本压缩，对摄像装置附近位置进行采样；
21、s32，引入tensorf中的张量辐射场，使用vm张量分解对辐射场进行建模；
22、s33，使用频率编码将输入坐标编码到更高的维度空间，使用可微分的体积渲染，对每个像素，沿着由像素为起点的一条射线前进，计算相邻采样点之间的投射，沿着射线方向的连续采样点之间的空气或其他透明介质对光的透射，根据该采样点的密度以及上一个采样点的投射计算该点的权重值，将每个所有采样点的颜色值与权重值计算并累加最终得到该像素点的颜色值；
23、s34，对于二维图像中的每个像素，重复所述步骤s33的操作，获得三维隐式表示模型。
24、进一步的，所述步骤s32中使用vm张量分解对辐射场进行建模的具体过程为：
25、定义gσ∈ri×j×k是一个三维张量，gc∈ri×j×k×p是一个四维张量，其中i、j和k分别表示x轴、y轴和z轴的特征分辨率，p表示外观特征的通道数，通过vm分解，将gσ与gc分解为：
26、
27、
28、式中，gσ为三维几何张量；gc为外观张量；rσ为gσ分解后的张量集；rc为gc分解后的张量集；r为张量集中的成员；vx为x轴向量；my z为yz轴平面矩阵；mx z为xz轴平面矩阵；mx y为xy轴平面矩阵；b为外观；b为外观矩阵；
29、使用三线性插值将模型变换到连续域中，对于计算得到插值为其中为三线性插值，为沿着x轴的线性插值，是yz平面的双线性插值，可得到：
30、
31、
32、辐射场中的密度与颜色表本文档来自技高网...
【技术保护点】
1.一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，所述步骤S1具体包括：
3.根据权利要求1所述的一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，所述步骤S2具体包括：
4.根据权利要求1所述的一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，所述步骤S3具体包括：
5.根据权利要求4所述的一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，所述步骤S32中使用VM张量分解对辐射场进行建模的具体过程为：
6.根据权利要求4所述的一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，所述步骤S33中将每个所有采样点的颜色值与权重值计算并累加最终得到该像素点的颜色值的计算公式为：
7.根据权利要求1所述的一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，所述步骤S4具体包括：
8.根据权利要求1所述的一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，所述步骤S5具体包括：
【技术特征摘要】
1.一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，所述步骤s1具体包括：
3.根据权利要求1所述的一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，所述步骤s2具体包括：
4.根据权利要求1所述的一种基于神经辐射场的荔枝三维表型测量方法，其特征在于，所述步骤s3具体包括：
5.根据权利要求4所述的一种基于神经辐射场的荔枝三维表型测量方法...
【专利技术属性】
技术研发人员：薛月菊，王峡锐，曾世哲，杨彬，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。