植物多视角图像的处理方法及系统技术方案

本发明专利技术公开了一种植物多视角图像的处理方法及系统，方法包括采集目标植物的多视角图像；确定相机位置矩阵并构建多视角图像的点位矩阵；进行局部稀疏点云重建，得到稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；计算所述重建点云序列到实际还原点云的旋转

【技术实现步骤摘要】
植物多视角图像的处理方法及系统


[0001]本专利技术涉及数据处理
，尤其涉及植物多视角图像的处理方法及系统
。

技术介绍

[0002]植物表型数据的精准
、
快速获取，是构建植物表型大数据的主要数据来源，为作物数字育种
、
数字栽培和农业生产智能化管理研究与应用提供基础数据支撑服务
。
当前，植物表型的监测和分析手段逐渐向综合化
、
规模化
、
多尺度和高通量的方向发展
。
基于多视角重建方法是一种高精度表型获取方案，基于植物多视角图像，能重建得到植物三维点云，重建得到的三维点云数据不但包含植物三维株型表型信息，还包括植物分支器官颜色纹理信息，近年来，该项技术被广泛应用研究
。
在该领域涉及的关键技术包括：高通量
/
便携式采集平台的设计
、
光源环境及数据标定技术
、
数据采集
、
处理接解析方法
。
[0003]现有技术中构建了多视角图像采集装置，但缺少对采集环境的控制，单一技术单一保证采集图像数据的一致性；有的现有技术设计了补光装置，但是难以低成本达到多视角立体补光；现有技术的缺陷是在进行多视角图像重建被测物体三维点云的一般技术方案，通常耗时，以
SFM+MVS
重建技术为例，需要进行全局图像配准
、
特征提取等计算
。
[0004]基于此，有必有提供一种植物多视角图像的处理方法及系统，用于克服当前植物多视角图像采集受到外界光源
、
风力等其它干扰问题，并提供光源标定
、
植物三维点云重建方法改进的解决方案，提高数据采集质量
、
数据处理效率
。

技术实现思路

[0005]为了解决上述提出的至少一个技术问题，本专利技术提供一种植物多视角图像的处理方法，包括如下步骤：采集目标植物的多视角图像；基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵；基于
SfM
算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；通过所述相机位置矩阵和所述相机重建点位的位置矩阵，计算得到所述重建点云序列到实际还原点云的旋转
、
平移
、
缩放矩阵，进而计算得到矫正后的被测物体稀疏点云；基于多视角立体视觉
MVS
算法，结合被测物体稀疏点云，计算得到稠密点云序列，进而合并为稠密点云体，并通过所述旋转
、
平移
、
缩放矩阵，计算得到矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像；以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云
。
[0006]在一种可能实现的方式中，所述采集目标植物的多视角图像，包括：通过设定固定间隔时间，驱动所有相机同步采集图像，同时启动转台，以固定速度和设定角度旋转；其中，所述相机采集的图像存储到指定文件夹内，进行存储管理，完成一个目标植物的多视角图像采集和存储管理
。
[0007]在一种可能实现的方式中，在所述基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵之前，还包括：确定所述相机的相机阵列，
C
为相机，通过棋盘格标定每个相机的内参和外参参数，记为：，其中，
k
为相机对应的内参，
r、t
为相机对应的外参
。
[0008]在一种可能实现的方式中，所述基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵，包括：通过以设备旋转单元中的支撑中点为坐标系原点
O
，以垂直方向为
Z
轴，以其中一个转臂为
X
轴，其垂直转臂为
Y
轴，构建坐标系；在该坐标系下，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，其中，
m
为相机点位层数，
n
为相机采集一圈多视角图像的数目，
p
为相机位置和方向向量，记为，其中代表位置（
x,y,z
）
,
代表方向向量；对于被测植物，获得一组多视角图像阵列，按照相机点位，构建多视角图像的点位矩阵，其中，
m
为相机点位层数，
n
为相机采集一圈多视角图像的数目，
t
为图像，形成围绕被测植物，以转轴半径为
r1
的多层包围图像阵列
。
[0009]在一种可能实现的方式中，所述基于
SfM
算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵，包括：从所述多层包围图像阵列中，选取上下
、
前后相邻的4幅图像进行基于
SfM
（
Structure from motion
）算法进行局部稀疏点云重建，其中列和列首尾链接，得到重建点云序列，合并为稀疏点云体；并在重建的稀疏点云坐标系
下，计算得到相机重建点位的位置矩阵，其中为位置信息
。
[0010]在一种可能实现的方式中，在所述采集目标植物的多视角图像之前，还包括：进行光源标定，标定当前条带补光灯在空间结构上的亮度，使得目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内
。
[0011]在一种可能实现的方式中，所述进行光源标定，标定当前条带补光灯在空间结构上的亮度，使得目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内，包括：调整相机拍摄角度，垂直于正三角锥型标定体的侧片，分别在三个侧面上采集若干张图像；其中，所述正三角锥型标定体被配置于多视角图像采集系统的采集装置的中央，所述正三角锥型标定体的三个侧面绘制系列黑色圆点，黑色圆点排列从上向下四排排布；通过灰度图二值化算法，定位并检测到四个黑色园图像区域，并计算得到每个黑色园对应的平均灰度值，进而得到三个侧面，每个侧面对应的点位的灰度值；设定光源立体均匀度度量函数
f=max{p1,p2,p3,p4}
，其中，
p1
为三个侧面第一层园点灰度值的标准差，
p2
为三个侧面第二层园点灰度值的标准差，
...

【技术保护点】

【技术特征摘要】
1.
一种植物多视角图像的处理方法，其特征在于，包括如下步骤：采集目标植物的多视角图像；基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵；基于
SfM
算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵；通过所述相机位置矩阵和所述相机重建点位的位置矩阵，计算得到所述重建点云序列到实际还原点云的旋转
、
平移
、
缩放矩阵，进而计算得到矫正后的被测物体稀疏点云；基于多视角立体视觉
MVS
算法，结合被测物体稀疏点云，计算得到稠密点云序列，进而合并为稠密点云体，并通过所述旋转
、
平移
、
缩放矩阵，计算得到矫正后的被测物体稠密点云，即为通过设备采集多视角图像重建得到的被测场景图像；以所述相机位置矩阵为包围体，对所述被测物体稠密点云进行切割，去除所述包围体以外的点云，剩余点云即为被测植物点云
。2.
根据权利要求1所述的植物多视角图像的处理方法，其特征在于，所述采集目标植物的多视角图像，包括：通过设定固定间隔时间，驱动所有相机同步采集图像，同时启动转台，以固定速度和设定角度旋转；其中，所述相机采集的图像存储到指定文件夹内，进行存储管理，完成一个目标植物的多视角图像采集和存储管理
。3.
根据权利要求2所述的植物多视角图像的处理方法，其特征在于，在所述基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵之前，还包括：确定所述相机的相机阵列，
C
为相机，通过棋盘格标定每个相机的内参和外参参数，记为：，其中，
k
为相机对应的内参，
r、t
为相机对应的外参
。4.
根据权利要求1所述的植物多视角图像的处理方法，其特征在于，所述基于预先构建的坐标系，并根据所述多视角图像，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，以及确定多视角图像阵列，并按照相机点位，构建多视角图像的点位矩阵，包括：通过以设备旋转单元中的支撑中点为坐标系原点
O
，以垂直方向为
Z
轴，以其中一个转臂为
X
轴，其垂直转臂为
Y
轴，构建坐标系；在该坐标系下，确定每个相机的位置坐标和方向向量，形成相机位置矩阵，其中，
m
为相机点位层数，
n
为相机采集一圈多视角图像的数目，
p
为相机位置和方向向量，记为，其中代表位置（
x,y,z
）
,
代表方向向量；对于被测植物，获得一组多视角图像阵列，按照相机点位，构建多视角图像的点位矩阵，其中，
m
为相机点位层数，
n
为相机采集一圈多视角图像的数目，
t
为图像，形成围绕被测植物，以转轴半径为
r1
的多层包围图像阵列
。5.
根据权利要求4所述的植物多视角图像的处理方法，其特征在于，所述基于
SfM
算法进行局部稀疏点云重建，根据所述相机位置矩阵和所述点位矩阵，得到重建点云序列，并合并为稀疏点云体，进而在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵，包括：从所述多层包围图像阵列中，选取上下
、
前后相邻的4幅图像进行基于
SfM
（
Structure from motion
）算法进行局部稀疏点云重建，其中列和列首尾链接，得到重建点云序列，合并为稀疏点云体；并在重建的稀疏点云坐标系下，计算得到相机重建点位的位置矩阵，其中为位置信息
。6.
根据权利要求1所述的植物多视角图像的处理方法，其特征在于，在所述采集目标植物的多视角图像之前，还包括：进行光源标定，标定当前条带补光灯在空间结构上的亮度，使得目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内
。7.
根据权利要求6所述的植物多视角图像的处理方法，其特征在于，所述进行光源标定，标定当前条带补光灯在空间结构上的亮度，使得目标植物所在的立体空间范围内的光源立体均匀度处于阈值范围内，包括：调整相机拍摄角度，垂直...

【专利技术属性】
技术研发人员：吴升，郭新宇，杨继国，段丹丹，
申请(专利权)人：岭南现代农业科学与技术广东省实验室河源分中心，
类型：发明
国别省市：