一种基于多视角多尺度图片测量苗木尺寸的方法及系统技术方案

本发明专利技术涉及苗木技术领域，具体公开了一种基于多视角多尺度图片测量苗木尺寸的方法，通过带有苗木的多视角多尺度图片集的苗木图片训练集获得了苗木的苗木品种信息、各苗木全局图片的图像分割信息，并通过图像分割信息及标定板的模板图像信息获得了每张苗木全局图片中标定板的像素尺寸信息，然后根据待测苗木的多张苗木全局图片的图像分割信息、像素尺寸信息及标定板的真实尺寸信息确定了待测苗木的尺寸信息，实现了对待测苗木的苗木品种及尺寸信息的自动识别和测量，降低了苗圃供应商和采购商的人工成本，并确保了苗木品种及尺寸信息的真实性。

【技术实现步骤摘要】
一种基于多视角多尺度图片测量苗木尺寸的方法及系统
本专利技术涉及苗木
，尤其涉及一种基于多视角多尺度图片测量苗木尺寸的方法及系统。
技术介绍
传统的线下苗木盘点和采购，存在工具测量复杂、人工估算误差大、差旅成本高等问题，而随着互联网、物联网、区块链的快速发展，对苗木栽植、盘点、销售和追溯的智能化、信息化需求不断攀升。虽然目前已有一些线上苗木销售平台，但是苗木数据记录，特别是尺寸信息仍然采用手工测量的方式，不能对苗木品种及高度、冠幅和胸径等苗木关键尺寸信息进行自动化的识别和测量，使得苗圃供应商和采购商的人工成本较高且真实性难以保证。
技术实现思路
本专利技术实施例提供一种基于多视角多尺度图片测量苗木尺寸的方法及系统，用以解决现有技术中不能对苗木品种及苗木关键尺寸信息进行自动化的识别和测量，使得苗圃供应商和采购商的人工成本较高且真实性难以保证的问题。本专利技术第一个方面，提供一种基于多视角多尺度图片测量苗木尺寸的方法，包括：将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集，并获取用于采集所述多视角多尺度图片集时作为参照物的标定板的物理特征信息；所述多尺度的尺度类型包括：苗木全局、叶花局部及苗木分支，所述多视角多尺度图片集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局部图片及若干苗木分支图片；所述物理特征信息包括模板图像信息及真实尺寸信息；采用分类网络模型对所述苗木图片训练集进行分类训练，以确定所述苗木的苗木品种信息；对所述苗木图片训练集中的所述苗木全局图片进行分割处理，以获得所述苗木全局图片的图像分割信息；通过所述图像分割信息及所述模板图像信息对每张所述苗木全局图片中的标定板进行定位，以获得所述标定板的像素尺寸信息；根据所述苗木品种信息确定待测量的待测苗木，及所述待测苗木的多张所述苗木全局图片；并根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。本专利技术的有益效果为：通过带有苗木的多视角多尺度图片集的苗木图片训练集获得了苗木的苗木品种信息、各苗木全局图片的图像分割信息，并通过图像分割信息及标定板的模板图像信息获得了每张苗木全局图片中标定板的像素尺寸信息，然后根据待测苗木的多张苗木全局图片的图像分割信息、像素尺寸信息及真实尺寸信息确定了待测苗木的尺寸信息，实现了对待测苗木的苗木品种及尺寸信息的自动识别和测量，降低了苗圃供应商和采购商的人工成本，并确保了苗木品种及尺寸信息的真实性。在上述技术方案的基础上，本专利技术还可以做如下改进：可选的，所述分类网络模型包括第一分类神经网络结构ResNet18；所述采用分类网络模型对所述苗木图片训练集进行分类训练，以确定所述苗木的苗木品种信息，包括：将所述苗木图片训练集中的图片均分为多个苗木图片子集，且每个所述苗木图片子集中各个尺度类型图片的数量相同，各个所述尺度类型图片包括所述苗木全局图片、叶花局部图片及苗木分支图片；将多个所述苗木图片子集中的一个苗木图片子集作为验证集其他所述苗木图片子集作为训练集；采用第一分类神经网络结构ResNet18对所述苗木图片训练集进行一次分类训练，根据所述一次分类训练统计结果，将所述验证集内各个所述尺度类型图片的平均分类精度作为各个所述尺度类型图片的置信度加权值，各个所述尺度类型图片的置信度加权值分别用αh,αp,αb表示，所述置信度加权值中的h、p、b代表的尺度类型图片分别为所述苗木全局图片、叶花局部图片及苗木分支图片；采用所述第一分类神经网络结构ResNet18对所述苗木图片训练集进行二次分类训练，以获得苗木品种分类网络；将每棵所述苗木的所述苗木全局图片、所述叶花局部图片及所述苗木分支图片，分别输入所述苗木品种分类网络，以获得三个特征向量所述特征向量的维度为n，所述n为所述苗木的品种个数；根据所述置信度加权值αh,αp,αb将各个所述尺度类型图片进行加权融合，获得加权融合得分采用归一化指数函数softmax对所述加权融合得分进行归一化处理，以获得每棵所述苗木的所述苗木品种信息及所述苗木品种信息对应的归一化得分。本专利技术采用上述可选方案的有益效果为：通过对苗木图片训练集进行分类训练处理后，获得了苗木品种信息及苗木品种信息对应的归一化得分，实现了对苗木品种的自动识别，以便于后续对苗木尺寸的测量。可选的，所述分类网络模型还包括第二分类神经网络结构ResNet18；所述对所述苗木图片训练集中的所述苗木全局图片进行分割处理，以获得所述苗木全局图片的图像分割信息，包括：采用开源图像标注工具Labelme对所述苗木全局图片进行标记，标记内容包括：苗木的轮廓、标定板的四个顶点的位置坐标；基于实例分割网络框架mask-rcnn的架构，采用作为主干网络的第二分类神经网络结构ResNet18训练标记后的所述苗木全局图片，以获得标定板-苗木实例分割网络；将所述苗木的多张所述苗木全局图片输入所述标定板-苗木实例分割网络，获得每张所述苗木全局图片的所述图像分割信息，所述图像分割信息包括：苗木边界框、苗木分割掩码、苗木分割得分、标定板边界框、标定板分割掩码及标定板分割得分。本专利技术采用上述可选方案的有益效果为：获得了每张苗木全局图片的图像分割信息，为测量苗木尺寸提供了图像数据支撑。可选的，所述通过所述图像分割信息及所述模板图像信息，对每张所述苗木全局图片中的标定板进行定位，以获得所述标定板的像素尺寸信息，包括：步骤a，确定所述标定板的候选区域，包括：将所述苗木全局图片转化为灰度图；判断所述标定板分割得分是否大于预设得分值，若是，则将所述标定板边界框的横纵坐标分别进行扩充处理，剪裁扩充区域的灰度图作为所述候选区域；若否，则将所述苗木分割掩码叠加到转化为灰度图的所述苗木全局图片上，剪裁不存在所述标定板区域的灰度图作为所述候选区域；步骤b，对所述标定板进行图像匹配，包括：通过在所述候选区域和所述模板图像上分别提取尺度不变特征变换SIFT特征，基于快速最近邻匹配搜索方法对所述标定板进行图像匹配处理，获得所述候选区域内所述标定板四个顶点的像素坐标值，根据所述像素坐标值获取所述候选区域内所述标定板的上宽度值、下宽度值、左高度值及右高度值，则所述像素尺寸信息包括：像素高度平均值像素宽度平均值所述m代表所述标定板。本专利技术采用上述可选方案的有益效果为：通过对每张苗木全局图片中的标定板进行定位处理后，获得了标定板的像素高度平均值和像素宽度平均值为测量苗木的尺寸信息提供了标定板的参照数据。可选的，所述尺寸信息包括物理高度值h及物理冠幅值w；所述根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息，包括：根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息，确定每张所述苗木全局图片中所述待测苗木的所述物理高度值hi及所述物理冠幅值wi；通过对多张所述苗木全局图片中获得的所述物理高度值hi、本文档来自技高网...

【技术保护点】
1.一种基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，包括：/n将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集，并获取用于采集所述多视角多尺度图片集时作为参照物的标定板的物理特征信息；所述多尺度的尺度类型包括：苗木全局、叶花局部及苗木分支，所述多视角多尺度图片集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局部图片及若干苗木分支图片；所述物理特征信息包括模板图像信息及真实尺寸信息；/n采用分类网络模型对所述苗木图片训练集进行分类训练，以确定所述苗木的苗木品种信息；/n对所述苗木图片训练集中的所述苗木全局图片进行分割处理，以获得所述苗木全局图片的图像分割信息；/n通过所述图像分割信息及所述模板图像信息，对每张所述苗木全局图片中的标定板进行定位，以获得所述标定板的像素尺寸信息；/n根据所述苗木品种信息确定待测量的待测苗木，及所述待测苗木的多张所述苗木全局图片；并根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。/n

【技术特征摘要】
1.一种基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，包括：
将采集的多棵苗木的多视角多尺度图片集创建苗木图片训练集，并获取用于采集所述多视角多尺度图片集时作为参照物的标定板的物理特征信息；所述多尺度的尺度类型包括：苗木全局、叶花局部及苗木分支，所述多视角多尺度图片集包括多张不同视角摄取的带标定板的苗木全局图片、若干叶花局部图片及若干苗木分支图片；所述物理特征信息包括模板图像信息及真实尺寸信息；
采用分类网络模型对所述苗木图片训练集进行分类训练，以确定所述苗木的苗木品种信息；
对所述苗木图片训练集中的所述苗木全局图片进行分割处理，以获得所述苗木全局图片的图像分割信息；
通过所述图像分割信息及所述模板图像信息，对每张所述苗木全局图片中的标定板进行定位，以获得所述标定板的像素尺寸信息；
根据所述苗木品种信息确定待测量的待测苗木，及所述待测苗木的多张所述苗木全局图片；并根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息。


2.如权利要求1所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述分类网络模型包括第一分类神经网络结构ResNet18；
所述采用分类网络模型对所述苗木图片训练集进行分类训练，以确定所述苗木的苗木品种信息，包括：
将所述苗木图片训练集中的图片均分为多个苗木图片子集，且每个所述苗木图片子集中各个尺度类型图片的数量相同，各个所述尺度类型图片包括所述苗木全局图片、叶花局部图片及苗木分支图片；
将多个所述苗木图片子集中的一个苗木图片子集作为验证集其他所述苗木图片子集作为训练集；
采用第一分类神经网络结构ResNet18对所述苗木图片训练集进行一次分类训练，根据所述一次分类训练统计结果，将所述验证集内各个所述尺度类型图片的平均分类精度作为各个所述尺度类型图片的置信度加权值，各个所述尺度类型图片的置信度加权值分别用αh,αp,αb表示，所述置信度加权值中的h、p、b代表的尺度类型图片分别为所述苗木全局图片、叶花局部图片及苗木分支图片；
采用所述第一分类神经网络结构ResNet18对所述苗木图片训练集进行二次分类训练，以获得苗木品种分类网络；
将每棵所述苗木的所述苗木全局图片、所述叶花局部图片及所述苗木分支图片，分别输入所述苗木品种分类网络，以获得三个特征向量所述特征向量的维度为n，所述n为所述苗木的品种个数；
根据所述置信度加权值αh,αp,αb将各个所述尺度类型图片进行加权融合，获得加权融合得分
采用归一化指数函数softmax对所述加权融合得分进行归一化处理，以获得每棵所述苗木的所述苗木品种信息及所述苗木品种信息对应的归一化得分。


3.如权利要求1所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述分类网络模型还包括第二分类神经网络结构ResNet18；
所述对所述苗木图片训练集中的所述苗木全局图片进行分割处理，以获得所述苗木全局图片的图像分割信息，包括：
采用开源图像标注工具Labelme对所述苗木全局图片进行标记，标记内容包括：苗木的轮廓、标定板的四个顶点的位置坐标；
基于实例分割网络框架mask-rcnn的架构，采用作为主干网络的第二分类神经网络结构ResNet18训练标记后的所述苗木全局图片，以获得标定板-苗木实例分割网络；
将所述苗木的多张所述苗木全局图片输入所述标定板-苗木实例分割网络，获得每张所述苗木全局图片的所述图像分割信息，所述图像分割信息包括：苗木边界框、苗木分割掩码、苗木分割得分、标定板边界框、标定板分割掩码及标定板分割得分。


4.如权利要求3所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述通过所述图像分割信息及所述模板图像信息，对每张所述苗木全局图片中的标定板进行定位，以获得所述标定板的像素尺寸信息，包括：
步骤a，确定所述标定板的候选区域，包括：
将所述苗木全局图片转化为灰度图；
判断所述标定板分割得分是否大于预设得分值，若是，则将所述标定板边界框的横纵坐标分别进行扩充处理，剪裁扩充区域的灰度图作为所述候选区域；若否，则将所述苗木分割掩码叠加到转化为灰度图的所述苗木全局图片上，剪裁不存在所述标定板区域的灰度图作为所述候选区域；
步骤b，对所述标定板进行图像匹配，包括：
通过在所述候选区域和所述模板图像上分别提取尺度不变特征变换SIFT特征，基于快速最近邻匹配搜索方法对所述标定板进行图像匹配处理，获得所述候选区域内所述标定板四个顶点的像素坐标值，根据所述像素坐标值获取所述候选区域内所述标定板的上宽度值、下宽度值、左高度值及右高度值，则所述像素尺寸信息包括：像素高度平均值像素宽度平均值所述m代表所述标定板。


5.如权利要求4所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述尺寸信息包括物理高度值h及物理冠幅值w；
所述根据多张所述苗木全局图片的所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息确定所述待测苗木的尺寸信息，包括：
根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信息，确定每张所述苗木全局图片中所述待测苗木的所述物理高度值hi及所述物理冠幅值wi；
通过对从多张所述苗木全局图片中获得的所述物理高度值hi、所述物理冠幅值wi分别取平均值，以获得所述待测苗木的所述物理高度值h及所述物理冠幅值w，所述物理高度值所述物理冠幅值所述N表示所述苗木全局图片的个数。


6.如权利要求5所述的基于多视角多尺度图片测量苗木尺寸的方法，其特征在于，
所述真实尺寸信息包括真实高度及真实宽度
所述根据所述图像分割信息、所述像素尺寸信息及所述真实尺寸信...

【专利技术属性】
技术研发人员：刘冠，刘华，沈坚，曹恩珲，李寅霖，
申请(专利权)人：四川蓝光优居科技有限公司，
类型：发明
国别省市：四川;51