通过提供密度图的卷积神经网络估计诸如叶子的植物部分上的对象数量来量化植物上的对象制造技术

通过估计植物(112)的部分(122)上的生物对象(132)的数量来执行量化植物侵染。计算机(202)接收从特定植物(112)拍摄的植物图像(412)。计算机(202)使用第一卷积神经网络(262/272)来导出示出植物的部分的部分图像(422)。计算机(202)将部分图像分割成图块并使用第二网络将图块处理成密度图。计算机(202)以部分图像的尺寸将密度图组合成组合密度图，并将像素值整合到部分的对象的估计数量。可以区分对象类别(132(1)、132(2))以微调量化以识别类别特定的对策。别类别特定的对策。别类别特定的对策。

【技术实现步骤摘要】
【国外来华专利技术】通过提供密度图的卷积神经网络估计诸如叶子的植物部分上的对象数量来量化植物上的对象


[0001]本公开一般涉及计算机图像处理，并且更具体地涉及用于量化植物的部分(或简称为“植物部分”)上的对象的技术。甚至更具体地，本公开涉及通过估计植物叶子上的昆虫或其它生物对象的数量来量化植物侵染的技术。

技术介绍

[0002]众所周知，农业植物(诸如作物)在它们与生物对象共存的环境中生长。这些对象倾向于位于植物处，通常是附着在植物上(至少是暂时的)；并且对象与植物相互作用。
[0003]不同的对象倾向于将它们自身附着到植物的不同部分。例如，一些昆虫可能坐在叶子上，另一些可能会粘在茎或枝条上，等等。
[0004]从农民的角度来看，对象
‑
植物相互作用具有两个方向或方面。在第一方向中，存在对植物具有有害影响的生物对象。例如，动物害虫破坏作物，给粮食供应和财产造成巨大的经济损失。举一个说明性示例，害虫动物可能会吃叶子或吃作物的果实。
[0005]在另一个方向中，也存在有益于植物的动物。例如，当蝴蝶访问植物的花朵或花时，植物可能有直接益处，或者如果瓢虫吃蚜虫(或其它害虫)，则植物可能会有间接益处。
[0006]农民可以控制这些对象的存在：偏爱不存在一些对象(诸如害虫动物)和存在受益对象。
[0007]控制措施通常适应植物上对象的数量。原则上，对象在植物上的位置(叶子、茎、果实或任何地方)以及相互作用的方向都无关紧要。
[0008]例如为了示出这些方面中的一些，许多物种的昆虫生活在植物叶子上。例如，粉虱生活在茄子的叶子上。
[0009]在最广泛的意义上，昆虫与植物相互作用(例如通过消耗叶子的部分)。昆虫可引起植物的疾病或其它异常状况。最终，植物无法在昆虫的存在下存活。但是在农业中，植物应该成为食物(即人类或动物的作物)，并且根本不希望叶子上存在昆虫。粮食安全至关重要。
[0010]这种现象的常用术语是“侵染”和“害虫”。农民应用对策(例如，通过施加杀虫剂的处理)以便移除昆虫。
[0011]然而，应用对策可能导致进一步的问题或挑战。对策必须针对特定昆虫，例如移除粉虱但保留蜜蜂和其它昆虫。对策还应考虑昆虫的数量。
[0012]因此，诸如通过对昆虫(在植物叶子上)计数来量化侵染是害虫管理的重要任务。
[0013]理论上，农民可以目视检查植物并且可以对昆虫(考虑昆虫发育阶段)计数。由于不同的人具有不同的知识(关于昆虫)并且具有不同的眼睛，不同的人会得出不同的数字。
[0014]使用计算机视觉技术似乎是一种改进。一种众所周知的(经典或传统)方法是提取图像特征并进行后续分类。然而，会出现许多限制。限制具有很多方面，诸如计算机和相机的限制、田间的非理想条件以及与昆虫本身有关的限制。
[0015]US 2018/0121764 A1解释了一种对昆虫进行选择性灭菌的方法。昆虫被饲养、放置在表面、拍照并由机器人选择性地操纵。计算机处理图像并识别特定检查的位置数据，并且从而区分雄性昆虫和雌性昆虫。采用位置数据，机器人就可以关于昆虫执行动作，诸如移除特定的昆虫。
[0016]Xiaoping Wu、Chi Zhan、Yukun Lai、Ming
‑
Ming Cheng和Jufeng Yang：IP102：IP102:A Large
‑
Scale Benchmark Dataset for Insect Pest Recognition,IEEE CVPR,第8787
‑
8796页,2019年6月15日。在该文章中，Wu等人解释了用于虫害识别的大型数据库。

技术实现思路

[0017]限制通过用于量化植物部分上的生物对象的计算机系统、计算机实现方法和计算机程序产品来解决(在示例中：量化植物侵染，估计植物叶子上的昆虫数量)。
[0018]计算机程序产品——当被加载到计算机的存储器中并且被计算机的至少一个处理器执行时——执行计算机实现方法的步骤。
[0019]在生产阶段中，计算机应用先前已经在训练阶段中训练的卷积神经网络。首先总结生产阶段：
[0020]计算机接收从特定植物拍摄的植物图像。植物图像示出特定植物的叶子中的至少一个叶子，即所谓的主叶(或主要部分)。
[0021]计算机使用第一卷积神经网络来处理植物图像以导出叶子图像，该叶子图像是完整(即作为整体)示出特定植物的主要部分的连续的一组像素。第一卷积神经网络已经由多个叶子注释的植物图像训练，其中植物图像已经被注释以识别主要部分。
[0022]计算机将叶子图像分割成多个图块。图块是具有预定义图块尺寸的植物图像的片段或部分。
[0023]计算机使用第二卷积神经网络来分离地处理多个图块以获得具有与图块尺寸对应的图尺寸的多个密度图。该网络已通过处理对象注释的植物图像进行了训练，并且该训练包括基于核函数针对每个像素的卷积计算，从而生成密度图。对于示出生物对象的图块和不示出生物对象的图块，密度图具有不同的积分值。
[0024]计算机以叶子图像尺寸将多个密度图组合成组合密度图，并将组合密度图的像素值整合到植物部分的生物对象的估计数量。
[0025]第一卷积神经网络——即识别主叶的网络——可以是DenseNet类型。第二卷积神经网络——即估计部分上的生物对象的数量的网络——可以是卷积神经网络(FCRN)类型。
[0026]第二卷积神经网络(FCRN类型)可以是使用全局和池化而不是全局平均池化的修改网络。
[0027]还可以通过使用dropout来修改卷积神经网络。
[0028]第二卷积神经网络还可以通过将输入层实现为用于单个像素或用于多个像素(pixel pluralities)的像素值过滤器(所谓的图块片段)来修改。
[0029]对于多个像素，网络使用层来对多个像素进行卷积，以将卷积的片段编码为片段值，使得进一步的层对片段值应用过滤。第二卷积神经网络也可以采用一个层来实现，以随后将片段值解码为卷积片段。该方法让编码器和解码器之间的网络层采用片段的数值而不是像素的数值进行操作。由于片段数小于像素数，因此该方法使用较少的计算资源(与像素
处理相比)。
[0030]第二卷积神经网络可以通过处理不同类别的对象注释植物图像来训练。类别由对象物种(例如，昆虫物种)和由对象的生长阶段来识别。通过分支和输出通道针对类别来分离处理。
[0031]该方法可能是有利的——在生物对象是害虫的场景下，因为它以允许微调针对特定害虫类别的对策的粒度来量化(通过害虫的)植物侵染。
[0032]在生产阶段中，可以通过从移动设备的相机接收植物图像来执行植物图像的接收。这可能是有利的，因为移动设备对农民来说很容易获得，并且因为移动设备允许将植物图像立即传送到量化植物侵染的计算机。
[0033]接收植物图像可以包括根据预定义规则评估类别(例如，害虫类别)和移动设备的相机的像本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于通过估计植物(112)的部分(122)上的生物对象(132)的数量(N
EST
)来量化植物的部分上的所述对象(132)的计算机实现方法(602B/702B)，所述方法(602B/702B)包括：接收从特定植物(112)拍摄的植物图像(412)，所述植物图像(412)示出所述特定植物(112)的所述部分(122)中的至少一个；使用第一卷积神经网络(262)处理所述植物图像(412)以导出作为完整示出所述特定植物(112)的部分(422
‑
1)的连续的一组像素的部分图像(422)，所述第一卷积神经网络(262)已经由多个部分注释的植物图像(461)训练，其中，所述植物图像(411)被注释以识别部分(421
‑
1)；将所述叶子图像(422)分割成多个图块(402
‑
k)，所述图块是具有预定义图块尺寸的所述植物图像(412)的片段；使用第二卷积神经网络(272)分别处理所述多个图块(402)以获得具有与所述图块尺寸对应的图尺寸的多个密度图(502
‑
k)，所述第二卷积神经网络(272)已经通过处理对象注释的植物图像(471)进行训练，所述处理包括基于核函数针对每个像素的卷积计算从而生成密度图(502)，所述密度图(502)对于示出生物对象的图块和不示出生物对象的图块具有不同的积分值；以及以所述叶子图像(422)的尺寸将所述多个密度图(502)组合成组合密度图(555)，并将所述组合密度图(555)的所述像素值整合到所述主叶的生物对象的估计数量(N
EST
)。2.根据权利要求1所述的方法(602B/702B)，其中，所述植物的所述部分(122)选自以下项：所述植物的茎、所述植物的枝条、所述植物的叶子、所述植物的花、所述植物的果实、所述植物的芽、所述植物的种子，以及所述植物的节和节间。3.根据权利要求2所述的方法(602B/702B)，其中，所述生物对象(132)的物理大小与所述部分(122)的物理大小的关系使得所述生物对象在所述部分图像(422)上的表示使得所述表示小于所述图块尺寸。4.根据前述权利要求中任一项所述的方法(602B/702B)，其中，所述部分(122)上的所述生物...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：巴斯夫欧洲公司，
类型：发明
国别省市：