具有卷积神经网络实现的显微镜和方法技术

一种用于处理显微镜图像以产生图像处理结果的方法，包括：执行卷积神经网络，其中第一卷积层(100)从由显微镜图像形成的输入张量(10)计算输出张量(20)。输出张量(20)被输入到卷积神经网络的一个或多个进一步的层中，以便计算图像处理结果。第一卷积层(100)包括多个过滤卷积核(15A

【技术实现步骤摘要】
【国外来华专利技术】具有卷积神经网络实现的显微镜和方法


[0001]本公开涉及一种实现卷积神经网络的方法。本专利技术还涉及一种被配置为实现该方法的机器可读存储介质和显微镜。

技术介绍

[0002]卷积神经网络(CNN)用于各种不同的应用。示例包括图像处理、图像分割或分类、或图像中对象的检测。神经网络可以是机器学习算法的一部分，特别是深度学习算法。例如，在US2019/0333199A1中描述了具有经过训练的用于图像处理的深度神经网络的显微镜。
[0003]神经网络的输入数据可以是图像或从用显微镜捕获的待分析样本的图像中获得。这种通用显微镜包括：用于照亮待分析样本的光源；用于引导来自样本的检测光的物镜；用于通过来自物镜的检测光捕获显微镜图像的相机；以及计算设备，配置为处理显微镜图像并输出图像处理结果。
[0004]一种通用方法包括运行卷积神经网络，其中通过第一过滤层或卷积层从输入张量计算输出张量。第一卷积层包括一个或多个过滤卷积核。
[0005]在本公开的意义上，输入张量被理解为是多维数据阵列，其应用用于生成输出张量的计算。在三维输入张量的情况下，这可以对应于，例如，输入数据的N个二维矩阵。输入张量也可以称为激活图或特征图。它可以是前一个卷积层生成的输出张量，也可以是从这样的输出张量导出的，或者由原始数据形成。输入张量的维数原则上可以是任意数或大于/等于三的数。输入张量可以由包含在一个或多个列表中或由其形成的预定输入数据形成。输入张量的深度也可以限定为通道数。例如，输入张量可以是通道对应不同颜色的图像；具体的，RGB颜色可以有三个通道。在CNN的后续层中，输入张量的深度通常要高得多，例如大于100或1000。
[0006]前面对输入张量的描述也比照适用于输出张量，输出张量通常被称为特征图。
[0007]过滤卷积核或过滤卷积核也可以称为过滤器、卷积核、滤芯，或，在3D过滤卷积核的情况下，深度为N的卷积矩阵/过滤矩阵(即，具有N个二维过滤矩阵)。术语卷积矩阵/过滤矩阵旨在说明数学卷积将与输入张量一起发生，特别是离散卷积。可以计算过滤卷积核与输入张量的当前底层部分的内积，以便计算输出张量的一个值。卷积计算方法本身可以采用不同的形式，例如，可以先将输入张量的矩阵转换为向量，然后将其与由过滤卷积核形成的矩阵或由其形成的向量一起应用于计算。
[0008]为了说明的目的，参考图1描述了实现现有技术的卷积神经网络的卷积层100'。
[0009]图1示意性示出了输入张量10'，其与M个过滤卷积核12A
‑
12M卷积，由此计算输出张量20'。输入张量10'的尺寸为X
×
Y
×
N，即数量为Y行，X列，深度方向为N，即N个不同的二维X
×
Y层。
[0010]M个过滤卷积核12A
‑
12M中的每一个都具有K
×
K
×
N的尺寸，即N层的二维K
×
K矩阵。经常使用3
×
3矩阵或5
×
5矩阵，其中N可以远大于K，例如大于100或1000。
[0011]输入张量10'与M个过滤卷积核12A
‑
12M的卷积生成输出张量20'，在所示示例中其尺寸为X*Y*M。输出张量20'的深度相应地由过滤卷积核M的数量确定。卷积计算以已知方式发生，例如如DE102017113733A1的图8
‑
9中所示并简要描述如下：输出张量的每个X
×
Y
×
1层通过图1的过滤卷积核12A
‑
12M中任一计算。该过滤卷积核(或其反射)的每个K
×
K
×
1过滤层乘以输入张量的相应层的一部分。这发生在所有N层上，并且各自的子结果相加在一起形成一个标量。输入张量的使用部分在其位置方面对应于输出张量中计算值的位置。通过在输入张量10'上滑动过滤卷积核，计算输出张量20'的一个X
×
Y
×
1层的不同值。M个过滤卷积核的下一个过滤卷积核与输入张量10'的卷积产生输出张量20'的下一个X
×
Y
×
1层。
[0012]这里过滤卷积核12A
‑
12M的值/条目总数为K*K*N*M。这个值的数量构成了使用训练数据通过机器学习算法确定的参数。然后可以将已设置过滤卷积核值的部分学习机器学习算法应用于输入张量，以处理或评估此数据。要学习的参数K*K*N*M的数量可以非常多，例如大于100,000。待确定的大量参数增加了计算和硬件要求。即使使用专用硬件进行这些计算，所需的时间消耗仍然是一个相关因素。因此，希望提供一种尽可能高效的过滤卷积核设计，其中过滤卷积核充分利用输入张量中包含的信息，并通过机器学习算法对训练数据过度拟合来降低风险。该设计应进一步促进尽可能快的计算，并对输入张量的数据变化具有鲁棒性。
[0013]例如，在现有技术的以下文献中描述了CNN：
[0014][1].克里热夫斯基，亚历克斯；萨茨克维尔，伊利亚；欣顿,杰弗里
·
E。基于深度卷积神经网络的Imagenet分类。在：神经信息处理系统的进展.2012.第1097
‑
1105页。
[0015][2].肖莱特，弗朗索瓦。Xception：深度可分离卷积的深度学习。在：IEEE计算机视觉和模式识别会议论文集.2017.第1251
‑
1258页。
[0016][3].安多拉，福雷斯特N.，等人。SqueezeNet：AlexNet级别的精度，参数减少50倍，模型大小<0.5MB。arXiv预印本arXiv：1602.07360，2016。
[0017][4].霍华德，安德鲁G.，等人。Mobilenets：用于移动视觉应用的高效卷积神经网络。arXiv预印本arXiv：1704.04861，2017。
[0018][5].谭明兴(TAN,Mingxing)；LE，QuocV。EfficientNet：对卷积神经网络模型缩放的再思考。arXiv预印本arXiv：1905.11946，2019。
[0019][6].拉斯特加里，穆罕默德等人。Xnor
‑
net：使用二元卷积神经网络的Imagenet分类。在：欧洲计算机视觉会议。施普林格，卡姆，2016年。第525
‑
542页。
[0020][7].约菲，谢尔盖；塞格迪，克里斯蒂安。批量标准化：通过减少内部协变量偏移来加速深度网络训练。arXiv预印本arXiv：1502.03167，2015。
[0021][8].佐夫，巴雷特等人。学习用于可扩展图像识别的可迁移架构。在：IEEE计算机视觉和模式识别会议论文集。2018。第8697
‑
8710页。
[0022][9].谭明兴(TAN,Ming本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种处理显微镜图像以产生图像处理结果的方法，包括：执行卷积神经网络，其中第一卷积层(100)从由显微镜图像形成的输入张量(10)计算输出张量(20)，输出张量(20)被输入到卷积神经网络的一个或多个进一步层中，以计算图像处理结果，其中第一卷积层(100)包括多个过滤卷积核(15A
‑
15M)，其特征在于至少多个过滤卷积核(15A
‑
15M)的分别可表示为：
‑
至少一个具有学习参数(L1
‑
L9、L11
‑
L19)的过滤矩阵(15A1
‑
15M1)和
‑
具有隐式参数的从属过滤矩阵(15A2
‑
15AN,15M2
‑
15MN)，所述隐式参数由学习参数(L1
‑
L9,L11
‑
L19)和要学习的一个或多个权重(W)确定，其中不同过滤卷积核(15A
‑
15M)的具有学习参数(L1
‑
L9，L11
‑
L19)的过滤矩阵(15A1
‑
15M1)彼此不同，以及输出张量(20)的不同层由不同的过滤卷积核(15A
‑
15M)计算。2.根据权利要求1所述的方法，其特征在于图像处理结果是结果图像、分类、图像分割、对象识别或通过其控制捕获显微镜图像的显微镜的命令。3.根据权利要求1或2所述的方法，其特征在于任一过滤卷积核(15A
‑
15M)的任一从属过滤矩阵(15A2
‑
15AN,15M2
‑
15MN)由任一要学习的权重(W)与同样过滤卷积核(15A
‑
15M)的任一具有学习参数(L1
‑
L9，L11
‑
L19)的过滤矩阵(15A1
‑
15M1)相乘形成，以及其中所有过滤卷积核(15A
‑
15M)的要学习的权重数量(W)加上所有学习参数的数量(L1
‑
L9，L11
‑
L19)小于所有过滤卷积核(15A
‑
15M)的元素总数。4.根根据权利要求1至3中任一项所述的方法，其特征在于每个过滤卷积核(15A
‑
15M)仅包含具有学习参数(L1
‑
L9,L11
‑
L19)的单个过滤矩阵(15A1
‑
15M1)，或相反的仅包含从属过滤矩阵(15A2
‑
15AN,15M2
‑
15MN)，它们是分别由要学习的权重(W)和具有学习参数(L1
‑
L9,L11
‑
L19)的过滤矩阵(15A1
‑
15M1)定义。5.根据权利要求1至4中任一所述的方法，其特征在于任一过滤卷积核(15A
‑
15M)的所有从属过滤矩阵(15A2
‑
15AN,15M2
‑
15MN)使用相同的要学习的权重(W,v
m
)。6.根据权利要求1至5中任一项所述的方法，其特征在于过滤卷积核(15A
‑
15M)在其各自的具有学习参数(L1
‑
L9,L11
‑
L19)的过滤矩阵(15A1
‑
15M1)方面有所不同。7.根据权利要求1至6中任一项所述的方法，其特征在于多个过滤卷积核(15A
‑
15M)中每个...

【专利技术属性】
技术研发人员：曼努埃尔，
申请(专利权)人：卡尔蔡司显微镜有限责任公司，
类型：发明
国别省市：