三维电镜图像的重建模型训练方法、装置及设备制造方法及图纸

本申请公开了一种三维电镜图像的重建模型训练方法、装置及设备，属于人工智能技术领域。该方法包括：获取采用三维图像格式的缺失电镜图像样本、图像掩模样本和完整电镜图像样本；将缺失电镜图像样本和图像掩模样本进行相乘后得到的掩膜电镜图像输入至重建模型进行k次循环迭代重建，得到重建电镜图像；基于完整电镜图像样本和重建电镜图像之间的误差，对重建模型的模型参数进行训练。通过上述方法训练得到的三维电镜图像的重建模型，能够较好地恢复信噪比较低的冷冻电镜断层成像数据所丢失的信息。的信息。的信息。

【技术实现步骤摘要】
三维电镜图像的重建模型训练方法、装置及设备


[0001]本申请涉及人工智能
，特别涉及一种三维电镜图像的重建模型训练方法、装置及设备。

技术介绍

[0002]三维重构是指借助一系列沿不同方向的二维投影图像，基于重建算法将二维投影图像进行三维重构，从而获得三维图像的技术。
[0003]相关技术中，在核磁共振成像数据的三维重构上，通常采用迭代压缩感知优化的非均匀快速傅立叶变换进行三维重构。通过将压缩感知和非均匀傅里叶变换结合在一起，利用样本的自然稀疏性、密度与非溶剂相比具有非负性的先验，恢复成像过程中丢失的信息。
[0004]由于核磁共振成像数据的信噪比非常高，且缺失信息主要在傅里叶空间的高频区域。相关技术在对核磁共振成像数据的三维重构上，能够较好地恢复丢失的信息。但在冷冻电镜断层成像数据的重建问题上，由于冷冻电镜断层成像数据的信噪比更低，缺失信息主要是由采集角度受限导致的，相关技术对冷冻电镜断层成像数据的丢失信息的恢复效果较差。

技术实现思路

[0005]本申请提供了一种三维电镜图像的重建模型训练方法、装置及设备，可以有效恢复冷冻电镜断层成像数据的丢失信息。所述技术方案如下：
[0006]根据本申请的一方面，提供了一种三维电镜图像的重建模型训练方法，所述方法包括：
[0007]获取采用三维图像格式的缺失电镜图像样本、图像掩模样本和完整电镜图像样本，所述缺失电镜图像样本是存在数据缺失的冷冻电镜图像，所述图像掩模样本用于掩模所述缺失电镜图像样本中的无效像素点，所述完整电镜图像样本是不存在数据缺失的冷冻电镜图像；
[0008]将所述缺失电镜图像样本和所述图像掩模样本进行相乘后得到的掩膜电镜图像输入至所述重建模型进行k次循环迭代重建，得到重建电镜图像，k为大于0的整数；
[0009]基于所述完整电镜图像样本和所述重建电镜图像之间的误差，对所述重建模型的模型参数进行训练。
[0010]根据本申请的另一方面，提供了一种三维电镜图像的重建方法，所述方法包括：
[0011]获取采用三维图像格式的缺失电镜图像和图像掩模，所述缺失电镜图像是存在数据缺失的冷冻电镜图像；
[0012]将所述缺失电镜图像和所述图像掩模进行相乘后得到的掩膜电镜图像输入至所述重建模型进行k次循环迭代重建，得到重建电镜图像，k为大于0的整数；
[0013]输出所述重建电镜图像。
[0014]根据本申请的另一方面，提供了一种三维电镜图像的重建模型训练装置，所述装置包括：
[0015]样本获取模块，用于获取采用三维图像格式的缺失电镜图像样本、图像掩模样本和完整电镜图像样本，所述缺失电镜图像样本是存在数据缺失的冷冻电镜图像，所述图像掩模样本用于掩模所述缺失电镜图像样本中的无效像素点，所述完整电镜图像样本是不存在数据缺失的冷冻电镜图像；
[0016]样本迭代模块，用于将所述缺失电镜图像样本和所述图像掩模样本进行相乘后得到的掩膜电镜图像输入至所述重建模型进行k次循环迭代重建，得到重建电镜图像；
[0017]训练模块，用于基于所述完整电镜图像样本和所述重建电镜图像之间的误差，对所述重建模型的模型参数进行训练。
[0018]根据本申请的另一方面，提供了一种三维电镜图像的重建装置，所述装置包括：
[0019]获取模块，用于获取采用三维图像格式的缺失电镜图像和所述图像掩模，所述缺失电镜图像是存在数据缺失的冷冻电镜图像；
[0020]迭代模块，用于将所述缺失电镜图像和所述图像掩模进行相乘后得到的掩膜电镜图像输入至所述重建模型进行k次循环迭代重建，得到重建电镜图像；
[0021]输出模块，用于输出所述重建电镜图像。
[0022]根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条计算机指令，至少一条计算机指令由处理器加载并执行以实现如上方所述的三维电镜图像的重建模型训练方法，或，如上方所述的三维电镜图像的重建方法。
[0023]根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条计算机指令，至少一条计算机指令由处理器加载并执行以实现如上方所述的三维电镜图像的重建模型训练方法，或，如上方所述的三维电镜图像的重建方法。
[0024]根据本申请的另一方面，提供了一种计算机程序产品，上述计算机程序产品包括计算机指令，所述计算机指令存储在计算机可读存储介质中；所述计算机指令由计算机设备的处理器从所述计算机可读存储介质读取并执行，使得所述计算机设备执行如上方所述的三维电镜图像的重建模型训练方法，或，如上方所述的三维电镜图像的重建方法。
[0025]本申请提供的技术方案带来的有益效果至少包括：
[0026]本申请实施例通过将缺失电镜图像样本和图像掩模样本进行相乘后得到的掩膜电镜图像输入至重建模型进行k次循环迭代重建，得到重建电镜图像；基于完整电镜图像样本和重建电镜图像之间的误差，对重建模型的模型参数进行训练，最终得到三维电镜图像的重建模型。通过训练得到的三维电镜图像的重建模型能够较好地恢复信噪比较低的冷冻电镜断层成像数据所丢失的信息。
附图说明
[0027]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1是本申请一个示例性实施例提供的三维电镜图像的重建模型训练方法的计算机系统的示意图；
[0029]图2是本申请一个示例性实施例提供的三维电镜图像的重建模型训练方法的流程图；
[0030]图3是本申请一个示例性实施例提供的三维电镜图像的重建方法的流程图；
[0031]图4是本申请一个示例性实施例提供的三维电镜图像的重建模型生成以及三维电镜图像的重建的框架图；
[0032]图5是本申请一个示例性实施例提供的三维电镜图像的重建模型训练框架的结构示意图；
[0033]图6是本申请一个示例性实施例提供的降噪器网络的结构示意图；
[0034]图7是本申请一个示例性实施例提供的三维电镜图像的重建模型训练方法的流程图；
[0035]图8是本申请一个示例性实施例提供的三维电镜图像的重建方法的流程图；
[0036]图9是本申请一个示例性实施例提供的三维电镜图像的重建模型训练装置的结构框图；
[0037]图10是本申请一个示例性实施例提供的三维电镜图像的重建装置的结构框图；
[0038]图11是本申请一个示例性实施例提供的计算机设备的结构框图。
[0039]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
具体实施方式
[0040]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维电镜图像的重建模型训练方法，其特征在于，所述方法包括：获取采用三维图像格式的缺失电镜图像样本、图像掩模样本和完整电镜图像样本，所述缺失电镜图像样本是存在数据缺失的冷冻电镜图像，所述图像掩模样本用于掩模所述缺失电镜图像样本中的无效像素点，所述完整电镜图像样本是不存在数据缺失的冷冻电镜图像；将所述缺失电镜图像样本和所述图像掩模样本进行相乘后得到的掩膜电镜图像输入至所述重建模型进行k次循环迭代重建，得到重建电镜图像，k为大于0的整数；基于所述完整电镜图像样本和所述重建电镜图像之间的误差，对所述重建模型的模型参数进行训练。2.根据权利要求1所述的方法，其特征在于，所述重建模型是循环神经网络；将所述缺失电镜图像样本和所述图像掩模样本进行相乘后得到的掩膜电镜图像输入至所述重建模型进行k次循环迭代重建，得到重建电镜图像，包括：将所述缺失电镜图像样本和所述图像掩模样本进行相乘后得到的掩膜电镜图像输入至所述循环神经网络进行k次循环迭代重建，得到重建电镜图像，k为大于0的整数。3.根据权利要求2所述的方法，其特征在于，所述循环神经网络包括降噪器网络和数据一致性网络；所述将所述缺失电镜图像样本和所述图像掩模样本进行相乘后得到的掩膜电镜图像输入至所述循环神经网络进行k次循环迭代重建，得到重建电镜图像，包括：在第1次迭代过程中，将所述缺失电镜图像样本和所述图像掩模样本进行相乘后得到的所述掩膜电镜图像输入至所述降噪器网络进行降噪，得到第1重建特征图；将所述第1重建特征图及所述掩膜电镜图像输入至所述数据一致性网络进行共轭梯度优化，得到第1重建图像；在第i次迭代过程中，将第i
‑
1重建图像输入至所述降噪器网络进行降噪，得到第i重建特征图；将所述第i重建特征图及所述掩膜电镜图像输入至所述数据一致性网络进行共轭梯度优化，得到第i重建图像；i为大于1且不大于k的整数；在i等于k的情况下，将所述第i重建图像输出为所述重建电镜图像。4.根据权利要求3所述的方法，其特征在于，所述降噪器网络包括：n个三维卷积层；所述将第i
‑
1重建图像输入至所述降噪器网络进行降噪，得到第i重建特征图，包括：在第1次卷积过程中，将第i
‑
1重建图像输入至所述n个三维卷积层中的第1个三维卷积层进行卷积，得到第1卷积结果；在第j次卷积过程中，将第j
‑
1卷积结果输入至所述n个三维卷积层中的第j个三维卷积层进行卷积，得到第j卷积结果，j为大于1且不大于n的整数；n为大于1的整数；在j等于n的情况下，将所述第j卷积结果输出为所述第i重建特征图。5.根据权利要求4所述的方法，其特征在于，所述n个三维卷积层中的1至n
‑
1个三维卷积层包括三维卷积核层、批处理归一化层和修正线性单元ReLU激活层；所述在第j次卷积过程中，将第j
‑
1卷积结果输入至所述n个三维卷积层中的第j个三维卷积层进行卷积，得到第j卷积结果，包括：在j大于1且小于n的情况下，在第j次卷积过程中，将第j
‑
1卷积结果输入至所述n个三维卷积层中的第j个三维卷积层中的三维卷积核层进行卷积，得到第j卷积特征；
将第j卷积特征输入至所述n个三维卷积层中的第j个三维卷积层中的批处理归一化层进行归一化处理，得到归一化后的第j卷积特征；将归一化后的第j卷积特征输入至所述n个三维卷积层中的第j个三维卷积层中的ReLU激活层进行激活处理，得到激活后的第j卷积特征。6.根据权利要求4所述的方法，其特征在于，所述n个三维卷积层中的第n个三维卷积层包括三维卷积核层和批处理归一化层；所述在j等于n的情况下，将所述第j卷积结果输出为所述第i重建特征图，包括：在j等于n的情况下，在第j次卷积过程中，将第j
‑
1卷积结果输入至所述n个三维卷积层中的第n个三维卷积核层进行卷积，得到第n卷积特征；将第n卷积特征输入至所述n个三维卷积层中的第n个批处理归一化层进行归一化处理，得到归一化后的第n卷积特征，将所述归一化后的第n卷积特征输出为所述第i重建特征图。7.根据权利要求1至6任一所述的方法，其特征在于，所述基于所述完整电镜图像样本和所述重建电镜图像之间的误差，对所述重建模型的模型参数进行训练，包括：基于所述完整电镜图像样本和所述重建电镜图像，计算所述重建模型的均方误差，根据所述均方误差对所述重建模型的模型参数进行更新，并对所述重建模型的模型参数进行训练。8.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：获取采用三维图像格式的缺失电镜图像和所述图像掩模，所述缺失电镜图像是存在数据缺失的冷冻电镜图像；将所述缺失电镜图像和所述图像掩模进行相乘后得到的掩膜电镜图像输入至训练完毕的重建模型进行k次循环迭代重建，得到重建电镜图像；输出所述重建电镜图像。9.一种三维电镜图像的重建方法，其特征在于，应用于计算机设备中，所述计算机设备运行有如权利要求1至8任一所述方法所训练得到的重建模型，所述方法包括：获取采用三维图像格式的缺失电镜图像和图像掩模，所述缺失电镜图像是存在数据缺失的冷冻电镜图像；将所述缺失电镜图像和所述图像掩模进行相乘后得到的掩膜电镜图像输入至所述重建模型进行k次循环迭代重建，得到重建电镜图像，k为大于0的整数；输出所述重建电镜图像。10.根据权利要求9所述的方法，其特征在于，所述重建模型是循环神经网络；将所述缺失电镜图像和所述图像掩模进行相乘后得到的掩...

【专利技术属性】
技术研发人员：周昵昀，徐佳，姚建华，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：