一种电镜投影图编、解码器的联合训练方法和装置制造方法及图纸

本发明专利技术实施例涉及一种电镜投影图编、解码器的联合训练方法和装置，所述方法包括：步骤1，初始化一、二阶段计数器为0并设置一、二阶段轮次阈值；步骤2，对编、解码器进行一轮一阶段训练并在过程中采集二阶段训练数据并在本轮训练结束时对一阶段计数器加1；步骤3，若一阶段计数器小于一阶段轮次阈值则返回步骤2继续训练，反之则对解码器的模型参数进行固化并转至步骤4；步骤4，基于二阶段训练数据集合对编码器进行一轮二阶段训练，并在本轮训练结束时对二阶段计数器加1；步骤5，若二阶段计数器小于二阶段轮次阈值则返回步骤4继续训练，反之则确认联合训练结束。通过本发明专利技术可以提高编、解码器模型的训练效率。解码器模型的训练效率。解码器模型的训练效率。

【技术实现步骤摘要】
一种电镜投影图编、解码器的联合训练方法和装置


[0001]本专利技术涉及数据处理
，特别涉及一种电镜投影图编、解码器的联合训练方法和装置。

技术介绍

[0002]将用于图像位姿预测和像素级分类预测的图像编码器模型应用在电镜投影图处理领域可对模型输入的电镜投影图的投影角度、投影平移和构象分布特征进行预测；另外，将基于傅里叶切片理论的图像解码器模型应用在电镜投影图处理领域可预先根据傅里叶切片理论进行体积特征建模得到对应的体积特征表达式，并将模型输入的投影角度和构象分布特征代入该体积特征表达式预测出对应的体积特征，再根据该体积特征和模型输入的投影平移特征预测出对应的电镜投影图。这两种模型的应用，都能有效提高电镜投影图的处理效率。
[0003]然而这两种模型的日常训练方法却比较麻烦，单独训练编码器模型需要大量的原始投影图和特征标签，单独训练解码器模型则需要大量的原始特征和投影图标签，这些原始数据的采集和标签标注工作非常耗时、耗力。如何能减少原始数据采集和标签标注工作量、提高两种模型的训练效率是本专利技术需要解决的技术问题。

技术实现思路

[0004]本专利技术的目的，就是针对现有技术的缺陷，提供一种电镜投影图编、解码器的联合训练方法、装置、电子设备及计算机可读存储介质，给出一个只用采集原始投影图、无需采集投影图特征、无需进行特征标签标注、无需进行投影图标签标注且能对编、解码器模型进行联合训练的两阶段模型训练机制。通过本专利技术，一方面可以减少原始数据采集工作量，可以消除标签标注工作量，提高两种模型的训练效率；另一方面，通过第二阶段的训练还能进一步提高编码器的预测准确度。
[0005]为实现上述目的，本专利技术实施例第一方面提供了一种电镜投影图编、解码器的联合训练方法，所述方法包括：步骤1，初始化第一阶段计数器、第二阶段计数器为0，并设置对应的第一阶段轮次阈值和第二阶段轮次阈值；步骤2，对编码器与解码器进行一轮一阶段训练并在训练过程中进行二阶段训练数据采集处理生成对应的第一训练数据集合；并在本轮训练结束时，对所述第一阶段计数器加1；所述编码器用于对输入的电镜投影图进行投影角度、构象分布和投影平移特征预测处理；所述解码器用于根据所述编码器输出的投影角度和构象分布特征进行体积特征预测处理并根据得到的体积特征和所述编码器输出的投影平移特征进行电镜投影图预测处理；所述第一训练数据集合包括多个第一构象分布训练张量；步骤3，对所述第一阶段计数器是否小于对应的所述第一阶段轮次阈值进行识别；若是，则返回步骤2继续下一轮训练；若否，则由得到的所有所述第一训练数据集合组成对
应的二阶段训练数据集合，并对所述解码器的模型参数进行固化，并转至步骤4；步骤4，基于所述二阶段训练数据集合对所述编码器进行一轮二阶段训练；并在本轮训练结束时，对所述第二阶段计数器加1；步骤5，对所述第二阶段计数器是否小于对应的所述第二阶段轮次阈值进行识别；若是，则返回步骤4继续下一轮训练；若否，则确认联合训练结束。
[0006]优选的，所述编码器包括主干特征提取网络和三个并行的预测头网络；所述三个并行的预测头网络分别为投影角度预测头网络、投影构象分布预测头网络和投影平移预测头网络；所述主干特征提取网络基于卷积神经网络实现；所述主干特征提取网络的输入与所述编码器的输入连接，输出分别与所述投影角度预测头网络、所述投影构象分布预测头网络和所述投影平移预测头网络的输入连接；所述投影角度预测头网络、所述投影构象分布预测头网络和所述投影平移预测头网络的网络结构相同都基于一个三层预测头网络实现；所述三层预测头网络包括第一线性网络、第一残差网络和第二线性网络；所述第一残差网络由多个残差模块组成；所述第一线性网络的输入与所述主干特征提取网络的输出连接，输出与所述第一残差网络的输入连接；所述第一残差网络的输出与所述第二线性网络的输入连接；所述第二线性网络的输出与所述编码器的输出连接；所述主干特征提取网络用于对输入的电镜投影图进行特征提取处理得到对应的主干特征张量；所述投影角度预测头网络用于根据所述主干特征张量进行投影角度预测处理得到对应的投影角度特征张量R；所述投影构象分布预测头网络用于根据所述主干特征张量进行投影构象分布特征预测处理得到对应的构象分布特征张量Z；所述投影平移预测头网络用于根据所述主干特征张量进行投影平移特征预测处理得到对应的平移特征张量t；所述解码器包括体积特征预测网络和图像预测网络；所述体积特征预测网络包括第三线性网络、第二残差网络和第四线性网络；所述第二残差网络由多个残差模块组成；所述第三线性网络的输入与所述解码器的输入连接，输出与所述第二残差网络的输入连接；所述第二残差网络的输出与所述第四线性网络的输入连接；所述图像预测网络的输入与所述解码器的输入和所述第四线性网络的输出连接，输出与所述解码器的输出连接；所述体积特征预测网络用于根据输入的投影角度特征张量R和构象分布特征张量Z进行体积特征预测得到对应的体积特征张量V；所述图像预测网络用于根据输入的所述体积特征张量V和平移特征张量t进行电镜图预测处理得到对应的预测电镜图X。
[0007]优选的，所述对编码器与解码器进行一轮一阶段训练并在训练过程中进行二阶段训练数据采集处理生成对应的第一训练数据集合，具体包括：步骤31，从预设的电镜投影图集合中提取第一个第一电镜投影图作为对应的第一投影图；并初始化所述第一训练数据集合为空；并初始化第一计数器的计数值为1；并对第一计数器阈值和第二计数器阈值进行设置；所述电镜投影图集合包括多个所述第一电镜投
影图；所述第一计数器阈值小于第二计数器阈值；步骤32，从预设的数据增强算法中任选一个算法对所述第一投影图进行图像变换处理生成对应的第二投影图；所述数据增强算法包括图像旋转算法、图像垂直镜像算法、图像水平镜像算法和图像对角镜像算法；步骤33，基于预设的多层高斯滤波算法分别对所述第一、第二投影图进行图像预处理得到对应的第三投影图和第四投影图；所述多层高斯滤波算法由多个单层高斯滤波函数组成；所述多层高斯滤波算法的所述单层高斯滤波函数的数量大于1；所述多层高斯滤波算法中各个所述单层高斯滤波函数的高斯核都不相同；步骤34，将所述第三投影图输入所述编码器进行投影角度、构象分布和投影平移特征预测处理得到对应的第一投影角度特征张量R1、第一构象分布特征张量Z1和第一平移特征张量t1；并将所述第四投影图输入所述编码器进行投影角度、构象分布和投影平移特征预测处理得到对应的第二投影角度特征张量R2、第二构象分布特征张量Z2和第二平移特征张量t2；步骤35，将所述第一投影角度特征张量R1、所述第一构象分布特征张量Z1和所述第一平移特征张量t1输入所述解码器进行电镜投影图预测处理得到对应的第一预测电镜图X1；并将所述第二投影角度特征张量R2、所述第二构象分布特征张量Z2和所述第二平移特征张量t2输入所述解码器进行电镜投影图预测处理得到对应的第二预测电镜图X2；步骤36，对所述第一计数器的计数值是否超过所述第一计数器阈值进行识别；若否，则对所述第一投影图进行图像低通滤波处理并将处理得到的滤波图像作为对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电镜投影图编、解码器的联合训练方法，其特征在于，所述方法包括：步骤1，初始化第一阶段计数器、第二阶段计数器为0，并设置对应的第一阶段轮次阈值和第二阶段轮次阈值；步骤2，对编码器与解码器进行一轮一阶段训练并在训练过程中进行二阶段训练数据采集处理生成对应的第一训练数据集合；并在本轮训练结束时，对所述第一阶段计数器加1；所述编码器用于对输入的电镜投影图进行投影角度、构象分布和投影平移特征预测处理；所述解码器用于根据所述编码器输出的投影角度和构象分布特征进行体积特征预测处理并根据得到的体积特征和所述编码器输出的投影平移特征进行电镜投影图预测处理；所述第一训练数据集合包括多个第一构象分布训练张量；步骤3，对所述第一阶段计数器是否小于对应的所述第一阶段轮次阈值进行识别；若是，则返回步骤2继续下一轮训练；若否，则由得到的所有所述第一训练数据集合组成对应的二阶段训练数据集合，并对所述解码器的模型参数进行固化，并转至步骤4；步骤4，基于所述二阶段训练数据集合对所述编码器进行一轮二阶段训练；并在本轮训练结束时，对所述第二阶段计数器加1；步骤5，对所述第二阶段计数器是否小于对应的所述第二阶段轮次阈值进行识别；若是，则返回步骤4继续下一轮训练；若否，则确认联合训练结束。2.根据权利要求1所述的电镜投影图编、解码器的联合训练方法，其特征在于，所述编码器包括主干特征提取网络和三个并行的预测头网络；所述三个并行的预测头网络分别为投影角度预测头网络、投影构象分布预测头网络和投影平移预测头网络；所述主干特征提取网络基于卷积神经网络实现；所述主干特征提取网络的输入与所述编码器的输入连接，输出分别与所述投影角度预测头网络、所述投影构象分布预测头网络和所述投影平移预测头网络的输入连接；所述投影角度预测头网络、所述投影构象分布预测头网络和所述投影平移预测头网络的网络结构相同都基于一个三层预测头网络实现；所述三层预测头网络包括第一线性网络、第一残差网络和第二线性网络；所述第一残差网络由多个残差模块组成；所述第一线性网络的输入与所述主干特征提取网络的输出连接，输出与所述第一残差网络的输入连接；所述第一残差网络的输出与所述第二线性网络的输入连接；所述第二线性网络的输出与所述编码器的输出连接；所述主干特征提取网络用于对输入的电镜投影图进行特征提取处理得到对应的主干特征张量；所述投影角度预测头网络用于根据所述主干特征张量进行投影角度预测处理得到对应的投影角度特征张量R；所述投影构象分布预测头网络用于根据所述主干特征张量进行投影构象分布特征预测处理得到对应的构象分布特征张量Z；所述投影平移预测头网络用于根据所述主干特征张量进行投影平移特征预测处理得到对应的平移特征张量t；所述解码器包括体积特征预测网络和图像预测网络；所述体积特征预测网络包括第三线性网络、第二残差网络和第四线性网络；所述第二残差网络由多个残差模块组成；所述第三线性网络的输入与所述解码器的输入连接，输出与所述第二残差网络的输入连接；所述第二残差网络的输出与所述第四线性网络的输入连接；所述图像预测网络的输入与所述解码器的输入和所述第四线性网络的输出连接，输出
与所述解码器的输出连接；所述体积特征预测网络用于根据输入的投影角度特征张量R和构象分布特征张量Z进行体积特征预测得到对应的体积特征张量V；所述图像预测网络用于根据输入的所述体积特征张量V和平移特征张量t进行电镜图预测处理得到对应的预测电镜图X。3.根据权利要求2所述的电镜投影图编、解码器的联合训练方法，其特征在于，所述对编码器与解码器进行一轮一阶段训练并在训练过程中进行二阶段训练数据采集处理生成对应的第一训练数据集合，具体包括：步骤31，从预设的电镜投影图集合中提取第一个第一电镜投影图作为对应的第一投影图；并初始化所述第一训练数据集合为空；并初始化第一计数器的计数值为1；并对第一计数器阈值和第二计数器阈值进行设置；所述电镜投影图集合包括多个所述第一电镜投影图；所述第一计数器阈值小于第二计数器阈值；步骤32，从预设的数据增强算法中任选一个算法对所述第一投影图进行图像变换处理生成对应的第二投影图；所述数据增强算法包括图像旋转算法、图像垂直镜像算法、图像水平镜像算法和图像对角镜像算法；步骤33，基于预设的多层高斯滤波算法分别对所述第一、第二投影图进行图像预处理得到对应的第三投影图和第四投影图；所述多层高斯滤波算法由多个单层高斯滤波函数组成；所述多层高斯滤波算法的所述单层高斯滤波函数的数量大于1；所述多层高斯滤波算法中各个所述单层高斯滤波函数的高斯核都不相同；步骤34，将所述第三投影图输入所述编码器进行投影角度、构象分布和投影平移特征预测处理得到对应的第一投影角度特征张量R1、第一构象分布特征张量Z1和第一平移特征张量t1；并将所述第四投影图输入所述编码器进行投影角度、构象分布和投影平移特征预测处理得到对应的第二投影角度特征张量R2、第二构象分布特征张量Z2和第二平移特征张量t2；步骤35，将所述第一投影角度特征张量R1、所述第一构象分布特征张量Z1和所述第一平移特征张量t1输入所述解码器进行电镜投影图预测处理得到对应的第一预测电镜图X1；并将所述第二投影角度特征张量R2、所述第二构象分布特征张量Z2和所述第二平移特征张量t2输入所述解码器进行电镜投影图预测处理得到对应的第二预测电镜图X2；步骤36，对所述第一计数器的计数值是否超过所述第一计数器阈值进行识别；若否，则对所述第一投影图进行图像低通滤波处理并将处理得到的滤波图像作为对应的第一标签投影图，并对所述第二投影图进行图像低通滤波处理并将处理得到的滤波图像作为对应的第二标签投影图；若是，则将所述第一投影图作为对应的所述第一标签投影图，并将所述第二投影图作为对应的所述第二标签投影图；步骤37，基于预设的一阶段损失函数，根据所述第一标签投影图与所述第一预测图像进行损失函数计算生成对应的第一损失值，并根据所述第二标签投影图与所述第二预测图像进行损失函数计算生成对应的第二损失值，并从所述第一、第二损失值中选择最小值作为对应的当次损失值；所述一阶段损失函数为对称损失函数；步骤38，对所述当次损失值是否满足预设的第一收敛损失范围进行识别；若是，则将与所述当次损失值对应的预测图像对应的构象分布特征张量作为对应的所述第一构象分布
训练张量存入对应的所述第一训练数据集合，并对所述第一计数器的计数值加1，并转至步骤39；若否，则对所述编码器和所述解码器的模型参数进行一次参数调制处理，并在参数调制处理完成时返回步骤34继续训练；步骤39，对所述第一计数器的计数值是否超过所述第二计...

【专利技术属性】
技术研发人员：陈伟杰，么琳，王宇航，张林峰，孙伟杰，
申请(专利权)人：北京深势科技有限公司，
类型：发明
国别省市：