一种时序电镜样本重构模型的处理方法和装置制造方法及图纸

本发明专利技术实施例涉及一种时序电镜样本重构模型的处理方法和装置，所述方法包括：构建两种时序电镜样本重构模型记为对应的第一、第二重构模型；并对第一、第二重构模型进行模型训练；并在第一、第二模型训练结束后，对预设的模型应用模式进行识别；若模型应用模式为第一模式则基于第一或第二重构模型对带有时序关系的液相模态电镜投影图序列进行三维体积特征预测和电镜投影图重构处理；若模型应用模式为第二模式则基于第一或第二重构模型对单张液相模态电镜投影图进行三维体积特征预测和电镜投影图重构处理。本发明专利技术可以提高对液相模态电镜投影图的特征预测准确度、图像重构准确度。度。度。

【技术实现步骤摘要】
一种时序电镜样本重构模型的处理方法和装置


[0001]本专利技术涉及数据处理
，特别涉及一种时序电镜样本重构模型的处理方法和装置。

技术介绍

[0002]冷冻电镜投影图是指对目标分子颗粒进行冷冻后通过电子显微镜投影拍摄获得的电镜投影图。目前，将用于图像位姿预测和像素级分类预测的图像编码器模型应用在冷冻电镜投影图的处理领域可对模型输入的冷冻电镜投影图的投影旋转（角度）特征、投影平移特征和平面构象分布特征进行较好的预测；另外，将基于傅里叶切片理论的图像解码器（或生成器）模型应用在冷冻电镜投影图的处理领域可根据编码器输出的投影旋转（角度）特征和平面构象分布特征对目标分子颗粒的三维体积特征（其本质是与体积特征相关的傅里叶切片频谱特征）进行较好的预测；再有，将常规基于傅里叶频谱进行图像预测的图像预测模型（或网络）应用在冷冻电镜投影图的处理领域可根据编、解码器输出的投影平移特征和三维体积特征对目标分子颗粒的高清晰度二维/三维投影图进行较好的预测。
[0003]然而将上述应用在冷冻电镜投影图的编、解码器（或生成器）和图像预测模型直接应在液相模态电镜投影图的分析研究上却无法达到预期的预测效果，这里的液相模态电镜投影图是指目标分子颗粒处于非冷冻状态的液相模态下通过电子显微镜投影拍摄获得的电镜投影图。究其原因主要是相较于单颗粒冷冻电镜的成像模态，液相电镜是将样本置于溶液环境中使得样本保持其原有的运动状态和构象变化状态、因而含有时序信息，而应用在冷冻电镜投影图的编码器结构是在不考虑时序因素的情况下进行编码处理，所以产生的旋转、平移和构象分布特征都不够准确，这自然就会影响到解码器（或生成器）与图像预测模型的预测精度。要解决这个问题就需要对编码器结构进行改造，而如何对编码器进行改造使之能将时序因素纳入到编码过程中就是本专利技术需要解决的问题。

技术实现思路

[0004]本专利技术的目的，就是针对现有技术的缺陷，提供一种时序电镜样本重构模型的处理方法、装置、电子设备及计算机可读存储介质；给出两种可对液相模态电镜投影图序列进行端到端高清晰度投影图重构（或预测）的时序电镜样本重构模型（第一、第二重构模型）；其中，第一重构模型由位置编码模块、第一编码器、生成器和投影图预测网络组成，第二重构模型由位置编码模块、第二编码器、生成器和投影图预测网络组成，两个重构模型中位置编码模块、生成器和投影图预测网络都是相同的、区别在于编码器结构不同；第一重构模型的第一编码器通过引入双向循环神经网络（Bidirectional recurrent neural networks，BiRNN）和按时序迭代的特征整合预测网络将时序因素纳入到了平面构象分布特征的编码（或预测）过程中，而第二重构模型的第二编码器则通过引入Transformer模型的编码器结构将时序因素纳入到了平面构象分布特征的编码（或预测）过程中。通过本专利技术两种重构模型的两种编码器设计可以解决常规编码器在对液相模态电镜投影图进行特征编码时未考
虑时序因素的问题，本专利技术两种重构模型通过提高编码输出准确度的方式来达到提高三维体积特征预测准确度和高精度投影图重构准确度的目的。
[0005]为实现上述目的，本专利技术实施例第一方面提供了一种时序电镜样本重构模型的处理方法，所述方法包括：构建两种时序电镜样本重构模型记为对应的第一、第二重构模型；所述第一、第二重构模型的输入均为带有时序关系的液相模态电镜投影图序列记为对应的原始投影图序列{X
i
}，1≤i；所述第一、第二重构模型的输出均包括带有对应时序关系的三维体积特征序列{V
i
}和带有对应时序关系的重构投影图序列{X
i,p
}；对所述第一、第二重构模型进行模型训练；所述第一、第二模型训练结束后，对预设的模型应用模式进行识别；若所述模型应用模式为第一模式，则基于所述第一或第二重构模型对带有时序关系的液相模态电镜投影图序列进行三维体积特征预测和电镜投影图重构处理；若所述模型应用模式为第二模式，则基于所述第一或第二重构模型对单张液相模态电镜投影图进行三维体积特征预测和电镜投影图重构处理。
[0006]优选的，所述原始投影图序列{X
i
}包括多个原始投影图X
i
；i为原始投影图的时序索引；所述原始投影图X
i
为在不同时间点上采集到的液相模态电镜投影图；所述三维体积特征序列{V
i
}包括多个三维体积特征V
i
；所述重构投影图序列{X
i,p
}包括多个重构投影图X
i,p
。
[0007]优选的，所述第一重构模型包括位置编码模块、第一编码器、生成器和投影图预测网络；所述位置编码模块的输入端为所述第一重构模型的输入端，输出端与所述生成器的第一输入端连接；所述位置编码模块用于对所述原始投影图序列{X
i
}的各个所述原始投影图X
i
进行像素级位置编码生成对应的位置编码特征PE
i
组成对应的位置编码特征序列{PE
i
}向所述生成器发送；所述位置编码特征序列{PE
i
}包括多个所述位置编码特征PE
i
；所述第一编码器包括主干特征提取网络、第一投影构象分布预测网络、投影旋转预测网络和投影平移预测网络；所述主干特征提取网络的输入端为所述第一重构模型的输入端，输出端分别与所述第一投影构象分布预测网络、所述投影旋转预测网络和所述投影平移预测网络的输入端连接；所述第一投影构象分布预测网络包括双向循环神经网络和特征整合预测网络；所述双向循环神经网络的输入端为所述第一投影构象分布预测网络的输入端，输出端与所述特征整合预测网络的输入端连接；所述特征整合预测网络的输出端为所述第一投影构象分布预测网络的输出端并与所述生成器的第二输入端连接，所述特征整合预测网络包括特征整合模块和构象分布预测模块；所述投影旋转预测网络的输出端分别与所述生成器的第三输入端和所述投影图预测网络的第二输入端连接；所述投影平移预测网络的输出端与所述投影图预测网络的第三输入端连接；所述第一编码器用于对输入的所述原始投影图序列{X
i
}进行构象分布特征、旋转特征和平移特征编码生成对应的构象分布特征序列{Z
i
}、旋转特征序列{R
i
}和平移特征序列{T
i
}；并将所述构象分布特征序列{Z
i
}和所述旋转特征序列{R
i
}向所述生成器发送，将所述旋转特征序列{R
i
}和所述平移特征序列{T
i
}向所述投影图预测网络发送；所述构象分布
特征序列{Z
i
}包括多个构象分布特征Z
i
；所述旋转特征序列{R
i
}包括多个旋转特征R
i
；所述平移特征序列{T
i
}包括多个平移特征T
i
；所述生成器的输出端本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序电镜样本重构模型的处理方法，其特征在于，所述方法包括：构建两种时序电镜样本重构模型记为对应的第一、第二重构模型；所述第一、第二重构模型的输入均为带有时序关系的液相模态电镜投影图序列记为对应的原始投影图序列{X
i
}，1≤i；所述第一、第二重构模型的输出均包括带有对应时序关系的三维体积特征序列{V
i
}和带有对应时序关系的重构投影图序列{X
i,p
}；对所述第一、第二重构模型进行模型训练；所述第一、第二模型训练结束后，对预设的模型应用模式进行识别；若所述模型应用模式为第一模式，则基于所述第一或第二重构模型对带有时序关系的液相模态电镜投影图序列进行三维体积特征预测和电镜投影图重构处理；若所述模型应用模式为第二模式，则基于所述第一或第二重构模型对单张液相模态电镜投影图进行三维体积特征预测和电镜投影图重构处理。2.根据权利要求1所述的时序电镜样本重构模型的处理方法，其特征在于，所述原始投影图序列{X
i
}包括多个原始投影图X
i
；i为原始投影图的时序索引；所述原始投影图X
i
为在不同时间点上采集到的液相模态电镜投影图；所述三维体积特征序列{V
i
}包括多个三维体积特征V
i
；所述重构投影图序列{X
i,p
}包括多个重构投影图X
i,p
。3.根据权利要求2所述的时序电镜样本重构模型的处理方法，其特征在于，所述第一重构模型包括位置编码模块、第一编码器、生成器和投影图预测网络；所述位置编码模块的输入端为所述第一重构模型的输入端，输出端与所述生成器的第一输入端连接；所述位置编码模块用于对所述原始投影图序列{X
i
}的各个所述原始投影图X
i
进行像素级位置编码生成对应的位置编码特征PE
i
组成对应的位置编码特征序列{PE
i
}向所述生成器发送；所述位置编码特征序列{PE
i
}包括多个所述位置编码特征PE
i
；所述第一编码器包括主干特征提取网络、第一投影构象分布预测网络、投影旋转预测网络和投影平移预测网络；所述主干特征提取网络的输入端为所述第一重构模型的输入端，输出端分别与所述第一投影构象分布预测网络、所述投影旋转预测网络和所述投影平移预测网络的输入端连接；所述第一投影构象分布预测网络包括双向循环神经网络和特征整合预测网络；所述双向循环神经网络的输入端为所述第一投影构象分布预测网络的输入端，输出端与所述特征整合预测网络的输入端连接；所述特征整合预测网络的输出端为所述第一投影构象分布预测网络的输出端并与所述生成器的第二输入端连接，所述特征整合预测网络包括特征整合模块和构象分布预测模块；所述投影旋转预测网络的输出端分别与所述生成器的第三输入端和所述投影图预测网络的第二输入端连接；所述投影平移预测网络的输出端与所述投影图预测网络的第三输入端连接；所述第一编码器用于对输入的所述原始投影图序列{X
i
}进行构象分布特征、旋转特征和平移特征编码生成对应的构象分布特征序列{Z
i
}、旋转特征序列{R
i
}和平移特征序列{T
i
}；并将所述构象分布特征序列{Z
i
}和所述旋转特征序列{R
i
}向所述生成器发送，将所述旋转特征序列{R
i
}和所述平移特征序列{T
i
}向所述投影图预测网络发送；所述构象分布特征序列{Z
i
}包括多个构象分布特征Z
i
；所述旋转特征序列{R
i
}包括多个旋转特征R
i
；所述平移特征序列{T
i
}包括多个平移特征T
i
；
所述生成器的输出端分别与所述投影图预测网络的第一输入端和所述第一重构模型的第一输出端连接；所述生成器用于根据各个所述时序索引i对应的所述位置编码特征PE
i
、所述构象分布特征Z
i
和所述旋转特征R
i
进行三维特征识别生成对应的所述三维体积特征V
i
组成对应的所述三维体积特征序列{V
i
}向所述投影图预测网络发送；并将所述三维体积特征序列{V
i
}作为所述第一重构模型的一个输出结果输出；所述投影图预测网络的输出端与所述第一重构模型的第二输出端连接；所述投影图预测网络用于根据各个所述时序索引i对应的所述三维体积特征V
i
、所述旋转特征R
i
和所述平移特征T
i
进行电镜投影图预测并将得到的预测电镜投影图作为对应的所述重构投影图X
i,p
组成对应的所述重构投影图序列{X
i,p
}；并将所述重构投影图序列{X
i,p
}作为所述第一重构模型的一个输出结果输出。4.根据权利要求3所述的时序电镜样本重构模型的处理方法，其特征在于，所述位置编码模块基于多层感知神经网络实现；所述主干特征提取网络基于卷积神经网络实现；所述特征整合预测网络的所述特征整合模块基于多层感知神经网络实现；所述特征整合预测网络的所述构象分布预测模块以及所述投影旋转预测网络和所述投影平移预测网络都基于一个三层预测头网络实现；所述三层预测头网络包括第一线性层、第一残差网络层和第二线性层，所述第一线性层与所述第一残差网络层连接，所述第一残差网络层与所述第二线性层连接；所述第一残差网络层由指定数量的残差模块顺次连接而成；所述生成器包括第三线性层、第二残差网络层和第四线性层，所述第三线性层与所述第二残差网络层连接，所述第二残差网络层与所述第四线性层连接；所述第二残差网络层由指定数量的残差模块顺次连接而成；所述投影图预测网络基于卷积神经网络实现。5.根据权利要求3所述的时序电镜样本重构模型的处理方法，其特征在于，所述第一编码器用于对输入的所述原始投影图序列{X
i
}进行构象分布特征、旋转特征和平移特征编码生成对应的构象分布特征序列{Z
i
}、旋转特征序列{R
i
}和平移特征序列{T
i
}，具体包括：所述第一编码器的所述主干特征提取网络用于对输入的所述原始投影图序列{X
i
}的各个所述原始投影图X
i
进行特征提取处理生成对应的提取特征Y
i
组成对应的提取特征序列{Y
i
}向所述第一投影构象分布预测网络、所述投影旋转预测网络和所述投影平移预测网络发送；所述第一投影构象分布预测网络用于根据所述提取特征序列{Y
i
}进行与时序传递特征相结合的构象分布特征预测生成对应的所述构象分布特征序列{Z
i
}；所述投影旋转预测网络用于根据所述提取特征序列{Y
i
}的各个所述提取特征Y
i
进行投影旋转特征预测生成对应的所述旋转特征R
i
组成对应的所述旋转特征序列{R
i
}；所述投影平移预测网络用于根据所述提取特征序列{Y
i
}的各个所述提取特征Y
i
进行投影平移特征预测生成对应的所述平移特征T
i
组成对应的所述平移特征序列{T
i
}。6.根据权利要求5所述的时序电镜样本重构模型的处理方法，其特征在于，所述第一投影构象分布预测网络用于根据所述提取特征序列{Y
i
}进行与时序传递特征相结合的构象
分布特征预测生成对应的所述构象分布特征序列{Z
i
}，具体包括：所述第一投影构象分布预测网络的所述双向循环神经网络用于对所述提取特征序列{Y
i
}的正向、反向时序传递特征进行提取生成对应的正向时序传递特征序列{g
i,f
}和反向时序传递特征序列{g
i,b
}，并对所述正向时序传递特征序列{g
i,f
}和所述反向时序传递特征序列{g
i,b
}进行加和处理得到对应的加和特征序列{g
i,f
+g
i,b
}，并对所述加和特征序列{g
i,f
+g
i,b
}按正向时序进行滤波得到对应的时序传递特征序列{g
i,f+b
}向所述特征整合预测网络发送；所述正向时序传递特征序列{g
i,f
}包括多个正向时序传递特征g
i,f
；所述反向时序传递特征序列{g
i,b
}包括多个反向时序传递特征g
i,b
；所述时序传递特征序列{g
i,f+b
}包括多个时序传递特征g
i,f+b
；所述特征整合预测网络用于按时序索引迭代的方式进行特征整合和构象分布预测得到对应的所述构象分布特征序列{Z
i
}，具体为：对应每个所述时序索引i，所述特征整合模块根据前一时序索引i
‑
1对应的构象分布特征Z
i
‑1和当前时序索引i对应的所述时序传递特征g
i,f+b
进行特征整合生成对应的整合特征C
i
=G(Z
i
‑1)+g
i,f+b
向所述构象分布预测模块发送；所述构象分布预测模块则根据当前时序索引i对应的所述整合特征C
i
进行构象分布预测生成对应的所述构象分布特征Z
i
；其中，G()为预设的构象分布特征
‑
时序传递特征转换函数，所述构象分布特征Z
i
‑1在所述前一时序索引i
‑
1为0时被设为预设的构象分布特征初始值Z
init
。7.根据权利要求4所述的时序电镜样本重构模型的处理方法，其特征在于，所述第二重构模型包括所述位置编码模块、第二编码器、所述生成器和所述投影图预测网络；所述位置编码模块的输入端为所述第二重构模型的输入端，输出端分别所述第二编码器的第二输入端和所述生成器的第一输入端连接；所述位置编码模块用于对所述原始投影图序列{X
i
}的各个所述原始投影图X
i
进行像素级位置编码生成对应的位置编码特征PE
i
组成对应的位置编码特征序列{PE
i
}向所述第二编码器和所述生成器分别发送；所述位置编码特征序列{PE
i
}包括多个所述位置编码特征PE
i
；所述第二编码器包括所述主干特征提取网络、Transformer编码器网络、第二投影构象分布预测网络、所述投影旋转预测网络和所述投影平移预测网络；所述主干特征提取网络的输入端为所述第二编码器的第一输入端与所述第二重构模型的输入端连接，输出端与所述Transformer编码器网络的第一输入端连接；所述Transformer编码器网络的输入端包括第一、第二输入端，其中第二输入端与所述第二编码器的第二输入端连接，输出端分别与所述第二投影构象分布预测网络、所述投影旋转预测网络和所述投影平移预测网络的输入端连接；所述第二投影构象分布预测网络的输出端与所述生成器的第二输入端连接；所述投影旋转预测网络的输出端分别与所述生成器的第三输入端和所述投影图预测网络的第二输入端连接；所述投影平移预测网络的输出端与所述投影图预测网络的第三输入端连接；所述第二编码器用于对输入的所述原始投影图序列{X
i
}进行构象分布特征、旋转特征和平移特征编码生成对应的构象分布特征序列{Z
i
}、旋转特征序列{R
i
}和平移特征序列{T
i
}；并将所述构象分布特征序列{Z
i
}和所述旋转特征序列{R
i
}向所述生成器发送，将所述旋转特征序列{R
i
}和所述平移特征序列{T
i
}向所述投影图预测网络发送；所述构象分布特征序列{Z
i
}包括多个构象分布特征Z
i
；所述旋转特征序列{R
i
}包括多个旋转特征R
i
；所述平
移特征序列{T
i
}包括多个平移特征T
i
；所述生成器的输出端分别与所述投影图预测网络的第一输入端和所述第二重构模型的第一输出端连接；所述生成器用于根据各个所述时序索引i对应的所述位置编码特征PE
i
、所述构象分布特征Z
i
和所述旋转特征R
i
进行三维特征识别生成对应的所述三维体积特征V
i
组成对应的所述三维体积特征序列{V
i
}向所述投影图预测网络发送；并将所述三维体积特征序列{V
i
}作为所述第二重构模型的一个输出结果输出...

【专利技术属性】
技术研发人员：冶恩泽，王宇航，张林峰，孙伟杰，
申请(专利权)人：北京深势科技有限公司，
类型：发明
国别省市：