一种基于多模态融合的胚胎多焦平面图像着床预测装置制造方法及图纸

本发明专利技术公开了一种基于多模态融合的胚胎多焦平面图像着床预测装置，属于医学图像处理技术领域，包括：在提取胚胎三个焦平面图像深度特征基础及核心图像的深度特征的基础上，对这些深度特征使用通道

【技术实现步骤摘要】
一种基于多模态融合的胚胎多焦平面图像着床预测装置


[0001]本专利技术属于医学图像处理
，具体地说，涉及一种基于多模态融合的胚胎多焦平面图像着床预测装置。

技术介绍

[0002]体外受精(In vitro fertilization,IVF)是治疗无生育能力患者的最常用医学方法之一。在体外受精过程中，多胚移植是一种常见的技术，但是它会增加怀孕的固有风险。因此，在胚胎移植过程中选择最优质的胚胎非常重要。通常情况下，胚胎移植有第三日(Day3，D3)胚胎移植和第五日(Day5，D5)胚胎移植两种形式，也可以称为卵裂期胚胎移植和囊胚期胚胎移植。研究表明，囊胚期胚胎移植有助于提高着床成功率。
[0003]针对D5胚胎，胚胎专家采用内置显微镜的培养箱进行胚胎的培养。这种方式提供了一个稳定的记录环境，同时避免了将胚胎从培养箱中取出对胚胎发育质量的影响。在第五日结束时，胚胎专家通过显微镜拍摄不同的焦平面图像，记录囊胚的透明带(Zona Pellucida，ZP)、内细胞团(Inner Cell Mass，ICM)和滋养层(Trophectod本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态融合的胚胎多焦平面图像着床预测装置，包括存储器和处理器，所述存储器用于存储执行基于多模态融合的胚胎多焦平面图像着床预测的计算机可执行程序，所述处理器与所述存储器通信连接，并配置为执行存储器存储的计算机可执行程序，其特征在于：所述处理器执行所述计算机可执行程序时，实现以下步骤：对于第五日囊胚期的透明带、内细胞团以及滋养层三个焦平面图像，标注着床标签以获取胚胎多焦平面图像样本；构建多模态融合的胚胎多焦平面图像着床预测模型，包括生成核心图像模块、深度特征提取模块、特征融合模块以及着床预测模块，其中生成核心图像模块用于对三个焦平面图像进行自适应加权操作生成核心图像，深度特征提取模块用于将多个焦平面图像及核心图像在各自的提取网络中提取对应的深度特征，特征融合模块用于将三个焦平面图像提取到的深度特征分别与核心图像提取到的深度特征通过通道
‑
空间分离的多头注意力机制SMHA计算关键特征后，对三个关键特征降维后与核心图像对应的深度特征拼接得到融合特征，以加强各个焦平面图像之间的信息交互，将融合特征用于最终预测，着床预测模块用于对输入的融合特征进行胚胎着床预测；将所有胚胎多焦平面图像样本送入该胚胎多焦平面图像着床预测模型中进行训练，并通过更新模型参数不断优化；利用参数优化的胚胎多焦平面图像着床预测模型进行胚胎着床预测。2.根据权利要求1所述的基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，所述的生成核心图像模块采用卷积操作计算三个焦平面图像的区域权重，并将三个焦平面图像加权组合后生成核心图像。3.根据权利要求1所述的基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，所述的深度特征提取模块包括三个焦平面图像各自所在的提取网络以及核心图像所在的提取网络，提取网络采用残差网络提取三个焦平面图像的深度特征及核心图像的深度特征。4.根据权利要求1所述的基于多模态融合的胚胎多焦平面图像着床预测装置，其特征在于，通过通道
‑
空间分离的多头注意力机制SMHA计算关键特征，包括：该通道
‑
空间分离的多头注意力机制SMHA只存在于残差网络最后两个特征提取层之后，假设特征形态都为C
×
H
×
W，其中H代表向量特征的高度，W代表宽度，C代表通道数，f
q
表示输入的查询向量，f
kv
指键向量和值向量，f
q
和f
kv
输入空间SMHA经过平均池化操作、reshape操作变成二维矩阵，具体为：Spatial
‑
SMHA(f
q
,f
kv
)＝MHA(AvgPool(f
q
),f
kv
)AvgPool操作为一个平均池化操作，将输入的f
q
转化成一个形状为1
×
C的二维矩阵，通过reshape操作将输入的f
kv
转化成一个形状(H
×
W)
×
C的二维矩阵，将这两个矩阵用于计算MHA值；将f
q
和f
kv
输入进行卷积操作变成二维矩阵，具体为：Channel
‑
SMHA(f
q
,f
kv
)＝MHA(Conv(f
q
),f
kv
)Conv操作是一个卷积操作，将输入的f
q
通过输出通道为1...

【专利技术属性】
技术研发人员：吴健，程奕，陈婷婷，应豪超，叶志前，
申请(专利权)人：浙江大学，
类型：发明
国别省市：