基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统技术方案

本发明专利技术公开了一种基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统，包括采集胚胎培养过程中各发育阶段的胚胎图像，提取患者的临床数据和病历数据；对胚胎图像做预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；将临床输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，分别得到胚胎形态学特征向量和临床特征向量；利用跨模态特征融合方式融合两种模态的特征，得到胚胎形态学特征与临床特征的融合特征；将融合特征输入预测器，预测胚胎妊娠概率。本发明专利技术的自动分析预测结果具有良好的鲁棒性和可解释性。良好的鲁棒性和可解释性。良好的鲁棒性和可解释性。

【技术实现步骤摘要】
基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统


[0001]本专利技术涉及医疗人工智能领域，具体地说，涉及一种基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统。

技术介绍

[0002]全球有相当一部分育龄人口面临着不孕不育和生育能力低下的问题。根据最新的调查，大约13％的女性和10％的男性受不孕症的影响。
[0003]体外受精
‑
胚胎移植是辅助生殖技术(ART)中治疗不孕症最有效、最常见的方法之一。在体外受精周期中，从女性卵巢中取出多个成熟卵母细胞，并在实验室通过体外受精(IVF)或卵胞浆内单精子注射(ICSI)进行受精。然后这些受精卵(胚胎)在最佳条件的培养箱中培养。这些胚胎可以在孵化的第3天、第4天或第5天被移植到子宫中，或冷冻保存以备后续的移植。
[0004]胚胎质量的好坏直接影响其移植后的妊娠结果。胚胎形态学评估是最有效、最常用的胚胎质量评估方法之一，胚胎学家根据胚胎的内在形态结构，如囊胚腔、内细胞团和滋养层，对胚胎的质量进行分级。因此胚胎学家通常通过胚胎形态学来评估胚胎质量的好坏，选取质量最好的胚胎进行移植。然而，胚胎学家对于胚胎形态学的评估高度主观，对于经验不足的医生来说，胚胎评估十分复杂，难免出现因主观因素对囊胚腔占比大小、内细胞团和滋养层等级评定等造成误判，进而影响胚胎的选择，导致妊娠率降低。
[0005]尽管一些基于人工智能技术的胚胎妊娠预测方法被提出，例如现有的授权专利中，CN109214375B、CN109544512B都有提供胚胎妊娠的预测技术。但现有的这些方法仍然具有如下问题：
[0006]1.现有方法高度依赖于胚胎学家提出的囊胚分级系统，通常需要多位胚胎学家对数据集进行统一标注。因此缺乏可靠、大量的训练数据，难以在实际工程中应用。
[0007]2.现有方法只关注特定时期胚胎的形态，如胚胎发育至囊胚时的形态学特征，或胚胎内部特定的结构，如胚胎的内细胞团和滋养层等。而胚胎的发育是一个动态的过程，因此这些方法无法全面评估胚胎活性。
[0008]3.现有方法进行妊娠预测时只关注胚胎形态学特征，忽视了患者的年龄、疾病史等对妊娠结果有影响的重要因素，因此难以在实际临床场景下应用。

技术实现思路

[0009]本专利技术的目的是提供一种基于时空注意力和跨模态融合的胚胎妊娠预测方法和系统，不仅充分分析胚胎整个发育过程中的形态学特征，从时间和空间上高效地获取胚胎特征，而且充分利用患者的年龄、疾病史等重要临床因素，从而有效、准确地预测胚胎妊娠率。
[0010]为了实现上述目的，本专利技术所提出的胚胎妊娠预测方法包括以下步骤：
[0011]S1.收集患者的年龄、疾病史、用药史等临床数据，采集胚胎培养过程中各发育阶
段的胚胎图像；
[0012]S2.对胚胎图像做统一的预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；
[0013]S3.将所述输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，得到胚胎形态学特征向量和临床特征；
[0014]S4.利用跨模态特征融合技术得到胚胎形态学特征与临床特征的融合特征；
[0015]S5.将融合特征输入预测器，预测胚胎妊娠概率。
[0016]所述步骤S2的具体子步骤如下：
[0017]S201.对胚胎图像做灰度化处理，得到胚胎灰度图。灰度化处理采用公式Gray＝0.299R+0.587G+0.114B；
[0018]S202.用Canny算子处理上述胚胎灰度图像，得到原始胚胎图像的二值边缘图像；
[0019]S203.利用霍夫变换检测上述二值边缘图像中的圆心，得到圆心的位置坐标；
[0020]S204.通过上述圆检测的位置坐标截取原始的胚胎图像，使胚胎分布在图像的正中间且图像分辨率为448*448，得到预处理后的胚胎图像；
[0021]S205.对上述预处理后的胚胎图像做数据增强，包括色度、亮度、饱和度、对比度转换，得到图像输入数据；
[0022]S206.对临床数据进行数据清洗，包括去除、补全缺失数据，去除、修正错误数据，修正数据格式，去除离群值等，得到清洗后的数据；
[0023]S207.对上述清洗后的数据做特征工程，包括数据归一化，数据变换，数据降维，特征选择等，得到临床输入数据；
[0024]所述步骤S3的具体子步骤如下：
[0025]S301.以ResNet
‑
50作为胚胎质量评估模型的基础网络，在残差块中加入空间注意力模块，将同一胚胎的多个图像输入所述网络，提取不同阶段胚胎的形态学特征；
[0026]S302.将所述同一胚胎不同发育阶段的特征进行时域特征融合，并通过时间注意力模块得到最终的胚胎形态学特征向量；
[0027]S303.将所述临床输入数据输入到Adaboost模型，得到临床特征向量；
[0028]所述步骤S4的具体子步骤如下：
[0029]S401.对所述胚胎形态学特征向量进行数据降维处理；
[0030]S402.将降维后的形态学特征向量与临床特征向量对齐并拼接；
[0031]S403.将所述拼接特征向量输入跨模态特征融合模块，提取融合特征；
[0032]为实现上述目的，本专利技术还提出一种胚胎妊娠预测系统，所述系统包括：
[0033]数据预处理模块，用于对同一胚胎的不同发育阶段的胚胎图像进行预处理，得到输入图像，以及对临床数据做数据工程，得到相应的临床输入数据；
[0034]胚胎质量评估模块，用于将所述输入图像输入基于时空注意力机制的特征提取网络，得到胚胎完整的形态学特征；
[0035]临床数据评估模块，用于将临床输入数据输入到临床医学数据挖掘模型中，得到有效的临床特征；
[0036]跨模态特征融合模块，用于将胚胎图像特征和临床特征进行跨模态的数据融合，得到融合妊娠特征；
[0037]胚胎妊娠预测模块，用于将所述融合妊娠特征输入预测单元，得到胚胎的妊娠率，并以此辅助医生进行胚胎选择。
[0038]与当前胚胎妊娠预测方法与系统相比，本技术方案有以下有益效果：
[0039]1.本专利技术创新性的利用胚胎整个发育过程中不同时期的胚胎图像，以及完整的胚胎结构进行胚胎妊娠预测，避免了因只关注胚胎的囊胚期或只关注胚胎内部部分结构导致的片面分析，从而能更全面、更高效地获得胚胎质量信息，预测胚胎妊娠结局，进而辅助医生快速评估、选择胚胎。
[0040]2.本专利技术创新性的引入临床数据，通过临床医学数据挖掘模型分析临床数据，获取临床特征向量，并将其与胚胎图像特征向量进行跨模态的特征融合，以此来预测妊娠率，提升了本专利技术的鲁棒性和可解释性。
附图说明
[0041]图1是本专利技术实施例提供的一种胚胎妊娠预测方法的流程图；
[0042]图2是本专利技术实施例中注意力机制的网络示意图；
具体实施方式
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空注意力和跨模态融合的胚胎妊娠预测方法，其特征在于，包括以下步骤：S1.采集胚胎培养过程中各发育阶段的胚胎图像，提取患者的临床数据和病历数据；S2.对胚胎图像做预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；S3.将步骤S2所得临床输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，分别得到胚胎形态学特征向量和临床特征向量；S4.利用跨模态特征融合方式融合两种模态的特征，得到胚胎形态学特征与临床特征的融合特征；S5.将步骤S4所得融合特征输入预测器，预测胚胎妊娠概率。2.如权利要求1所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法，其特征在于：所述步骤S2包括以下子步骤，S201.对胚胎图像做灰度化处理，得到胚胎灰度图像；S202.用Canny算子处理S201所得胚胎灰度图像，得到原始胚胎图像的二值边缘图像；S203.利用霍夫变换检测S202所得二值边缘图像中的圆心，得到圆心的位置坐标；S204.通过S203圆心检测所得的位置坐标截取原始的胚胎图像，使胚胎分布在图像的正中间，得到预处理后的胚胎图像；S205.对S204预处理后的胚胎图像做数据增强，包括色度、亮度、饱和度、对比度转换，得到图像输入数据；S206.对临床数据进行数据清洗，包括去除、补全缺失数据，去除、修正错误数据，修正数据格式，以及去除离群值，得到清洗后的数据；S207.对S206所得清洗后的数据做特征工程，包括数据归一化，数据变换，数据降维，以及特征选择，得到临床输入数据。3.如权利要求1所述的一种基...

【专利技术属性】
技术研发人员：涂志刚，李可，尹太郎，
申请(专利权)人：武汉大学，
类型：发明
国别省市：