基于多模态数据的胚胎评估方法及装置制造方法及图纸

本申请涉及一种基于多模态数据的胚胎评估方法及装置。其中，训练机器学习模型的方法包括：获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；获取所述图像信息的图像特征；和获取所述文本信息的文本特征；获取所述图像特征和所述文本特征的匹配度；和基于来自相同所述训练胚胎样本的所述图像特征和所述文本特征具有高匹配度，对所述模型进行训练，以便获得所述机器学习模型。所述机器学习模型可以综合利用图像和文本信息，更全面地评估胚胎质量，提高了评估准确度及评估效率，减少了人工主观性误差。减少了人工主观性误差。

【技术实现步骤摘要】
基于多模态数据的胚胎评估方法及装置


[0001]本专利技术涉及生物信息领域，具体地，本专利技术涉及基于多模态数据的胚胎评估方法及装置，更具体的，本申请涉及一种训练机器学习模型的方法、训练机器学习模型的装置、评估胚胎质量的系统、计算设备和计算机可读存储介质。

技术介绍

[0002]体外受精(IVF)是治疗不孕症最常见的方法之一。其治疗过程包括促排卵、取卵、受精、胚胎移植和着床。然而，这一技术目前只能达到大约35％的受孕率。胚胎质量评估在IVF诊疗过程中是关键性的一环。医生基于胚胎的形态选择最具生存力的胚胎植入到母体子宫中。然而，由于医生在评分胚胎时存在主观差异，往往导致胚胎评估结果评测的差异化；并且病人的其他生理信息、治疗方案及相关指标，如激素、卵泡数量形态、子宫内膜厚度也会影响胚胎质量进而影响最终的妊娠结局。
[0003]目前，国内外一些公司和学者进行了基于人工智能算法的胚胎质量评估的研究，其方法主要集中在利用计算机视觉技术对胚胎静态图片或时序图像进行特征提取，对胚胎进行分类。胚胎是一个三维组织，其包含多种组成，例如当胚胎生长到第五天形成囊胚，会形成内细胞团、滋养层、透明带等多种结构，不同结构会继续进化为胎儿或胎盘等组织，对最终的妊娠结局有不同的影响。仅利用其图像信息无法细化各组织之间的关系和区别，从而无法正确有效的评估各组织结构的生长情况，无法定量评判最终胚胎质量。由于胚胎的生长不仅仅依赖于体外培养的环节，而且与母体的生理指标，促排前后的卵泡数量质量、年龄、激素水平息息相关。但到目前为止，还未见有通过多模态综合数据对胚胎质量进行评估的机器学习模型。
[0004]因此，本领域亟需开发一种基于多模态的数据对胚胎质量进行定量评估的机器学习模型，用以提高胚胎检测的效率和准确率。

技术实现思路

[0005]本申请是专利技术人基于对以下问题和事实的发现而提出的：
[0006]针对现有胚胎质量评估的效率低、准确度差以及主观差异大等问题，专利技术人通过提取图像和文字信息中的多种超参数进行结合构建多模态评估模型，能够最大化利用图片和文字信息对胚胎质量进行评估。同时，多模态模型采用了不同于传统分类模型的概率计算方式，这一改进使得模型能够更加充分地利用模型中提取的超参数信息，提高检索准确性和效率。
[0007]本专利技术旨在至少在一定程度上解决上述技术问题之一。
[0008]为此，在本专利技术的第一方面，本专利技术提出了一种训练机器学习模型的方法，所述机器学习模型用于对胚胎质量进行评估。根据本专利技术的实施例，所述机器学习模型包括图像特征提取器子模型、文本特征提取器子模型和匹配度预测子模型，所述方法包括：获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；将所述图像信息输入至图像特
征提取器子模型，以便获得所述训练胚胎样本的图像特征；和将所述文本信息输入至文本特征提取器子模型，以便获得所述训练胚胎样本的文本特征；将所述图像特征和所述文本特征输入至匹配度预测子模型，所述匹配度预测模型输出所述图像特征和所述文本特征的匹配度；和基于来自相同所述训练胚胎样本的所述图像特征和所述文本特征具有高匹配度，对所述图像特征提取器子模型、所述文本特征提取器子模型和所述匹配度预测子模型进行训练，以便获得所述机器学习模型。
[0009]通过上述方法训练的用于胚胎质量评估的机器学习模型可以综合利用图像和文本信息，更全面地评估胚胎质量，提高了评估准确度；此外，该机器学习模型的自动化评估方式减少了人工主观性误差，提高了评估效率；由于该机器学习模型基于大量的训练数据进行训练，能够提供高准确度的胚胎质量评估结果。
[0010]需要说明的是，在本申请中，所述图像特征提取器子模型选用Swin
‑
Tiny模型作为图像的编码器，通过卷积层、池化层等一系列层次化的操作，将原始图像中的特征提取出来，并将其表示为一系列特征图。这些特征图可以用于进行图像分类、目标检测等任务。
[0011]需要说明的是，所述文本特征提取器子模型是指用于从文本数据中提取有用特征的一种机器学习模型。这些模型可以将文本数据转换成数字向量，以便用于各种机器学习任务，如分类、聚类、信息检索等。在本申请中，选取文本Transfomer模型对文本数据集进行训练，用于学习出最有效的特征提取方式。
[0012]需要说明的是，所述匹配度预测子模型基于深度学习的方法用于预测所述图像数据集与所述文本数据集之间的相似度。通过采用监督学习方式，通过训练数据集来学习图像集与文本集之间的相似程度，并用于预测新的相似度。
[0013]根据本专利技术的实施例，上述训练机器学习模型的方法还可以包括下列技术特征中的至少之一：
[0014]根据本专利技术的实施例，所述机器学习模型进一步包括胚胎质量评估子模型，所述胚胎质量评估子模型用于生成胚胎质量评估结果。通过计算机视觉技术和人工智能算法自动化地对胚胎的形态、细胞数、细胞对称性等特征进行评估，减轻了人工评估的负担，提高了准确性和可靠性。
[0015]根据本专利技术的实施例，所述质量评估结果选自图文描述、评估分数、评估级别以及分区域评估中的至少之一。具体而言，所述质量评估结果包括：
[0016]1)图文描述：通过文字和图像结合方式来描述胚胎的质量信息，进而简化分析流程。
[0017]2)评估级别：通过将胚胎进行一个级别的划分，如优秀、良好、一般等，来评估其质量。
[0018]3)评估分数：通过对胚胎的质量进行打分，并进一步规定高于一定阈值分数即为高品质胚胎。
[0019]4)分区域评估：通过对胚胎图像的不同位置或不同时期进行评估，进一步确定在某一特定时间点的胚胎质量，有助于帮助医生分析造成胚胎质量优良的原因。
[0020]需要说明的是，不同的评估方法可以得出不同的质量评估结果，因此在进行质量评估时需要选择合适的评估方法，并结合具体情况进行分析和判断。
[0021]根据本专利技术的实施例，所述图像信息与文本信息的预训练模型选自CLIP模型。利
用CLIP模型可以同时处理文本和图像的优点，本专利技术实施例选取CLIP模型对胚胎图像以及文本信息进行大规模训练学习，基于CLIP模型的通用性，可以选择性输入不同类型的图像和文本训练学习，用以增强模型的鲁棒性。这样即使在输入特殊图像的情况下，也能够产生准确的结果。
[0022]根据本专利技术的实施例，所述图像特征提取器子模型选自Swin
‑
Tiny模型。专利技术人选择Swin
‑
Tiny模型是基于模型轻量化、泛化性能强以及训练效率高的优势。
[0023]根据本专利技术的实施例，所述图像特征提取器子模型基于Swin
‑
Tiny模型对图像中基础卵泡、促排后卵泡、移植前子宫内膜、卵子、卵裂期和囊胚期信息中的至少之一作为特征参数监督训练获得。根据本专利技术的实施例，基于Swin
‑
Tiny模型进行开发的图像特征提取器子模型，在输入图像中提取出基础卵泡、促排后卵泡、移植前子宫内膜、卵本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练机器学习模型的方法，所述机器学习模型用于对胚胎质量进行评估，其特征在于，所述机器学习模型包括图像特征提取器子模型、文本特征提取器子模型和匹配度预测子模型，所述方法包括：获取训练胚胎样本的图像信息和所述训练胚胎样本对应的文本信息；将所述图像信息输入至图像特征提取器子模型，以便获得所述训练胚胎样本的图像特征；和将所述文本信息输入至文本特征提取器子模型，以便获得所述训练胚胎样本的文本特征；将所述图像特征和所述文本特征输入至匹配度预测子模型，所述匹配度预测模型输出所述图像特征和所述文本特征的匹配度；和基于来自相同所述训练胚胎样本的所述图像特征和所述文本特征具有高匹配度，对所述图像特征提取器子模型、所述文本特征提取器子模型和所述匹配度预测子模型进行训练，以便获得所述机器学习模型。2.根据权利要求1所述的方法，其特征在于，所述机器学习模型进一步包括胚胎质量评估子模型，所述胚胎质量评估子模型用于生成胚胎质量评估结果；任选地，所述质量评估结果选自图文描述、评估分数、评估级别以及分区域评估中的至少之一。3.根据权利要求1所述的方法，其特征在于，所述图像信息与文本信息的预训练模型选自CLIP模型。4.根据权利要求1所述的方法，其特征在于，所述图像特征提取器子模型选自Swin
‑
Tiny模型；任选地，所述图像特征提取器子模型基于Swin
‑
Tiny模型对图像中基础卵泡、促排后卵泡、移植前子宫内膜、卵子、卵裂期和囊胚期信息中的至少之一作为特征参数监督训练获得。5.根据权利要求1所述的方法，其特征在于，所述文本特征提取器子模型选自文本Transfomer模型；任选地，所述文本特征提取器子模型基于文本Transfomer模型对文本中生理信息、激素信息、用药信息、卵泡信息、胚胎发育信息中的至少之一作为特征参数监督训练获得；任选地，所述机器学习模型文本特征选自患者。6.根据权利要求1所述的方法，其特征在于，所述匹配度预测子模型基于图像特征与文本特征之间的相似度进行训练获得；任选地，所述匹配度对应于图像...

【专利技术属性】
技术研发人员：倪娜，童国庆，吕毅，
申请(专利权)人：倪娜，
类型：发明
国别省市：