一种基于分段采样视频特征的胚胎妊娠结果预测装置制造方法及图纸

本发明专利技术公开了一种基于分段采样的视频特征的胚胎妊娠结果预测装置，包括存储器、处理器以及计算机程序，存储器中存有包括n个特征提取模块和融合分类模块的胚胎妊娠结果预测模型，处理器执行所述计算机程序时实现以下步骤：接收胚胎发育视频，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像；以每个特征提取模块输入m帧图像的方式，将抽取的n*m帧图像分别输入到n个特征提取模块，经特征提取后，提取的n类特征图合并后输入到融合分类模块中，经计算输出胚胎妊娠结果预测概率；其中，n为大于等于4的自然数，m为小于20的自然数。该装置能够根据胚胎发育视频准确地输出胚胎妊娠结果的预测概率。

An Embryo Pregnancy Prediction Device Based on Segmented Sampling Video Features

The invention discloses an embryonic pregnancy outcome prediction device based on video features of segmented sampling, which includes memory, processor and computer program. The memory contains an embryonic pregnancy outcome prediction model comprising N feature extraction modules and fusion classification modules. When the processor executes the computer program, the following steps are realized: receiving embryonic development video and processing frame image. After de-noising, the remaining frame images are divided into n segments, and M frames are extracted at medium intervals in each segment. By inputting m frames into each feature extraction module, the extracted n*m frame images are inputted into n feature extraction modules. After feature extraction, the extracted n-class feature images are merged into the fusion classification module, and the prediction of embryonic pregnancy results is calculated and output. Probability; where n is a natural number greater than or equal to 4 and M is a natural number less than 20. The device can accurately output the predictive probability of embryonic pregnancy results based on embryonic development video.

【技术实现步骤摘要】
一种基于分段采样视频特征的胚胎妊娠结果预测装置
本专利技术属于医疗视频处理领域，具体涉及一种基于分段采样的视频特征的胚胎妊娠结果预测装置。
技术介绍
辅助生殖技术是人类辅助生殖技术(AssistedReproductiveTechnology，ART)的简称，指采用医疗辅助手段使不育夫妇妊娠的技术，包括人工授精(ArtificialInsemination，AI)和体外受精-胚胎移植(InVitroFertilizationandEmbryoTransfer，IVF-ET)及其衍生技术两大类。在40年间，IVF试管婴儿技术经历了三代变化，第三代试管婴儿技术在解决女性不孕和男性不育基础上，还可通过移植前筛查，满足人们优生优育的需求。试管婴儿技术采用人工方法让卵细胞和精子在体外受精，并进行早期胚胎发育，然后移植到母体子宫内妊娠发育，成熟后通过正常方式分娩。胚胎发育可以根据时间顺序划分为配子、原核期、卵裂期、囊胚期几个阶段，现有的胚胎评判标准主要是通过观察这几个阶段胚胎的发育速度以及形态学标准，通过对各个标准进行评分来估计胚胎的状态，以选择优质胚胎进行胚胎冷冻或胚胎移植。评判标准主要为囊胚扩张程度与囊胚形态学评分：囊胚扩张程度可以通过囊胚分期来衡量，根据囊胚腔在胚胎中的发育扩张程度，可将囊胚扩张划分为6个时期，分期越高代表囊胚发育越完全，移植评分越高；囊胚形态学评分又可划分为内细胞团分级和滋养层细胞分级，分别代表内细胞团数目的多少和滋养层细胞的疏密，内细胞数目少、滋养层细胞稀疏的囊胚可获得更高的评分。评估后，得分高于设定值的胚胎才会被选中，参与后续移植操作。然而，这种人为的评分过程，在实际操作时，往往会由于评估医师的主观认知产生偏差，且不同医师的评分标准也不尽相同，最终获得的胚胎评估指标不甚标准。据统计，目前国际上IVF的整体妊娠率在50％-60％，其中，移植到母体内的胚胎质量是一个主要的影响因素，因此，若能使用计算机对囊胚期胚胎进行更严格、更准确的评估分级，将大大提升胚胎移植后的妊娠成功率。近年来，深度学习方法在影像处理领域取得了巨大的成就，这也为使用深度学习技术辅助医生进行胚胎发育的预测提供了可能。经调查，以深度学习为基础的计算机辅助诊疗(computeraideddiagnosis,CAD)系统，被广泛应用。已有许多系统使用卷积神经网络(convolutionalneuralnetwork,CNN)对医学图像建立模型，进行病变区域检测、病变级别分类、病情发展预测等工作。然而，当前尚未有使用深度学习算法，进行高效、准确胚胎妊娠预测的系统。胚胎发育视频是对显微镜下的胚胎影像每隔5分钟进行一次采样构成的连续图片，即每一帧之间的间隔为5分钟。从体外受精成受精卵到发育成囊胚期之前需要经过三到四天的时间，尽管采样的间隔较大，但一个视频仍然有800帧左右的数据，这对于现有的机器学习方法或者是深度学习方法而言是无法进行处理的。一方面，当前的计算能力不能支持数百帧图像的同时处理；另一方面，现有的处理时间序列的模型比如rnn、lstm等，都具有一定的“遗忘性”，不能学习如此长跨度的时间信息。所以，如何从如此冗长的视频数据中提取出有用的关键信息并训练模型提取、处理这些特征是胚胎发育预测的关键问题。
技术实现思路
本专利技术的目的是提供了一种基于分段采样的视频特征的胚胎妊娠结果预测装置。当胚胎发育视频被分段处理后输入到该装置，经过计算可以输出准确率较高的胚胎妊娠结果的预测概率，该预测概率能够辅助医生进行胚胎妊娠成功与否的判断。为实现上述专利技术目的，本专利技术提供以下技术方案：一种基于分段采样的视频特征的胚胎妊娠结果预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：所述计算机存储器中存有胚胎妊娠结果预测模型，其包括n个特征提取模块，对n个特征提取模块的输出进行融合和分类的融合分类模块；所述计算机处理器执行所述计算机程序时实现以下步骤：接收胚胎发育视频，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像；以每个特征提取模块输入m帧图像的方式，将抽取的n*m帧图像分别输入到n个特征提取模块，经特征提取后，提取的n类特征图合并后输入到融合分类模块中，经计算输出胚胎妊娠结果预测概率；其中，n为大于等于4的自然数，m为小于20的自然数。该装置中，通过分段提取的手段，有效地提取了胚胎发育视频信息，根据这些视频帧图像特征来预测胚胎妊娠结果概率，该预测概率能够辅助医生进行胚胎妊娠成功与否的判断。其中，所述胚胎妊娠结果预测模型的获得过程为：建立训练集：将每个胚胎发育视频样本转换成帧图像，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像，将获得的n*m帧图像和胚胎发育视频样本对应的标签作为一个训练样本，构成训练集；建立网络结构：以n个并联的P3D网络作为n个特征提取网络，n个特征提取网络的输出连接对n个输出进行融合和分类的融合分类网络，其中，融合分类网络包括以次连接的至少一个卷积层、全连接层和分类器；训练网络结构：以每个特征提取网络输入m帧图像的方式，将每个训练样本中n*m帧图像分别输入n个特征提取网络中，在标签的监督下，对n个特征提取网路和融合分类网络进行训练，获得对应的n个特征提取模块以及融合分类模块，组成胚胎妊娠结果预测模型。为了降低甚至避免噪声帧图像影响胚胎妊娠结果预测，需要对视频帧图像进行噪声剔除，具体地，所述对帧图像进行去噪剔除包括：计算每一帧图像的像素平均值，将像素平均值小于像素阈值的帧图像作为噪声图像剔除。本专利技术是根据胚胎发育视频预测胚胎妊娠结果，帧图像之间的时间因素也影响最终的胚胎妊娠结果预测，为了提升胚胎妊娠结果预测准确性，在每段中随机抽取连续的m帧图像。其中，所述P3D网络包括依次连接的至少1个网络单元，每个网络单元包括P3D-A模块、P3D-B模块、P3D-C模块中的一者，或者至少两者依次连接，或三者任意顺序连接；其中，P3D-A模块包括依次连接的卷积模块P3D-A1、卷积模块P3D-A2、卷积模块P3D-A3、卷积模块P3D-A4，和对卷积模块P3D-A1的输入特征图和卷积模块P3D-A4的输出特征图做叠加的叠加操作；P3D-B模块包括卷积模块P3D-B1，并列连接卷积模块P3D-B1输出的卷积模块P3D-B2、卷积模块P3D-B3，同时连接卷积模块P3D-B2和卷积模块P3D-B3输出的卷积模块P3D-B4，以及对卷积模块P3D-B4输出特征图和卷积模块P3D-B1输入特征图做叠加的叠加操作；P3D-C模块依次连接的卷积模块P3D-C1、卷积模块P3D-C2、卷积模块P3D-C3，对卷积模块P3D-C2输出特征图和卷积模块P3D-C3输出特征图做叠加的叠加操作，连接叠加操作结果的卷积模块P3D-C4，以及对卷积模块P3D-C1输入特征图和卷积模块P3D-C4输出特征图做叠加的叠加操作。在一个实施例方式中，当将胚胎发育视频帧图像分成与配子、原核期、卵裂期、囊胚期对应的4段时，所述胚胎妊娠结果预测模型的网络结构包括：以4个并联的P3D网络作为配子期特征提取网路、原核期特征提取网络、卵裂期特征提取本文档来自技高网...

【技术保护点】
1.一种基于分段采样的视频特征的胚胎妊娠结果预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：所述计算机存储器中存有胚胎妊娠结果预测模型，其包括n个特征提取模块，对n个特征提取模块的输出进行融合和分类的融合分类模块；所述计算机处理器执行所述计算机程序时实现以下步骤：接收胚胎发育视频，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像；以每个特征提取模块输入m帧图像的方式，将抽取的n*m帧图像分别输入到n个特征提取模块，经特征提取后，提取的n类特征图合并后输入到融合分类模块中，经计算输出胚胎妊娠结果预测概率；其中，n为大于等于4的自然数，m为小于20的自然数。

【技术特征摘要】
1.一种基于分段采样的视频特征的胚胎妊娠结果预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：所述计算机存储器中存有胚胎妊娠结果预测模型，其包括n个特征提取模块，对n个特征提取模块的输出进行融合和分类的融合分类模块；所述计算机处理器执行所述计算机程序时实现以下步骤：接收胚胎发育视频，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像；以每个特征提取模块输入m帧图像的方式，将抽取的n*m帧图像分别输入到n个特征提取模块，经特征提取后，提取的n类特征图合并后输入到融合分类模块中，经计算输出胚胎妊娠结果预测概率；其中，n为大于等于4的自然数，m为小于20的自然数。2.如权利要求1所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，所述胚胎妊娠结果预测模型的获得过程为：建立训练集：将每个胚胎发育视频样本转换成帧图像，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像，将获得的n*m帧图像和胚胎发育视频样本对应的标签作为一个训练样本，构成训练集；建立网络结构：以n个并联的P3D网络作为n个特征提取网络，n个特征提取网络的输出连接对n个输出进行融合和分类的融合分类网络，其中，融合分类网络包括以次连接的至少一个卷积层、全连接层和分类器；训练网络结构：以每个特征提取网络输入m帧图像的方式，将每个训练样本中n*m帧图像分别输入n个特征提取网络中，在标签的监督下，对n个特征提取网路和融合分类网络进行训练，获得对应的n个特征提取模块以及融合分类模块，组成胚胎妊娠结果预测模型。3.如权利要求1或2所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，所述对帧图像进行去噪剔除包括：计算每一帧图像的像素平均值，将像素平均值小于像素阈值的帧图像作为噪声图像剔除。4.如权利要求1或2所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，在每段中随机抽取连续的m帧图像。5.如权利要求2所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，所述P3D网络包括依次连接的至少1个网络单元，每个网络单元包括P3D-A模块、P3D-B模块、P3D-C模块中的一者，或者至少两者依次连接，或三者任意顺序连接；其中，P3D-A模块包括依次连接的卷积模块P3D-A1、卷积模块P3D-A2、卷积模块P3D-A3、卷积模块P3D-A4，和对卷积模块P3D-A1的输入特征图和卷积模块P3D-A4的输出特征图做叠加的叠加操作；P3D-B模块包括...

【专利技术属性】
技术研发人员：吴健，雷璧闻，马鑫军，陈晋泰，宋庆宇，冯芮苇，王文哲，陆逸飞，吴福理，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33