自动获取胎儿关键切面超声视频中心动周期视频的方法技术

本发明专利技术公开了一种自动获取胎儿关键切面超声视频中心动周期视频的方法，具体是先使用目标跟踪技术定位到不断发生形变的心脏部位，然后使用分类方法初步识别出舒张与收缩末期，这样便得到了大致的心脏周期分界线帧；最后，使用一种交叉门控双线性匹配模型，用以检验并精细定位长视频中与标准视频中匹配的片段，这样便能从心动周期视频中明显的分界帧与中间的动态匹配两方面相结合，更为精准地匹配到相关标准切面下的完整心动周期视频。本发明专利技术旨在利用深度学习智能自动地从超声视频中截取胎儿心动周期视频，为后续的智能诊断提供最直接有效的依据。

Automatic acquisition of fetal critical section ultrasound video central motion cycle video

The invention discloses a method for automatically obtaining the fetal critical section ultrasonic video central motion period video, in particular, first using the target tracking technology to locate the constantly deformed heart part, then using the classification method to preliminarily identify the end of diastolic and systolic period, so as to obtain the approximate cardiac cycle boundary frame; finally, using a cross gated bilinear matching mode Type B is used to test and fine locate the matching segments in the long video and the standard video, so as to combine the obvious boundary frame in the cardiac cycle video with the dynamic matching two sides in the middle, and more accurately match the complete cardiac cycle video under the relevant standard sections. The invention aims to use deep learning intelligence to automatically intercept fetal cardiac cycle video from ultrasonic video, providing the most direct and effective basis for subsequent intelligent diagnosis.

【技术实现步骤摘要】
自动获取胎儿关键切面超声视频中心动周期视频的方法
本专利技术属于产前超声检查
，特别是涉及一种自动获取胎儿关键切面超声视频中心动周期视频的方法。
技术介绍
目前，胎儿心脏超声检查是中期妊娠筛查先天性心脏病的最重要的手段。基于胎儿心脏超声检查的结果，能够减少许多严重复杂畸形胎儿的出生，同时针对检查结果中心脏异常较轻的胎儿，如果产前能得到诊断并作出必要的保障措施，出生后的新生儿的心脏异常便能得到及时救治。在胎儿心脏超声检查过程中，从胎儿关键切面(包括四腔心、左室流出道、右室流出道、3VT切面等)视频中获取的心动周期视频是对心脏发育状况进行评估、以及对心脏疾病进行诊断的关键数据，其中心动周期视频，指的是心动周期内相邻两个收缩末期帧(或舒张末期帧)采样所得到的视频。现有获取胎儿关键切面视频中心动周期视频的方法，主要是首先通过超声设备获取视频数据，然后借助超声医师其专业技能从这些视频数据中手动获取心动周期视频。然而，该方法存在一些不可忽略的缺陷：第一，该方法需要采集大量的视频数据，相当占用存储资源；第二，该视频数据中包括多个心动周期视频和干扰帧，因此从中筛选并确定心动周期视频的工作量巨大，且极其费时；第三，该方法需要基于专业技能高超的超声医师才能获得最准确的胎儿超声心动周期，因此在超声医师水平相对较低的县乡医院、以及超声医师缺乏的老少边穷地区，该方法无法得到普及应用。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种自动获取胎儿关键切面超声视频中心动周期视频的方法，其目的在于：结合深度学习的图像与视频分析处理技术，智能提取胎儿关键切面(四腔心、左室流出道、右室流出道、3VT切面等等)超声视频中的心动周期视频片段，并解决现有人工获取代表性的心动周期视频的方法中由于需要采集大量的视频数据所导致的占用硬盘存储资源的技术问题，以及对视频数据中的大量心动周期视频和干扰帧进行筛选导致工作量巨大、极其费时的技术问题，以及由于对超声医师专业水平要求过高导致的普适性差的技术问题。为实现上述目的，按照本专利技术的一个方面，提供了一种自动获取胎儿关键切面超声视频中心动周期视频的方法，包括以下步骤：(1)从超声仪器实时采集胎儿关键切面下的超声视频，将该胎儿关键切面下的超声视频输入已经训练好的目标跟踪模型SiamRPN++，以定位心脏部位；(2)将步骤(1)得到的心脏部位输入组成目标跟踪模型SiamRPN++的ResNet-50骨干网络，以提取图像特征，将提取的图像特征输入单分类SVM(即One-classSVM)，以获取多个心脏收缩末期帧(或舒张末期帧)，并根据获取的多个心脏收缩末期帧(或舒张末期帧)得到多个目标搜索视频片段；(3)使用视频再定位模型将步骤(2)得到的多个目标搜索视频片段与标准模板视频片段进行语义匹配，以从多个目标搜索视频片段中获取与标准模板视频片段最匹配的视频片段，该视频片段即为胎儿关键切面超声视频中的心动周期视频。优选地，目标图像和搜索图像首先通过前8个卷积层后，输出提取的特征图，然后进入目标跟踪模型SiamRPN++中最左边一级的SiameseRPN模块，输出两组维度相同的得分图；这两组得分图又跟目标对象和搜索图像经过之后的6个卷积层中的中间卷积层提取的特征图进行加权融合，作为中间一级的SiameseRPN模块的输入，随后该中间一级的SiameseRPN模块也输出两组维度相等的得分图，再跟目标对象和搜索图像经过上述3个卷积层中最后一个卷积层提取的得分图分别进行加权融合，作为最右边一级的SiameseRPN模块的输入，最后，最右边一级的SiameseRPN模块输出两组维度相等的得分图，并分别通过分类分支和回归分支输出分类结果和回归结果。优选地，目标跟踪模型SiamRPN++是通过以下步骤训练得到的：(1-1)利用COCO、ImageNetDET、ImageNet2015-VID和Youtube边界框数据集对目标跟踪模型SiamRPN++进行预训练；(1-2)利用已经标记的胎儿超声心动视频对预训练后的目标跟踪模型SiamRPN++的参数做微调训练。优选地，步骤(1-1)具体为，首先从网络下载组成目标跟踪模型SiamRPN++的ResNet-50骨干网络的预训练模型，并冻结其参数，然后利用COCO、ImageNetDET、ImageNet2015-VID和YouTube-BoundingBoxes训练数据集来训练目标跟踪模型SiamRPN++中除了ResNet-50以外的其他部分。优选地，胎儿超声心动视频包括四腔心、左室流出道、右室流出道、三血管气管3VT这4个关键切面心动视频，以及其他非关键切面下的心动视频。优选地，通过将心脏收缩末期帧或心脏舒张末期帧作为基准帧，在超声视频中往前取与该基准帧相邻的多帧，然后往后取与该基准帧相邻的多帧，该基准帧、向前取的多帧、以及向后取的多帧共同构成目标搜索视频。优选地，单分类SVM是通过以下步骤训练得到的：(2-1)获取四腔心切面收缩末期帧或舒张末期帧样本集，根据标记框对四腔心切面收缩末期帧或舒张末期帧样本集中的每一帧进行裁剪，以得到裁剪后的四腔心切面收缩末期帧或舒张末期帧图像；(2-2)对步骤(2-1)裁剪后的每一帧四腔心切面收缩末期帧或舒张末期帧图像进行灰度化处理，以得到灰度处理后的灰度图像；(2-3)将步骤(2-2)得到的每一幅灰度图像进行统一放缩处理，以得到放缩后的统一尺寸的灰度图像；(2-4)对步骤(2-3)所得的尺寸统一的灰度图像进行数据增广处理，以得到处理后的心脏收缩末期帧或舒张末期帧心脏部位图像；(2-5)对步骤(2-4)数据增广所得的每一幅心脏收缩末期帧或舒张末期帧心脏部位图像进行归一化处理，以得到归一化的图像；(2-6)将步骤(2-5)得到的归一化的图像输入目标跟踪模型SiamRPN++的RestNet-50模型中提取特征，并将提取的特征输入单分类SVM进行单分类训练。优选地，视频再定位模型是通过以下步骤训练得到的：(3-1)利用基于ActivityNet的视频集对视频再定位模型进行预训练；(3-2)使用胎儿超声心动视频中的四腔心心动视频片段对预训练后的视频再定位模型进行训练。总体而言，通过本专利技术所构思的以上技术方案与现有技术相比，能够取得下列有益效果：1、本专利技术由于采用了步骤(1)，其自动跟踪定位到胎儿心脏部位，排除了众多无用信息的干扰，十分利于对心脏标准切面的识别与分类，使得经验欠缺的超声医师更容易定位到关键切面，有利于高质量超声技术的普及。2、本专利技术由于采用了步骤(4)，其基于视频语义匹配的方式来定位完整心动周期视频所对应的帧。因此与周期模板视频片段做匹配运算便可以寻找到语义精确匹配的完整周期片段，这进一步减少了胎儿个体之间的差异性所带来的识别困难。3、本专利技术将深度学习技术应用于超声心动周期视频的自动化截取工作，实现了超声心动关键性数据—关键切面超声视频中胎儿本文档来自技高网...

【技术保护点】
1.一种自动获取胎儿关键切面超声视频中心动周期视频的方法，其特征在于，包括以下步骤：/n(1)从超声仪器实时采集胎儿关键切面超声视频，将该胎儿关键切面超声视频输入已经训练好的目标跟踪模型SiamRPN++，以定位心脏部位；/n(2)将步骤(1)得到的心脏部位输入组成目标跟踪模型SiamRPN++的ResNet-50骨干网络，以提取图像特征，将提取的图像特征输入单分类SVM(即One-class SVM)，以获取多个心脏收缩末期帧或心脏舒张末期帧，并根据获取的多个心脏收缩末期帧或心脏舒张末期帧得到多个目标搜索视频片段；/n(3)使用视频再定位模型将步骤(2)得到的多个目标搜索视频片段与标准模板视频片段进行语义匹配，以从多个目标搜索视频片段中获取与标准模板视频片段最匹配的视频片段，该视频片段即为胎儿关键切面超声视频中的心动周期视频。/n

【技术特征摘要】
1.一种自动获取胎儿关键切面超声视频中心动周期视频的方法，其特征在于，包括以下步骤：
(1)从超声仪器实时采集胎儿关键切面超声视频，将该胎儿关键切面超声视频输入已经训练好的目标跟踪模型SiamRPN++，以定位心脏部位；
(2)将步骤(1)得到的心脏部位输入组成目标跟踪模型SiamRPN++的ResNet-50骨干网络，以提取图像特征，将提取的图像特征输入单分类SVM(即One-classSVM)，以获取多个心脏收缩末期帧或心脏舒张末期帧，并根据获取的多个心脏收缩末期帧或心脏舒张末期帧得到多个目标搜索视频片段；
(3)使用视频再定位模型将步骤(2)得到的多个目标搜索视频片段与标准模板视频片段进行语义匹配，以从多个目标搜索视频片段中获取与标准模板视频片段最匹配的视频片段，该视频片段即为胎儿关键切面超声视频中的心动周期视频。


2.根据权利要求1所述的自动获取胎儿关键切面超声视频中心动周期视频的方法，其特征在于，目标图像和搜索图像首先通过前8个卷积层后，输出提取的特征图，然后进入目标跟踪模型SiamRPN++中最左边一级的SiameseRPN模块，输出两组维度相同的得分图；这两组得分图又跟目标对象和搜索图像经过之后的6个卷积层中的中间卷积层提取的特征图进行加权融合，作为中间一级的SiameseRPN模块的输入，随后该中间一级的SiameseRPN模块也输出两组维度相等的得分图，再跟目标对象和搜索图像经过上述3个卷积层中最后一个卷积层提取的得分图分别进行加权融合，作为最右边一级的SiameseRPN模块的输入，最后，最右边一级的SiameseRPN模块输出两组维度相等的得分图，并分别通过分类分支和回归分支输出分类结果和回归结果。


3.根据权利要求1所述的自动获取胎儿关键切面超声视频中心动周期视频的方法，其特征在于，目标跟踪模型SiamRPN++是通过以下步骤训练得到的：
(1-1)利用COCO、ImageNetDET、ImageNet2015-VID和Youtube边界框数据集对目标跟踪模型SiamRPN++进行预训练；
(1-2)利用已经标记的胎儿超声心动视频对预训练后的目标跟踪模型SiamRPN++的参数做微调训练。


4.根据权利要求1所述的自动获取胎儿关键切面超声视频中心动周期视频的方法，其特征在于，步骤(1-1)具体为，首先从网络下载组成目标跟踪模型SiamRPN++的...

【专利技术属性】
技术研发人员：李肯立，李胜利，朱宁波，文华轩，
申请(专利权)人：李肯立，
类型：发明
国别省市：湖南;43