基于人在回路智能辅助导航的胎心超声标准切面提取方法技术

本发明专利技术公开了一种基于人在回路智能辅助导航的胎心超声标准切面提取方法，首先构建用于标注胎心位置的超声图像数据集；再采用多目标区域推荐网络确定胎心候选区域；接下来基于Faster

【技术实现步骤摘要】
基于人在回路智能辅助导航的胎心超声标准切面提取方法


[0001]本专利技术属于计算机辅助诊断
，具体涉及一种胎心超声标准切面提取方法。

技术介绍

[0002]先天性心脏病是最常见的新生儿先天性缺陷类型之一，在出生婴儿中的发病率为0.8％
‑
1.1％，在各种出生缺陷中列居首位。根据相关统计表明，先天性心脏病不仅是我国发病率最高的新生儿疾病，还是导致我国婴儿死亡的首要原因。对于先天性心脏病，通过产前筛查对胎心进行早期诊断，并配合相关的产前干预措施，可有效降低胎儿出生后的先天性心脏病发病率。胎儿先天性心脏病的产前筛查主要分为穿刺检查和成像检查两种方式，由于成像检查方式具有无创优势，已成为产前筛查的主流方式。在现有多种成像技术中，CT成像存在辐射性缺点，而磁共振成像技术则无法用于实时检查，且易受胎动影响而产生伪影。相比之下，超声成像技术具备无辐射、成本低等优势，在产检中可有效对胎心进行实时观测。现有研究表明，在胎儿的产前超声检测中，不仅需对超声图像中的胎心区域进行搜寻，还需对胎心的超声标准切面进行提取，而超声标准切面所展现的胎心形状，对医生诊断先天性心脏病具有重要指导作用。
[0003]在现有的胎心超声标准切面提取研究中，胎心超声标准切面提取的相关研究仍处于起步阶段。对于超声标准切面的自动提取，现有方法主要采用手工设计图像特征的方法，进而通过分类器对符合超声标准切面的图像进行判别。其中，深圳大学倪东教授团队通过基于径向分量模型的选择性搜索方法，自动定位超声图像中胎儿腹部的标准切面。对于胎儿面部的标准切面，深圳大学汪天富教授团队进一步通过Fisher vector对超声图像特征进行提取，实现对胎儿面部标准切面的自动识别。然而，上述方法均要求对超声图像特征进行手工设计，在实现过程中对专家知识具有过高的依赖性，在个体差异较大的众多产检对象中难以推广。
[0004]由于胎心超声标准切面的提取高度依赖于超声医生的临床经验，在面对大规模的产前筛查时，经验丰富的超声医生不仅人数较少，还会面临因疲劳等原因而引起的漏误诊问题。即便对于有一定经验的超声医生，在频繁胎动的情况下依然难以有效捕捉胎心的标准切面。因此在胎儿产前超声诊断中，对胎心超声标准切面提取引入辅助导航与影像分析系统，不仅降低了医生在超声扫描中的经验门槛，还可有效减少医生主观因素对检查结果的干扰。在胎心诊断中引入超声标准切面的智能辅助导航提取方法，可极大程度地缓解医疗技术人员的工作负荷，有效提升产前超声诊断的筛查效率。
[0005]为克服超声标准切面自动提取模型对专家知识的高度依赖性，近期研究逐渐通过基于数据驱动模式的方法，采取深度学习方法构建超声标准切面判别模型。其中，基于深度卷积神经网络的标准切面自动提取方法已对胎儿腹部"Chen H,Ni D,Qin J,et al.Standard plane localization in fetal ultrasound via domain transferred deep neural networks[J].IEEE journal of biomedical and health informatics,
2015,19(5):1627
‑
1636"与胎儿面部"Yu Z,Tan E L,Ni D,et al.A deep convolutional neural network
‑
based framework for automatic fetal facial standard plane recognition[J].IEEE journal of biomedical and health informatics,2017,22(3):874
‑
885"的数据进行了初步尝试。在此基础上，近期研究进一步通过联合卷积神经网络与循环神经网络，对超声图像的标准切面进行识别，如文献"Chen H,Wu L,Dou Q,et al.Ultrasound standard plane detection using a composite neural network framework[J].IEEE transactions on cybernetics,2017,47(6):1576
‑
1586"。鉴于目前超声标准切面自动识别模型距离实用化仍有一段距离，Baumgartner等人在文献"Baumgartner C F,Kamnitsas K,Matthew J,et al.SonoNet:real
‑
time detection and localisation of fetal standard scan planes in freehand ultrasound[J].IEEE transactions on medical imaging,2017,36(11):2204
‑
2215"中，设计深度学习模型时进一步考虑了运行速率，提出具有实时性的标准切面自动识别算法。然而，上述方法对超声图像的后期标注要求极高，对已积累的海量超声数据进行标注，会耗费超声医生在工作之外的大量时间精力。例如，现有基于深度学习的超声标准切面判别研究中，对超声图像的标注需求高达50000余张，在实际临床中对医生造成严重的数据标注负担，如文献"Chen H,Wu L,Dou Q,et al.Ultrasound standard plane detection using a composite neural network framework[J].IEEE transactions on cybernetics,2017,47(6):1576
‑
1586"。
[0006]相比之下，如果在超声医生的扫查过程中实现医生和智能系统的人机交互，通过实时接收医生对图像的评价，可大幅节省医生对图像的后期标注工作量。近年来，人在回路模式的人机混合智能技术逐渐兴起，如果对超声扫查中引入人在回路模式，并对系统实时反馈超声图片的医生评价，可在系统中实现超声标准切面自动提取模型的强化学习。同时，经过强化学习后的导航系统也可通过人在回路模式对医生的超声扫查进行智能导航，从而辅助医生对标准切面的搜寻与提取。因此，对于规模庞大的胎儿产前筛查需求，专利技术人在回路模式超声标准切面提取的智能辅助导航提取方法，不仅可有效降低医生在超声扫描中的诊断负荷，还有助于推动医疗辅助系统技术的相关产业发展。

技术实现思路

[0007]为了克服现有技术的不足，本专利技术提供了一种基于人在回路智能辅助导航的胎心超声标准切面提取方法，首先构建用于标注胎心位置的超声图像数据集；再采用多目标区域推荐网络确定胎心候选区域；接下来基于Faster
‑
RCNN网络对胎心区域进行定位；然后构建人在回路系统，包括医生反馈单元和机器导航单元；最终通过面向人在回路智能辅助导航的强化学习方法，实现基于人在回路模式的胎心超声标准切面的提取。本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人在回路智能辅助导航的胎心超声标准切面提取方法，其特征在于，包括以下步骤：步骤1：构建用于标注胎心位置的超声图像数据集；步骤1
‑
1：收集DICOM格式的超声影像数据，进行数据格式转换，将超声影像数据变为TIF格式图像；步骤1
‑
2：对TIF格式图像中的胎心以及胎心周围器官位置进行标记；步骤1
‑
3：将步骤1
‑
2中标注完成的TIF格式图像转换为PASCAL VOC标注格式，构成超声图像数据集；步骤2：采用多目标区域推荐网络确定胎心候选区域；步骤2
‑
1：使用Faster
‑
RCNN框架下的RPN环节作为多目标区域推荐网络；目标函数L
MRPN
如式(1)：式中，L
class
为胎心以及胎心周围器官的注意力损失求和平均值，L
loc
为胎心以及胎心周围器官的空间距离损失求和平均值；λ为调整因子，用来调整L
class
和L
loc
的数量级进而调整损失权重比例；i表示图片的索引，N
class
表示已知是否胎心的图片数量，p
i
表示第i个图片是否为胎心的0/1已知标注，表示PRN对第i个图片是否为胎心的预测概率，N
loc
表示已知胎心在图片空间位置标定框的坐标值数目，t
i
表示第i个图片胎心位置标定框的已知坐标值，表示PRN对第i个图片胎心位置标定框的预测坐标值；步骤2
‑
2：采用步骤1构建的超声图像数据集对多目标区域推荐网络进行训练，多目标区域推荐网络的输出为胎心候选区域以及胎心周围器官的候选区域及相应的注意力权重；步骤2
‑
3：对于多目标区域推荐网络输出的胎心周围器官候选区域和胎心候选区域的重合部分，对输出的胎心周围器官候选区域注意力权重和胎心候选区域注意力权重进行比较，将胎心候选区域注意力权重小于周围器官候选区域注意力权重的区域进行排除，将未排除的区域作为解剖结构修正后的最终的胎心候选区域；步骤3：基于Faster
‑
RCNN网络的胎心区域定位；步骤3
‑
1：将多目标区域推荐网络作为Faster
‑
RCNN网络中的区域筛选模块，获取超声影像胎心候选区域；步骤3
‑
2：通过池化层将不同尺寸的胎心候选区域进行统一化，处理成统一的大小格式后作为Faster
‑
RCNN网络的输入；步骤3
‑
3：以全卷积
‑
池化层为单元，构建循环多层网络框架，对输入的超声影像的进行提取特征，再把提取到的特征输入全连接层，进行特征融合；步骤3
‑
4：特征融合后接入Softmax输出层，判断胎心候选区域中是否包含胎心；对包含胎心的胎心候选区域再进行边界框回归，在输出层输出多个预测胎心区域；步骤3
‑
5：针对多个预测的胎心区域，采用非极大值抑制的评价标准，选择出判别分数最高的胎心区域作为最终结果，最终实现超声影像中的胎心定位；步骤4：构建人在回路系统，所述人在回路系统包括医生反馈单元和机器导航单元；所述医生反馈单元用于实时记录医生对超声图像的标准切面符合程度的评价结果，所述机器导航单元用于根据胎心的定位信息给出导航的指示信息；
步骤4
‑
1：构建人机交互的医生反馈单元；步骤4
‑1‑
1：通过超声影像采集装置的线阵探头得到超声图像的逐帧序列，作为医生反馈单元输入，实时传送至计算机中作为当前状态s
n
；步骤4
‑1‑
2：在医生反馈单元中设置脚踏压力传感器，作为医生反馈单元中的评价信号采集装置，把采集到的信号作为医生反馈单元的输出；步骤4
‑1‑
3：医生观察超声影像采集装置的显示屏，通过脚踏压力传感器将医生对当前超声图像的评价反馈到计算机，踩下脚踏压力传感器表示满意，不踩表示不满意；步骤4
‑1‑
4：将超声影像采集装置采集的图像和评价信号采集装置采集的脚踏信号通过时钟信号进行信号同步，并将时钟信号同步后脚踏信号作为医生对机器的反馈信号，充当马尔科夫过程的奖励函数R
n
；步骤...

【专利技术属性】
技术研发人员：习佳宁，黄庆华，李学龙，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：