超声视频病灶检测方法及装置制造方法及图纸

本申请提供了一种超声视频病灶检测方法及装置；所述方法包括：利用特征金字塔网络对采集的超声影像进行特征提取，得到所述超声影像对应的特征矩阵；利用可变形卷积网络确定所述特征矩阵对应的特征偏移；基于所述特征偏移和所述特征矩阵，确定新的特征矩阵；基于所述新的特征矩阵确定所述超声影像对应的病灶信息。息。息。

【技术实现步骤摘要】
超声视频病灶检测方法及装置
[0001]本申请是申请号为202011333447.2，申请日为2020年11月25日，专利技术名称为：一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法的分案申请。


[0002]本申请涉及医学图像领域，特别涉及一种超声视频病灶检测方法及装置。

技术介绍

[0003]乳腺癌即乳腺恶性肿瘤，根据国家癌症中心公布的数据显示，乳腺癌位居我国女性恶性肿瘤发病第1位，严重威胁女性健康。美国弗吉尼亚大学Hillman教授2010年在《N Engl J Med》上撰文指出：早期精确诊断可使乳腺癌患者5年生存率从25％提高到99％。
[0004]乳腺超声技术具有无创、快捷、重复性强等优点，能清楚地显示乳腺各层软组织及其中肿块的形态、内部结构及相邻组织的改变。由于无放射性，可适用于任何年龄，尤其是妊娠及哺乳期女性的乳腺检查。对X线照射有困难的部位(如乳腺边缘)，可以作为弥补检查，而且能较好地显示肿块的位置、形态、结构等。对较致密乳腺，即使有肿块也难以分辨时，超声可利用声波界面反射的差别，清晰显示病灶的轮廓和形态。
[0005]但我国的超声检查却面临两大难题：一是超声医生培养难，医生在能够正确解读超声图像之前，需要经过大量的培训，且学习周期长、学习难度大，不同操作者对图像的解读具有差异性；二是我国超声医生资源严重紧缺，卫计委统计年鉴显示，超声注册医生至少有10万人的缺口。目前，乳腺超声影像诊断的高需求和现实供给之间的不平衡，已经成为临床实践中亟待解决的主要问题之一。
[0006]医学影像的全面数字化和计算机技术的发展，为从技术层面解决这一问题带来了希望。最先发展起来的是计算机辅助检测/诊断(computer aided detection/diagnosis，CAD)系统。CAD是一种通过综合运用计算机、数学、统计学、图像处理与分析方法，由人工从医学影像上进行特征提取、标注可疑病变位置、对病灶区域进行良恶性判断的AI技术。这种训练方法易于理解，因为其结果是依据输入的特征运算的，可以有效提高训练的效率和准确率，降低运算的复杂度。但传统CAD功能单一、性能不足，病灶检出假阳性率过高，在性能上很快到达瓶颈，其临床价值没有得到充分肯定。
[0007]近几年，随着深度学习算法的出现和成熟，AI技术在医学影像中的应用逐步走向了更高的层面，为突破传统CAD系统的准确性瓶颈带来了可能。与传统CAD不同的是，深度学习可以不依据人工提取的特征进行后续的图像处理。有学者指出，深度神经网络提取的特征有时比人类设计的特征更有效。大量超声CAD模型的成果构建和优秀的诊断能力也证明了这一点。例如liu以及Shi等人将有监督的深度学习技术应用到了乳腺超声影像中，将S
‑
DPN网络应用于两个小的乳腺超声数据集中，在加入了一些后处理方法如SVM之后最高分类准确率达到了92.4％；Han S等人利用深度卷积网络GoogLeNet CNN对5151个病人的7408张超声影像进行了乳腺超声影像的分类，实现了端对端的学习，分类准确率达到了90％，超过
了人类医生。但目前这些探索大多都还着眼于二维影像的结节，对于临床实际应用场景来讲，一是基于二维图的辅助检测对临床的帮助非常有限，通常需要医生手动截图，再将图像传给服务器进行检测，而临床扫描超声的过程中，图像是在不断的变化的，所以这种检测方式不仅会打破医生的诊断流程，增加操作负担，而且医生也不可能图像变化一次就截图一次，完全无法应用于临床；二是，大多研究都仅着眼于结节的辅助检测，其他类型病灶还是需要完全靠医生，并不能有效的帮助医生提高信心及效率；三是，二维图病灶信息并不充分，超声图像经常会有某些切面的一些脂肪或血管等看起来与病灶无异，必须结合前后的影像综合判断，所以基于二维图的准确性存在天然的瓶颈，通常会有很高的假阳性。
[0008]关于为什么目前极少有关于乳腺超声动态视频的探索？首先是视频数据缺乏，通常的超声检查只会保留个别二维图，而不会保存视频影像，所以乳腺超声的视频数据很难获得，即使获得了视频数据，数据的标注难度也是极大的，AI的学习是依赖于大量经过高质量标注的数据的，而视频以每秒30帧来计算，每个检查大约十分钟，所以每个病人就要标注10*60*30＝18000张图像，且都需要具有丰富经验的高年资超声医生来完成，通常超声医生的工作强度非常高，要完成如此大量的标注是极为困难的，而没有高质量的大量数据，基于视频的AI就是不可能实现的；其次在技术上，从二维图像为2D的模型到视频图像为4D模型难度是飞跃式的，二维模型只需要考虑准确率，所以模型可以尽可能的复杂，提取尽可能多维度的空间特征以实现较高的准确率，通常会以更多的时间消耗为代价，而基于视频的4D技术不仅要考虑模型的准确率，同时要实现模型的实时性，这就注定了其不能通过采用复杂的模型来提高准确率，且基于视频的4D技术需要将时间维度信息加入模型，对模型本身提出了极高的要求，且目前并没有成熟的相关模型和算法参考，需要创新性的去重新设计模型。
[0009]有鉴于此，提出本专利技术。

技术实现思路

[0010]针对现有乳腺超声的检测和分割研究大多只着眼于肿块，且多为基于二维影像的研究，而临床诊断通常需要结合前后帧的信息综合判断，所以基于二维影像的人工智能临床易用性较差，如假阳性高，无法实现实时检测等，为有效解决已有方法临床易用性较差，对临床帮助严重不足的现状，本专利技术提出了基于AI的动态乳腺超声视频全病灶实时检测和分割的装置、系统及检测方法，以解决临床由于视觉疲劳以及视觉敏感度不足导致的漏诊问题，提高医生诊断效率。
[0011]为实现上述目的，本专利技术第一方面提供了一种超声视频病灶检测方法，所述方法包括：
[0012]利用特征金字塔网络对采集的超声影像进行特征提取，得到所述超声影像对应的特征矩阵；
[0013]利用可变形卷积网络确定所述特征矩阵对应的特征偏移；
[0014]基于所述特征偏移和所述特征矩阵，确定新的特征矩阵；
[0015]基于所述新的特征矩阵确定所述超声影像对应的病灶信息。
[0016]在一些方式中，所述利用特征金字塔网络对所述超声影像进行特征提取，得到所述超声影像对应的特征矩阵，包括：
[0017]获取所述超声影像包括的每帧图像；
[0018]利用自下向上网络逐层获取每帧所述图像的特征矩阵；
[0019]利用自上向下网络逐层对每帧所述图像上采样，得到上采样对应的特征矩阵；
[0020]将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行处理，得到所述超声影像对应的。
[0021]在一些方式中，所述将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行处理包括：
[0022]将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行降维卷积处理，得到降维后的特征矩阵；
[0023]将所述降维后的特征矩阵与对应的所述上采样对应的特征矩阵进行相加运算；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种超声视频病灶检测方法，其特征在于，所述方法包括：利用特征金字塔网络对采集的超声影像进行特征提取，得到所述超声影像对应的特征矩阵；利用可变形卷积网络确定所述特征矩阵对应的特征偏移；基于所述特征偏移和所述特征矩阵，确定新的特征矩阵；基于所述新的特征矩阵确定所述超声影像对应的病灶信息。2.根据权利要求1所述的方法，其特征在于，所述利用特征金字塔网络对所述超声影像进行特征提取，得到所述超声影像对应的特征矩阵，包括：获取所述超声影像包括的每帧图像；利用自下向上网络逐层获取每帧所述图像的特征矩阵；利用自上向下网络逐层对每帧所述图像上采样，得到上采样对应的特征矩阵；将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行处理，得到所述超声影像对应的特征矩阵。3.根据权利要求2所述的方法，其特征在于，所述将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行处理包括：将所述上采样对应的特征矩阵与所述每帧所述图像的特征矩阵进行降维卷积处理，得到降维后的特征矩阵；将所述降维后的特征矩阵与对应的所述上采样对应的特征矩阵进行相加运算；将所述自上而下网络的额外反馈信息输入所述自下而上网络。4.根据权利要求1所述的方法，其特征在于，所述利用可变形卷积网络确定所述特征矩阵对应的特征偏移，包括：将所述特征矩阵输入至所述可变形卷积网络，得到所述特征矩阵在第一方向和第二方向的特征偏移。5.根据权利要求1所述的方法，其特征在于，所述基于所述特征偏移和所述特征矩阵，确定新的特征矩阵，包括：将所述特征偏移与所述特征矩阵进行卷积运算，得到所述新的特征矩阵。6.根据权利要求1至5任一项所述的方法，其特征在于，所述基于所述新的特征矩阵确定所述超声影像对应的病灶信息，包括：利用长短期记忆网络确定所述超声影像中相邻两帧图像对...

【专利技术属性】
技术研发人员：马璐，王东，王立威，张文涛，王子腾，张佳琦，丁佳，胡阳，吕晨翀，
申请(专利权)人：广西医准智能科技有限公司，
类型：发明
国别省市：