一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法制造方法及图纸

本发明专利技术公开了一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割系统。该系统至少包含该系统至少包含一台超声机、和AI服务器。其中AI服务器中设置有基于AI的动态乳腺超声视频检测和分割装置，该装置至少包含(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块、以及(5)病灶分割模块。本发明专利技术的系统可以在不改动超声机以及现有诊断流程的前提下，实现对动态乳腺超声视频影像涉及的所有病灶进行自动实时检测，并对检测出的病灶进行智能分割和测量，在提高效率和准确率的同时，能够有效的帮助医生减少漏诊。诊。诊。

【技术实现步骤摘要】
一种基于人工智能的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法


[0001]本专利技术涉及医学图像领域，特别涉及一种基于人工智能(AI)的动态乳腺超声视频全病灶实时检测和分割装置、系统及图像处理方法。

技术介绍

[0002]乳腺癌即乳腺恶性肿瘤，根据国家癌症中心公布的数据显示，乳腺癌位居我国女性恶性肿瘤发病第1位，严重威胁女性健康。美国弗吉尼亚大学Hillman教授2010年在《N Engl J Med》上撰文指出：早期精确诊断可使乳腺癌患者5年生存率从25％提高到99％。
[0003]乳腺超声技术具有无创、快捷、重复性强等优点，能清楚地显示乳腺各层软组织及其中肿块的形态、内部结构及相邻组织的改变。由于无放射性，可适用于任何年龄，尤其是妊娠及哺乳期女性的乳腺检查。对X线照射有困难的部位(如乳腺边缘)，可以作为弥补检查，而且能较好地显示肿块的位置、形态、结构等。对较致密乳腺，即使有肿块也难以分辨时，超声可利用声波界面反射的差别，清晰显示病灶的轮廓和形态。
[0004]但我国的超声检查却面临两大难题：一是超声医生培养难，医生在能够正确解读超声图像之前，需要经过大量的培训，且学习周期长、学习难度大，不同操作者对图像的解读具有差异性；二是我国超声医生资源严重紧缺，卫计委统计年鉴显示，超声注册医生至少有10万人的缺口。目前，乳腺超声影像诊断的高需求和现实供给之间的不平衡，已经成为临床实践中亟待解决的主要问题之一。
[0005]医学影像的全面数字化和计算机技术的发展，为从技术层面解决这一问题带来了希望。最先发展起来的是计算机辅助检测/诊断(computer aided detection/diagnosis，CAD)系统。CAD是一种通过综合运用计算机、数学、统计学、图像处理与分析方法，由人工从医学影像上进行特征提取、标注可疑病变位置、对病灶区域进行良恶性判断的AI技术。这种训练方法易于理解，因为其结果是依据输入的特征运算的，可以有效提高训练的效率和准确率，降低运算的复杂度。但传统CAD功能单一、性能不足，病灶检出假阳性率过高，在性能上很快到达瓶颈，其临床价值没有得到充分肯定。
[0006]近几年，随着深度学习算法的出现和成熟，AI技术在医学影像中的应用逐步走向了更高的层面，为突破传统CAD系统的准确性瓶颈带来了可能。与传统CAD不同的是，深度学习可以不依据人工提取的特征进行后续的图像处理。有学者指出，深度神经网络提取的特征有时比人类设计的特征更有效。大量超声CAD模型的成果构建和优秀的诊断能力也证明了这一点。例如liu以及Shi等人将有监督的深度学习技术应用到了乳腺超声影像中，将S-DPN网络应用于两个小的乳腺超声数据集中，在加入了一些后处理方法如SVM之后最高分类准确率达到了92.4％；Han S等人利用深度卷积网络GoogLeNet CNN对5151个病人的7408张超声影像进行了乳腺超声影像的分类，实现了端对端的学习，分类准确率达到了90％，超过了人类医生。
[0007]但目前这些探索大多都还着眼于二维影像的结节，对于临床实际应用场景来讲，
一是基于二维图的辅助检测对临床的帮助非常有限，通常需要医生手动截图，再将图像传给服务器进行检测，而临床扫描超声的过程中，图像是在不断的变化的，所以这种检测方式不仅会打破医生的诊断流程，增加操作负担，而且医生也不可能图像变化一次就截图一次，完全无法应用于临床；二是，大多研究都仅着眼于结节的辅助检测，其他类型病灶还是需要完全靠医生，并不能有效的帮助医生提高信心及效率；三是，二维图病灶信息并不充分，超声图像经常会有某些切面的一些脂肪或血管等看起来与病灶无异，必须结合前后的影像综合判断，所以基于二维图的准确性存在天然的瓶颈，通常会有很高的假阳性。
[0008]关于为什么目前极少有关于乳腺超声动态视频的探索？首先是视频数据缺乏，通常的超声检查只会保留个别二维图，而不会保存视频影像，所以乳腺超声的视频数据很难获得，即使获得了视频数据，数据的标注难度也是极大的，AI的学习是依赖于大量经过高质量标注的数据的，而视频以每秒30帧来计算，每个人检查大约十分钟，所以每个病人就要标注10*60*30＝18000张图像，且都需要具有丰富经验的高年资超声医生来完成，通常超声医生的工作强度非常高，要完成如此大量的标注是极为困难的，而没有高质量的大量数据，基于视频的AI就是不可能实现的；其次在技术上，从二维图像为2D的模型到视频图像为4D模型难度是飞跃式的，二维模型只需要考虑准确率，所以模型可以尽可能的复杂，提取尽可能多维度的空间特征以实现较高的准确率，通常会以更多的时间消耗为代价，而基于视频的4D技术不仅要考虑模型的准确率，同时要实现模型的实时性，这就注定了其不能通过采用复杂的模型来提高准确率，且基于视频的4D技术需要将时间维度信息加入模型，对模型本身提出了极高的要求，且目前并没有成熟的相关模型和算法参考，需要创新性的去重新设计模型。
[0009]有鉴于此，提出本专利技术。

技术实现思路

[0010]针对现有乳腺超声的检测和分割研究大多只着眼于肿块，且多为基于二维影像的研究，而临床诊断通常需要结合前后帧的信息综合判断，所以基于二维影像的人工智能临床易用性较差，如假阳性高，无法实现实时检测等，为有效解决已有方法临床易用性较差，对临床帮助严重不足的现状，本专利技术提出了基于AI的动态乳腺超声视频全病灶实时检测和分割的装置、系统及检测方法，以解决临床由于视觉疲劳以及视觉敏感度不足导致的漏诊问题，提高医生诊断效率。
[0011]为实现上述目的，本专利技术第一方面提供了一种基于AI的动态乳腺超声视频处理方法，其特征在于：所述方法至少包含如下步骤：(1)系统鲁棒性设计、(2)数据预处理、(3)数据扩增、(4)病灶检测以及(5)病灶分割；
[0012]在一些方式中，所述(1)系统鲁棒性设计包括：
[0013]1)按照1：1比例对主流超声机型产生的数据进行采集；
[0014]2)正常和异常的数据按照1：1的比例进行采集；
[0015]3)异常数据中各类型数据按照1：1的比例进行采集，所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化。
[0016]在一些方式中，所述(2)数据预处理包括有效区域分割和数据归一化步骤；优选的，所述有效区域分割模块通过读取视频影像，对每一帧影像按照对应的有效区域范围，将
图像分割出来；所述数据归一化模块采用Max/Min归一化方法；优选的步骤包括：
[0017]1)读取视频影像，对每一帧影像进行归一化；
[0018]2)对单帧影像遍历整幅图，找到灰度值的最大值x
max
以及最小值x
min
；
[0019]3)根据公式对每一个像素的灰度值计算获得其归一化之后的值。
[0020]在一些方式中，所述(3)数据扩增步骤包括：
[0021]1)按顺序读取视频；
[0022]2)为当前视频随机选择是否反转本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AI的动态乳腺超声视频处理方法，其特征在于：所述方法至少包含如下步骤：(1)系统鲁棒性设计、(2)数据预处理、(3)数据扩增、(4)病灶检测以及(5)病灶分割；所述(1)系统鲁棒性设计包括：1)按照1：1比例对不同主流超声机型产生的数据进行采集；2)正常和异常的数据按照1：1的比例进行采集；3)异常数据中各类型数据按照1：1的比例进行采集，所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化。2.根据权利要求1所述的方法，其特征在于，所述(2)数据预处理包括有效区域分割和数据归一化步骤；优选的，所述有效区域分割模块通过读取视频影像，对每一帧影像按照对应的有效区域范围，将图像分割出来；所述数据归一化模块采用Max/Min归一化方法；优选的步骤包括：1)读取视频影像，对每一帧影像进行归一化；2)对单帧影像遍历整幅图，找到灰度值的最大值x
max
以及最小值x
min
；3)根据公式对每一个像素的灰度值计算获得其归一化之后的值。3.根据权利要求1-2任一所述的方法，其特征在于，所述(3)数据扩增步骤包括：1)按顺序读取视频；2)为当前视频随机选择是否反转；3)若当前视频选择反转，继续随机选择反转方法。4.根据权利要求1-3任一所述的方法，其特征在于，所述(4)病灶检测是利用超声视频影像进行检测和分割的faster rcnn模型训练；优选的，所述病灶检测步骤包括：1)利用递归特征金字塔RFP网络进行特征提取；2)利用Deformable convolutional network学习特征偏移；3)利用LSTM网络提取时间维度信息；4)加入注意力机制提高检测精度。5.根据权利要求1-4任一所述的方法，其特征在于，所述(4)病灶分割步骤包括：1)依据bounding box的尺寸将病灶从原图像剪切下来；2)对剪切下来的图像，利用空洞卷积ResNet网络来提取特征图，得到大小为原图1/8的特征图；3)采用深度为4的金字塔池化模块来获取特征图的语境信息，其池化核大小分别为图像的全部、一半和小部分，通过一个1*1卷积层将特征维度缩减为原来的1/4，将这些金字塔特征直接上采样到与输入特征相同尺寸，然后和输入特征做concat操作得到最终输出的全局特征图，将融合得到的全局特征与原始特征图连接起来；4)通过一层卷积层生成最终的分割图；5)根据形态学方法获得病灶的长短径。6.一种基于AI的动态乳腺超声视频全病灶实时检测和分割系统或装置，所述系统或装置中至少包含(1)系统鲁棒性设计模块、(2)数据预处理模块、(3)数据扩增模块、(4)病灶检测模块以及(5)病灶分割模块。所述(1)系统鲁棒性设计模块：
1)针对不同参数按照1：1比例对主流超声机型产生的数据进行采集；2)正常和异常的数据按照1：1的比例进行采集；3)异常数据中各类型数据按照1：1的比例进行采集，所述异常数据包括但不限于结节、低回声区、结构紊乱区、淋巴结、导管异常和钙化。7.根据权利要求6所述的系统或装置，其特征在于，所述数据预处理模块包括有效区域分割模块和数据归一化模块；优...

【专利技术属性】
技术研发人员：马璐，王东，王立威，张文涛，王子腾，张佳琦，丁佳，胡阳，吕晨翀，
申请(专利权)人：广西医准智能科技有限公司，
类型：发明
国别省市：