一种甲状腺肿瘤超声图像识别方法及其装置制造方法及图纸

本发明专利技术公开了一种甲状腺肿瘤超声图像识别方法及其装置，所述方法包括：选取甲状腺肿瘤超声图像中的肿瘤区域并扩增一定边缘范围后切割，进行良恶性标注，将切割下来的图像组成训练集；用训练集训练选定的卷积神经网络形成甲状腺肿瘤超声图像识别模型；获取待识别的甲状腺肿瘤超声图像，选取肿瘤区域并扩增一定边缘范围后，用所述甲状腺肿瘤超声图像识别模型进行良恶性识别。本发明专利技术所述方法及其装置用于辅助医生对甲状腺肿瘤的良恶性进行诊断，在甲状腺超声图像肿瘤良恶性检测试验中取得了超过90％的准确率，这对临床实际诊断具有重大的参考意义。

Ultrasonic image recognition method and device for thyroid tumor

The invention discloses a thyroid tumor ultrasonic image recognition method and its device. The method comprises: selecting the tumor area in the thyroid tumor ultrasonic image and expanding a certain edge range, cutting, labeling benign and malignant tumor, forming a training set of the cut image, training the selected convoluted neural network with the training set. The thyroid tumor ultrasound image recognition model is formed by collaterals, and the thyroid tumor ultrasound image to be recognized is obtained. After selecting the tumor area and expanding a certain range of edges, the thyroid tumor ultrasound image recognition model is used for benign and malignant identification. The method and device of the invention are used for assisting doctors to diagnose the benign and malignant thyroid tumors, and the accuracy is more than 90% in the benign and malignant detection test of thyroid tumors with ultrasonic images, which is of great reference significance for clinical diagnosis.

【技术实现步骤摘要】
一种甲状腺肿瘤超声图像识别方法及其装置
本专利技术涉及图像识别领域，特别涉及一种基于深度学习的甲状腺肿瘤超声图像识别方法及其装置。
技术介绍
流行病学研究表明，甲状腺癌是女性最常见的恶性肿瘤之一，近年来其发病率迅速上升。甲状腺乳头状癌(PTC)是甲状腺癌的主要病理类型，占据发病率很大比重。超声图像被广泛认为是甲状腺结节筛查的主要诊断工具和PTC术前评估方法。像微钙化、固体成分高、边缘与形状不规则等超声图像特点就是PTC考虑的典型情况。而实际操作过程中最大的局限是操作者的依赖性，不同经验水平的放射科医师的判断准确率不同。这使得图像的双重阅读对降低误诊率很有必要，但不是每个卫生部门都拥有最有经验的放射科医师，客观和一致的方法可以提供宝贵的意见并帮助无经验的放射科医师。机器学习(ML)被定义为一组自动检测数据中的模式，然后利用发现的模式来预测未来的数据或在不确定的条件下进行决策的方法。深度学习作为机器学习的一部分，利用人工神经网络(尤其是卷积神经网络)，目前广泛应用医疗保健的多个方面，尤其是癌症图像诊断与分析中。医院拥有大量的甲状腺超声图片，拥有大量的专业医师对其良恶性进行准确的标注，对甲状腺超声图片采用深度学习方法进行甲状腺癌诊断可以取得很好的效果，但是对于现有的甲状腺超声图片如何选取有效的区域能提高图像识别的准确率是一个有待解决的问题。现有的深度学习在医疗图像中的应用主要有两种方案：1)对于病例图片较多的情况，采用直接训练或利用微调预训练模型参数的方式训练网络；2)对于病例图片较少的情况主要采用迁移学习方法来训练模型。两种方法均考虑了相关疾病的静态特征，即数据库一经确定，即可确定模型。然而在实际情况中，尤其是对于发病率较低的情况，新病例具有的图像特征很可能是此前均未出现过的。因此，如何解决病例图片较少而造成模型准确率不高的问题也是本领域技术人员的努力方向。
技术实现思路
有鉴于现有技术中存在的上述问题，本专利技术的目的是提供一种能够有效选取肿瘤图像区域从而提高识别准确率的甲状腺肿瘤超声图像识别方法及其装置，以及一种能避免因病例图像较少而造成识别准确率低的问题的甲状腺肿瘤超声图像识别方法及其装置。为实现上述第一个目的，本专利技术首先提供了一种甲状腺肿瘤超声图像识别方法，该方法包括：选取甲状腺肿瘤超声图像中的肿瘤区域并扩增一定边缘范围后切割，进行良恶性标注，将切割下来的图像组成训练集；用训练集训练选定的卷积神经网络形成甲状腺肿瘤超声图像识别模型；获取待识别的甲状腺肿瘤超声图像，选取肿瘤区域并扩增一定边缘范围后，用所述甲状腺肿瘤超声图像识别模型进行良恶性识别。上述方法的流程如图1所示。进一步，选取的所述肿瘤区域为矩形。由于甲状腺肿瘤超声图像的原始数据集均采自现有的超声设备的报告图，其固有的背景、文字等将极大影响肿瘤良恶性特征的提取，因此本专利技术优选采用半自动化的方式截取包含肿瘤的区域。进一步，所述选取甲状腺肿瘤超声图像中的肿瘤区域是根据接收到的边界信号进行的，即人工用鼠标手动逐次点击甲状腺肿瘤超声图像中结节(肿瘤)区域的左、右、上、下边界，由此生成如图2所示的内层矩形框。肿瘤区域仅包含肿瘤自身，而肿瘤周边组织的信息对于肿瘤良恶性的判断是十分必要的，因而在切割图像的时候加入了边缘范围的概念，边缘范围的大小决定了涵盖周围组织信息的多少。本专利技术所述的边缘范围是指：把限定肿瘤区域的矩形框作为内层矩形框，该内层矩形框的长边的两端向外延伸一定长度值和宽边的两端向外延伸一定宽度值之后形成的外层矩形框与内层矩形框之间的区域，如图2所示；当内层矩形框为正方形时，长边和宽边等长，可以任意选定一条作为长边。进一步，所述扩增一定边缘范围是根据限定的边缘长度值和宽度值进行的；在本专利技术的一种优选实施例中，所述一定边缘范围是使切割图像形成正方形的边缘范围，如图2A所示；在本专利技术的另一种优选实施例中，所述长度值与所述宽度值相等，如图2B所示。考虑到多数卷积神经网络结构采用正方形输入，且整个训练过程中输入尺寸不变，因而在选定切割图像后需要进行尺寸调整来适应网络，而长宽比是临床肿瘤良恶性判断指标之一，若原始图像切割长方形区域并进行尺寸调整，必然会影响到肿瘤部分的长宽比，因而选定正方形作为切割图像的形状较佳。此时，所述长度值即为切割框(外层矩形框)边长减去限定肿瘤区域的矩形框(内层矩形框)的长边后的一半，所述宽度值即为切割框(外层矩形框)边长减去限定肿瘤区域的矩形框(内层矩形框)的短边后的一半。优选地，所述长度值为0-100像素，最佳为50像素。在本专利技术的一种优选实施方式中，根据选取的肿瘤区域中长边一半与设定好的所述长度值的和来确定对应的宽度值，从而切割正方形的图像。进一步，所述进行良恶性标注是根据接收到的良恶性信号进行的，即根据人工判断的结果标注的。考虑到肿瘤自身尺寸有较大差异，因而优选将训练集的图像以及待识别的甲状腺肿瘤超声图像按照肿瘤的大小分类，如根据肿瘤小于0.5cm、0.5cm到1cm以及大于1cm进行划分。优选地，使用Inception-V3网络构建甲状腺肿瘤超声图像识别模型。肿瘤自身存在尺寸差异，Inception-V3网络能够很好发掘不同尺寸下的图像特征。Inception-V3原始输入尺寸为299×299×3，切割后的图像经由大小调整而适配网络输入。考虑尺寸调整会带来噪声或信息缺失，对不同输入尺寸进行对比试验，确定最优输入尺寸384×384×3；相应网络结构中最后一层池化层池化核尺寸调整为11×11；良恶性分类为二分类问题，输出维度降为2。优选地，使用迁移学习的方法，使用ImageNet数据集对所述选定的卷积神经网络进行预训练，利用训练集微调(fine-tune)经由大数据集预训练过的网络参数，能够有效加快收敛速度。优选地，采用带有mini-batch的随机梯度下降法训练网络；训练的每一轮均选取固定数量的部分样本，这些样本组成一个mini-batch，对这个mini-batch中的样本分别计算梯度值，将其均值作为反传梯度对网络参数进行更新。优选地，训练中对网络中的两层全连接层之后的Dropout层，其dropout率均设置为0.5；Dropout层能够有效防止网络参数的过拟合。进一步，本专利技术提供了一种甲状腺肿瘤超声图像识别装置，包括：图像预处理模块：用于选取甲状腺肿瘤超声图像中的肿瘤区域并扩增一定边缘范围后切割，进行良恶性标注，将切割下来的图像组成训练集；模型构建模块：用于用训练集训练选定的卷积神经网络形成甲状腺肿瘤超声图像识别模型；图像识别模块：用于获取待识别的甲状腺肿瘤超声图像，选取肿瘤区域并扩增一定边缘范围后，用所述甲状腺肿瘤超声图像识别模型进行良恶性识别。此外，本专利技术还提供了一种甲状腺肿瘤超声图像识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如本专利技术所述的甲状腺肿瘤超声图像识别方法；以及一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如本专利技术所述的甲状腺肿瘤超声图像识别方法。为实现上述第二个目的，本专利技术在上述甲状腺肿瘤超声图像识别方法的基础上进一步提出了一种在线训练甲状腺肿瘤超声图本文档来自技高网...

【技术保护点】
1.一种甲状腺肿瘤超声图像识别方法，其特征在于，包括：选取甲状腺肿瘤超声图像中的肿瘤区域并扩增一定边缘范围后切割，进行良恶性标注，将切割下来的图像组成训练集；用训练集训练选定的卷积神经网络形成甲状腺肿瘤超声图像识别模型；获取待识别的甲状腺肿瘤超声图像，选取肿瘤区域并扩增一定边缘范围后，用所述甲状腺肿瘤超声图像识别模型进行良恶性识别。

【技术特征摘要】
1.一种甲状腺肿瘤超声图像识别方法，其特征在于，包括：选取甲状腺肿瘤超声图像中的肿瘤区域并扩增一定边缘范围后切割，进行良恶性标注，将切割下来的图像组成训练集；用训练集训练选定的卷积神经网络形成甲状腺肿瘤超声图像识别模型；获取待识别的甲状腺肿瘤超声图像，选取肿瘤区域并扩增一定边缘范围后，用所述甲状腺肿瘤超声图像识别模型进行良恶性识别。2.如权利要求1所述的甲状腺肿瘤超声图像识别方法，其特征在于，所述一定边缘范围是使切割图像形成正方形的边缘范围。3.如权利要求1所述的甲状腺肿瘤超声图像识别方法，其特征在于，所述选定的卷积神经网络为InceDtion-V3网络。4.如权利要求1所述的甲状腺肿瘤超声图像识别方法，其特征在于，还包括使用ImageNet数据集对所述选定的卷积神经网络进行预训练。5.如权利要求1所述的甲状腺肿瘤超声图像识别方法，其特征在于，采用带mini-batch的随机梯度下降法对所述选定的卷积神经网络进行训练。6.如权利要求1所述的甲状腺肿瘤超声图像识别方法，其特征在于，所述选取甲状腺肿瘤超声图像中的肿瘤区域是根据接收到的边界信号进行的，所述扩增一定边缘范围是根据限定的边缘长度值和宽度值进行的...

【专利技术属性】
技术研发人员：向俊，卢宏涛，官青，王芬，王蕴珺，李端树，杜佳俊，秦宇，
申请(专利权)人：复旦大学附属肿瘤医院，上海交通大学，
类型：发明
国别省市：上海,31