一种融合多模态乳腺图像的计算机辅助参考系统及方法技术方案

本发明专利技术涉及一种融合多模态乳腺图像的计算机辅助参考系统及方法，步骤为：对同一患者的乳腺超声和钼靶影像进行图像预处理；以预处理后的乳腺超声和钼靶图像作为输入，获取乳腺图像中肿块区域，获取超声图像的感兴趣区域和乳腺钼靶图像的感兴趣区域；提取乳腺超声图像和乳腺钼靶图像的感兴趣区域的纹理特征及深度特征；将提取的GLCM、LBP、HIS纹理特征以及CNN深度特征进行串联融合，构建纹理‑深度融合特征模型；以纹理‑深度融合特征模型为输入，使用正则化极限学习机对乳腺肿块进行良恶性分类。本发明专利技术使用正则化极限学习机对乳腺肿块进行良恶性的分类，从临床需求出发，实现对乳腺肿块性质的判断，为医生诊断提供客观的参考依据。

A Computer Aided Reference System and Method for Fusing Multimodal Breast Images

The present invention relates to a computer-aided reference system and method for fusing multimodal breast images. The steps are as follows: image preprocessing of breast ultrasound and molybdenum target images of the same patient; using pre-processed breast ultrasound and molybdenum target images as input, obtaining the region of mass in breast image, obtaining the region of interest of ultrasound image and the region of interest of mammography target image; The texture and depth features of regions of interest of mammary ultrasound image and mammography target image were extracted. The texture and depth features of GLCM, LBP, HIS and CNN were fused in series to construct a texture-depth fusion feature model. The benign and malignant breast masses were classified with the texture-depth fusion feature model as input and the regularization limit learning machine. The method uses regularized limit learning machine to classify benign and malignant breast masses, realizes the judgement of the nature of breast masses based on clinical needs, and provides objective reference basis for doctor's diagnosis.

【技术实现步骤摘要】
一种融合多模态乳腺图像的计算机辅助参考系统及方法
本专利技术涉及一种医学图像后处理
，具体为一种融合多模态乳腺图像的计算机辅助参考系统及方法。
技术介绍
乳腺癌是女性常见恶性肿瘤之一，其发病率位居女性恶性肿瘤首位，但其死亡率与肺癌相比相对较低，这主要归功于乳腺癌的早期诊断与合理治疗。临床检查乳腺癌有多种方式，其中超声诊断仪和钼靶X线机成像清晰、操作方便，是常用的乳腺癌筛查手段。由于超声和钼靶设备成像原理不同，二者具有不同的图像特点，超声影像中囊性和实性肿块显示清晰，钼靶影像对钙化点成像十分灵敏，所以医生往往同时参考患者的乳腺超声和钼靶图像，综合多模态的医学影像信息诊断乳腺癌。近年来，大量学者根据医生临床诊断结果，从统计学角度分析验证了超声与钼靶相结合的诊断方式可以提高乳腺癌诊断的准确率。随着计算机技术的飞速发展，利用计算机提供的客观参考信息辅助医生检查疾病已成为研究的热点，但是对于多模态影像提供的计算机辅助参考信息的研究尚属未深入进行，研究人员没有充分考虑超声和钼靶的影像特点，首先，现有研究是对超声和钼靶使用相同的图像预处理方法即去噪增强等，但实际上，超声钼靶图像成像原理、图像本文档来自技高网...

【技术保护点】
1.一种融合多模态乳腺图像的计算机辅助参考系统，其特征在于：包括图像预处理单元、感兴趣区域提取单元、纹理特征及深度特征提取单元、融合特征建模单元以及乳腺肿块分类单元，其中：图像预处理单元，对乳腺超声和钼靶图像进行预处理，包括图像去噪和图像增强；感兴趣区域提取单元，对在图像预处理单元中预处理后的超声图像和钼靶图像中获取乳腺肿块感兴趣区域；纹理特征及深度特征提取单元，从肿块感兴趣区域中提取图像特征，包括GLCM、LBP、HIS纹理特征以及CNN深度特征；融合特征建模单元，通过特征融合器，将提取的不同特征以串联的方式，构建纹理‑深度融合特征模型；乳腺肿块分类单元，根据构建的纹理‑深度融合特征模型，使...

【技术特征摘要】
1.一种融合多模态乳腺图像的计算机辅助参考系统，其特征在于：包括图像预处理单元、感兴趣区域提取单元、纹理特征及深度特征提取单元、融合特征建模单元以及乳腺肿块分类单元，其中：图像预处理单元，对乳腺超声和钼靶图像进行预处理，包括图像去噪和图像增强；感兴趣区域提取单元，对在图像预处理单元中预处理后的超声图像和钼靶图像中获取乳腺肿块感兴趣区域；纹理特征及深度特征提取单元，从肿块感兴趣区域中提取图像特征，包括GLCM、LBP、HIS纹理特征以及CNN深度特征；融合特征建模单元，通过特征融合器，将提取的不同特征以串联的方式，构建纹理-深度融合特征模型；乳腺肿块分类单元，根据构建的纹理-深度融合特征模型，使用正则化极限学习机对乳腺肿块进行良恶性分类。2.根据权利要求1所述的融合多模态乳腺图像的计算机辅助参考系统，其特征在于：所述图像预处理单元包括超声图像去噪器、超声图像增强器、钼靶图像去噪器、钼靶图像增强器以及钼靶图像胸肌去除器，其中超声图像去噪器，对超声图像FU去噪，得到去噪后图像FUdenoise；超声图像增强器，对去噪后的超声图像FUdenoise进行图像增强，得到图像FUenhance；钼靶图像去噪器，对钼靶图像FM去噪，得到去噪后图像FMdenoise；钼靶图像增强器，对去噪后的钼靶图像FMdenoise进行图像增强，得到图像FMenhance；钼靶图像胸肌去除器，对钼靶MLO视图进行胸肌去除，以图像FMenhance为输入，得到去除胸肌的图像FMmuscle。3.根据权利要求1所述的融合多模态乳腺图像的计算机辅助参考系统，其特征在于：所述感兴趣区域提取单元包括超声感兴趣区域提取器、钼靶子区域划分器、钼靶子区域筛选器、钼靶子区域特征提取器以及钼靶子区域聚类器，其中，超声感兴趣区域提取器，从预处理后的超声图像中获取肿块感兴趣区域FUroi；钼靶子区域划分器，将预处理后的整幅钼靶图像划分成若干个大小相等的正方形子区域(I1,I2,I3,L,Im)；钼靶子区域筛选器，对子区域进行筛选，去掉位于图像背景和乳腺边界的子区域，只保留位于乳腺内部的子区域(I1,I2,I3,L,In)；n<m；钼靶子区域特征提取器，对保留的子区域进行特征提取，获取特征向量(t1,t2,t3,t4,t5)；钼靶子区域聚类，获取钼靶图像中肿块感兴趣区域FMroi，根据提取的特征，使用模糊C均值聚类的方法对子区域聚类，获取乳腺钼靶图像的感兴趣区域。4.根据权利要求1所述的融合多模态乳腺图像的计算机辅助参考系统，其特征在于：所述纹理特征及深度特征提取单元包括：GLCM纹理特征提取器、LBP纹理特征提取器、HIS纹理特征提取器以及CNN深度特征提取器，其中：GLCM纹理特征提取器，使用灰度共生矩阵方法提取特征，得到GLCM纹理特征(...

【专利技术属性】
技术研发人员：王之琼，黄玉坤，信俊昌，任捷，张倩倩，李默，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21