当前位置: 首页 > 专利查询>浙江大学专利>正文

基于多特征深度神经网络的宫颈活检区域识别方法及装置制造方法及图纸

技术编号:18658582 阅读:37 留言:0更新日期:2018-08-11 14:40
本发明专利技术公开了基于多特征深度神经网络的宫颈活检区域识别方法及装置,装置包括:图像采集单元,采集宫颈的生理盐水图像、醋酸图像和碘图像;数据处理单元,包括已训练的宫颈活检区域识别模型,宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理,输出宫颈存在活检区域的概率标签;宫颈活检区域识别模型包括:特征提取层,包括3个独立的特征提取子网络,分别用于提取生理盐水图像、醋酸图像和碘图像的特征;特征结合层,将3个特征拼接起来;顶层,对拼接后的特征进行识别,输出宫颈存在活检区域的概率标签;显示单元,获取所述的概率标签并显示。该宫颈活检区域识别装置可辅助医生对患者的宫颈是否存在活检区域做出准确判断。

Cervical biopsy region recognition method and device based on multi feature deep neural network

The invention discloses a cervical biopsy region recognition method and a device based on a multi-feature depth neural network. The device comprises an image acquisition unit for collecting saline, acetic acid and iodine images of the cervix, a data processing unit including a trained cervical biopsy region recognition model and a cervical biopsy region recognition model. The probabilistic label of cervical biopsy region is output by analyzing and processing the saline image, acetic acid image and iodine image, and the cervical biopsy region recognition model includes three independent feature extraction sub-networks, which are used to extract the features of saline image, acetic acid image and iodine image respectively. The top layer identifies the features after splicing and outputs the probabilistic label of cervical biopsy area. The display unit obtains the probabilistic label and displays it. The cervical biopsy area identification device can assist doctors to make accurate judgment on whether there is a biopsy area in the cervix of the patient.

【技术实现步骤摘要】
基于多特征深度神经网络的宫颈活检区域识别方法及装置
本专利技术涉及医疗图像处理领域,尤其涉及一种基于多特征深度神经网络的宫颈活检区域识别方法及装置。
技术介绍
宫颈癌是妇科常见的恶性肿瘤,是严重威胁妇女健康的第二位恶性肿瘤,也是目前人类唯一病因明确的恶性肿瘤。阴道镜检查是宫颈癌筛查的关键环节,也是准确诊断宫颈病变和宫颈癌的关键环节,提前发现宫颈病变能够有效地降低宫颈癌风险。宫颈病变的检查步骤主要分三步:(1)宫颈细胞学检查,,最常用的是巴氏涂片法;(2)阴道镜检查,如果细胞学结果有异常,需要做阴道镜检查,观察宫颈上皮颜色、血管等的变化;(3)宫颈组织活检检查,,如果阴道镜检查有疑问,则医生会在阴道镜定位下,对可疑病变处取少许宫颈组织行活检检查,活检结果也就成为宫颈病变的最终结论。阴道镜检查时直接暴露宫颈后,依次使用生理盐水、3%-5%醋酸溶液、复方碘溶液涂抹,通过放大的宫颈图像供检查者仔细观察子宫颈鳞柱交界及柱状上皮区内是否有孤立的异常区域(需要活检的区域)存在,指导选择活检的准确部位,取代盲目活检,提高活检阳性率与诊断的准确率。阴道镜检查是一种基于经验的检测方法,异常区域范围的判断需要依靠医生的经验和直观的判断能力,判断的准确率直接关系活检的阳性率和诊断准确率。随着医疗信息化的发展,大量阴道镜检查结果以影像数据形式积累保存下来。目前,已有许多机器学习和图像处理的方法运用到阴道镜检测辅助领域当中,包括宫颈口的检测、醋白区域的检测、宫颈病变的预测等,这些方法起到了一定的辅助作用,但无法从根本上辅助医生作出更准确的判断。而且这些方法大多只使用3%-5%醋酸溶液作用的阴道镜宫颈图像,这与医生通过生理盐水、3%-5%醋酸溶液、复方碘溶液的图像特征变化判定是否存在活检区域的医学经验不一致。因此,如何合理地利用医学影像和医学经验,设计一种兼顾上述技术问题的宫颈活检区域检测状,从根本上辅助医生作出更准确的判断,是当前亟待解决的问题。
技术实现思路
本专利技术提供一种基于多特征深度神经网络的宫颈活检区域识别装置,采集患者宫颈的生理盐水图像、醋酸图像和碘图像,分别提取三类图像的特征并进行融合,输出宫颈存在活检区域的概率标签,从根本上辅助医生对患者的宫颈是否需要活检做出更准确的判断。本专利技术提供了如下技术方案:一种基于多特征深度神经网络的宫颈活检区域识别装置,包括:图像采集单元,采集宫颈的生理盐水图像、醋酸图像和碘图像,并发送至数据处理单元;数据处理单元,包括已训练的宫颈活检区域识别模型,所述的宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理,输出宫颈存在活检区域的概率标签;所述的宫颈活检区域识别模型包括:特征提取层,包括3个独立的特征提取子网络,分别用于提取生理盐水图像、醋酸图像和碘图像的特征;特征结合层,将特征提取层提取的3个特征通过通道维度拼接起来;顶层,对拼接后的特征进行识别,输出宫颈存在活检区域的概率标签;显示单元,获取所述的概率标签并显示。本专利技术的宫颈活检区域识别装置通过图像采集单元采集宫颈的生理盐水图像、醋酸图像和碘图像,通过数据处理单元对采集到的图像数据进行分析处理,得到宫颈存在活检区域的概率标签,并通过显示单元显示处理,可辅助医生对患者的宫颈是否需要进行活检做出判断。宫颈的生理盐水图像是指涂抹生理盐水后的宫颈图像,醋酸图像是指依次涂抹生理盐水、3%-5%醋酸溶液后的宫颈图像,碘图像是指依次涂抹生理盐水、3%-5%醋酸溶液、复方碘溶液后的宫颈图像。若宫颈存在需要活检的区域,则在3%-5%醋酸溶液作用下,会呈现“厚醋白”、“镶嵌血管”等特征;在复方碘溶液作用下,会呈现“明亮橘黄色”、“芥末黄色”、“斑点状着色”等特征,但是存在这些特征也并不能确定宫颈就一定会存在病变,还需要医生做进一步的活检。所述的特征提取子网络包括4个DenseBlock,4个DenseBlock分别包含6个12个24个和16个每个DenseBlock之前连接1个卷积层和1个池化层。优选的,每个特征提取子网络之后依次连接[1×1conv,C],和C表示通道数,C为第4个DenseBlock输出的通道数,k为常数;进一步优选的,k=7。所述的顶层包括2个1个全局池化层、1个全连接层和1个softmax层。对宫颈活检区域识别模型的训练方法为:(1)获取宫颈的生理盐水图像、醋酸图像和碘图像,剔除噪声后进行识别和标记,构建训练集;所述剔除噪声的方法是:提取图像离中心位置的距离特征和Lab色道特征,利用混合高斯模型将图像中非宫颈面区域剔除;将同一个宫颈的生理盐水图像、醋酸图像和碘图像作为一组数据,形成一个训练样本,通过医院病理报告标记该组图像是否存在活检区域;具体的,识别和标记是指:识别醋酸图像中是否存在“厚醋白”、“镶嵌血管”特征,并标记;识别碘图像中是否存在“明亮橘黄色”、“芥末黄色”、“斑点状着色”特征,并标记。优选的,训练集中,存在活检区域的样本数与正常宫颈的样本数比例为0.8~1.2∶1;(2)采用训练集对宫颈活检区域识别模型进行训练,包括:(2-1)对特征提取层进行预训练:在每个特征提取子网络后依次连接1个全局池化层、1个全连接层和1个softmax层,构成一个完整的DenseNet-121网络;分别将训练集中的生理盐水图像、醋酸图像和碘图像输入到各自的DenseNet-121网络中,输出宫颈存在活检区域的概率标签,训练至损失函数收敛;保存各个特征提取子网络的模型参数;也就是DenseNet-121网络的DenseBlock4以及DenseBlock4之前的所有参数;优选的,所述的损失函数为交叉熵损失函数;进一步优选的,损失函数公式如下:Loss(x,class)=-log(exp(x[class])/(∑jexp(x[j])));(2-2)对宫颈活检区域识别模型进行训练:将步骤(2-1)得到的各个特征提取子网络的模型参数加载到宫颈活检区域识别模型中;分别将训练集中的生理盐水图像、醋酸图像和碘图像输入到各自的特征提取子网络中,再经过特征结合层和顶层后,输出宫颈存在活检区域的概率标签,训练至损失函数收敛;保存训练得到的模型参数。本专利技术还公开了采用上述宫颈活检区域识别装置进行宫颈活检区域识别的方法,包括以下步骤:(1)通过图像采集单元采集宫颈的生理盐水图像、醋酸图像和碘图像,输入至数据处理单元中的宫颈活检区域识别模型;(2)通过所述的宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理,输出宫颈存在活检区域的概率标签,并在显示单元显示。与现有技术相比,本专利技术的有益效果为:本专利技术的宫颈活检区域识别装置是基于医生通过生理盐水、3%-5%醋酸溶液、复方碘溶液作用后的宫颈图像特征变化判定宫颈是否需要进一步进行活检的医学经验,根据大量阴道镜检查的宫颈图像进行学习建模,并根据建立的模型对宫颈活检区域进行检测,可以从根本上辅助医生对宫颈是否需要做进一步的活检做出更准确的判断。附图说明图1为本专利技术的宫颈活检区域识别装置的工作流程示意图;图2为特征提取层的模型训练流程示意图;图3为DenseBlock1的结构示意图;图4为宫颈活检区域识别模型的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步详细描述,需要指出的是,以下本文档来自技高网
...

【技术保护点】
1.一种基于多特征深度神经网络的宫颈活检区域识别装置,其特征在于,包括:图像采集单元,采集宫颈的生理盐水图像、醋酸图像和碘图像,并发送至数据处理单元;数据处理单元,包括已训练的宫颈活检区域识别模型,所述的宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理,输出宫颈存在活检区域的概率标签;所述的宫颈活检区域识别模型包括:特征提取层,包括3个独立的特征提取子网络,分别用于提取生理盐水图像、醋酸图像和碘图像的特征;特征结合层,将特征提取层提取的3个特征通过通道维度拼接起来;顶层,对拼接后的特征进行识别,输出宫颈存在活检区域的概率标签;显示单元,获取所述的概率标签并显示。

【技术特征摘要】
1.一种基于多特征深度神经网络的宫颈活检区域识别装置,其特征在于,包括:图像采集单元,采集宫颈的生理盐水图像、醋酸图像和碘图像,并发送至数据处理单元;数据处理单元,包括已训练的宫颈活检区域识别模型,所述的宫颈活检区域识别模型对生理盐水图像、醋酸图像和碘图像进行分析处理,输出宫颈存在活检区域的概率标签;所述的宫颈活检区域识别模型包括:特征提取层,包括3个独立的特征提取子网络,分别用于提取生理盐水图像、醋酸图像和碘图像的特征;特征结合层,将特征提取层提取的3个特征通过通道维度拼接起来;顶层,对拼接后的特征进行识别,输出宫颈存在活检区域的概率标签;显示单元,获取所述的概率标签并显示。2.根据权利要求1所述的宫颈活检区域识别装置,其特征在于,所述的特征提取子网络包括4个DenseBlock,4个DenseBlock分别包含6个12个24个和16个每个DenseBlock之前连接1个卷积层和1个池化层。3.根据权利要求2所述的宫颈活检区域识别装置,其特征在于,每个特征提取子网络之后依次连接[1×1conv,C],和C表示通道数,C为第4个DenseBlock输出的通道数,k为常数。4.根据权利要求1所述的宫颈活检区域识别装置,其特征在于,所述的顶层包括2个1个全局池化层、1个全连接层和1个softmax层。5.根据权利要求1~4任一项所述的宫颈活检区域识别装置,其特征在于,对宫颈活检区域识别模型的训练方法为:(1)获取宫颈的生理盐水图像、醋酸图像和碘图像,剔除噪声后进行识别和标记,构建训练集;(2)采用训练集对宫颈活检区域识别模型进行训练,包括:(2-1)对特征提取层进行预训练:在每...

【专利技术属性】
技术研发人员:吴健应兴德陈婷婷马鑫军吕卫国袁春女姚晔俪王新宇吴边陈为吴福理吴朝晖
申请(专利权)人:浙江大学
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1