基于多模态检测网络的宫颈活检区域辅助识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于多模态检测网络的宫颈活检区域辅助识别方法及装置，装置包括：非图像信息处理单元，获取患者的TCT、HPV检查信息、年龄及宫颈转换区类型，并进行One‑Hot编码，发送至数据处理单元；图像采集单元，采集患者宫颈的醋酸图像和碘图像，并发送至数据处理单元；数据处理单元，包括已训练的宫颈活检区域识别模型，所述的宫颈活检区域识别模型对醋酸图像、碘图像和非图像信息编码进行分析处理，输出宫颈存在活检区域的概率标签；显示单元，获取所述的概率标签并显示。本发明专利技术的宫颈活检区域辅助识别装置通过融合宫颈图像信息和TCT、HPV检查信息，得出宫颈存在活检区域的概率标签，辅助医生对患者的宫颈是否存在活检区域做出更准确的判断。

Cervical biopsy region assisted recognition method and device based on multi-modal detection network

The invention discloses a method and device for a cervical biopsy area aided identification based on a multi-modal detection network. The device comprises a non image information processing unit, a patient's TCT, HPV inspection information, age and cervical conversion area type, and a One Hot encoding, sent to a data processing unit, and an image acquisition unit. The acetate image and iodine image of the cervix of the patient were collected and sent to the data processing unit; the data processing unit, including the trained cervical biopsy area recognition model, the cervical biopsy region recognition model analyzed the acetic acid image, the iodine image and the non image information coding, and output the cervical biopsy area. A probability tag; a display unit that acquires the probability tag and displays. The cervical biopsy area aided recognition device of the invention provides a probability label for the biopsy area of the cervix by combining the information of cervical image and TCT and HPV, and assists doctors to make more accurate judgment on the existence of the biopsy area of the cervix of the patient.

【技术实现步骤摘要】
基于多模态检测网络的宫颈活检区域辅助识别方法及装置
本专利技术涉及医疗图像处理领域，尤其涉及一种基于多模态检测网络的宫颈活检区域辅助识别方法及装置。
技术介绍
宫颈癌是指发生在宫颈阴道部或移行带的鳞状上皮细胞及宫颈管内膜的柱状上皮细胞交界处的恶性肿瘤；是威胁全球女性生命的主要原因之一，也是目前人类唯一病因明确的恶性肿瘤。然而从正常的宫颈到HPV感染，有极少数的宫颈病变会进一步发展成为宫颈癌，这一过程一般需要5-10年左右的时间。因此，如果能通过一定检测技术，在宫颈癌前病变阶段就检测出宫颈出现异样，那么将有很大的可能性预防宫颈癌。而宫颈高级别鳞状上皮内病变(High-gradesquamousintraepitheliallesion，HSIL)就是宫颈癌形成的最后一个过程，HSIL的诊断和治疗对宫颈癌预防是至关重要的。宫颈病变的检查步骤主要分三步：(1)宫颈细胞学检查，，最常用的是巴氏涂片法；(2)阴道镜检查，如果细胞学结果有异常，需要做阴道镜检查，观察宫颈上皮颜色、血管等的变化；(3)宫颈组织活检检查，，如果阴道镜检查有疑问，则医生会在阴道镜定位下，对可疑病变处取少许宫颈组织行活检检查，活检结果也就成为宫颈病变的最终结论。阴道镜检查是一种临床诊断性检查方法，是子宫颈癌筛查和子宫颈病变的诊断中缺一不可的重要技术。通过涂抹醋酸和复方碘溶液，妇科医生肉眼观察子宫颈等部位上皮和血管的变化，评价有无病变和病变程度。但是，阴道镜检查存在两个主要问题：(1)专业要求高，阴道镜图像包含了纹理，颜色等复杂特征，对阴道镜下宫颈组织形态的分析需要高度的专业知识，因此该检查需要经验丰富的妇科医生来进行；(2)主观性强，阴道镜下宫颈图像的诊断含有妇科医生的主观意见，对于一些有争议图像的诊断，每一个专家存在着或多或少的差别。在这样的情况下，就迫切地需要一种计算机的方法自动分析宫颈图像，输出患者宫颈是否存在活检区域，从根本上辅助医生作出更准确的判断，指导选择活检的准确部位，取代盲目活检，提高活检阳性率与诊断的准确率。
技术实现思路
本专利技术提供一种基于多模态检测网络的宫颈活检区域辅助识别装置，通过融合宫颈图像信息和TCT、HPV检查信息，得出宫颈存在活检区域的概率标签，从根本上辅助医生对患者的宫颈是否存在活检区域做出更准确的判断。本专利技术提供了如下技术方案：一种基于多模态检测网络的宫颈活检区域辅助识别装置，包括：非图像信息处理单元，获取患者的TCT、HPV检查信息、年龄及宫颈转换区类型，并进行One-Hot编码，发送至数据处理单元；图像采集单元，采集患者宫颈的醋酸图像和碘图像，并发送至数据处理单元；数据处理单元，包括已训练的宫颈活检区域识别模型，所述的宫颈活检区域识别模型对醋酸图像、碘图像和非图像信息编码进行分析处理，输出宫颈存在活检区域的概率标签；显示单元，获取所述的概率标签并显示。本专利技术的宫颈活检区域辅助识别装置通过图像采集单元采集宫颈的醋酸图像和碘图像，通过非图像信息处理单元，获取患者的TCT、HPV检查信息、年龄及宫颈转换区类型，并进行One-Hot编码，数据处理单元对图像信息和非图像信息进行分析处理，得到宫颈存在活检区域的概率标签，并通过显示单元显示，可辅助医生对患者的宫颈是否存在活检区域做出判断。所述的图像采集单元为阴道镜。宫颈的醋酸图像是指依次涂抹生理盐水、3％-5％醋酸溶液后的宫颈图像，碘图像是指依次涂抹生理盐水、3％-5％醋酸溶液、复方碘溶液后的宫颈图像。若宫颈存在活检区域，则在3％-5％醋酸溶液作用下，会呈现“厚醋白”、“镶嵌血管”等特征；在复方碘溶液作用下，会呈现“明亮橘黄色”、“芥末黄色”、“斑点状着色”等特征，但是存在这些特征也并不能确定宫颈就一定会存在病变，还需要医生做进一步的活检，进而确诊宫颈是否存在病变。非图像信息包括患者的TCT、HPV检查信息、年龄及宫颈转换区类型。TCT信息分为14类：信息缺失、正常、无上皮内病变及恶性改变(NILM)、非典型鳞状细胞，不能明确意义(ASCUS)、ASCUS与LSIL两者之间、低度鳞状上皮内病变(LSIL)、LSIL与ASC-H两者之间、非典型鳞状细胞，不能除外上皮内高度病变(ASC-H)、高度鳞状上皮内病变(HSIL)、HSIL与SCC两者之间、鳞状细胞癌(SCC)、非典型腺细胞，无具体指定(AGC-NOS)、非典型腺细胞，倾向瘤变(AGC-FN)、宫颈腺癌。HPV信息则分为6类：信息缺失、正常、低危阳性、一般阳性、高危阳性①(HPV16和HPV18型)、高危阳性②(HPV12种非16/18高危阳性)。将20～60岁分为5个年龄段：①20～24岁、②25～34岁、③35～49岁、④50～55岁、⑤56～60岁。将宫颈转化区类型信息分为4类：信息缺失、I型、II型、IⅡ型。所述的宫颈活检区域识别模型包括：非图像特征提取模块，用于提取非图像信息的特征；图像特征检测模块，用于获取醋酸图像和碘图像中宫颈面区域的特征，并将醋酸图像宫颈面区域的特征与碘图像宫颈面区域的特征进行融合和降维；特征结合模块，将融合、降维后的宫颈面区域特征与非图像信息的特征进行拼接；顶层模块，对拼接后的特征进行识别，输出宫颈存在活检区域的概率标签。所述的非图像特征提取模块包括1个输入层和3个隐层；输入层为TCT、HPV、年龄、宫颈转化区类型的数据向量；3个隐层均包含128个神经元；3个隐层的激励函数均为ReLU函数。所述的图像特征检测模块包括依次连接的：2个独立的图像特征检测子网络，分别用于提取醋酸图像和碘图像中宫颈面区域的特征；图像特征拼接层，将醋酸图像和碘图像宫颈面区域的特征在通道维度上进行拼接；全连接层，将拼接后的图像特征进行降维。所述的图像特征检测子网络层为去除最后分类层的FasterR-CNN目标检测网络。其具体结构为：图像特征检测子网络层包括依次连接的去除全连接层的VGG16网络、RPN网络、ROIpooling层和两个全连接层。VGG16网络由13个卷积层+ReLu、5个最大池化层、3个全连接层+ReLu和Softmax分类器组成，有13个卷积层，3个全连接层，故称为VGG16。该网络使用更小的卷积核、更深的网络层数达到很好的图像识别效果。所述的顶层模块包括2个全连接层和1个Softmax分类器。宫颈活检区域识别模型的训练包括以下步骤：(1)获取患者的非图像信息和图像信息并进行识别和标记，对非图像信息并进行One-Hot编码，构建训练集；所述的非图像信息包括TCT、HPV、年龄、宫颈转化区类型；对非图像信息进行识别和标记是指，判断该组非图像信息所对应的宫颈是否存在活检区域，并标记；所述的图像信息包括宫颈的醋酸图像和碘图像；对图像信息识别和标记是指，识别图像中宫颈面区域的坐标，判断该组图像信息对应的宫颈是否存在活检区域，并标记；将同一个患者的非图像信息和图像信息作为一个训练样本；训练集中，存在活检区域的样本数与正常宫颈的样本数比例为0.8～1.2∶1。(2)对非图像特征提取模块进行预训练；(2-1)在非图像特征提取模块之后连接1个输出层，构成非图像信息分类网络；(2-2)采用训练集中的非图像信息编码将非图像信息分类网络训练至收敛，保持非图像特征提取模块部分的模型参数；(3)对宫颈活本文档来自技高网...

【技术保护点】
1.一种基于多模态检测网络的宫颈活检区域辅助识别装置，其特征在于，包括：非图像信息处理单元，获取患者的TCT、HPV检查信息、年龄及宫颈转换区类型，并进行One‑Hot编码，发送至数据处理单元；图像采集单元，采集患者宫颈的醋酸图像和碘图像，并发送至数据处理单元；数据处理单元，包括已训练的宫颈活检区域识别模型，所述的宫颈活检区域识别模型对醋酸图像、碘图像和非图像信息编码进行分析处理，输出宫颈存在活检区域的概率标签；显示单元，获取所述的概率标签并显示。

【技术特征摘要】
1.一种基于多模态检测网络的宫颈活检区域辅助识别装置，其特征在于，包括：非图像信息处理单元，获取患者的TCT、HPV检查信息、年龄及宫颈转换区类型，并进行One-Hot编码，发送至数据处理单元；图像采集单元，采集患者宫颈的醋酸图像和碘图像，并发送至数据处理单元；数据处理单元，包括已训练的宫颈活检区域识别模型，所述的宫颈活检区域识别模型对醋酸图像、碘图像和非图像信息编码进行分析处理，输出宫颈存在活检区域的概率标签；显示单元，获取所述的概率标签并显示。2.根据权利要求1所述的基于多模态检测网络的宫颈活检区域辅助识别装置，其特征在于，所述的宫颈活检区域识别模型包括：非图像特征提取模块，用于提取非图像信息的特征；图像特征检测模块，用于获取醋酸图像和碘图像中宫颈面区域的特征，并将醋酸图像宫颈面区域的特征与碘图像宫颈面区域的特征进行融合和降维；特征结合模块，将融合后的宫颈面区域特征与非图像信息的特征进行拼接；顶层模块，对拼接后的特征进行识别，输出宫颈存在活检区域的概率标签。3.根据权利要求2所述的基于多模态检测网络的宫颈活检区域辅助识别装置，其特征在于，所述的非图像特征提取模块包括1个输入层和3个隐层；输入层为TCT、HPV、年龄、宫颈转化区类型的数据向量；3个隐层均包含128个神经元。4.根据权利要求2所述的基于多模态检测网络的宫颈活检区域辅助识别装置，其特征在于，所述的图像特征检测模块包括依次连接的：2个独立的图像特征检测子网络，分别用于提取醋酸图像和碘图像中宫颈面区域的特征；图像特征拼接层，将醋酸图像和碘图像宫颈面区域的特征在通道维度上进行拼接；全连接层，将拼接后的图像特征进行降维。5.根据权利要求4所述的基于多模态检测网络的宫颈活检区域辅助识别装置，其特征在于，所述的图像特征检测子网络层包括依次连接的去除全连接层的VGG16网络、RPN网络、ROIpooling层和两个全连接层。6.根据权利要求2所述的基于多模态检测网络的宫颈活检区...

【专利技术属性】
技术研发人员：吴健，应兴德，陈婷婷，马鑫军，吕卫国，袁春女，姚晔俪，王新宇，吴边，陈为，吴福理，吴朝晖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33