一种基于二阶段深度学习网络的阴道镜影像区域识别方法和装置以及设备制造方法及图纸

本发明专利技术公开了一种基于二阶段深度学习网络的阴道镜影像区域识别方法。其中，所述方法包括：利用阴道镜采集不同影像数据；构建基于影像数据的U型变换卷积神经网络模型；采用U型变换卷积神经网络对所述构建的U型变换卷积神经网络模型进行训练；根据训练后的U型变换卷积神经网络模型，输出预测影像数据中的非典型小区域的训练结果；构建基于U型变换卷积神经网络训练结果的YOLO神经网络模型；采用YOLO神经网络训练YOLO神经网络模型；根据训练后的U型变换卷积神经网络模型

【技术实现步骤摘要】
一种基于二阶段深度学习网络的阴道镜影像区域识别方法和装置以及设备


[0001]本专利技术涉及图像识别
，尤其涉及一种基于二阶段深度学习网络的阴道镜影像区域识别方法和装置以及设备。

技术介绍

[0002]阴道显微镜是用于临床查看宫颈、阴道、外阴组织的器械。主要由显微镜、套管、显微镜台及置物架组成。通常由观察系统、照明系统组成，观察系统是具有目镜、物镜的短工作距的体视光学显微系统，可外接图像采集显示系统。利用显微放大原理，观察物体细节。现有技术阴道镜与图像分析算法的结合在临床查看宫颈、阴道、外阴组织中起着重要的作用，但其存在两个主要问题：
[0003](1)阴道镜图像包含众多复杂元素，图像中有些区域并不典型且区域较小，现有的技术手段对于非典型小区域的细节信息不够敏感，且对特征的选择具有较高的不可解释性，使得目前的技术方案只能输出大致的区域，不能获得监测点。
[0004](2)阴道镜图片光线受限，其图片往往受环境光源影响较大，且在阴道镜检查的过程中，阴道镜镜头一直在移动，容易使非典型小区域的细节信息丢失，致使其不容易识别出来。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提出一种基于二阶段深度学习网络的阴道镜影像区域识别方法和装置以及设备，能够实现通过阴道镜的图像来识别非典型小区域的位置及监测点。
[0006]根据本专利技术的一个方面，提供一种基于二阶段深度学习网络的阴道镜影像区域识别方法，包括：利用阴道镜采集不同影像数据；构建基于影像数据的U型变换卷积神经网络模型；采用U型变换卷积神经网络对所述构建的U型变换卷积神经网络模型进行训练；根据所述训练后的U型变换卷积神经网络模型，输出预测影像数据中的非典型小区域的训练结果；构建基于所述U型变换卷积神经网络训练结果的YOLO神经网络模型；采用YOLO神经网络训练所述YOLO神经网络模型；根据所述训练后的U型变换卷积神经网络模型
‑
YOLO神经网络模型的二阶段深度学习模型，来对阴道镜影像数据进行对应该影像数据的非典型小区域以及监测点的预测。
[0007]根据本专利技术的另一个方面，提供一种基于二阶段深度学习网络的阴道镜影像区域识别装置，包括：获取模块、构建模块、训练模块和预测模块；所述获取模块，用于利用阴道镜采集不同影像数据；所述构建模块，用于构建U型变换卷积神经网络模型
‑
YOLO神经网络模型的二阶段深度学习模型；所述训练模块，用于训练U型变换卷积神经网络模型
‑
YOLO神经网络模型的二阶段深度学习模型；所述预测模块，用于根据所述训练后的U型变换卷积神经网络模型
‑
YOLO神经网络模型的二阶段深度学习模型，来对阴道镜影像数据进行对应该
影像数据的非典型小区域以及监测点的预测。。
[0008]根据本专利技术的又一个方面，提供一种基于二阶段深度学习网络的阴道镜影像区域识别设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一项所述的基于二阶段深度学习网络的阴道镜影像区域识别方法。
[0009]根据本专利技术的再一个方面，提供一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的基于二阶段深度学习网络的阴道镜影像区域识别方法。
[0010]可以发现，以上方案，采取二阶段深度学习模型，使非典型小区域具有高度可解释性且对于非典型小区域的细节信息足够敏感，能够提取出非典型小区域以及监测点。深度学习二阶段算法的两个组成部分(阴道镜影像非典型小区域分割和活检位置引导)以连续的方式训练。前一个网络被训练并且被固定用于后一个网络的训练。阴道镜影像中的非典型小区域往往不典型且区域较小，非典型小区域位置不容易发现，具有高隐匿性，且不同的非典型小区域类型往往其关注等级不同，因此若直接使用现有技术进行训练会导致其非典型小区域的输出结果不具可解释性。所以本专利技术采取二阶段的方式，在一阶段对人工勾画活检位置，使其勾画结果具有高度可解释性，通过U型变换卷积神经网络学习其特征输出非典型小区域，再通过第二阶段的YOLO把高度可疑活检区域进行框选输出，以此生成一套既具有高性能又有高度可解释性的模型。为了应对非典型小区域特征分辨率损失，在二阶段深度学习模型的第一阶段提出了一个U型变换卷积神经网络，弥补了变换神经网络带来的非典型小区域特征分辨率损失，实现精确定位。为了解决在阴道镜检查的过程中，阴道镜镜头一直在移动，容易使非典型小区域的细节信息丢失，在二阶段深度学习模型的第二阶段使用目标检测算法对非典型小区域中的监测点进行定位；本实施例从针对现有阴道镜影像算法不具备可解释性、对于非典型小区域的细节信息不够敏感、非典型小区域的细节信息丢失三个技术问题出发，能够针对非典型小区域以及监测点作出精准度较高的预测。
附图说明
[0011]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0012]图1是本专利技术基于二阶段深度学习网络的阴道镜影像区域识别方法一实施例的流程示意图；
[0013]图2是本专利技术基于二阶段深度学习网络的阴道镜影像区域识别方法一实施例的U型变换卷积神经网络框架结构示意图；
[0014]图3是本专利技术基于二阶段深度学习网络的阴道镜影像区域识别方法一实施例U型变换卷积神经网络模型
‑
YOLO神经网络模型的二阶段深度学习模型输出的预测结果图。
具体实施方式
[0015]下面结合附图和实施例，对本专利技术作进一步的详细描述。特别指出的是，以下实施例仅用于说明本专利技术，但不对本专利技术的范围进行限定。同样的，以下实施例仅为本专利技术的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0016]本专利技术提供一种基于二阶段深度学习网络的阴道镜影像区域识别方法，能够实现通过阴道镜的图像来识别非典型小区域的位置及监测点。
[0017]请参见图1，图1是本专利技术基于二阶段深度学习网络的阴道镜影像区域识别方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本专利技术的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：
[0018]S101：利用阴道镜采集不同影像数据；
[0019]在本实施例中既可以是醋酸热敷条件下采集的影像数据，也可以是碘溶液热敷条件下采集的影像数据，本实施例不加以限定。
[0020]S102：构建基于影像数据的U型变换卷积神经网络模型；。
[0021]在本实施例中，该构建的U型变换卷积神经网络模型，可以依据不同的阴本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二阶段深度学习网络的阴道镜影像区域识别方法，其特征在于，包括：利用阴道镜采集不同影像数据；构建基于影像数据的U型变换卷积神经网络模型；采用U型变换卷积神经网络对所述构建的U型变换卷积神经网络模型进行训练；根据所述训练后的U型变换卷积神经网络模型，输出预测影像数据中的非典型小区域的训练结果；构建基于所述U型变换卷积神经网络训练结果的YOLO神经网络模型；采用YOLO神经网络训练所述YOLO神经网络模型；根据所述训练后的U型变换卷积神经网络模型
‑
YOLO神经网络模型的二阶段深度学习模型，来对阴道镜影像数据进行对应该影像数据的非典型小区域以及监测点的预测。2.如权利要求1所述的基于二阶段深度学习网络的阴道镜影像区域识别方法，其特征在于，所述采用U型变换卷积神经网络对所述构建的U型变换卷积神经网络模型进行训练，包括：构建U型变换卷积神经网络，并采用U型变换卷积神经网络对所述影像数据中的每个影像进行相应非典型小区域的边缘进行打标，和U型变换卷积神经网络对所述经非典型小区域的边缘进行打标后的影像数据中提取出每个非典型小区域的图像特征，并从所述图像特征中提取出颜色特征、纹理特征、形状特征和空间关系特征作为U型变换卷积神经网络的训练输入的方式，以及采用所述将颜色特征、纹理特征、形状特征和空间关系特征作为训练输入的U型变换卷积神经网络对所述构建的U型变换卷积神经网络模型进行训练。3.如权利要求1所述的基于二阶段深度学习网络的阴道镜影像区域识别方法，其特征在于，所述采用YOLO神经网络训练所述YOLO神经网络模型，包括：利用U型变换卷积神经网络训练结果构建YOLO神经网络，并采用YOLO神经网络对所述U型变换卷积神经网络训练结果中的每个影像进行相应监测点的边缘进行打标，和YOLO神经网络对所述经监测点的边缘进行打标后的影像数据中提取出每个监测点的图像特征，并从所述图像特征中提取出颜色特征、纹理特征、形状特征和空间关系特征作为YOLO神经网络的训练输入的方式，以及采用所述将颜色特征、纹理特征、形状特征和空间关系特征作为训练输入的YOLO神经网络对所述构建的YOLO神经网络模型进行训练。4.如权利要求1所述的基于二阶段深度学习网络的阴道镜影像区域识别方法，其特征在于，所述根据所述训练后的U型变换卷积神经网络模型
‑
YOLO神经网络模型的二阶段深度学习模型，来对阴道镜影像数据进行对应该影像数据的非典型小区域以及监测点的预测，包括：对阴道镜采集的影像数据进行预处理，和根据所述经训练后的U型变换卷积神经网络模型，从所述预处理后的影像数据中提取出对关联所述非典型小区域的颜色特征、纹理特征、形状特征和空间关系特征，将所述提取出的关联所述非典型小区域的颜色特征、纹理特征、形状特征和空间关系特征输入所述经训练后的U型变换卷积神经网络模型，来对影像中的非典型小区域进行识别，通过所述经训练后的U型变换卷积神经网络模型得到预测的非典型小区域的边框，基于输出的非典型小区域结果中提取出对关联所述监测点的颜色特征、纹理特征、形状特征和空间关系特征，将所述提取出的关联所述监测点的颜色特征、纹理特征、形状特征和空间关系特征输入所述经训练后的YOLO神经网络模型，来对影像中的
非典型小区域进行识别，通过所述经训练后的YOLO神经网络模型得到预测的监测点位置。5.一种基于二阶段深度学习网络的阴道镜影像区域识别装置，其特征在于，包括：获取模块、构建模块、训练模块和预测模块；所述获取...

【专利技术属性】
技术研发人员：严龙生，帅建伟，李家和，陈钒萱，史依，罗欢，
申请(专利权)人：厦门颐安智能科技有限公司，
类型：发明
国别省市：