一种医疗影像中特殊标记的检测与去除方法技术

本发明专利技术公开了一种医疗影像中特殊标记的检测与去除方法，包含以下步骤：步骤一：对输入的数据进行预处理与模型学习，使得网络可以识别出医疗标记；步骤二：对医疗影像进行学习，使得网络可以修复医疗影像，并且修复结果中不可出现明显的人工痕迹；步骤三：用Faster R‑CNN目标检测算法检测出图像中的医疗标记；步骤四：将检测出的掩码制作为二进制掩码；步骤五：使用部分卷积去修复带有掩码的医疗影像。在本申请中，使用了两个神经网络分别对医疗标记进行识别和修复工作。通过实验可以看出，使用本方法的实验效果达到了可使用结果，识别区域准确并且无明显的修复痕迹。图像中很难看到鱼鳞状修复区域或者网格状修复区域。

【技术实现步骤摘要】
一种医疗影像中特殊标记的检测与去除方法
本专利技术属于人工智能领域，涉及深度学习和图像处理技术，是一种基于神经网络的数据增强方法，具体涉及一种医疗影像中特殊标记的检测与去除方法。
技术介绍
卷积神经网络是深度学习中重要的一个分支，通过多次的卷积提取特征，经过反向传播等机器学习方法学习到卷积的权重，抽取出整张图像的featuremap用于其他问题的处理。使用得到的featuremap以及其提取方法可以进行图像识别算法的拓展研究，同时也可以使用featuremap进行图像修复。可以说卷积神经网络是深度学习中重要的一个分支。FasterR-CNN是当下准确率极高的一个目标检测网络。它使用resnet架构作为基础的特征提取架构，然后使用RPN作为辅助网络提取边框，在目标检测上有很好的表现。NVDIA公司提出的部分卷积修复图像的方法同样是使用resnet作为特征提取架构，使用深度学习完善反卷积过程，将图像由featuremap重新复原为原始图像由此达到图像修复的目的。目前在机器学习时获得的大部分数据都是经过医生处理过的，这是在早起开发的医疗系统遗留下的弊病。当下面临的一个课题就是将医疗标记进行去除处理。
技术实现思路
本专利技术的目的在于提供一种医疗影像中特殊标记的检测与去除方法，用于将目前数据集中含有医疗标记的图像处理为原始的图像。本方法使用将两种方法聚合的方法去除医疗标记，以此来获取接近于医疗影像原始数据的图像。为实现本专利技术的目的，本专利技术提供的一种医疗影像中特殊标记的检测与去除方法，包含以下步骤：步骤一：对输入的数据进行预处理与模型学习，对医疗标记进行学习，使得网络可以识别出医疗标记；步骤二：对医疗影像进行学习，使得网络可以修复医疗影像，并且修复结果中不可出现明显的人工痕迹；步骤三：用FasterR-CNN目标检测算法检测出图像中的医疗标记；步骤四：将检测出的掩码制作为二进制掩码；步骤五：使用部分卷积去修复带有掩码的医疗影像。其中，步骤一具体包括如下步骤：在得到包含医疗标记的数据后，首先需要从数据中挑选出质量较高的数据，然后使用标记软件LabelImg制作为VOC标准数据集，同时搭建FasterR-CNN网络，将制作出的数据集使用网络进行训练，直到网络可以分割出大于75％的医疗标记。其中，步骤二具体包括如下步骤：首先使用随机方法生成掩码，搭建一个部分卷积修复图像的网络，使用原图像和掩码对网络进行训练，在Loss已经低于0.03时停止训练，同时需要保证修复的图像中无法看出明显的人工痕迹。其中，步骤三具体包括如下步骤：将图像输入至神经网络，使用网络对图像进行识别，输出所有的医疗标记的位置，如果在步骤三中的结果过差，则此时需要返回步骤一，重新对网络进行训练，直到保证步骤三可标记出的图像在80％之上。其中，步骤四具体包括如下步骤：在获得图像的医疗标记标注后，使用python读取原图以及输出的标注点，将图像中标注边框的位置都使用255置位，获得原医疗标记的掩码。其中，步骤五中具体包括如下步骤：将获得的掩码和原图像放入基于部分卷积的图像修复网络中，获得修复成果；如果此步骤发现修复成果无法达到预期成果，则需要重新进行步骤二，重新对网络训练，直到修复结果中无明显人工痕迹。与现有技术相比，本专利技术的有益效果为，在本申请中，使用了两个神经网络分别对医疗标记进行识别和修复工作。通过实验可以看出，使用本方法的实验效果达到了可使用结果，识别区域准确并且无明显的修复痕迹。图像中很难看到鱼鳞状修复区域或者网格状修复区域。同时网络可以理解结节信息，使得修复部位符合结节的特征。在实验中，FasterR-CNN网络的最终Loss为0.02，在测试时网络的识别率可以达到76.3％，可以认为FasterR-CNN网络能够识别出大部分的医疗标记的位置信息。同时，部分卷积网络的Loss降低为0.003。本项目在制定损失函数时针对医疗图像有所改进，保证了在识别时由更好的效果。其次，使用FasterR-CNN来代替传统方法对目标特征进行提取保证了更高的识别准确率。这两方面的改进保证了本项目相对于其他修复方法有更加优良的特性。附图说明图1所示为本申请的方法流程图。图2所示为原图与使用本申请修复后的效果对比图。具体实施方式以下结合附图和具体实施例对本专利技术作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。图1所示为本申请的方法流程图。图2所示为原图与使用本申请修复后的效果对比图。本专利技术包括：步骤S0101：从多数据集中筛选出优质数据用作训练集，其中训练集包括用于训练标记识别网络的训练集和标记去除网络的训练集。需要选择图像清晰并且保证有清晰标记的数据用于训练。对于标记识别数据集，需要使用LabelImage制作出相应的VOC标准数据集作为备用。对于图像修复数据集，需要使用随机生成的方式制作出数据集相应掩码备用。步骤S0201:搭建FasterR-CNN图像识别网络，使用已经制作好的数据集进行训练，当训练结果在测试集中可以检测出超过75％的医学标记时，可以认为模型已经达到了比较好的效果。步骤S0301：搭建编码-解码器网络用于图像修复工作。其中使用部分卷积替换完全卷积，部分卷积计算方法为其中X代表当前层次的featuremap，M代表部分卷积掩码，掩码由0和1组成，其中0表示待修复空洞。W代表学习的权重，b为偏置量。卷积的传播公式为同时使用多种损失函数去限制修复的成果，保证解码器修复出的图像符合预期效果。在训练过程中需要使得Loss降低至0.003之下。步骤S0401：网络使用的过程中，将图像输入到FasterR-CNN网络中，获得图像的标记定位，使用python获得图像的掩码信息，将掩码图和原图一一对应，用作之后图像修复的原图像。步骤S0501：使用已经训练好的部分卷积网络对图像进行修复。并输出修复结果。如果发现修复结果不够好，则需要重新训练网络。直到修复图像无明显痕迹且网络可以理解图像的特征信息。本专利技术所述的一种基于两种神经网络的聚合方法，用于去除医疗图像中的特殊标记。本项目考虑到了医疗标记的特殊性，对网络进行了部分调整。保证了更好的使用效果。通过实验可以看到，这种聚合的神经网络方法取得了较好的效果。有利于推进医疗图像数据集的构建和人工智能与医疗交叉结合的发展。在表1中，给出了本项目的实现效果和其他三个试验的区别。对比试验中可以看到，GLCIC算法同属于神经网络算法，但是相较于本项目使用的部分卷积修复方法效果还是有一定的差异。非人工智能方法中PatchMatch算法的修复时间太长，不适合目前实时修复的需求，opencv算法的修复有明显的缺陷，在修复后有可见的菱形修复区本文档来自技高网...

【技术保护点】
1.一种医疗影像中特殊标记的检测与去除方法，其特征在于，包含以下步骤：/n步骤一：对输入的数据进行预处理与模型学习，使得网络可以识别出医疗标记；/n步骤二：对医疗影像进行学习，使得网络可以修复医疗影像，并且修复结果中不可出现明显的人工痕迹；/n步骤三：用Faster R-CNN目标检测算法检测出图像中的医疗标记；/n步骤四：将检测出的掩码制作为二进制掩码；/n步骤五：使用部分卷积去修复带有掩码的医疗影像。/n

【技术特征摘要】
1.一种医疗影像中特殊标记的检测与去除方法，其特征在于，包含以下步骤：
步骤一：对输入的数据进行预处理与模型学习，使得网络可以识别出医疗标记；
步骤二：对医疗影像进行学习，使得网络可以修复医疗影像，并且修复结果中不可出现明显的人工痕迹；
步骤三：用FasterR-CNN目标检测算法检测出图像中的医疗标记；
步骤四：将检测出的掩码制作为二进制掩码；
步骤五：使用部分卷积去修复带有掩码的医疗影像。


2.根据权利要求1所述的一种医疗影像中特殊标记的检测与去除方法，其特征在于，
步骤一具体包括如下步骤：
在得到包含医疗标记的数据后，首先需要从数据中挑选出质量较高的数据，然后使用标记软件LabelImg制作为VOC标准数据集，同时搭建FasterR-CNN网络，将制作出的数据集使用网络进行训练，直到网络可以分割出大于75％的医疗标记。


3.根据权利要求1所述的一种医疗影像中特殊标记的检测与去除方法，其特征在于，
步骤二具体包括如下步骤：
首先使用随机方法生成掩码，搭建一个部分卷积修复图像的网络，使用原图像和掩码...

【专利技术属性】
技术研发人员：于瑞国，田原，李雪威，于健，徐天一，赵满坤，刘志强，高洁，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12