基于深度神经网络的图像分析方法及装置制造方法及图纸

本发明专利技术提供一种基于深度神经网络的图像分析方法及装置，包括：获得医疗影像图像；去除医疗影像图像中的背景；对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像各区域；构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对融合模型进行训练，融合模型输入是医疗影像图像的颜色通道，输出为所述医疗影像图像的类别的概率，类别包括肿瘤，类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。上述方法及装置能够客观准确的分析医疗影像图像的肿瘤概率。

Image analysis method and device based on depth neural network

【技术实现步骤摘要】
基于深度神经网络的图像分析方法及装置
本专利技术涉及图像分析
，更具体地，涉及一种基于深度神经网络的图像分析方法及装置。
技术介绍
病理学的医学专业的任务是提供明确的疾病诊断，以指导患者的治疗和管理决策。标准化，准确和可重复的病理诊断对于推进精准医学至关重要。自19世纪中期以来，病理学家用于诊断的主要工具是显微镜。显微图像的定性视觉分析的局限性包括缺乏标准化，诊断错误，以及在典型病理学家的工作日中手动评估数百个载玻片上的数百万个细胞所需的显着的负载负荷。数字病理学是一种新的、快速发展的医学成像领域。在数字病理学中，全滑动扫描仪用于以高分辨率(每像素高达160nm)数字化包含组织样本的载玻片。数字图像的可用性引起了医学图像分析界的兴趣，导致越来越多的关于组织病理学图像分析的出版物。近些年，我们重点关注淋巴结数字化图像中微转移和宏转移的检测。这个主题非常重要，因为淋巴结转移发生在大多数癌症类型(例如乳腺，前列腺，结肠)中。淋巴结是过滤淋巴的小腺体，淋巴是通过淋巴系统循环的液体。腋下的淋巴结是乳腺癌可能传播的第一个地方。淋巴结的转移性参与是乳腺癌中最重要的预后变量之一。当癌症扩散到淋巴结时，预后较差。然而，病理学家的诊断程序繁琐且耗时且容易被误解。自动分析淋巴结转移可能性的方法具有很大的潜力，可以帮助病理学家减轻他们的工作量。
技术实现思路
本专利技术的目的在于提供一种客观准确的基于深度神经网络的图像分析方法及装置。根据本专利技术的一个方面，提供一种基于深度神经网络的图像分析方法，包括：获得医疗影像图像；去除医疗影像图像中的背景；对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对所述融合模型进行训练，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。所述的基于深度神经网络的图像分析方法，其中，所述去除医疗影像图像中的背景的步骤包括：将获得的医疗影像图像从RGB颜色空间转移到HSV颜色空间；获得医疗影像图像的每个颜色通道的最佳阈值；去除无效区域。所述的基于深度神经网络的图像分析方法，其中，所述对去除背景的医疗影像图像进行区块划分的步骤包括：设定窗口的高度和宽度；采用滑动窗口分割的方法得到去除背景的医疗影像图像的各区块。所述的基于深度神经网络的图像分析方法，其中，所述融合模型的训练步骤包括：通过多幅已知类别的医疗影像图像构建每个类别的正样本数据集和负样本数据集，所述正样本数据集为属于所述类别的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述类别的医疗影像图像经过去除背景和区域划分后的数据集；采用十折交叉验证方法分别对上述每个类别的正样本数据集和负样本数据集进行划分，得到每个类别的训练集和验证集；采用上述训练集和验证集对融合模型进行训练。优选地，所述融合模型的训练步骤还包括：在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知类别的医疗影像图像排序；选取排序靠前的设定数量的上述医疗影像图像；当上述医疗影像图像属于训练集的区域重新划分，增大采样数量。所述的基于深度神经网络的图像分析方法，其中，还包括：构建分类模型，对分类模型进行训练，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移；将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。所述的基于深度神经网络的图像分析方法，其中，所述多种卷积神经网络模型包括GoogLeNet，Resnet，VGG16和PNASNet模型中的多种。所述的基于深度神经网络的图像分析方法，其中，所述多种卷积神经网络模型的权值相等且和为1。根据本专利技术的另一个方面，提供一种基于深度神经网络的图像分析装置，包括：采集模块，获得医疗影像图像；图像处理模块，去除医疗影像图像中的背景；划分模块，对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；第一模型构建模块，构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；训练模块，对所述融合模型进行训练；图像识别模块，将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。所述的基于深度神经网络的图像分析装置，其中，还包括：第二模型构建模块，构建分类模型，所述分类模型的输入是融合模型输出的医疗影像图像各区域的各类别的概率，所述分类模型的输出是癌细胞转移的分类，所述癌细胞转移的分类包括癌细胞无转移、癌细胞微转移和癌细胞宏转移，其中，所述训练模块对第二模型构建模块构建的分类模型进行训练，所述图像识别模块还将将医疗影像图像的各区域的医疗影像图像所属类别的概率输入训练后的分类模型，获得所述医疗影像图像的癌细胞转移的分类。上述基于深度神经网络的图像分析方法及装置采用融合模型分析医疗影像图像(病理图像)，能够客观准确获得所述医疗影像图像对应的肿瘤概率，通过全面并且自动分析整个病理图像，为医生分析癌症相关的预后或确定转移方面提供辅助信息。附图说明图1是本专利技术所述基于深度神经网络的图像分析方法的流程图；图2是本专利技术所述基于深度神经网络的图像分析装置的构成框图；图3是本专利技术所述类别概率热图的示意图。具体实施方式在下面的描述中，出于说明的目的，为了提供对一个或多个实施例的全面理解，阐述了许多具体细节。然而，很明显，也可以在没有这些具体细节的情况下实现这些实施例。在其它例子中，为了便于描述一个或多个实施例，公知的结构和设备以方框图的形式示出。下面将参照附图来对根据本专利技术的各个实施例进行详细描述。图1是本专利技术所述基于深度神经网络的图像分析方法的流程图，如图1所示，所述图像分析方法包括：步骤S1，获得医疗影像图像；步骤S2，去除医疗影像图像中的背景；步骤S3，对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；步骤S4，构建多种卷积神经网络模型，将多种卷积神经网络本文档来自技高网...

【技术保护点】
1.一种基于深度神经网络的图像分析方法，其特征在于，包括：/n获得医疗影像图像；/n去除医疗影像图像中的背景；/n对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；/n构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对所述融合模型进行训练，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；/n将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。/n

【技术特征摘要】
1.一种基于深度神经网络的图像分析方法，其特征在于，包括：
获得医疗影像图像；
去除医疗影像图像中的背景；
对去除背景的医疗影像图像进行区块划分，得到构成医疗影像图像的各区域；
构建多种卷积神经网络模型，将多种卷积神经网络模型进行加权组合形成融合模型，对所述融合模型进行训练，所述融合模型的输入是医疗影像图像的颜色通道，所述融合模型的输出为所述医疗影像图像的类别的概率，所述类别包括肿瘤，所述类别的概率包括肿瘤概率，表示医疗影像图像为肿瘤的图像的概率；
将划分后的各区域的医疗影像图像输入训练后的融合模型，得到各区域的医疗影像图像所属类别的概率，从而生成医疗影像的类别概率热图。


2.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述去除医疗影像图像中的背景的步骤包括：
将获得的医疗影像图像从RGB颜色空间转移到HSV颜色空间；
获得医疗影像图像的每个颜色通道的最佳阈值；
去除无效区域。


3.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述对去除背景的医疗影像图像进行区块划分的步骤包括：
设定窗口的高度和宽度；
采用滑动窗口分割的方法得到去除背景的医疗影像图像的各区块。


4.根据权利要求1所述的基于深度神经网络的图像分析方法，其特征在于，所述融合模型的训练步骤包括：
通过多幅已知类别的医疗影像图像构建每个类别的正样本数据集和负样本数据集，所述正样本数据集为属于所述类别的医疗影像图像经过去除背景和区域划分后形成的数据集，所述负样本数据集为不属于所述类别的医疗影像图像经过去除背景和区域划分后的数据集；
采用十折交叉验证方法分别对上述每个类别的正样本数据集和负样本数据集进行划分，得到每个类别的训练集和验证集；
采用上述训练集和验证集对融合模型进行训练。


5.根据权利要求4所述的基于深度神经网络的图像分析方法，其特征在于，所述融合模型的训练步骤还包括：
在每一次训练过程中，按照分错的区域的数量由大到小的顺序对已知类别的医疗影像图像排序；
选取排序靠前的设定数量的上述医疗影像图像；
当上述医疗影像图像属于训练集的区域重新划分，增大采样数量。
<...

【专利技术属性】
技术研发人员：江瑞，章博亨，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11