用于人工神经网络训练的医学图像数据的生成方法及装置制造方法及图纸

本申请提供了一种用于人工神经网络训练的医学图像数据的生成方法及装置，所述方法包括：利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；获取当前基础医学图像的当前目标特征；通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征，提高了生成的扩展图像的合理性；细节还原更加出色，增加了特征的多样性。

Method and device of medical image data generation for artificial neural network training

【技术实现步骤摘要】
用于人工神经网络训练的医学图像数据的生成方法及装置
本申请涉及医学检测领域，特别是用于人工神经网络训练的医学图像数据的生成方法及装置。
技术介绍
近年来，随着计算能力的增加和数据的爆炸式增加，人工智能技术取得了长足的进步，其中的代表技术就是深度学习。并开始应用于生活生产中的各个领域。在医学影像领域中，由于人类专家经验的不稳定性，深度学习技术有望辅助研究人员和医师以提高影像诊疗的准确性和减少医疗资源的不均衡性。深度学习在计算机视觉领域的巨大进步启发了其在医学图像分析中的应用，如图像分类、图像分割、图像配准、病灶检测等辅助诊断方法。然而深度学习的性能，能否提升取决于数据集的大小，深度学习通常需要大量的数据作为支撑，如果不能进行大量有效的训练，往往会导致过拟合(选择的模型包含的参数过多，以至于出现这一模型对已知数据预测的很好，但是对未知数据预测很差的现象)，我国的医疗数据质量不容乐观，与人脸，猫狗，车辆动辄几十万上百万的训练样本相比较，医学图像很难获得，并且稀有病例图像的数量更是非常稀少。网络训练的输入需要图像以及对应的病灶区标注信息，而大量精确标注耗时费力，而且没有统一标准的标注工作，其实也是对大量的医疗资源的浪费。因此本专利技术的意义在于生成高质量的医学图像，从而解决稀缺病例图像的训练问题，对少样本数量进行扩充，使训练样本分布达到相对均衡，提高模型的泛化能力以及提升模型的鲁棒性。目前数据增强技术主要分为传统增强方法和高级增强技术，传统增强方法包括图像的翻转、旋转、剪裁、平移、加入随机噪声等，高级增强技术一般利用生成对抗网络生成图像以及风格迁移等技术。然而传统增强技术往往会破坏图像的完整性，对于医疗图像来说是不利的，因为医疗图像本身的特征相比于自然图像要少，再加入噪声或者剪裁会更加不利于网络的训练。单纯利用生成对抗网络进行生成也需要较大的数据集作为支撑，这对于自然图像来说效果较好，而小样本医疗图像则往往达不到理想的效果。
技术实现思路
鉴于所述问题，提出了本申请以便提供克服所述问题或者至少部分地解决所述问题的用于人工神经网络训练的医学图像数据的生成方法及装置，包括：一种用于人工神经网络训练的医学图像数据的生成方法，包括：利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；获取当前基础医学图像的当前目标特征；通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。进一步地，所述目标特征，包括：遮盖特征和/或图像特征，和/或由按设定规律自所述遮盖特征、所述图像特征中提取的特征组成的一维或两维以上的数组；其中，所述遮盖特征，包括：所述基础医学图像的被遮盖区域位置，所述基础医学图像的被遮盖区域形状，以及所述基础医学图像的被遮盖区域大小；所述图像特征，包括：图像结构，图像内容，以及图像纹理；和/或，所述对应关系，包括：函数关系；所述目标特征为所述函数关系的输入参数，所述扩展图像的图像特征为所述函数关系的输出参数；确定与所述当前目标特征对应的当前扩展图像的图像特征，还包括：当所述对应关系包括函数关系时，将所述当前目标特征输入所述函数关系中，确定所述函数关系的输出参数为当前扩展图像的图像特征。进一步地，所述建立目标特征与扩展图像的图像特征之间的对应关系的步骤，包括：获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据；分析所述目标特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述目标特征与所述扩展图像的图像特征的所述对应关系。进一步地，所述获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据的步骤，包括：收集不同病理状况的患者的所述目标特征和所述扩展图像的图像特征；对所述目标特征进行分析、并结合预存的专家经验信息，选取与所述扩展图像的图像特征相关的数据作为所述目标特征；将所述扩展图像的图像特征、以及选取的所述目标特征构成的数据对，作为样本数据。进一步地，所述网络结构，包括GAN网络，CycleGAN网络，WGAN网络，VGG-16模型，VGG-19模型，以及，ResNet模型中的至少之一；和/或，所述网络参数，包括：密集块数，输出层数，卷积层数，反卷积层数，过度层数，初始权值，以及，偏置值中的至少之一。进一步地，对所述网络结构和所述网络参数进行训练，包括：选取所述样本数据中的一部分数据作为训练样本，将所述训练样本中的所述目标特征输入到所述网络结构，通过所述网络结构的激活函数和所述网络参数进行训练，得到实际训练结果；确定所述实际训练结果与所述训练样本中的相应扩展图像的图像特征之间的实际训练误差是否满足预设训练误差；当所述实际训练误差满足所述预设训练误差时，确定对所述网络结构和所述网络参数的所述训练完成；和/或，对所述网络结构和所述网络参数进行测试，包括：选取所述样本数据中的另一部分数据作为测试样本，将所述测试样本中的所述目标特征输入到所述训练完成的所述网络结构中，以所述激活函数和所述训练完成的所述网络参数进行测试，得到实际测试结果；确定所述实际测试结果与所述测试样本中的相应扩展图像的图像特征之间的实际测试误差是否满足设定测试误差；当所述实际测试误差满足所述设定测试误差时，确定对所述网络结构和所述网络参数的所述测试完成。进一步地，对所述网络结构和所述网络参数进行训练，还包括：当所述实际训练误差不满足所述设定训练误差时，通过所述网络结构的误差能量函数更新所述网络参数；通过所述网络结构的所述激活函数和更新后的所述网络参数进行重新训练，直至所述重新训练后的实际训练误差满足所述设定训练误差；和/或，对所述网络结构和所述网络参数进行测试，还包括：当所述实际测试误差不满足所述设定测试误差时，对所述网络结构和所述网络参数进行重新训练，直至所述重新训练后的实际测试误差满足所述设定测试误差。一种用于人工神经网络训练的医学图像数据的生成装置，包括：建立模块，用于利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；获取模块，用于获取当前基础医学图像的当前目标特征；确定模块，用于通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系本文档来自技高网...

【技术保护点】
1.一种用于人工神经网络训练的医学图像数据的生成方法，其特征在于，包括：/n利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；/n获取当前基础医学图像的当前目标特征；/n通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。/n

【技术特征摘要】
1.一种用于人工神经网络训练的医学图像数据的生成方法，其特征在于，包括：
利用人工神经网络的自学习能力，建立基础医学图像的目标特征与扩展图像的图像特征之间的对应关系；其中，所述图像特征包括纹理特征和内容特征；
获取当前基础医学图像的当前目标特征；
通过所述对应关系，确定与所述当前目标特征对应的当前扩展图像的图像特征；具体地，确定与所述目标特征对应的当前扩展图像的图像特征，包括：将所述对应关系中与所述当前目标特征相同的目标特征所对应的扩展图像的图像特征，确定为所述当前扩展图像的图像特征。


2.根据权利要求1所述的方法，其特征在于，
所述目标特征，包括：遮盖特征和/或图像特征，和/或由按设定规律自所述遮盖特征、所述图像特征中提取的特征组成的一维或两维以上的数组；其中，
所述遮盖特征，包括：所述基础医学图像的被遮盖区域位置，所述基础医学图像的被遮盖区域形状，以及所述基础医学图像的被遮盖区域大小；
所述图像特征，包括：图像结构，图像内容，以及图像纹理；
和/或，
所述对应关系，包括：函数关系；所述目标特征为所述函数关系的输入参数，所述扩展图像的图像特征为所述函数关系的输出参数；
确定与所述当前目标特征对应的当前扩展图像的图像特征，还包括：
当所述对应关系包括函数关系时，将所述当前目标特征输入所述函数关系中，确定所述函数关系的输出参数为当前扩展图像的图像特征。


3.根据权利要求1所述的方法，其特征在于，所述建立目标特征与扩展图像的图像特征之间的对应关系的步骤，包括：
获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据；
分析所述目标特征的特性及其规律，根据所述特性及其规律，确定所述人工神经网络的网络结构及其网络参数；
使用所述样本数据，对所述网络结构和所述网络参数进行训练和测试，确定所述目标特征与所述扩展图像的图像特征的所述对应关系。


4.根据权利要求3所述的方法，其特征在于，所述获取用于建立所述目标特征与所述扩展图像的图像特征之间的对应关系的样本数据的步骤，包括：
收集不同病理状况的患者的所述目标特征和所述扩展图像的图像特征；
对所述目标特征进行分析、并结合预存的专家经验信息，选取与所述扩展图像的图像特征相关的数据作为所述目标特征；
将所述扩展图像的图像特征、以及选取的所述目标特征构成的数据对，作为样本数据。


5.根据权利要求4所述的方法，其特征在于，
所述网络结构，包括GAN网络，CycleGAN网络，WGAN网络，VGG-16模型，VGG-19模型，以及，ResNet模型中的至少之一；
和/或，
所述网络参数，包括：密集块数，输出层数，卷积层数，反卷积层数，过度层数，初始权值，以及，偏置值中的至少之一。
...

【专利技术属性】
技术研发人员：蔡庆玲，孙玮，何鸿奇，林进可，林满盈，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44