一种基于卷积神经网络的医学图像配准算法制造技术

本发明专利技术公开了一种基于卷积神经网络的医学图像配准算法，具体如下：数据采集和预处理；制作神经网络训练数据集；训练神经网络；神经网络模型进行粗配准；基于灰度值配准算法进行精配准。本发明专利技术能够巧妙地将卷积神经网络与传统的基于灰度值的配准算法相结合，消除卷积神经网络在医学图像处理中，因为缺乏完全标注的输入样本、训练样本有限等问题，将输入的一组固定图像和浮动图像之间的空间差异快速地计算出来，同时有了神经网络模型快速得到输入待配准图像之间的空间差异，使大的空间差异缩小，避免了基于灰度值配准算法在优化迭代过程中可能得到局部最优解，从何可以快速、精确地计算出两幅待配准图像之间的空间差异。

A Medical Image Registration Algorithm Based on Convolutional Neural Network

The invention discloses a medical image registration algorithm based on convolution neural network, which is as follows: data acquisition and preprocessing; making training data set of neural network; training neural network; rough registration of neural network model; accurate registration based on gray value registration algorithm. The invention can skillfully combine the convolution neural network with the traditional registration algorithm based on gray value to eliminate the problems of the convolution neural network in medical image processing, such as the lack of fully labeled input samples, the limited training samples and so on. It can quickly calculate the spatial difference between a set of fixed and floating images, and has a fast neural network model. The spatial difference between the input images to be registered is obtained, which reduces the large spatial difference, avoids the possibility of obtaining the local optimal solution based on the gray value registration algorithm in the optimization iteration process. How can the spatial difference between the two images to be registered be calculated quickly and accurately?

【技术实现步骤摘要】
一种基于卷积神经网络的医学图像配准算法
本专利技术属于快速、精准的医学图像配准、多模态医学图像融合领域，涉及一种基于卷积神经网络的医学图像配准算法。
技术介绍
医学图像配准是指在不同时间、不同场景、不同模态，甚至不同主体的两幅图像(或多幅图像)医学图像之间寻求一种(或一系列)几何空间变换，进行空间变换后的图像能与另外一幅图像(或者其它多幅)医学图像达到匹配。这种匹配使具有相同解剖结构的解剖点或兴趣点在两幅(或者其他多幅)医学图像的几何空间上存在一一对应关系。医学图像配准是医学图像分析中的重要课题，具有重要的理论研究和临床应用价值。图像配准往往是找到一组图像之间的映射关系，同时也设置到功能影像和解剖影像之间的融合。临床上对检测和识别的精度和时间性要求越来越来高，但是面对信息量越来越大的医学图像，怎么样快速、精确地将两幅图像完美地配准，一直是研究人员面临的难题。找到一个能够快速、精确地实现两幅图像配准的算法亟待解决。深层卷积神经网络在许多经典计算机视觉和图像处理领域取得了突破性进展。相较于传统基于低层次特征的图像处理方法，深层卷积神经网络通过大样本监督训练，可以学到更多抽象的，不易表达的，高层次的特征，从而对检测或识别目标有更具分辨性的标识，大幅提高检测与识别性能。卷积神经网络在图像处理领域有它独特的优势，将深层卷积神经网络应用于医学图像处理时，依然面临很多困难，例如训练样本相较自然图像体量有限，缺乏完全标注的输入样本。如何将卷积神经网络的独特优势在医学图像处理中得到应用，也是研究人员正在研究的问题。
技术实现思路
本专利技术的目的在于提供一种基于卷积神经网络的医学图像配准算法，能够巧妙地将卷积神经网络与传统的基于灰度值的配准算法相结合，消除卷积神经网络在医学图像处理中，因为缺乏完全标注的输入样本、训练样本有限等问题。将输入的一组固定图像和浮动图像之间的空间差异快速地计算出来。同时有了神经网络模型快速得到输入待配准图像之间的空间差异，使大的空间差异缩小，避免了基于灰度值配准算法在优化迭代过程中可能得到局部最优解。从何可以快速、精确地计算出两幅待配准图像之间的空间差异。本专利技术的目的可以通过以下技术方案实现：一种基于卷积神经网络的医学图像配准算法，具体如下：第一步，数据采集和预处理：从医院获取多组患者不同模态的融合数据，同时将医院采集的图像数据进行处理和分类；第二步，制作神经网络训练数据集：将第一步中分类好的成组数据选取一组，这一组图像近似认为其空间差异为零，假设这一组图像分别为固定图像Ifixed和浮动图像Ifloating，选取其中的一个作为浮动图像，将浮动图像通过刚体变换矩阵进行变换，并将该刚体变换矩阵转换为六个自由度的标签值；然后将浮动图像通过一个刚体变换矩阵变换得到新的浮动图像，将新的浮动图像、固定图像以及标签值作为神经网络训练数据集中的一个基本元素，当训练集中元素个数没有达到指定数值，重复上步操作使输入数据的数量达到指定数值；第三步，训练神经网络：利用神经网络训练集中的数据，每一组基本数据都包含第二步中处理的一个浮动图像，一个固定图像，以及这两个图像之间精确地空间差异标签值；神经网络训练集中的固定图像，浮动图像作为神经网络的输入层，经过中间的卷积层，池化层，提取输入层的特征，通过回归网络预测二者之间的空间误差，将预测值和实际标签值作为TRE损失函数的输入，通过迭代确定每一层的权值因子，经过损失函数优化每一次计算参数，当损失值达到预定的精度时，神经网络训练完成；第四步，神经网络模型进行粗配准：一组未知空间差异的固定图像和浮动图像，输入到第三步中训练好的神经网络模型中，该模型可以快速预测输入的固定图像，浮动图像之间的空间差异，并将该空间差异转化为初始化矩阵；第五步，基于灰度值配准算法进行精配准：第四步中的固定图像、浮动图像、初始化矩阵作为基于灰度值配准算法的输入，初始化矩阵缩小了浮动图像和固定图像之间的空间差异，经过空间插值重采样、相似性测量、优化迭代，计算出二者之间精确地空间差异。进一步地，第一步中从医院采集的医学图像剔除床板，对输入图像进行裁剪，使输入图像的大小一致，然后将剪裁后的图像按照头部、胸腔、腹腔、盆腔这个四个大类别进行分类。进一步地，第二步中刚体变换矩阵转换为沿X、Y、Z轴的平移和旋转，用T(pitch,yam,roll,tx,ty,tz)这六自由度参数来表示新的浮动图像和固定图像之间的空间差异，并作为这一组图像的标签值；其中进一步地，第三步中损失函数TRE的计算公式如下：式中Ti为每一次回归网络的预测值，T0为神经网络的标签值。本专利技术的有益效果：1、本专利技术能够巧妙地将卷积神经网络与传统的基于灰度值的配准算法相结合，消除卷积神经网络在医学图像处理中，因为缺乏完全标注的输入样本、训练样本有限等问题，将输入的一组固定图像和浮动图像之间的空间差异快速地计算出来。同时有了神经网络模型快速得到输入待配准图像之间的空间差异，使大的空间差异缩小，避免了基于灰度值配准算法在优化迭代过程中可能得到局部最优解，从何可以快速、精确地计算出两幅待配准图像之间的空间差异。2、本专利技术通过将监督神经网络和基于灰度值的配准结合，可以快速、精确地找到两幅医学图像之间的空间差异，将两幅图像融合，利用神经网络来进行医学图像配准的主要瓶颈是两幅医学图像之间没有空间差异金标准，本专利技术解决了神经网络中因为缺少金标准而导致配准效果较差的劣势。3、本专利技术中将卷积神经网络与基于灰度值的传统配准算法相结合，充分利用卷积神经网络的高效性和传统的基于灰度值配准的准确性，可以精确、实时的获取两幅医学图像的空间差异。4、本专利技术中卷积神经网络利用来源于手术导航系统中已经融合的多组多模态配准图像，将已经融合的图像作为配准的金标准图像，通过转换矩阵来转换其中的一幅图像，将该转换矩阵作为监督神经网络的标签值，多组带有标签值的配准图像作为神经网络的训练数据，得到精确地神经网络模型，把一组待配准图像输入到神经模型中，可以快速地得到两幅图像之间的空间差异，并作为基于灰度值配准算法的初始化化矩阵，使基于灰度值的配准可以快速精确地得到输入图像之间的空间差异，该新型算法利用了卷积神经网络和基于灰度值配准的优势，利用卷积神经网络快速地得到两幅图像之间的空间差异，将大的空间差异转换为小的空间差异，由于空间差异减小，避免了因为基于灰度值的配准的优化函数非凸性而造成的局部最优，并且小的空间差异可以减小基于灰度值配准算法的优化迭代次数，即保证了配准精度又确保了配准快速进行。附图说明为了便于本领域技术人员理解，下面结合附图对本专利技术作进一步的说明。图1为本专利技术基于卷积神经网络的医学图像配准算法结构框图；图2为本专利技术神经网络结构示意图；图3为本专利技术的训练数据的转换过程示意图；图4为基于卷积神经网络的医学图像配准算法流程图。具体实施方式请参阅图1-4，结合如下实施例进行详细说明：一种基于卷积神经网络的医学图像配准算法，具体如下：第一步，数据采集和预处理：从医院获取多组患者不同模态的融合数据，同时将医院采集的图像数据进行处理和分类，从医院采集的医学图像大多都包含床板，大小尺寸各异，将这些图像剔除床板，对输入图像进行裁剪，使输入图像的大小一致，然后将剪裁后的图像按照头部、胸腔、腹腔、盆本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的医学图像配准算法，其特征在于，具体如下：第一步，数据采集和预处理：从医院获取多组患者不同模态的融合数据，同时将医院采集的图像数据进行处理和分类；第二步，制作神经网络训练数据集：将第一步中分类好的成组数据选取一组，这一组图像近似认为其空间差异为零，假设这一组图像分别为固定图像Ifixed和浮动图像Ifloating，选取其中的一个作为浮动图像，将浮动图像通过刚体变换矩阵进行变换，并将该刚体变换矩阵转换为六个自由度的标签值；然后将浮动图像通过一个刚体变换矩阵变换得到新的浮动图像，将新的浮动图像、固定图像以及标签值作为神经网络训练数据集中的一个基本元素，当训练集中元素个数没有达到指定数值，重复上步操作使输入数据的数量达到指定数值；第三步，训练神经网络：利用神经网络训练集中的数据，每一组基本数据都包含第二步中处理的一个浮动图像，一个固定图像，以及这两个图像之间精确地空间差异标签值；神经网络训练集中的固定图像，浮动图像作为神经网络的输入层，经过中间的卷积层，池化层，提取输入层的特征，通过回归网络预测二者之间的空间误差，将预测值和实际标签值作为TRE损失函数的输入，通过迭代确定每一层的权值因子，经过损失函数优化每一次计算参数，当损失值达到预定的精度时，神经网络训练完成；第四步，神经网络模型进行粗配准：一组未知空间差异的固定图像和浮动图像，输入到第三步中训练好的神经网络模型中，通过该模型快速预测输入的固定图像，浮动图像之间的空间差异，并将该空间差异转化为初始化矩阵；第五步，基于灰度值配准算法进行精配准：第四步中的固定图像、浮动图像、初始化矩阵作为基于灰度值配准算法的输入，初始化矩阵缩小了浮动图像和固定图像之间的空间差异，经过空间插值重采样、相似性测量、优化迭代，计算出二者之间精确地空间差异。...

【技术特征摘要】
1.一种基于卷积神经网络的医学图像配准算法，其特征在于，具体如下：第一步，数据采集和预处理：从医院获取多组患者不同模态的融合数据，同时将医院采集的图像数据进行处理和分类；第二步，制作神经网络训练数据集：将第一步中分类好的成组数据选取一组，这一组图像近似认为其空间差异为零，假设这一组图像分别为固定图像Ifixed和浮动图像Ifloating，选取其中的一个作为浮动图像，将浮动图像通过刚体变换矩阵进行变换，并将该刚体变换矩阵转换为六个自由度的标签值；然后将浮动图像通过一个刚体变换矩阵变换得到新的浮动图像，将新的浮动图像、固定图像以及标签值作为神经网络训练数据集中的一个基本元素，当训练集中元素个数没有达到指定数值，重复上步操作使输入数据的数量达到指定数值；第三步，训练神经网络：利用神经网络训练集中的数据，每一组基本数据都包含第二步中处理的一个浮动图像，一个固定图像，以及这两个图像之间精确地空间差异标签值；神经网络训练集中的固定图像，浮动图像作为神经网络的输入层，经过中间的卷积层，池化层，提取输入层的特征，通过回归网络预测二者之间的空间误差，将预测值和实际标签值作为TRE损失函数的输入，通过迭代确定每一层的权值因子，经过损失函数优化每一次计算参数，当损失值达到预定的精度时，神经网络训练完成；第四步，神...

【专利技术属性】
技术研发人员：宋云涛，姚智鑫，冯汉升，李实，杨洋，许继伟，刘春波，汪涛，
申请(专利权)人：合肥中科离子医学技术装备有限公司，
类型：发明
国别省市：安徽,34