【技术实现步骤摘要】
医学图像的融合方法及装置
本专利技术涉及图像处理领域，尤其涉及一种医学图像的融合方法及装置。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。医学图像是指为了医学或医学研究，采用各种医学成像设备获取的人体脏器或病变组织的图像。由于每种医学成像设备只能获取单一模态的医学图像，而单一模态的医学图像往往难以提供足够的信息。例如，通过磁共振成像设备获取的MR图像能够清晰反映软组织等结构，但对钙化点不敏感；而通过电子计算机断层扫描设备获取的CT图像具有较强的空间分辨率和几何特性，能够清晰反映出骨骼等结构，但对软组织的对比度比较低。因而，如何将不同医学成像设备所获得的单一模态的医学图像进行融合，得到多模态的医学图像以获取更全面的信息，对医学研究和医学诊断具有十分重要的意义。目前，现有技术中获取多模态医学图像的主流方法，是将两张单模态的医学图像直接采用图像融合技术融合为一张图像，使得融合后图像中边界信息和结构信息更加清晰。由于没有考虑到图像的语义信息，使得融合后的图像很难理解。例如，图1a和图1b所示为某...
【技术保护点】
1.一种医学图像的融合方法，其特征在于，包括：获取待融合的第一模态图像和第二模态图像的像素信息，其中，所述第一模态图像和所述第二模态图像为不同模态的图像；将所述第一模态图像和所述第二模态图像的像素信息，输入到预先训练得到的图像融合网络模型中，输出所述第一模态图像和所述第二模态图像的融合图像，其中，所述图像融合网络模型为基于语义信息对不同模态图像进行融合的模型，所述语义信息用于表征不同模态图像中像素值的含义。
【技术特征摘要】
1.一种医学图像的融合方法，其特征在于，包括：获取待融合的第一模态图像和第二模态图像的像素信息，其中，所述第一模态图像和所述第二模态图像为不同模态的图像；将所述第一模态图像和所述第二模态图像的像素信息，输入到预先训练得到的图像融合网络模型中，输出所述第一模态图像和所述第二模态图像的融合图像，其中，所述图像融合网络模型为基于语义信息对不同模态图像进行融合的模型，所述语义信息用于表征不同模态图像中像素值的含义。2.如权利要求1所述的方法，其特征在于，将所述第一模态图像和所述第二模态图像的像素信息，输入到预先训练得到的图像融合网络模型中，输出所述第一模态图像和所述第二模态图像的融合图像，包括：根据第一模态图像的像素信息，提取第一模态图像的第一语义信息，以及根据第二模态图像的像素信息，提取第二模态图像的第二语义信息；将所述第一语义信息和所述第二语义信息映射至目标图像空间；基于所述目标图像空间，对所述第一语义信息和所述第二语义信息进行融合，得到所述第一模态图像和所述第二模态图像的融合图像。3.如权利要求1所述的方法，其特征在于，所述方法还包括：利用训练数据训练所述图像融合网络模型；在训练的过程中，调整所述图像融合网络模型的参数直至所述图像融合网络模型的损失函数满足预设收敛条件；其中，所述图像融合网络模型包括：编码网络模型和解码网络模型；其中，所述编码网络模型的输入数据为待融合的第一模态图像和第二模态图像，所述编码网络模型的输出数据为第一模态图像和第二模态图像的融合图像；所述解码网络模型的输入数据为第一模态图像和第二模态图像的融合图像，所述解码网络模型的输出数据为根据融合图像重构的第一模态图像和第二模态图像；所述损失函数至少包括第一模态图像和第二模态图像的重构误差。4.如权利要求3所述的方法，其特征在于，所述损失函数还包括：稀疏惩罚项和L2正则化项，其中，所述损失函数的表达式为：其中，其中，xct表示待融合的第一模态图像；xmr表示待融合的第二模态图像；表示重构的第一模态图像；表示重构的第二模态图像；表示重构的第一模态图像与待融合的第一模态图像的欧式距离；表示重构的第二模态图像与待融合的第二模态图像的欧式距离；表示稀疏惩罚项，用于表征融合图像与常量图片的KL散度；zij表示融合图像中坐标(i,j)的像素值；ρ表示常量；表示L2正则化项；α表示稀疏惩罚项的权重；β表示L2正则化项的权重。5.一种医学图像的融合装置，其特征在于，包括：图像信息获取单元，用于获取待融合的第一模态图像和第二模态图像的像素信息，其中，所述第一模态图像和所述第二模态图像为不同模态的图像；图像信息处理单元，用于将所述第一模态图像和所述第...
【专利技术属性】
技术研发人员：黄运有，张知非，范帆达，叶海男，
申请(专利权)人：首都医科大学，北京尖峰新锐信息科技研究院有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。