当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于特征增强及多尺度相关的多模态图像配准方法技术

技术编号:40381819 阅读:23 留言:0更新日期:2024-02-20 22:18
本发明专利技术公开了一种基于特征增强及多尺度相关的多模态图像配准方法,该方法采用共享参数的特征提取器提取不同模态图像的多尺度特征,利用特征增强模块增强特征;将增强后的特征输入一维相关模块,分别计算X及Y方向的一维注意力及一维相关,迭代更新坐标网格并采样,将采样的相关代价体输入全局运动聚合网络,预测残差并更新配准变换参数。利用一维相关模块预测的配准变换参数初步配准特征,将特征输入二维局部相关模块,得到二维相关代价体。将二维相关代价体输入全局运动聚合网络,预测残差并更新配准变换参数;迭代更新配准变换参数至收敛,基于最终的配准变换参数配准图像。该方法不仅可用于多模态图像配准,还可用于单模态及多光谱图像配准。

【技术实现步骤摘要】

本专利技术涉及计算机视觉与图像处理领域,尤其涉及一种基于特征增强及多尺度相关的多模态图像配准方法


技术介绍

1、单模态图像配准算法广泛应用于图像拼接、视频防抖等任务,多模态图像配准算法广泛应用于图像融合、图像去噪、医学诊断、遥感探测等任务。

2、图像配准算法一般可分为基于特征点与基于区域的算法。基于特征点的算法采用描述子提取图像特征点,并进行特征点匹配、外点筛除、变换参数计算等步骤,典型的特征点提取算法包括sift、surf、orb、lift等,典型的特征点匹配及外点筛除算法包括ransac、magsac等。基于区域的算法直接利用所有图像像素配准,对信息利用更充分,在图像精确配准中,效果一般优于基于特征点的算法。基于区域的传统配准算法需根据图像特点选取合适的配准测度,如ssd、sad、ncc、nmi等,采用算法优化配准变换参数,最小化配准测度误差,将两幅图像对齐,常见的参数优化算法包括高斯-牛顿法、随机梯度下降法等。基于区域的深度学习配准算法可直接生成图像及真值训练模型。对于有监督配准,典型算法包括dhn、mhn、localtrans等。依靠本文档来自技高网...

【技术保护点】

1.一种基于特征增强及多尺度相关的多模态图像配准方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于特征增强及多尺度相关的多模态图像配准方法,其特征在于,所述步骤(4)中,对特征形变的具体方法为:生成规则坐标网格;基于配准变换参数计算单应性矩阵,利用单应性矩阵变换所述规则坐标网格内的坐标点,利用所述变换后的坐标点对特征采样,将采样后的像素重排,完成特征形变。

3.如权利要求1所述的基于特征增强及多尺度相关的多模态图像配准方法,其特征在于,

4.如权利要求2所述的基于特征增强及多尺度相关的多模态图像配准方法,其特征在于,所述特征提取器提取多尺度特...

【技术特征摘要】

1.一种基于特征增强及多尺度相关的多模态图像配准方法,其特征在于,包括以下步骤:

2.如权利要求1所述的基于特征增强及多尺度相关的多模态图像配准方法,其特征在于,所述步骤(4)中,对特征形变的具体方法为:生成规则坐标网格;基于配准变换参数计算单应性矩阵,利用单应性矩阵变换所述规则坐标网格内的坐标点,利用所述变换后的坐标点对特征采样,将采样后的像素重排,完成特征形变。

3.如权利要求1所述的基于特征增强及多尺度相关的多模态图像配准方法,其特征在于,

4.如权利要求2所述的基于特征增强及多尺度相关的多模态图像配准方法,其特征在于,所述特征提取器提取多尺度特征的方法,具体包括以下...

【专利技术属性】
技术研发人员:胡建欣曹思源沈会良俞贝楠
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1