【技术实现步骤摘要】
一种多模态图像的配准方法、装置及系统
本专利技术涉及图像处理
，尤其涉及一种多模态图像的配准方法、装置及系统。
技术介绍
随着机器学习技术的快速发展，基于深度学习的计算机视觉算法已经广泛地运用到视频监控、智能驾驶等任务中，极大地提高了图像采集设备对环境的感知能力。然而，在真实场景中，图像采集设备会面临各种复杂环境，当图像采集设备处于下雨天、下雪天、夜晚、雾霾等环境中时，将导致采集的RGB图像上的目标可辨识度低，特征不明显，此时由具有特定特征的图像数据训练得到的深度学习模型将不能很好地识别出该RGB图像上的低辨识目标。研究表明，多模态图像数据的融合有助于提高在某些复杂环境下目标检测等计算机视觉算法的性能，在很多情况下其他模态的传感器信息对传统的RGB相机具有很好地信息补充作用。例如，红外相机采用热成像原理，可以根据环境的温度差异来成像，不受光照条件影响，偏振相机(带有偏振镜头的RGB相机)可以滤除由于偏振光在影像上形成的亮斑、耀斑，改善亮斑、耀斑处的影像清晰度，在很多复杂环境下，红外相机和偏振相机对RGB相机具有...
【技术保护点】
1.一种多模态图像的配准方法，其特征在于，应用于配准系统，所述配准系统包括至少两个不同模态的光学传感器以及固定装置，所述固定装置用于将所述不同模态的光学传感器的拍摄轴线固定在同一垂直平面，包括：/n对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，所述待处理图像对中的图像为所述不同模态的光学传感器在同一时刻分别获取的图像；/n确定所述多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像；/n根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图...
【技术特征摘要】
1.一种多模态图像的配准方法，其特征在于，应用于配准系统，所述配准系统包括至少两个不同模态的光学传感器以及固定装置，所述固定装置用于将所述不同模态的光学传感器的拍摄轴线固定在同一垂直平面，包括：
对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理，确定多个待处理图像对，其中，所述待处理图像对中的图像为所述不同模态的光学传感器在同一时刻分别获取的图像；
确定所述多个待处理图像对中的每个待处理图像对中的参考图像和待配准图像，其中，所述参考图像为视野范围最小的图像；
根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，其中，所述单应性矩阵用于表示所述参考图像和所述待配准图像之间的映射关系；
确定所述多个待处理图像对中的所述待配准图像对应的单应性矩阵的均值，根据所述均值对所述每个待处理图像对中的所述待配准图像进行配准处理。
2.如权利要求1所述的方法，其特征在于，所述配准系统还包括铁质标定板，所述对所述不同模态的光学传感器分别获取的多帧图像进行时间同步处理之前，还包括：
固定所述不同模态的光学传感器的镜头焦距；
控制所述不同模态的光学传感器分别获取多帧图像，其中，所述多帧图像的主体为不同时刻的加热后的所述铁质标定板。
3.如权利要求2所述的方法，其特征在于，根据所述每个待处理图像对中的参考图像和待配准图像的特征点，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵，包括：
选取所述每个待处理图像对中的参考图像和待配准图像的特征点，其中，所述特征点为用于表示图像中的所述铁质标定板的角点的像素坐标；
根据所述每个待处理图像对中的所述参考图像和所述待配准图像的特征点，确定所述每个待处理图像对中的所述参考图像和所述待配准图像之间的匹配点对；
根据所述匹配点对，确定所述每个待处理图像对中的所述待配准图像对应的单应性矩阵。
4.如权利要求3所述的方法，其特征在于，选取所述每个待处理图像对中的参考图像和待配准图像的特征点，包括：
获取用户手动选取的所述每个待处理图像对中的参考图像和待配准图像的至少四个特征点，其中，所述参考图像的至少四个特征点的位置与所述待配准图像的至少四个特征点的位置相匹配。
5.一种多模态图像的配准装置，其特征在于，应用于配准系统，所述配准系统包括至少两个不同模态的光学传感器以及固定装置，所述固定装置...
【专利技术属性】
技术研发人员：邹伟，巫立峰，王耀农，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。