多光谱相机的多通道图像匹配方法及装置制造方法及图纸

本发明专利技术提供一种多光谱相机的多通道图像匹配方法及装置，该方法包括：获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名点；以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，根据相机成像差异和传感器位置偏移，确定坐标转换关系中的坐标转换参数；将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。该方法考虑到了上述两个主要的成像偏移差异，实现了针对多光谱相机的多通道图像匹配，能够克服在农业领域存在的匹配失败或精度较低的问题。较低的问题。较低的问题。

【技术实现步骤摘要】
多光谱相机的多通道图像匹配方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种多光谱相机的多通道图像匹配方法及装置。

技术介绍

[0002]多光谱相机广泛的运用于农林业、国土资源、环境监测各个方面。现阶段，可搭载于消费级无人机的多光谱相，如大疆精灵4多光谱相机，因受技术和成本限制，多不采用分光技术，而是通过设置多个相机，每个相机单独的获取一个通道图像，从而形成多光谱数据。上述成像方式因传感器并不在统一的成像中心，为此即使在同一成像时间，其观测的范围仍存在差异，导致成像图像不能完全重叠。不能完全重叠的多通道图像若直接进行叠加导致图像见存在偏移，因而后期无法对将该数据运用于各种目标环境监测中。为此，在使用多光谱相机的多通道图像数据前需进行图像间的匹配，使得各通道图像匹配到一致的观测范围上。
[0003]当前的图像匹配主要通过图像间的几何精纠正来进行。具体的先获取同名点，然后再通过同名点拟合纠正方程，通过纠正方程进行图像变化得到匹配图像。下述是具体的处理流程：基于特征的图像匹配首先对待配置的图像分别进行特征的提取，可使用手动或自动检测方法。自动检测方法中可使用SIFT、SURF、Harris角点等特征提取方法对图像特征进行提取。然后进行特征匹配，对待匹配图像与参考图像中检测到的特征点完成一一对应的映射，此步骤可使用较为经典的RANSAC算法来稳定的完成提取特征点的匹配，此步骤得到的结果为同名点。根据获取的同名点拟合方程，可选用二次方程、多项式等，即可得到图像匹配转换所需参数。最后使用该拟合方程对图像进行匹配，完成两图像间的匹配过程。
[0004]然而，在农业应用上，现有的多光谱相机图像匹配只考虑到了相机成像差异，从而匹配精度不高。

技术实现思路

[0005]针对现有技术存在的问题，本专利技术提供一种多光谱相机的多通道图像匹配方法及装置。
[0006]本专利技术提供一种多光谱相机的多通道图像匹配方法，包括：获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名点；以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数；将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。
[0007]根据本专利技术一个的多光谱相机的多通道图像匹配方法，所述基准通道为近红外通道，所述其他通道为红边、蓝、绿和红光通道。
[0008]根据本专利技术一个的多光谱相机的多通道图像匹配方法，所述相机成像差异的坐标
转换参数，包括其他通道同名点转换到空间坐标的旋转矩阵、空间坐标转换到基准通道的旋转矩阵；所述传感器位置偏移的坐标转换参数，包括基准通道与其他通道图像在空间的距离，以及空间坐标转换到基准通道的旋转矩阵。
[0009]根据本专利技术一个的多光谱相机的多通道图像匹配方法，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数，包括根据下式确定：
[0010][0011]其中，x
s
、y
s
和f
s
分别为基准通道对应的特征点在图像上的行、列号和镜头焦距，x
t
、y
t
和f
t
分别为其他通道图像中同名点在图像上行、列号和镜头焦距；坐标转换参数中，α、β分别为校正系数，C
x
、C
y
和C
z
为基准图像与其他通道图像在X、Y、Y空间上的距离，R
s
分别为空间坐标转换到基准通道的旋转矩阵、其他通道同名点转换到空间坐标的旋转矩阵。
[0012]根据本专利技术一个的多光谱相机的多通道图像匹配方法：
[0013][0014][0015]相应地，坐标转换参数包括ω、κ，C
x
、C
y
、C
z
、α、β；
[0016]其中，ω
t
、κ
t
和ω
s
、κ
s
分别为和R
s
的飞行航向倾角、旁向倾角、传感器旋转角。
[0017]根据本专利技术一个的多光谱相机的多通道图像匹配方法，所述获取预设组数的多通道图像，包括：在一次无人机作业获取的n次拍摄中，随机选择m次拍摄获取的图像，作为预设组数m的多通道图像；其中，m大于30％*n。
[0018]根据本专利技术一个的多光谱相机的多通道图像匹配方法，所述确定坐标转换关系中的坐标转换参数，包括：确定给定参数X情况下实测值Y的释然函数：
[0019][0020]根据释然函数，确定参数的后验分布P(X|Y)；取后验分布的均值作为参数的估计值；其中，n表示估计次数，f(X)为估计值，y
i
为第i个真实值。
[0021]目前的多通道无人机分辨率相对较低。在农业应用上，当需对目标作物进行较为详细观测时，可获得的作物特征较少，待匹配的通道图像间不能获取足够的匹配点，基于目前的最小二乘法确定坐标转换参数，最终导致校正失败的可能性较大。此外，对于多光谱数据，相同地物在不同通道上的反射率差异较大，使得获取的特征并不稳定，这也增大校正失败可能性。
[0022]本专利技术的方法，通过释然函数确定参数的后验分布，取后验分布的均值作为参数
的估计值，在作物特征较少以及获取的特征不稳定的情况下，能够得到准确的坐标转换参数，提高匹配精度。
[0023]本专利技术还提供一种多光谱相机的多通道图像匹配装置，包括：特征提取模块，用于获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名点；参数估计模块，用于以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，确定坐标转换关系中的坐标转换参数；图像匹配模块，用于将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。
[0024]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多光谱相机的多通道图像匹配方法的步骤。
[0025]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多光谱相机的多通道图像匹配方法的步骤。
[0026]本专利技术提供的多光谱相机的多通道图像匹配方法及装置，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数，考虑到了上述两个主要的成像偏移差异，对其进行校正即可得到成像偏移消除后的图像，实现了针对多光谱相机的多通道图像匹配，能够克服在农业领域存在的匹配失败或精度较低的问题。
...

【技术保护点】

【技术特征摘要】
1.一种多光谱相机的多通道图像匹配方法，其特征在于，包括：获取预设组数的多通道图像，提取每张图像的特征点，对所有多通道图像的特征点进行匹配，得到基准通道分别与其它通道的同名点；以其他通道同名点的图像坐标和镜头焦距作为转换前坐标参数，基准通道的特征点图像坐标和镜头焦距作为转换后坐标参数，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数；将所有拍摄的多通道图像中的其他通道，根据所述坐标转换参数转换到基准通道，并进行叠加得到拍摄的匹配图像。2.根据权利要求1所述的多光谱相机的多通道图像匹配方法，其特征在于，所述基准通道为近红外通道，所述其他通道为红边、蓝、绿和红光通道。3.根据权利要求1所述的多光谱相机的多通道图像匹配方法，其特征在于，所述相机成像差异的坐标转换参数，包括其他通道同名点转换到空间坐标的旋转矩阵、空间坐标转换到基准通道的旋转矩阵；所述传感器位置偏移的坐标转换参数，包括基准通道与其他通道图像在空间的距离，以及空间坐标转换到基准通道的旋转矩阵。4.根据权利要求3所述的多光谱相机的多通道图像匹配方法，其特征在于，根据相机成像差异和传感器位置偏移，分别确定坐标转换关系中的坐标转换参数，包括根据下式确定：其中，x
s
、y
s
和f
s
分别为基准通道对应的特征点在图像上的行、列号和镜头焦距，x
t
、y
t
和f
t
分别为其他通道图像中同名点在图像上行、列号和镜头焦距；坐标转换参数中，α、β分别为校正系数，C
x
、C
y
和C
z
为基准图像与其他通道图像在X、Y、Y空间上的距离，R
s
分别为空间坐标转换到基准通道的旋转矩阵、其他通道同名点转换到空间坐标的旋转矩阵。5.根据权利要求4所述的多光谱相机的多通道图像匹配方法，其特征在于：5.根据权利要求4所述的多光谱相机的多通道图像匹配方法...

【专利技术属性】
技术研发人员：陈立平，夏浪，张瑞瑞，李龙龙，徐旻，
申请(专利权)人：北京农业智能装备技术研究中心，
类型：发明
国别省市：