高空间分辨率便携式抗抖动高光谱成像方法及装置制造方法及图纸

本发明专利技术公开了一种高空间分辨率便携式抗抖动高光谱成像方法及装置。通过高光谱成像仪采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景；偏移量提取依据特征点来进行。本发明专利技术以较低的成本实现了高光谱成像的去抖防模糊功能；初步实现了场景扫描。

High spatial resolution portable anti jitter hyperspectral imaging method and device

【技术实现步骤摘要】
高空间分辨率便携式抗抖动高光谱成像方法及装置
本专利技术属于高光谱成像领域，涉及一种高空间分辨率、低成本的便携式抗抖动高光谱成像仪。
技术介绍
高光谱成像已经深入运用到生产生活领域，对于空间高光谱成像，高成像光谱仪的抖动对检测结果的影响一直是一个棘手的问题，目前主流方案是增加精密的防抖装置，但大大增加了系统成本。便携式高光谱成像仪大多由于抖动会造成高光谱图像的扭曲和失真，目前的主流防抖算法，未能很好适用于该应用领域。
技术实现思路
为了克服现有技术的不足，本专利技术的目的是提供一种高空间分辨率便携式抗抖动高光谱成像方法及装置。一种高空间分辨率便携式抗抖动高光谱成像方法，通过高光谱成像仪采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景；所述的偏移量提取依据特征点来进行，具体步骤如下：1)所述的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：其中N是经过筛选匹配的特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标，Hor是第(i+j)帧与起始帧之间的像素水平偏移量，Ver是第(i+j)帧相对于起始帧的像素垂直偏移量；2)判断是否补偿矫正：如果垂直偏移量A_Ver(fi+j)小于阈值T_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的(i+j)第帧，迭代直到当前帧fi移动到结束帧；3)统一坐标系：通过定标，找到相关变换的旋转平移矩阵，(由于高光谱成像仪的像面与定标相机的像面平行，因此)旋转矩阵为单位矩阵，关系如下：其中xs，ys为高光谱成像仪拼接图像的坐标，xc，yc为定标相机拼接图像的坐标，R为旋转矢量，S为缩放矢量，T为平移矢量。一种高空间分辨率便携式抗抖动高光谱成像装置，包括便携式高光谱成像仪、校准相机；所述的高光谱成像仪用于采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景。所述的偏移量提取依据特征点来进行，具体步骤如下：1)所述的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：其中N是经过筛选匹配的特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标，Hor是第(i+j)帧与起始帧之间的像素水平偏移量，Ver是第(i+j)帧相对于起始帧的像素垂直偏移量；2)判断是否补偿矫正：如果垂直偏移量A_Ver(fi+j)小于阈值T_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的(i+j)第帧，迭代直到当前帧fi移动到结束帧；3)统一坐标系：通过定标，找到相关变换的旋转平移矩阵，(由于高光谱成像仪的像面与定标相机的像面平行，因此)旋转矩阵为单位矩阵，关系如下：其中xs，ys为高光谱成像仪拼接图像的坐标，xc，yc为定标相机拼接图像的坐标，R为旋转矢量，S为缩放矢量，T为平移矢量。所述的装置，校准得到的高光谱立方体中一个维度记录空间数据，空间数据由校准相机的CCD中间一列像素采集，另一个维度记录光谱数据，高光谱数据由高光谱成像仪采集，并通过坐标映射得到。本专利技术的有益效果：1)以较低的成本实现了高光谱成像的去抖防模糊功能；2)初步实现了场景扫描。附图说明图1是高空间分辨率便携式抗抖动高光谱成像方法的一种流程图。具体实施方式下面结合实施例对说明书附图进一步阐述。一种高空间分辨率便携式抗抖动高光谱成像装置，包括便携式高光谱成像仪、校准相机；所述的高光谱成像仪用于采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景。高光谱成像仪采集的视频和矫正相机采集的视频之间保持时间帧同步关系，高光谱成像仪采用线扫描，CCD上记录的是对应线区域的光谱图像。高光谱成像仪采集的视频中的二维图像帧沿着光谱维积分便得到原始的线图像。系统在抖动中分为垂直于扫描方向的抖动和沿着扫描方向的水平抖动。垂直抖动在j帧之后相对于当前帧会有较大的抖动像素偏移量，通过校准相机采集视频的当前图像帧和第j帧后的图像帧得SIFT特征点纵坐标之差的平均值来计算出系统垂直抖动量。高光谱成像仪采集的原始线图像的纵坐标与垂直抖动像素偏移量相加，补偿因为系统在垂直于扫描方向上的抖动所造成高光谱成像仪在拼接图像的扭曲和失真。系统在水平方向抖动主要体现在系统沿着扫描方向推扫过程中由于推扫速度过慢导致拼接图像会产生重影。系统在扫描方向上的偏移量主要由当前帧和后一帧的SIFT特征点横坐标之差的平均值得到。若是水平像素偏移量小于阈值，则在拼接过程中舍弃该帧，去除重影对图像的影响。偏移量的计算要依靠特征点来进行，具体步骤如下：(1)如图1所示，首先校准高光谱成像仪和校准相机位置，校准结果保存为R、S、T，读取校准相机中的视频，设校准相机捕获的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：其中N是正确匹配的筛选特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标。Hor是第(i+j)帧与起始帧之间的像素水平偏移量，Ver是第(i+j)帧相对于起始帧的像素垂直偏移量。接下来判断是否需要矫正，如果垂直偏移量A_Ver(fi+j)小于阈值T_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的(i+j)第帧。迭代直到当前帧fi移动到结束帧fe。最终由校准结果的转换矩阵R、S、T将其统一到一个坐标系中：(2)判断相对垂直像素偏移Ver(fi,fi+j)是否大于垂直偏移阈值T_sh：如果Ver(fi,fi+j)小于阈值，则j逐渐递增，直到Ver(fi,fi+j)大于垂直偏移阈值T_sh。若后j帧图像帧fi+j和当前帧fi的相对垂直像素偏移Ver(fi,fi+j)，满足大于垂直偏移阈值T_sh的条件，当前帧fi就会移动到之后j帧的位置，以便fi+j在逐渐向后移动的过程中能够始终和当前帧fi检测到足够的匹配特征点。(3)判断绝对水平偏移像素A_Hor(fi)是否大于水平偏移像素阈值。若是绝对水平像素偏移量A_Hor(fi)小于水平偏移像素阈值，则在拼接过程中舍弃该帧，去除重影对图像的影响。根据上述公式，计算校准相机中当前本文档来自技高网...

【技术保护点】
1.一种高空间分辨率便携式抗抖动高光谱成像方法，其特征在于：通过高光谱成像仪采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景；/n所述的偏移量提取依据特征点来进行，具体步骤如下：/n1)所述的视频的起始帧设置为f

【技术特征摘要】
1.一种高空间分辨率便携式抗抖动高光谱成像方法，其特征在于：通过高光谱成像仪采集周围环境的高光谱数据，通过校准相机采集高光谱数据中的视频来提取视频各帧相对于起始帧的像素抖动偏移量，用于补偿偏移值，从而获得抖动偏移矫正后的场景；
所述的偏移量提取依据特征点来进行，具体步骤如下：
1)所述的视频的起始帧设置为fs，视频的结束帧设置为fe，当前帧设置为fi，后续帧设置为fi+j，则偏移量为：






其中N是经过筛选匹配的特征点的数目，x1n是当前帧中特征点的横坐标，x2n是(i+j)帧中特征点的横坐标，y1n是当前帧中特征点的纵坐标，y2n是(i+j)帧中特征点的纵坐标，Hor是第(i+j)帧与起始帧之间的像素水平偏移量，Ver是第(i+j)帧相对于起始帧的像素垂直偏移量；
2)判断是否补偿矫正：如果垂直偏移量A_Ver(fi+j)小于阈值T_sh，j＝j+1，如果大于阈值，则当前帧fi移动到视频的(i+j)第帧，迭代直到当前帧fi移动到结束帧；
3)统一坐标系：通过定标，找到相关变换的旋转平移矩阵，(由于高光谱成像仪的像面与定标相机的像面平行，因此)旋转矩阵为单位矩阵，关系如下：



其中xs，ys为高光谱成像仪拼接图像的坐标，xc，yc为定标相机拼接图像的坐标，R为旋转矢量，S为缩放矢量，T为平移矢量。


2.一种高空间分辨率便携式抗抖动高光谱成像装置，其特征在于：包括便携式高光谱成像仪、校准相机；所述的高光谱成像仪用于采集周围环境的高光谱数据，通过校准相...

【专利技术属性】
技术研发人员：何赛灵，罗晶，蔡夫鸿，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33