一种红外视频拼接方法和装置制造方法及图纸

本发明专利技术公开了一种红外视频拼接方法和装置，所述方法包括：提取红外视频中每幅图像的特征点，建立两两图像的匹配特征点对列表，获得摄像机的本征矩阵和姿态矩阵，对图像进行水平拉直处理和曝光补偿处理，将每幅图像投影到同一个球面坐标系中，在重叠区域用多层混合算法进行无缝拼接，生成拼接后的全景图。本发明专利技术通过对视频进行亮度矫正操作和实时曝光补偿，实现了具有自动矫正和实时曝光补偿功能的多路红外视频全景拼接。

【技术实现步骤摘要】
一种红外视频拼接方法和装置
本专利技术涉及视频处理
，尤其涉及一种红外视频拼接方法和装置。
技术介绍
在国内安防的很多领域上，广泛使用了红外摄像机进行全天候监控，但由于单路摄像机的视野范围较窄，一般通过旋转转台来扩大监控的范围，长时间轮扫不仅不利于观察，而且存在着监控盲区，给安防行业带来很大的安全隐患，目前通过采用能够大场景的红外实时监控装置，来解决监控范围狭小的问题。对于红外摄像头采集的视频，往往需要对多路摄像头采集的视频进行拼接处理，现在技术在拼接过程中采用了多种不同算法且计算复杂，实时计算的运算量巨大，而视频拼接相对于图片拼接而言，对实时性要求极高，在1秒钟内必须完成25帧N路图像的拼接计算，否则容易丢失帧导致画面不流畅或不连续，甚至内存溢出引起机器的死机。现有技术中有通过双线性拼接进行视频拼接的方案，其采用双线性插值方法进行拼接，在x和y两个方向分别进行一次线性插值计算，但是这种方案，拼接后在重叠区域出现重影现象，曲线出现锯齿状不光滑。
技术实现思路
本专利技术实施例提出了一种红外视频拼接方法，所述方法包括：提取红外视频中每幅图像的特征点，计算出每个特征点的描述符；根据所述特征点的描述符和随机采样一致算法匹配两两图像，建立所述两两图像的匹配特征点对列表；根据所述匹配特征点计算出摄像机的仿射矩阵，根据所述摄像机的仿射矩阵用最小本征法求解出向上矢量，根据所述向上矢量对所述图像进行水平拉直处理；计算所述视频中所有图像在重叠区域内光强与增益乘积差值的总和，并求解得到每幅图像的增益系数，根据所述增益系数对所述每幅图像进行曝光补偿；将每幅图像投影到同一个球面坐标系中，在重叠区域用多层混合(Multi-BandBlending)算法进行无缝拼接，生成拼接后的全景图；其中，对所述图像水平拉直处理后进行曝光补偿。本专利技术实施例还提供了一种红外视频拼接装置，所述装置包括矫正模块、匹配计算模块、水平拉直模块、曝光补偿模块和拼接模块；所述矫正模块，用于计算出每个像素点的矫正系数，根据所述矫正系数对视频中每幅图像进行矫正预处理，并提取视频中每幅图像的特征点；所述匹配计算模块，用于计算所述提取模块提取得到的每个特征点的描述符，根据所述特征点的描述符和随机采样一致算法匹配两两图像，建立所述两两图像的匹配特征点对列表；所述水平拉直模块，用于根据所述匹配计算模块得到的所述匹配特征点计算出摄像机的仿射矩阵，根据所述摄像机的仿射矩阵用最小本征法求解出向上矢量，根据所述向上矢量对所述图像进行水平拉直处理；所述曝光补偿模块，用于计算所述视频中所有图像在重叠区域内光强与增益乘积差值的总和，并求解得到每幅图像的增益系数，根据所述增益系数对所述每幅图像进行曝光补偿；所述拼接模块，用于将所述水平拉直模块和所述曝光补偿模块处理得到的每幅图像投影到同一个球面坐标系中，在重叠区域用多层混合算法进行无缝拼接，生成拼接后的全景图。有益效果如下：本专利技术提供的视频拼接方案，通过对视频进行矫正操作和实时曝光补偿，对于多部红外摄像机间探头灵敏度差异所导致图像亮度强弱不同以及分布不均的问题进行了自动矫正，同时对于光照强度和物体辐射红外强度随时间变化所导致图像亮度不均的问题进行了曝光补偿，拼接的图像无拼缝、无重影，拼接效果最佳，真正实现了具有自动矫正和实时曝光补偿功能的多路红外视频全景拼接。附图说明下面将参照附图描述本专利技术的具体实施例，其中：图1示出了本专利技术实施例一中红外视频拼接方法流程图；图2示出了本专利技术实施例二中红外视频拼接方法流程图；图3a和图3b示出了本专利技术实施例二中两幅图像采用加速鲁棒特征(SURF)算法分别提取到的特征点示意图；图4a示出了本专利技术实施例二中利用KD树搜索得到的特征点匹配图；图4b示出了本专利技术实施例二中最大数量随机采样一致处理后的特征点匹配图；图5a示出了本专利技术实施例二中水平拉直前的全景图；图5b示出了本专利技术实施例二中水平拉直后的全景图；图6示出了本专利技术实施例二中曝光补偿处理后的效果图；图7a示出了本专利技术实施例二中亮度矫正前的全景图；图7b示出了本专利技术实施例二中亮度矫正后的全景图；图8示出了本专利技术实施例三中红外视频拼接装置的结构示意图；图9示出了本专利技术实施例三中红外视频拼接装置的拼接效果图。具体实施方式为了使本专利技术的技术方案及优点更加清楚明白，以下结合附图对本专利技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本专利技术的一部分实施例，而不是所有实施例的穷举。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。在实际使用过程中，由于不同红外摄像机探头的灵敏度存在差异，及不同光学镜头的成像也存在区别，对同样场景进行拍摄，不同摄像机采集到的图像之间，其亮度存在着差别，甚至在一部摄像机所采集的图像内部，在上下、左右方向出现亮度不均匀的现象，这些因素极大地影响着全景的整体效果，本专利技术在视频拼接之前对原始图像进行矫正预处理的操作，能够使得视频中的红外亮度均匀。在进行红外实时监控时，随着阳光照射强度和角度的改变，监控区域内物体反射和辐射红外线的强度缓慢变化，摄像机采集到图像的亮度也在随之变化，因此本专利技术通过在拼接过程中需要不间断地曝光补偿处理，调整各路图像的增益系数，能够使整幅全景图的亮度能够各处均匀整体保持基本一致。单路摄像机每秒采集25帧的标清图像，每帧图像尺寸为704576，红外摄像机经伪彩色处理后，每个像素点需要3字节的RGB分量，N路摄像机传输的数据量为单路的N倍，因此6路摄像机拼接需处理每秒1.8亿字节的数据。在拼接过程中采用了多种不同算法且计算复杂，实时计算的运算量巨大。实施例一如图1所示，本专利技术提出一种红外视频拼接方法，所述方法包括：步骤101：提取视频中每幅图像的特征点；步骤102：计算出每个特征点的描述符，根据特征点的描述符和随机采样一致算法匹配两两图像，建立两两图像的匹配特征点对列表；步骤103：根据匹配特征点计算出摄像机的仿射矩阵，根据摄像机的仿射矩阵用最小本征法求解出向上矢量，根据向上矢量对图像进行水平拉直处理；步骤104：计算视频中所有图像在重叠区域内光强与增益乘积差值的总和，并求解得到每幅图像的增益系数，根据增益系数对每幅图像进行曝光补偿；步骤105：将每幅图像投影到同一个球面坐标系中，在重叠区域用多层混合算法进行无缝拼接，生成拼接后的全景图；其中，实际应用中，可以对所述图像水平先拉直处理后进行曝光补偿，或对所述图像先曝光补偿后进行水平拉直处理，也就是说，上述步骤103和步骤104没有先后顺序。本专利技术提供的红外视频拼接方法，提出对视频进行矫正操作和实时曝光补偿的方式，对于多部红外摄像机间探头灵敏度差异所导致图像亮度强弱不同以及分布不均的问题进行了自动矫正，同时对于光照强度和物体辐射红外强度随时间变化所导致图像亮度不均的问题进行了曝光补偿，真正实现了具有自动矫正和实时曝光补偿功能的多路红外视频全景拼接。实施例二参见图2，本专利技术实施例提供了一种红外视频拼接方法，所述方法包括：步骤201：对视频中每幅图像进行矫正预处理；由于传感器间灵敏度的差异，监控背景环境的不同，以及各种物体辐射和反射红外线能力的强弱，这些因素会导致不同路图像间的对比度和亮度有很大差异，甚至出现画面不均匀的现象，因此本专利技术实施例本文档来自技高网...

【技术保护点】
一种红外视频拼接方法，其特征在于，所述方法包括：提取红外视频中每幅图像的特征点，计算出每个特征点的描述符；根据所述特征点的描述符和随机采样一致算法匹配两两图像，建立所述两两图像的匹配特征点对列表；根据所述匹配特征点计算出摄像机的仿射矩阵，根据所述摄像机的仿射矩阵用最小本征法求解出向上矢量，根据所述向上矢量对所述图像进行水平拉直处理；计算所述视频中所有图像在重叠区域内光强与增益乘积差值的总和，并求解得到每幅图像的增益系数，根据所述增益系数对所述每幅图像进行曝光补偿；将每幅图像投影到同一个球面坐标系中，在重叠区域用多层混合算法进行无缝拼接，生成拼接后的全景图；其中，对所述图像水平拉直处理后进行曝光补偿，或对所述图像曝光补偿后进行水平拉直处理。

【技术特征摘要】
1.一种红外视频拼接方法，其特征在于，所述方法包括：提取红外视频中每幅图像的特征点，计算出每个特征点的描述符；根据所述特征点的描述符和随机采样一致算法匹配两两图像，建立所述两两图像的匹配特征点对列表；根据所述匹配特征点计算出摄像机的仿射矩阵，根据所述摄像机的仿射矩阵用最小本征法求解出向上矢量，根据所述向上矢量对所述图像进行水平拉直处理；计算所述视频中所有图像在重叠区域内光强与增益乘积差值的总和，并求解得到每幅图像的增益系数，根据所述增益系数对所述每幅图像进行曝光补偿；将每幅图像投影到同一个球面坐标系中，在重叠区域用多层混合算法进行无缝拼接，生成拼接后的全景图；其中，对所述图像水平拉直处理后进行曝光补偿，或对所述图像曝光补偿后进行水平拉直处理。2.如权利要求1所述的方法，其特征在于，所述提取视频中每幅图像的特征点之前，所述方法还包括对视频中每幅图像进行亮度矫正预处理，具体为：矫正后的图像亮度为原始图像亮度乘以矫正系数，其中，为该像素点在图像中的位置，为每幅图像的中心点位置，为原始图像在水平和垂直方向的方差。3.如权利要求2所述的方法，其特征在于，所述提取视频中每幅图像的特征点，具体包括：利用多个方差高斯函数的二阶偏导数对每幅图像进行卷积，得到所述每幅图像积分图像；计算所述积分图像中各像素点矩阵的行列式值，将超过门限的极值点作为特征点进行提取。4.如权利要求2所述的方法，其特征在于，所述根据所述特征点的描述符和随机采样一致算法匹配两两图像，建立所述两两图像的匹配特征点对列表，具体包括：计算所述特征点的主方向，将原图像旋转到所述主方向获取特征点的64维描述符矢量；利用加速鲁棒特征算法提取的特征点描述符建立KD树；在所述KD树中利用最近邻查询法快速搜索出两两图像匹配的特征点，建立两两图像的匹配特征点对列表。5.如权利要求2所述的方法，其特征在于，根据所述匹配特征点计算出摄像机的仿射矩阵，具体包括：获取所述匹配特征点的图像中心点，获取所述图像在水平方向或垂直方向的焦距；根据所述图像中心点和所述焦距计算出摄像机的本征矩阵；获取所述匹配特征点的图像的欧拉角，根据...

【专利技术属性】
技术研发人员：蔡泽彬，秦清，刘洋，姜向宏，桑成伟，刘根，
申请(专利权)人：中国人民解放军空军预警学院监控系统工程研究所，
类型：发明
国别省市：湖北,42