图像拼接方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术提供一种图像拼接方法、装置、计算机设备和存储介质，通过参考历史帧拼接图像的拼接效果，根据历史帧的拼接效果调整重叠区域所有像素点的权重得到历史最优权重集合，根据历史最优权重集合预当前拼接图像重叠区域所有像素点的权重，按照预设的模型计算当前拼接图像重叠区域所有像素点的权重，根据上述连个权重调整当前拼接图像得到更为自然的拼接图像。由于帧与帧之间的变化比较小，根据帧之间的联系预测下一帧的拼接图像的拼接能够减少拼接图像由于采样时间、采样角度、光照强度等因素带来的影响。并且拼接的图像亮度、颜色对齐，在拼接处渐变融合，保证双画面拼接自然过渡的良好效果，可以形成一幅清晰的广视角图像。

Image mosaic method, device, computer equipment and storage medium

The invention provides an image stitching method, a device, a computer device and a storage medium. By referring to the stitching effect of a historical frame splicing, the weight of all the pixels in the overlapping region is adjusted according to the splicing effect of the historical frame to get the optimal set of the historical weight, and the current splicing image overlaps according to the best set of historical weights. The weight of all the pixels in the region is calculated according to the preset model, and the weight of all the pixels in the overlapped region of the current spliced image is calculated, and a more natural mosaic image is obtained by adjusting the current splicing image according to the above weights. Because of the small changes between frames and frames, the splicing of the next frame based on the connection between frames can reduce the influence of the splicing time, sampling angle and intensity of illumination. In addition, the brightness and color alignment of the spliced image are fused at the stitching section to ensure the good effect of the natural transition of the double screen splicing, and a clear and wide angle image can be formed.

【技术实现步骤摘要】
图像拼接方法、装置、计算机设备和存储介质
本专利技术涉及图像处理和显示领域，特别是涉及一种图像拼接方法、装置、计算机设备和存储介质。
技术介绍
随着科技的发展和社会的进步，人们对信息的需求和要求都越来越高。人类感受外界的信息大部分来自视觉，故对视觉信息的处理越来越受到人们的关注。视频图像直观的描述方式越来越受到人们的青睐，故对视频图像的处理越发得到关注，视频拼接是视频图像处理中的一个重要分支。由于不同的摄像头之间存在采样角度、光照强度等因素影响导致拼接的视频难以融为一体得到自然的拼接图像。
技术实现思路
基于此，有必要针对上述技术问题，提供一种图像拼接方法、装置、计算机设备和存储介质。通过将不同的摄像头得到拼接图像，根据历史帧拼接图像的拼接效果反馈值调整历史帧拼接重叠区域的像素值的权重集合得到历史帧拼接图像的最优权重集合，根据历史帧拼接图像的最优权重集合预测当前帧拼接图像的重叠区域的权重集合，计算当前拼接图像的权重集合，根据预测的重叠区域的权重集合和当前拼接图像的权重集合调整得到拼接更为自然的拼接图像。一种图像拼接方法，所述方法包括：分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，根据图像映射模型将所述第一图像和所述第二图像进行投影得到当前帧拼接图像；获取历史帧拼接图像的拼接效果反馈值；获取所述第一摄像头拍摄的第一历史帧图像和第二摄像头拍摄的对应的第二历史帧图像在所述历史帧拼接图像中的重叠区域，获取所述重叠区域中所有像素点的权重组成历史权重集合；根据所述拼接效果反馈值调整所述历史权重集合中的各个权重得到历史帧拼接图像的最优权重集合；根据所述最优权重集合采用预测方法得到当前帧拼接图像对应的当前预测权重集合；计算所述当前帧拼接图像重叠区域中所有像素点的权重组成当前权重集合；根据所述当前预测权重集合和所述当前权重集合对所述当前拼接图像的重叠区域进行处理得到当前帧更新拼接图像。在其中一个实施例中，获取第一摄像头拍摄的下一帧图像作为所述第一图像，获取第二摄像头拍摄的下一帧图像作为所述第二图像，进入所述根据图像映射模型将所述第一图像和所述第二图像进行投影得到当前帧拼接图像的步骤，直到得到当前帧更新拼接图像，按照时间采集顺序分别得到多个更新拼接图像，将各个连续得到的更新拼接图像按预设帧率播放。在其中一个实施例中，所述分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，根据图像映射模型将所述第一图像和所述第二图像进行投影得到当前帧拼接图像的步骤，包括：提取第一图像的图像特征作为第一图像特征和第一图像的图像特征作为第一图像特征；对所述第一图像特征和所述第二图像特征进行匹配，得到匹配的图像特征；根据匹配的图像特征将所述第一图像和所述第二图像投影到特定位置组成所述当前帧拼接图像。在其中一个实施例中，所述提取第一图像的图像特征作为第一图像特征和第二图像的图像特征作为第二图像特征的步骤，包括：根据加速稳健特算法提取所述第一图像和所述第二图像的图像特征得到待选特征点；在积分图像的基础上，计算所述待选特征点及其预设范围内的像素值的海森值；当所述待选特征点的海森值最大时，所述待选特征点为特征点，否则，删除所述待选特征点；由所述第一图像中所有的特征点组成第一图像特征；由所述第二图像中所有的特征点组成第二图像特征。在其中一个实施例中，所述对所述第一图像特征和所述第二图像特征进行匹配，得到匹配的图像特征的步骤，包括：构造所述第一图像特征中所有特征点的所有特征描述子和所述第二图像特征中所有特征点的所有特征描述子，对所述第一图像特征中所有特征点的所有特征描述子和所述第一图像特征中所有特征点的所有特征描述子进行匹配得到匹配图像特征，其中，构造所述描述子的过程步骤如下：以特征点为中心计算预设半径内的圆形区域进行小波响应运算得到小波响应值；对所述小波响应值进行高斯加权；以特征点为中心，预设大小张角的扇形滑动窗口，预设弧度为步长旋转所述扇形滑动窗口，并对所述扇形滑动窗口内的水平、垂直的所述小波响应值进行累加；最大的所述小波响应值累加值对应的方向为所述特征点的主方向；根据所述特征点的主方向和所述特征点通过预设模型进行处理得到所述特征点的描述子。在其中一个实施例中，所述计算所述当前帧拼接图像重叠区域中所有像素点的权重组成当前权重集合的步骤，包括：所述当前拼接图像中重叠区域中任一像素点作为当前像素，获取所述当前像素到所述重叠区域的左边缘的横向距离；获取所述当前拼接图像中的重叠区域的总宽度；计算所述横向距离与所述总宽度的比值，根据所述比值确定所述拼接图像中所述第一图像和所述第二图像的当前像素点的权重，所述重叠区域中所有的像素点的权重组成所述当前权重集合。在其中一个实施例中，所述根据图像映射模型将所述第一图像和所述第二图像进行投影得到当前帧拼接图像的步骤之前，还包括：分别对所述第一图像和所述第一图像做图像预处理，所述预处理包括：图像去噪和/或图像增强和/或图像旋转和/或图像翻转和/或图像裁剪。一种图像拼接装置，所述装置包括：初始拼接模块，用于分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，根据图像映射模型将所述第一图像和所述第二图像进行投影得到当前帧拼接图像；拼接反馈模块，用于获取历史帧拼接图像的拼接效果反馈值；历史权重集合获取模块，用于获取所述第一摄像头拍摄的第一历史帧图像和第二摄像头拍摄的对应的第二历史帧图像在所述历史帧拼接图像中的重叠区域，获取所述重叠区域中所有像素点的权重组成历史权重集合；历史最优权重集合计算模块，用于根据所述拼接效果反馈值调整所述历史权重集合中的各个权重得到历史帧拼接图像的历史最优权重集合；当前预测权重集合计算模块，用于根据所述历史最优权重集合采用预测方法得到当前帧拼接图像对应的当前预测权重集合；当前权重集合计算模块，用于计算所述当前帧拼接图像重叠区域中所有像素点的权重组成当前权重集合；拼接图像更新模块，用于根据所述当前预测权重集合和所述当前权重集合对所述当前拼接图像的重叠区域进行处理得到当前帧更新拼接图像。一种计算机设备，所述计算机设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述图像拼接方法。一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述图像拼接方法。附图说明图1为一个实施例中一种图像拼接方法的流程图；图2为一个实施例中根据图像映射模型进行图像拼接的步骤流程图；图3为一个实施例中提取图像特征的步骤流程图；图4为一个实施例中图像特征匹配的步骤流程图；图5为一个实施例中计算当前权重集合的步骤流程图；图6为一个实施例中一种图像拼接装置的框架图；图7为一个实施例中初始拼接模块的框架图；图8为一个实施例中图像特征获取单元的框架图；图9为一个实施例中特征描述子构造子单元的框架图；图10为一个实施例中当前权重集合计算模块的框架图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通本文档来自技高网...

【技术保护点】
一种图像拼接方法，所述方法包括：分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，根据图像映射模型将所述第一图像和所述第二图像进行投影得到当前帧拼接图像；获取历史帧拼接图像的拼接效果反馈值；获取所述第一摄像头拍摄的第一历史帧图像和所述第二摄像头拍摄的对应的第二历史帧图像在所述历史帧拼接图像中的重叠区域，获取所述重叠区域中的像素点的权重组成历史权重集合；根据所述拼接效果反馈值调整所述历史权重集合中的各个权重得到历史帧拼接图像的最优权重集合；根据所述最优权重集合采用预测方法得到当前帧拼接图像对应的当前预测权重集合；计算所述当前帧拼接图像重叠区域中的像素点的权重组成当前权重集合；根据所述当前预测权重集合和所述当前权重集合对所述当前拼接图像的重叠区域进行处理得到当前帧更新拼接图像。

【技术特征摘要】
1.一种图像拼接方法，所述方法包括：分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，根据图像映射模型将所述第一图像和所述第二图像进行投影得到当前帧拼接图像；获取历史帧拼接图像的拼接效果反馈值；获取所述第一摄像头拍摄的第一历史帧图像和所述第二摄像头拍摄的对应的第二历史帧图像在所述历史帧拼接图像中的重叠区域，获取所述重叠区域中的像素点的权重组成历史权重集合；根据所述拼接效果反馈值调整所述历史权重集合中的各个权重得到历史帧拼接图像的最优权重集合；根据所述最优权重集合采用预测方法得到当前帧拼接图像对应的当前预测权重集合；计算所述当前帧拼接图像重叠区域中的像素点的权重组成当前权重集合；根据所述当前预测权重集合和所述当前权重集合对所述当前拼接图像的重叠区域进行处理得到当前帧更新拼接图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取第一摄像头拍摄的下一帧图像作为所述第一图像，获取第二摄像头拍摄的下一帧图像作为所述第二图像，进入所述根据图像映射模型将所述第一图像和所述第二图像进行投影得到当前帧拼接图像的步骤，直到得到当前帧更新拼接图像，按照时间采集顺序分别得到多个更新拼接图像，将各个连续得到的更新拼接图像按预设帧率播放。3.根据权利要求1所述的方法，其特征在于，所述分别获取第一摄像头拍摄的第一图像和第二摄像头拍摄的第二图像，根据图像映射模型将所述第一图像和所述第二图像进行投影得到当前帧拼接图像的步骤，包括：提取第一图像的图像特征作为第一图像特征和第一图像的图像特征作为第一图像特征；对所述第一图像特征和所述第二图像特征进行匹配，得到匹配的图像特征；根据匹配的图像特征将所述第一图像和所述第二图像投影到特定位置组成所述当前帧拼接图像。4.根据权利要求3所述的方法，其特征在于，所述提取第一图像的图像特征作为第一图像特征和第二图像的图像特征作为第二图像特征的步骤，包括：根据加速稳健特算法提取所述第一图像和所述第二图像的图像特征得到待选特征点；在积分图像的基础上，计算所述待选特征点及其预设范围内的像素值的海森值；当所述待选特征点的海森值最大时，所述待选特征点为特征点，否则，删除所述待选特征点；由所述第一图像中所有的特征点组成第一图像特征；由所述第二图像中所有的特征点组成第二图像特征。5.根据权利要求3所述的方法，其特征在于，所述对所述第一图像特征和所述第二图像特征进行匹配，得到匹配的图像特征的步骤，包括：构造所述第一图像特征中所有特征点的所有特征描述子和所述第二图像特征中所有特征点的所有特征描述子，对所述第一图像特征中所有特征点的所有特征描述子和所述第一图像特征中所有特征点的所有特征描述子进行匹配得到匹配图像特征，其中，构造所述描述子的过程步骤如下...

【专利技术属性】
技术研发人员：车嘉兴，刘强，卢致辉，田伟程，付春元，
申请(专利权)人：深圳市科比特航空科技有限公司，
类型：发明
国别省市：广东,44