一种单塔机全景图像拼接方法和系统技术方案

本申请实施例提供一种单塔机全景图像拼接方法和系统。该方法包括：在塔机的大臂的四个位置设置相同高度的摄像头获取整个塔机的视野图片；获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；针对每个摄像头拍摄的一帧图像，做水平梯度和垂直梯度图，根据梯度图做模糊度量化，检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；如果没有出现模糊，则对四帧摄像头图像进行图像缩小、视角修正、特征提取、特征匹配操作；将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。本申请能够智能的检测到图像模糊问题，并采用图像处理方法来消除拼接图像的模糊。来消除拼接图像的模糊。来消除拼接图像的模糊。

【技术实现步骤摘要】
一种单塔机全景图像拼接方法和系统


[0001]本申请涉及智能塔吊
，尤其涉及一种单塔机全景图像拼接方法和系统。

技术介绍

[0002]塔吊（或塔机）的监控目前依赖于多个不同部位的摄像头分别监控一片区域，但是这种监控方式可能导致某个监控位置或者方向并未被所有的摄像头所覆盖，容易出现监控死角；另外，由于施工中塔吊经常处于震动、晃动之中，导致摄像头也随即晃动、抖动，使得摄像头采集的监控画面容易出现模糊等情况，影响生产安全的监控。

技术实现思路

[0003]有鉴于此，本申请的目的在于提出一种单塔机全景图像拼接方法和装置，本申请能够针对性的解决现有的塔吊监控问题。
[0004]基于上述目的，本申请提出了一种单塔机全景图像拼接方法，包括：在塔机的大臂的四个位置设置相同高度的摄像头获取整个塔机的视野图片，当大臂旋转一周时，全景图像由四个摄像头实时拼接而成；其中每个摄像头安装在云台上；在对云台进行增稳处理后，获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；针对每个摄像头拍摄的一帧图像，做水平梯度和垂直梯度图，根据梯度图做模糊度量化，检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；如果出现模糊，则重新回到取一帧图像做图像灰度处理的步骤，如果没有出现模糊，则对四帧摄像头图像进行图像缩小、视角修正、特征提取、特征匹配操作；将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。
[0005]进一步地，当至少一个拍摄图像出现模糊时，则判断所述至少一个拍摄图像对应的摄像头发生了抖动，刷新该至少一个摄像头的拍摄图像直到其拍摄图像未出现模糊，重新使用所有摄像头的拍摄图像进行上述全景拼接，或者在该同一拍摄时刻后预设时长的多个刷新图像仍然出现模糊时，使用出现模糊的摄像头的上一个未出现模糊的图像与其他摄像头的拍摄图像进行全景拼接。
[0006]进一步地，所述检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊，包括：对于每个摄像头，确定该同一拍摄时刻的拍摄图像的功率谱；通过检测所述功率谱的Radon变换投影方差最大的方向，确定模糊的方向；在模糊方向选择图像功率谱的Radon变换；应用滤波器平滑功率谱并去除噪声；计算平滑后的功率谱的第一关键位置，其中关键位置包括功率谱的波峰和波谷处的点；使用快门序列，计算快门序列的调制传递函数；
计算调制传递函数的第二关键位置；根据第一关键位置和第二关键位置的比率的加权和计算图像中的模糊程度。
[0007]进一步地，所述检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊，包括：提取参考帧和待测试帧图像的梯度图和边缘信息；将参考帧和待测试帧的梯度图按照人眼视觉系统的对比度敏感特性函数进行加权处理；对参考帧和待测试帧的梯度图进行分割，提取结构信息丰富的对应块；计算对应块的结构相似度指标，并求和平均计算整幅待测试帧图像的模糊度指标值。
[0008]进一步地，所述将该同一拍摄时刻所有摄像头的拍摄图像进行全景拼接得到全景图像，包括：对于相邻的每两个摄像头，均执行以下拼接操作：接收由第一摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；确定第一重叠区域，该第一重叠区域包括来自第一摄像头的第一视场的与第二摄像头的第二视场重叠的第一部分的像素值；接收由第二摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；确定第二重叠区域，该第二重叠区域包括来自与第一摄像头的第一视场重叠的第二摄像头的第二视场的第二部分的像素值；基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：第一帧区域包括选自第一帧的像素值；第二帧区域包括选自第二帧的像素值；和混合帧区域包括从第一重叠区域和第二重叠区域导出的像素值。
[0009]进一步地，所述基于包括第一帧和第二帧的一组帧生成全景帧之后，进一步包括：接收混合帧区域中的缝合接缝的第一指示；在拼接接缝的第一侧接收混合帧区域中的第一混合限制的第二指示；在拼接接缝的第二侧接收混合帧区域中的第二混合限制的第三指示；在第一重叠区域的第一位置处确定第一重叠区域混合限制，该第一位置相当于混合帧区域中的第一混合限制的第二位置；识别第一重叠区域的第一非重复部分，其中第一重叠区域的非重复部分包括从第一帧的第一边缘到第一重叠区域混合限制的像素值的第一空间排列的像素位置；在第二重叠区域的第三位置处确定第二重叠区域混合限制，该第三位置相当于混合帧区域中的第二混合限制的第四位置；识别第二重叠区域的第二非重复部分，其中第二重叠区域的非重复部分包括从第二帧的第二边缘到第二重叠区域混合限制的像素值的第二空间排列的像素位置。
[0010]进一步地，所述将该同一拍摄时刻所有摄像头的拍摄图像进行全景拼接得到全景图像，包括：将该同一拍摄时刻所有摄像头的拍摄图像进行图像畸变矫正和缩放处理得到全部待融合图像；计算同一拍摄时刻所有摄像头的全部待融合图像在融合区内的最优缝合中心线，
融合区包括第一融合区和第二融合区，第一融合区由位于各待融合图像的底部且相互重叠的区域构成，第二融合区由相邻两幅待融合图像其边缘相互重叠的区域构成；基于最优缝合中心线计算第一融合区与第二融合区的权重表；根据第一融合区和第二融合区的权重表对所有待融合图像进行融合和图像拉伸。
[0011]本申请还提出了一种单塔机全景图像拼接系统，包括：传感器模块，用于在塔机的大臂的四个位置设置相同高度的摄像头获取整个塔机的视野图片，当大臂旋转一周时，全景图像由四个摄像头实时拼接而成；其中每个摄像头安装在云台上；图像获取模块，用于在对云台进行增稳处理后，获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；模糊检测模块，用于针对每个摄像头拍摄的一帧图像，做水平梯度和垂直梯度图，根据梯度图做模糊度量化，检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；特征处理模块，用于如果出现模糊，则重新回到取一帧图像做图像灰度处理的步骤，如果没有出现模糊，则对四帧摄像头图像进行图像缩小、视角修正、特征提取、特征匹配操作；全景拼接模块，用于将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。
[0012]总的来说，本申请的优势及给用户带来的体验在于：本申请使用多个不同部位的摄像头分别采集不同区域的图像或视频，再将所有图像进行拼接，得到塔机全景图像，从而消除了监控死角；另外，能够智能的检测到摄像头由于晃动、抖动产生的图像模糊问题，并采用图像处理方法来消除拼接图像的模糊，从而保证塔机全景图像的始终清晰，保证了生产安全的有效监控。本专利技术采用的创新性的模糊判断方法，能够准确的对模糊程度进行定量分析和测定，并据此进行相应的模糊处理，能够更加有效的消除模糊；本专利技术采用的创新性的全景拼接方法，相对于现有技术而言，能够消除图像拼接过程中的卡顿感，以及实现无缝拼接，使得观感效果优秀。
附图说明
[0013]在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单塔机全景图像拼接方法，其特征在于，包括：在塔机的大臂的四个位置设置相同高度的摄像头获取整个塔机的视野图片，当大臂旋转一周时，全景图像由四个摄像头实时拼接而成；其中每个摄像头安装在云台上；在对云台进行增稳处理后，获取每个摄像头的视频流，取同一拍摄时刻每个摄像头拍摄的一帧图像并做图像灰度处理；针对每个摄像头拍摄的一帧图像，做水平梯度和垂直梯度图，根据梯度图做模糊度量化，检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊；如果出现模糊，则重新回到取一帧图像做图像灰度处理的步骤，如果没有出现模糊，则对四帧摄像头图像进行图像缩小、视角修正、特征提取、特征匹配操作；将该同一时刻所有摄像头的拍摄图像进行全景拼接得到全景图像。2.根据权利要求1所述的方法，其特征在于，进一步包括：当至少一个拍摄图像出现模糊时，则判断所述至少一个拍摄图像对应的摄像头发生了抖动，刷新该至少一个摄像头的拍摄图像直到其拍摄图像未出现模糊，重新使用所有摄像头的拍摄图像进行上述全景拼接，或者在该同一拍摄时刻后预设时长的多个刷新图像仍然出现模糊时，使用出现模糊的摄像头的上一个未出现模糊的图像与其他摄像头的拍摄图像进行全景拼接。3.根据权利要求1所述的方法，其特征在于，所述检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊，包括：对于每个摄像头，确定该同一拍摄时刻的拍摄图像的功率谱；通过检测所述功率谱的Radon变换投影方差最大的方向，确定模糊的方向；在模糊方向选择图像功率谱的Radon变换；应用滤波器平滑功率谱并去除噪声；计算平滑后的功率谱的第一关键位置，其中第一关键位置包括功率谱的波峰和波谷处的点；使用快门序列，计算快门序列的调制传递函数；计算调制传递函数的第二关键位置；根据第一关键位置和第二关键位置的比率的加权和计算图像中的模糊程度。4.根据权利要求1所述的方法，其特征在于，所述检测该同一拍摄时刻的每个摄像头拍摄的图像是否出现模糊，包括：提取参考帧和待测试帧图像的梯度图和边缘信息；将参考帧和待测试帧的梯度图按照人眼视觉系统的对比度敏感特性函数进行加权处理；对参考帧和待测试帧的梯度图进行分割，提取结构信息丰富的对应块；计算对应块的结构相似度指标，并求和平均计算整幅待测试帧图像的模糊度指标值。5.根据权利要求2
‑
4任一项所述的方法，其特征在于，所述将该同一拍摄时刻所有摄像头的拍摄图像进行全景拼接得到全景图像，包括：对于相邻的每两个摄像头，均执行以下拼接操作：接收由第一摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；确定第一重叠区域，该第一重叠区域包括来自第一摄像头的第一视场的与第二摄像头
的第二视场重叠的第一部分的像素值；接收由第二摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；确定第二重叠区域，该第二重叠区域包括来自与第一摄像头的第一视场重叠的第二摄像头的第二视场的第二部分的像素值；基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：第...

【专利技术属性】
技术研发人员：赵晓东，黄开坤，牛梅梅，赵焕，张朝威，杜赛楠，
申请(专利权)人：浙江省北大信息技术高等研究院，
类型：发明
国别省市：