一种基于光学增稳的塔机云台全景图像防抖动方法和系统技术方案

本申请实施例提供一种基于光学增稳的塔机云台全景图像防抖动方法和系统。该方法包括：在塔机的多个位置上分别安装包括陀螺仪传感器的摄像头，每个摄像头安装在一个可以上下左右移动的支架上；当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该摄像头进行光学增稳处理，获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量；在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接。本申请通过光学增稳的方式以及精确的位置和移动补偿计算，解决图像模糊使得全景图像的拼接出现延迟、拼接后的全景图像不对称的技术问题。图像不对称的技术问题。图像不对称的技术问题。

【技术实现步骤摘要】
一种基于光学增稳的塔机云台全景图像防抖动方法和系统


[0001]本申请涉及智能塔机
，尤其涉及一种基于光学增稳的塔机云台全景图像防抖动方法和系统。

技术介绍

[0002]塔机由于其起升高度、起重量大和工作幅度大等特点，是目前建筑施工中使用较多的起重机械。
[0003]由于塔机结构庞大，并伴有高空作业，容易发生重大人身伤亡事故，一旦发生事故，就会给施工企业和个人带来巨大的经济损失。因此，塔机在安装环节及升节环节，需要在不同区域安装监控云台，以保证塔机的安全。
[0004]目前塔机的塔机云台，往往只能监控一个区域一个方向的情况，无法提供360度无死角的全景图像，从而存在安全隐患。另外，由于塔机的操作过程中出现的振动、移动，也会导致塔机云台产生抖动现象，从而使得监控图像出现一定的模糊。

技术实现思路

[0005]有鉴于此，本申请的目的在于提出一种基于光学增稳的塔机云台全景图像防抖动方法和装置，本申请能够针对性的解决现有的塔机监控死角和云台抖动导致的图像模糊问题。
[0006]基于上述目的，本申请提出了一种基于光学增稳的塔机云台全景图像防抖动方法，包括：在塔机的多个位置上分别安装包括陀螺仪传感器的摄像头，每个摄像头安装在一个可以上下左右移动的支架上；每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻；当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该摄像头进行光学增稳处理，获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量；在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接；绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像。
[0007]进一步地，所述每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻，包括：控制每个摄像头转动使其以预设时间间隔指向上下左右前后六个方向；
在摄像头到达预设方向时停止转动一定时间，采集该方向的图像，如此采集六个方向的图像并记录每幅图像的拍摄时刻；在一轮六个方向的六张图像采集完毕后，重新控制所述摄像头以预设时间间隔指向上下左右前后六个方向并拍摄。
[0008]进一步地，所述获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量，包括：所述支架包括驱动单元，该驱动单元包括至少一个电机并且对所述摄像头执行摇摄操作和俯仰操作中的至少一种操作；通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量并控制驱动单元进行摇摄操作和俯仰操作中的至少一个操作，对使用摄像头获得的图像执行图像模糊校正；其中，当图像模糊校正开始时，通过所述驱动单元的位置信息和过幅抖动的方向、速度和移动量来计算所述的补偿移动量，根据所述补偿移动量控制所述摄像头进行摇摄操作和/或俯仰操作；其中，通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量，包括：控制陀螺仪传感器采集角速度数据，并根据所述角速度数据和预设拟合函数模型，计算得到过幅抖动的方向、速度和移动量，所述预设拟合函数模型的获取过程为：预先建立一个拟合函数，在拍摄图像之前控制摄像头产生抖动，并通过陀螺仪传感器采集摄像头抖动过程中的参考角速度数据以及摄像头的偏移量，根据摄像头的偏移量得到对应的参考抖动补偿数据；然后根据采集的参考角速度数据和参考抖动补偿数据，计算拟合函数中的常量；最后将计算得到的常量带入拟合函数从而建立模型。
[0009]进一步地，所述在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接，包括：对于单个摄像头的相邻两个方向，均执行以下拼接操作：接收由所述单个摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；确定第一重叠区域，该第一重叠区域包括来自摄像头的第一方向对应视场的与第二方向对应视场重叠的第一部分的像素值；接收由该摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；确定第二重叠区域，该第二重叠区域包括来自与摄像头的第一方向对应视场重叠的摄像头的第二方向对应视场的第二部分的像素值；基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：第一帧区域包括选自第一帧的像素值；第二帧区域包括选自第二帧的像素值；和混合帧区域包括从第一重叠区域和第二重叠区域导出的像素值。
[0010]进一步地，所述基于包括第一帧和第二帧的一组帧生成全景帧之后，进一步包括：接收混合帧区域中的缝合接缝的第一指示；在拼接接缝的第一侧接收混合帧区域中的第一混合限制的第二指示；在拼接接缝的第二侧接收混合帧区域中的第二混合限制的第三指示；在第一重叠区域的第一位置处确定第一重叠区域混合限制，该第一位置相当于混
合帧区域中的第一混合限制的第二位置；识别第一重叠区域的第一非重复部分，其中第一重叠区域的非重复部分包括从第一帧的第一边缘到第一重叠区域混合限制的像素值的第一空间排列的像素位置；在第二重叠区域的第三位置处确定第二重叠区域混合限制，该第三位置相当于混合帧区域中的第二混合限制的第四位置；识别第二重叠区域的第二非重复部分，其中第二重叠区域的非重复部分包括从第二帧的第二边缘到第二重叠区域混合限制的像素值的第二空间排列的像素位置。
[0011]进一步地，在第一次拼接时计算拼接位置，在后续拼接中直接计算重合部分的相似度，如果高于预设阈值则按照前一次拼接的位置拼接，如果低于预设阈值则计算补偿值或重新按第一次的方法拼接。
[0012]进一步地，在轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接之后，进一步包括：给定一个显示框，将每一帧图像都根据匹配位置覆盖到之前拼接好的图像中，然后根据标定物的位置裁剪拼接图像。
[0013]进一步地，所述绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置，包括：将所有摄像头的在相同时刻的全景图像进行进一步全景拼接，得到所述塔机作业现场的全景图像；根据所述塔机作业现场的全景图像绘制所述塔机作业现场地图，并标记所有摄像头在所述地图上的位置；根据所述塔机作业现场地图呈现地图显示界面，所述地图显示界面上显示所述塔机作业现场地图及所有的摄像头位置。
[0014]进一步地，所述接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像，包括：接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示选择菜单，所述选择菜单能够选择或输入时刻信息；根据用户选择或输入的时刻信息，显示距离所述选择或输入的时刻信息最近的时刻所述目标摄本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光学增稳的塔机云台全景图像防抖动方法，其特征在于，包括：在塔机的多个位置上分别安装包括陀螺仪传感器的摄像头，每个摄像头安装在一个可以上下左右移动的支架上；每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻；当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该摄像头进行光学增稳处理，获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量；在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接；绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像。2.根据权利要求1所述的方法，其特征在于，所述每个摄像头以预设时间间隔循环遍历采集其所在区域的预设数量个方向的多张图像，并记录每幅图像的拍摄时刻，包括：控制每个摄像头转动使其以预设时间间隔指向上下左右前后六个方向；在摄像头到达预设方向时停止转动一定时间，采集该方向的图像，如此采集六个方向的图像并记录每幅图像的拍摄时刻；在一轮六个方向的六张图像采集完毕后，重新控制所述摄像头以预设时间间隔指向上下左右前后六个方向并拍摄。3.根据权利要求2所述的方法，其特征在于，所述获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量，包括：所述支架包括驱动单元，该驱动单元包括至少一个电机并且对所述摄像头执行摇摄操作和俯仰操作中的至少一种操作；通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量并控制驱动单元进行摇摄操作和俯仰操作中的至少一个操作，对使用摄像头获得的图像执行图像模糊校正；其中，当图像模糊校正开始时，通过所述驱动单元的位置信息和过幅抖动的方向、速度和移动量来计算所述的补偿移动量，根据所述补偿移动量控制所述摄像头进行摇摄操作和/或俯仰操作；其中，通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量，包括：控制陀螺仪传感器采集角速度数据，并根据所述角速度数据和预设拟合函数模型，计算得到过幅抖动的方向、速度和移动量，所述预设拟合函数模型的获取过程为：预先建立一个拟合函数，在拍摄图像之前控制摄像头产生抖动，并通过陀螺仪传感器采集摄像头抖动过程中的参考角速度数据以及摄像头的偏移量，根据摄像头的偏移量得到对应的参考抖动补偿数据；然后根据采集的参考角速度数据和参考抖动补偿数据，计算拟合函数中的常量；最后将计算得到的常量带入拟合函数从而建立模型。
4.根据权利要求3所述的方法，其特征在于，所述在单轮预设数量个方向均已拍摄完毕时，对于单个摄像头，使用该摄像头的所有方向上的拍摄图像进行全景拼接，包括：对于单个摄像头的相邻两个方向，均执行以下拼接操作：接收由所述单个摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；确定第一重叠区域，该第一重叠区域包括来自摄像头的第一方向对应视场的与第二方向对应视场重叠的第一部分的像素值；接收由该摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；确定第二重叠区域，该第二重叠区域包括来自与摄像头的第一方向对应视场重叠的摄像头的第二方向对应视场的第二部分的像素值；基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：第一帧区域包括选自第一帧的像素值；第二帧区域包括选自第二帧的像素值；和混...

【专利技术属性】
技术研发人员：赵晓东，赵焕，张朝威，牛梅梅，杜赛楠，
申请(专利权)人：浙江省北大信息技术高等研究院，
类型：发明
国别省市：