一种基于电子增稳的塔机云台全景图像防抖动方法和系统技术方案

本申请实施例提供一种基于电子增稳的塔机云台全景图像防抖动方法和系统。该方法包括：在塔机的多个位置上分别安装至少一个摄像头，使得所有摄像头的视野之和覆盖所述塔机的所有周围区域，每个摄像头安装在云台上，包括陀螺仪传感器；当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，基于获取到的陀螺仪传感器数据对采集到的图像进行电子增稳处理，平滑帧间抖动，得到平稳的拍摄图像；在所有摄像头均已拍摄完毕和完成电子增稳处理后，使用所有摄像头的拍摄图像进行全景拼接，得到所述塔机的全景图像。本申请通过电子增稳的方式以及精确的位置和移动补偿计算，解决图像模糊使得全景图像的拼接出现延迟、拼接后的全景图像不对称的技术问题。称的技术问题。称的技术问题。

【技术实现步骤摘要】
一种基于电子增稳的塔机云台全景图像防抖动方法和系统


[0001]本申请涉及智能塔机
，尤其涉及一种基于电子增稳的塔机云台全景图像防抖动方法和系统。

技术介绍

[0002]由于塔机结构庞大，并伴有高空作业，容易发生重大人身伤亡事故，一旦发生事故，就会给施工企业和个人带来巨大的经济损失。因此，塔机在安装环节及升节环节，需要在不同区域安装监控云台，以保证塔机的安全。
[0003]目前塔机的塔机云台，往往只能监控一个区域一个方向的情况，无法提供360度无死角的全景图像，从而存在安全隐患。另外，由于塔机的操作过程中出现的振动、移动，也会导致塔机云台产生抖动现象，从而使得监控图像出现一定的模糊。

技术实现思路

[0004]有鉴于此，本申请的目的在于提出一种基于电子增稳的塔机云台全景图像防抖动方法和装置，本申请能够针对性的解决现有的塔机监控死角和云台抖动导致的图像模糊问题。
[0005]基于上述目的，本申请提出了一种基于电子增稳的塔机云台全景图像防抖动方法，包括：在塔机的多个位置上分别安装至少一个摄像头，使得所有摄像头的视野之和覆盖所述塔机的所有周围区域，每个摄像头安装在云台上，包括陀螺仪传感器；当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，基于获取到的陀螺仪传感器数据对采集到的图像进行电子增稳处理，平滑帧间抖动，得到平稳的拍摄图像；在所有摄像头均已拍摄完毕和完成电子增稳处理后，使用所有摄像头的拍摄图像进行全景拼接；绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像。
[0006]进一步地，所述基于获取到的陀螺仪传感器数据对采集到的图像进行电子增稳处理，平滑帧间抖动，得到平稳的拍摄图像，包括：根据陀螺仪传感器数据判定摄像头运动情况；对摄像头采集到的图像数据进行滤波和降噪；通过帧差法判断图像的运动效果，即先计算当前帧与前一帧的差得到前向帧差，然后计算下一帧与当前帧的差得到后向帧差，求得前向帧差与后向帧差的交集，得到运动目标的粗糙运动区域；对图像像素点进行光流计算，对图像的特征点进行选取，进行运动矢量的估计，作
为运动补偿的路径，包括：基于各像素点及各像素点的灰度值，计算得到各像素点的特征点，对所有特征点进行光流计算，得到各特征点的幅值；筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点；所述的运动矢量估计方法包括，利用ORB算法对所述多个光流特征点进行描述，特征点描述后利用近似最近邻FLANN算法对特征点进行匹配，再利用基于统计方法的随机抽样一致性算法剔除匹配过程中产生的误匹配点对，最后利用获得的匹配点对带入参考帧与当前帧图像仿射变换模型中，得到一组超定方程，利用最小二乘法拟合得到图像序列间的全局运动矢量；根据所述运动矢量对图像进行反向补偿，得到平稳的拍摄图像，包括：利用所述全局运动矢量参数和视频序列中的当前帧图像和参考帧图像之间的仿射变换模型对视频序列运动矢量进行补偿，得到稳定的视频序列。
[0007]进一步地，所述根据陀螺仪传感器数据判定摄像头运动情况，包括；采集陀螺仪传感器的六轴数据；对所述六轴数据进行数据滤波和零点校正；对所述六轴数据进行温度补偿，补偿后的数据进行数据融合；计算XYZ三个轴向的欧拉角，以表示摄像头的运动方向；对三个轴线的欧拉角进行方差计算，以表示摄像头的实际振动振幅；将方差阈值控制设置为迟滞回环的模式，方差大于高阈值时，开启电子增稳，方差小于低阈值时，关闭电子增稳。
[0008]进一步地，所述基于获取到的陀螺仪传感器数据对采集到的图像进行电子增稳处理，平滑帧间抖动，得到平稳的拍摄图像，包括：1)抖动估计，基于获取到的陀螺仪传感器数据估计出当前帧与前一帧间的运动参数，得到全局运动参数；2)抖动滤波，对全局运动参数进行滤波，得出有意运动矢量和无意随机运动矢量；3)抖动补偿，利用滤波得到的补偿参数对视频图像序列进行逐帧补偿。
[0009]进一步地，所述使用所有摄像头的拍摄图像进行全景拼接，得到所述塔机的全景图像，包括：将所有摄像头的拍摄图像进行图像畸变矫正和缩放处理得到全部待融合图像；计算所有摄像头的全部待融合图像在融合区内的最优缝合中心线，融合区包括第一融合区和第二融合区，第一融合区由位于各待融合图像的底部且相互重叠的区域构成，第二融合区由相邻两幅待融合图像其边缘相互重叠的区域构成；基于最优缝合中心线计算第一融合区与第二融合区的权重表；根据第一融合区和第二融合区的权重表对所有待融合图像进行融合和图像拉伸。
[0010]进一步地，在第一次拼接时计算拼接位置，在后续拼接中直接计算重合部分的相似度，如果高于预设阈值则按照前一次拼接的位置拼接，如果低于预设阈值则计算补偿值或重新按第一次的方法拼接。
[0011]进一步地，在所述使用所有摄像头的拍摄图像进行全景拼接，得到所述塔机的全景图像之后，进一步包括：给定一个显示框，将每一帧图像都根据匹配位置覆盖到之前拼接好的图像中，然后根据标定物的位置裁剪拼接图像。
[0012]进一步地，所述绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上
的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置，包括：根据所述塔机的全景图像绘制所述塔机作业现场地图，并标记所有摄像头在所述地图上的位置；根据所述塔机作业现场地图呈现地图显示界面，所述地图显示界面上显示所述塔机作业现场地图及所有的摄像头位置。
[0013]进一步地，所述接收点击所述地图显示界面上的目标摄像头的图像调取请求信息，显示相应的目标摄像头的图像，包括：接收点击所述地图显示界面上的目标摄像头的图像调取请求信息，显示选择菜单，所述选择菜单能够选择或输入时刻信息；根据用户选择或输入的时刻信息，显示距离所述选择或输入的时刻信息最近的时刻所述目标摄像头的图像。
[0014]本申请还提供了一种基于电子增稳的塔机云台全景图像防抖动系统，包括：云台拍摄模块，用于在塔机的多个位置上分别安装至少一个摄像头，使得所有摄像头的视野之和覆盖所述塔机的所有周围区域，每个摄像头安装在云台上，包括陀螺仪传感器；电子增稳模块，用于当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，基于获取到的陀螺仪传感器数据对采集到的图像进行电子增稳处理，平滑帧间抖动，得到平稳的拍摄图像；全景拼接模块，用于在所有摄像头均已拍摄完毕和完成电子增稳处理后，使用所有摄像头的拍摄图像进行全景拼接；地图绘制模块，用于绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；全景显示模块，用于接收点击所述地图显示界面上的目标摄像头的全景图像调取请求信息，显示相应的目标摄像头的全景图像。
[0015]总的来说，本申请的优势及给用户带来的体验在于：1、本申请通过现场全景图像采集方式使得远在施工现场之外的监控人员能够分区域调取塔吊作业现场的全景图像，并本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于电子增稳的塔机云台全景图像防抖动方法，其特征在于，包括：在塔机的多个位置上分别安装至少一个摄像头，使得所有摄像头的视野之和覆盖所述塔机的所有周围区域，每个摄像头安装在云台上，包括陀螺仪传感器；当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，基于获取到的陀螺仪传感器数据对采集到的图像进行电子增稳处理，平滑帧间抖动，得到平稳的拍摄图像；在所有摄像头均已拍摄完毕和完成电子增稳处理后，使用所有摄像头的拍摄图像进行全景拼接，得到所述塔机的全景图像；绘制所述塔机的作业现场地图，并标记所有摄像头在所述地图上的位置，呈现地图显示界面，所述地图显示界面上显示所有的摄像头位置；接收点击所述地图显示界面上的目标摄像头的图像调取请求信息，显示相应的目标摄像头的图像。2.根据权利要求1所述的方法，其特征在于，所述基于获取到的陀螺仪传感器数据对采集到的图像进行电子增稳处理，平滑帧间抖动，得到平稳的拍摄图像，包括：根据陀螺仪传感器数据判定摄像头运动情况；对摄像头采集到的图像数据进行滤波和降噪；通过帧差法判断图像的运动效果，即先计算当前帧与前一帧的差得到前向帧差，然后计算下一帧与当前帧的差得到后向帧差，求得前向帧差与后向帧差的交集，得到运动目标的粗糙运动区域；对图像像素点进行光流计算，对图像的特征点进行选取，进行运动矢量的估计，作为运动补偿的路径，包括：基于各像素点及各像素点的灰度值，计算得到各像素点的特征点，对所有特征点进行光流计算，得到各特征点的幅值；筛选出幅值处于预设幅值范围内的特征点，得到多个光流特征点；所述运动矢量的估计的过程包括，利用ORB算法对所述多个光流特征点进行描述，特征点描述后利用近似最近邻FLANN算法对特征点进行匹配，再利用基于统计方法的随机抽样一致性算法剔除匹配过程中产生的误匹配点对，最后利用获得的匹配点对带入参考帧与当前帧图像仿射变换模型中，得到一组超定方程，利用最小二乘法拟合得到图像序列间的全局运动矢量；根据所述全局运动矢量对图像进行反向补偿，得到平稳的拍摄图像，包括：利用所述全局运动矢量和视频序列中的当前帧图像和参考帧图像之间的仿射变换模型对视频序列运动矢量进行补偿，得到稳定的视频序列。3.根据权利要求2所述的方法，其特征在于，所述根据陀螺仪传感器数据判定摄像头运动情况，包括；采集陀螺仪传感器的六轴数据；对所述六轴数据进行数据滤波和零点校正；对所述六轴数据进行温度补偿，补偿后的数据进行数据融合；计算XYZ三个轴向的欧拉角，以表示摄像头的运动方向；对三个轴线的欧拉角进行方差计算，以表示摄像头的实际振动振幅；将方差阈值控制设置为迟滞回环的模式，方差大于高阈值时，开启电子增稳，方差小于低阈值时，关闭电子增稳。
4.根据权利要求1所述的方法，其特征在于，所述基于获取到的陀螺仪传感器数据对采集到的图像进行电子增稳处理，平滑帧间抖动，得到平稳的拍摄图像，包括：1)抖动估计，基于获取到的陀螺仪传感器数据估计出当前帧与前一帧间的运动参数，得到全局运动参数；2)抖动滤波，对全局运动参数进行滤波，得出有意运动矢量...

【专利技术属性】
技术研发人员：赵晓东，赵焕，张朝威，牛梅梅，杜赛楠，
申请(专利权)人：浙江省北大信息技术高等研究院，
类型：发明
国别省市：