一种多塔机云台全景图像抖动协调抑制方法和系统技术方案

本申请实施例提供一种多塔机云台全景图像抖动协调抑制方法和系统。该方法包括：对于执行第一任务序列的第一塔机和第二塔机，以预定周期驱动所有摄像头在同一时刻进行拍摄，当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该至少一个摄像头进行光学增稳处理或电子增稳处理，获取所有摄像头的拍摄图像并完成全景图像拼接，记录完成上述检测、拍摄、光学增稳/电子增稳、全景拼接过程的第一/第二完成时长序列；将所述第一完成时长序列和第二完成时长序列中的各个拍摄时刻分别与在该拍摄时刻所执行的任务类型和拼接完成时长、增稳类型相关联，从而建立任务类型

【技术实现步骤摘要】
一种多塔机云台全景图像抖动协调抑制方法和系统


[0001]本申请涉及智能塔机
，尤其涉及一种多塔机云台全景图像抖动协调抑制方法和系统。

技术介绍

[0002]塔机由于其起升高度、起重量大和工作幅度大等特点，是目前建筑施工中使用较多的起重机械。
[0003]由于塔机结构庞大，并伴有高空作业，容易发生重大人身伤亡事故，一旦发生事故，就会给施工企业和个人带来巨大的经济损失。因此，塔机在安装环节及升节环节，需要在不同区域安装监控云台，以保证塔机的安全。
[0004]目前塔机的塔机云台，由于塔机的操作过程中出现的振动、移动，也会导致塔机云台产生抖动现象，从而使得监控图像出现一定的模糊，因此，需要一种能够抑制全景图像抖动的方法，尤其是对于多塔机的施工场景，用户事先并不知道电子增稳和光学增稳中哪种更适用于当前的施工任务，因为塔吊任务包括多种，每种任务的执行过程中所引起的塔机振动振幅、方向、时长都有其固有的物理特点。目前并没有研究在不同的施工环境下，对于不同任务类型选择最优增稳方式的技术方案。

技术实现思路

[0005]有鉴于此，本申请的目的在于提出一种多塔机云台全景图像抖动协调抑制方法和装置，本申请能够针对性的解决现有的塔机云台抖动导致的图像拼接延迟问题。
[0006]基于上述目的，本申请提出了一种多塔机云台全景图像抖动协调抑制方法，包括：在同一个施工现场区域内的多个塔机中，在每个塔机的不同位置上安装多个云台，每个云台包括摄像头以及陀螺仪传感器，使得单个塔机的所有摄像头的视野之和覆盖所述单个塔机的所有周围区域；对于执行第一任务序列的第一塔机，以预定周期驱动所有摄像头在同一时刻进行拍摄，当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该至少一个摄像头进行光学增稳处理，获取所有摄像头的拍摄图像并完成全景图像拼接，记录完成上述检测、拍摄、光学增稳、全景拼接过程的第一完成时长序列；对于执行第二任务序列的第二塔机，以预定周期驱动所有摄像头在同一时刻进行拍摄，当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，基于获取到的陀螺仪传感器数据对采集到的图像进行电子增稳处理，获取所有摄像头的拍摄图像并完成全景图像拼接，记录完成上述检测、拍摄、电子增稳、全景拼接过程的第二完成时长序列；将所述第一完成时长序列和第二完成时长序列中的各个拍摄时刻分别与在该拍摄时刻所执行的任务类型和拼接完成时长、增稳类型相关联，从而建立任务类型
‑
拼接完成时长
‑
增稳类型的对照模型；分析所述任务类型
‑
拼接完成时长
‑
增稳类型的对照模型，得到不同任务类型对应
的最优增稳类型；对于执行新任务序列的塔机，根据新的任务序列中每个任务的任务类型选择最优增稳类型，完成检测、拍摄、增稳、全景拼接过程，得到全景图像。
[0007]进一步地，在每个塔机完成一个新任务序列后，将完成该新任务序列过程中的任务类型
‑
拼接完成时长
‑
增稳类型数据加入所述任务类型
‑
拼接完成时长
‑
增稳类型的对照模型以进行更新；所述任务序列中的任务类型包括起升、变幅、回转、行走四种。
[0008]进一步地，所述任务序列中的每个任务的参数中进一步包括任务吊装材料的类型、重量，将任务吊装材料的类型、重量的数据也加入所述任务类型
‑
拼接完成时长
‑
增稳类型的对照模型中。
[0009]进一步地，所述对照模型使用卷积神经网络实现，使用塔机任务完成的历史数据训练所述对照模型。
[0010]进一步地，所述光学增稳处理包括：获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量，包括：所述支架包括驱动单元，该驱动单元包括至少一个电机并且对所述摄像头执行摇摄操作和俯仰操作中的至少一种操作；通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量并控制驱动单元进行摇摄操作和俯仰操作中的至少一个操作，对使用摄像头获得的图像执行图像模糊校正；其中，当图像模糊校正开始时，通过所述驱动单元的位置信息和过幅抖动的方向、速度和移动量来计算所述的补偿移动量，根据所述补偿移动量控制所述摄像头进行摇摄操作和/或俯仰操作。
[0011]进一步地，所述电子增稳处理包括：根据陀螺仪传感器数据判定摄像头运动情况；对摄像头采集到的图像数据进行滤波和降噪；通过帧差法判断图像的运动效果；对图像像素点进行光流计算，对图像的特征点进行选取，进行运动矢量的估计，作为运动补偿的路径；根据所述运动矢量对图像进行反向补偿，得到平稳的拍摄图像。
[0012]进一步地，所述根据陀螺仪传感器数据判定摄像头运动情况，包括；采集陀螺仪传感器的六轴数据；对所述六轴数据进行数据滤波和零点校正；对所述六轴数据进行温度补偿，补偿后的数据进行数据融合；计算XYZ三个轴向的欧拉角，以表示摄像头的运动方向；对三个轴线的欧拉角进行方差计算，以表示摄像头的实际振动振幅；将方差阈值控制设置为迟滞回环的模式，方差大于高阈值时，开启电子增稳，方差小于低阈值时，关闭电子增稳。
[0013]进一步地，所述全景图像拼接，包括：对于单个摄像头的相邻两个方向，均执行以下拼接操作：
接收由所述单个摄像头捕获的第一帧，第一帧包括像素值的第一空间排列；确定第一重叠区域，该第一重叠区域包括来自摄像头的第一方向对应视场的与第二方向对应视场重叠的第一部分的像素值；接收由该摄像头捕获的第二帧，第二帧包括像素值的第二空间排列；确定第二重叠区域，该第二重叠区域包括来自与摄像头的第一方向对应视场重叠的摄像头的第二方向对应视场的第二部分的像素值；基于包括第一帧和第二帧的一组帧生成全景帧，全景帧包括像素值的第三空间排列，其中像素值的第三空间排列包括：第一帧区域包括选自第一帧的像素值；第二帧区域包括选自第二帧的像素值；和混合帧区域包括从第一重叠区域和第二重叠区域导出的像素值。
[0014]进一步地，所述基于包括第一帧和第二帧的一组帧生成全景帧之后，进一步包括：接收混合帧区域中的缝合接缝的第一指示；在拼接接缝的第一侧接收混合帧区域中的第一混合限制的第二指示；在拼接接缝的第二侧接收混合帧区域中的第二混合限制的第三指示；在第一重叠区域的第一位置处确定第一重叠区域混合限制，该第一位置相当于混合帧区域中的第一混合限制的第二位置；识别第一重叠区域的第一非重复部分，其中第一重叠区域的非重复部分包括从第一帧的第一边缘到第一重叠区域混合限制的像素值的第一空间排列的像素位置；在第二重叠区域的第三位置处确定第二重叠区域混合限制，该第三位置相当于混合帧区域中的第二混合限制的第四位置；识别第二重叠区域的第二非重复部分，其中第二重叠区域的非重复部分包括从第二帧的第二边缘到第二重叠区域混合限制的像素值的第二空间排列的像素位置。
[0015]本申请还提供了一种多塔机云台全景图像抖动协调抑制系统，包括：云台模块，用于在同一个施工现场区域内的多个塔机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多塔机云台全景图像抖动协调抑制方法，其特征在于，包括：在同一个施工现场区域内的多个塔机中，在每个塔机的不同位置上安装多个云台，每个云台包括摄像头以及陀螺仪传感器，使得单个塔机的所有摄像头的视野之和覆盖所述单个塔机的所有周围区域；对于执行第一任务序列的第一塔机，以预定周期驱动所有摄像头在同一时刻进行拍摄，当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，对该至少一个摄像头进行光学增稳处理，获取所有摄像头的拍摄图像并完成全景图像拼接，记录完成上述检测、拍摄、光学增稳、全景拼接过程的第一完成时长序列；对于执行第二任务序列的第二塔机，以预定周期驱动所有摄像头在同一时刻进行拍摄，当至少一个摄像头的陀螺仪传感器检测到过幅抖动时，基于获取到的陀螺仪传感器数据对采集到的图像进行电子增稳处理，获取所有摄像头的拍摄图像并完成全景图像拼接，记录完成上述检测、拍摄、电子增稳、全景拼接过程的第二完成时长序列；将所述第一完成时长序列和第二完成时长序列中的各个拍摄时刻分别与在该拍摄时刻所执行的任务类型和拼接完成时长、增稳类型相关联，从而建立任务类型
‑
拼接完成时长
‑
增稳类型的对照模型；分析所述任务类型
‑
拼接完成时长
‑
增稳类型的对照模型，得到不同任务类型对应的最优增稳类型；对于执行新任务序列的塔机，根据新的任务序列中每个任务的任务类型选择最优增稳类型，完成检测、拍摄、增稳、全景拼接过程，得到全景图像。2.根据权利要求1所述的方法，其特征在于，在每个塔机完成一个新任务序列后，将完成该新任务序列过程中的任务类型
‑
拼接完成时长
‑
增稳类型数据加入所述任务类型
‑
拼接完成时长
‑
增稳类型的对照模型以进行更新；所述任务序列中的任务类型包括起升、变幅、回转、行走四种。3.根据权利要求1所述的方法，其特征在于，所述任务序列中的每个任务的参数中进一步包括任务吊装材料的类型、重量，将任务吊装材料的类型、重量的数据也加入所述任务类型
‑
拼接完成时长
‑
增稳类型的对照模型中。4.根据权利要求1所述的方法，其特征在于，所述对照模型使用卷积神经网络实现，使用塔机任务完成的历史数据训练所述对照模型。5.根据权利要求1所述的方法，其特征在于，所述光学增稳处理包括：获取过幅抖动的方向、速度和移动量，计算出抵消所述过幅抖动的补偿移动量，控制所述摄像头在其安装的支架上移动所述补偿移动量，包括：所述支架包括驱动单元，该驱动单元包括至少一个电机并且对所述摄像头执行摇摄操作和俯仰操作中的至少一种操作；通过从陀螺仪传感器获取过幅抖动的方向、速度和移动量并控制驱动单元进行摇摄操作和俯仰操作中的至少一个操作，对使用摄像头获得的图像执行图像模糊校正；
其中，当图像模糊校正开始时，通过所述驱动单元的位置信息和过幅抖动的方向、速度和移动量来计算所述的补偿移动量，根据所述补偿移动量控制所述摄像头进行摇摄操作和/或俯仰操作。6.根据权利要求1所述的方法，其特征在于，所述电子增稳处理包括：根据陀螺仪传感器数据判定摄像头运动情况；对摄像头采集到的图像数据进行滤波和降噪；通过帧差法判断图像的运动效果；对图像像素点进行光流计算，对图像的特征点进行选取，进行运动矢量的估计，作为运动补偿的路径；根据所述运动矢量对图像进行反向补偿，得到平稳的拍摄图像。7.根据权利要求6所述的方法，其特征在于，所述根据陀螺仪传感器数据判定摄像头运动情况，包括；采集陀螺仪传感器的六轴数据；对所述六轴数据进行数据滤波和零点校正；对所述六轴数据进行温度补偿，补偿...

【专利技术属性】
技术研发人员：赵晓东，赵焕，牛梅梅，黄开坤，张朝威，杜赛楠，
申请(专利权)人：浙江省北大信息技术高等研究院，
类型：发明
国别省市：