一种基于下视角相机的塔吊吊物检测分割方法及系统技术方案

本发明专利技术提供一种基于下视角相机的塔吊吊物检测分割方法及系统，方法包括：采集下视角相机的视频拍摄数据，选取两帧待分析图像；对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果；判断二维放射变换结果，若结果匹配成功，进入下一步骤，若结果匹配失败，则重复选取图像并分析；根据相对运动估计对两帧待分析图像进行运动改正，对准两帧待分析图像，对两帧待分析图像进行像素级差分计算，根据高程差，对像素级差分计算结果进行置信度加权，得到加权差分图像；最终分割得出吊物检测结果。本发明专利技术具有部署难度小，成本低，计算简单，满足冷启动的特点。冷启动的特点。冷启动的特点。

【技术实现步骤摘要】
一种基于下视角相机的塔吊吊物检测分割方法及系统


[0001]本专利技术属于塔吊检测
，尤其涉及一种基于下视角相机的塔吊吊物检测分割方法及系统。

技术介绍

[0002]塔吊的吊物的检测与定位是塔吊视频环境感知尤其是智能无人驾驶塔吊的关键功能之一。主动安全、施工进度分析等诸多下游任务都依赖于吊物的稳定检测和精确定位。
[0003]现有的吊物定位方法有几大类。第一种方法是依赖物理传感器，在吊钩上面安装实体传感器，还需给传感器供电，而吊钩上面并不适合安装额外的供电设备。此外，实体传感器易受电磁波多路径效应的干扰，部分还需要基站的配合，对于塔吊应用的复杂施工现场环境，在易部署性、刚干扰性等方面都面临挑战。由于现场基站或远程基站的加入，使得此类方法的成本比普通相机要高出很多。最为致命的是这种方法只能定位吊钩，不能精确的分割吊物，无法提供吊物的精确信息。
[0004]第二种方法是利用激光雷达对吊钩进行扫描监测，受限于现有激光雷达的弱反射率物体成像能力、激光发射器功率、扫描频率等，此类方法并不稳定。并且一般使用多线激光雷达(96线以上)，此类设备的成本远高于相机。
[0005]第三种方法是采用相机进行检测，但在技术路线上有多种：1)主动配合式，需要在吊钩上面布设和粘贴人工标志，比如AiprilTal等。然后对标志物进行检测以完成吊钩定位。此类方法需要对标志物进行频繁维护，实际应用中受限较大。并且标志物只能覆盖吊钩，无法覆盖吊物；2)深度学习方法，通过收集训练样板训练吊钩吊物检测和实例语义分割神经网络，进而完成吊钩吊物定位和分割。此类方法收集和标注样本的代价极高，在样本收集标注之前，方法是无法“冷启动”工作的。并且计算量较大，对计算分析设备提出的要求也更高；3)双目立体相机，采用标定好的双目相机，通过立体视觉方式构建视场内的场景3D特征点，并基于深度分析定位吊钩和吊物并分割。此类方法需要严格标定的两台相机，对基线长度、相机标定精度等都有较高要求，部署难度大，一旦发生相机姿态变化，就无法正常工作。此外立体视觉特征点提取的计算量较大，支持实时计算的对计算设备的要求更高。相机和计算设备的成本要求都较高。
[0006]因此，在以视频为主要感知手段的塔吊环境感知系统中，如何利用安装于大臂小车下方的单台下视角相机，通过一种低成本的部署方式，对吊钩进行监测，在“冷启动”状态下依然可以准确检测分割出塔吊吊物，是本领域塔吊作业主动安全分析中的核心需求。
[0007]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0008]本专利技术的目的在于克服上述现有技术存在的不足，提供一种基于下视角相机的塔吊吊物检测分割方法及系统，主要用于解决现有技术中对塔吊吊物进行检测时，部署难度
大、成本高，检测计算复杂，无法“冷启动”等问题。
[0009]为了实现上述目的，第一方面，本专利技术提供一种基于下视角相机的塔吊吊物检测分割方法，所述下视角相机安装于大臂塔吊小车下方，包括以下步骤：
[0010]S10、采集下视角相机的视频拍摄数据，选取两帧待分析图像；
[0011]S20、对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果；
[0012]S30、判断二维放射变换结果，若结果匹配成功，进入步骤S40，若结果匹配失败，则进入步骤S10；
[0013]S40、根据相对运动估计对两帧待分析图像进行运动改正，对准两帧待分析图像，对两帧待分析图像进行像素级差分计算，根据高程差，对像素级差分计算结果进行置信度加权，得到加权差分图像；
[0014]S50、根据所述加权差分图像，分割得出吊物检测结果。
[0015]在一些实施例中，在对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果中，包括以下步骤：
[0016]采用2倍下采样模式，利用双线性内插方法构建三级金字塔，分别为顶层金字塔图像、中层金字塔图像和底层金字塔图像；
[0017]在所述顶层金字塔图像进行整体模板匹配，得到放射变换初值，所述整体模板匹配的搜索空间包括二维旋转和平移；
[0018]在所述中层金字塔图像进行特征匹配，在所述放射变换初值的约束下进行特征点匹配，搜索得到同名点；
[0019]根据中层金字塔图像的特征匹配结果，在所述底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果。
[0020]在一些实施例中，所述顶层金字塔图像的分辨率是所述底层金字塔图像的0.1倍，所述中层金字塔图像的分辨率是所述底层金字塔图像的0.3倍。
[0021]在一些实施例中，在中层金字塔图像进行特征匹配，在所述放射变换初值的约束下进行特征点匹配，搜索得到同名点中，包括以下步骤：
[0022]利用SIFT方法提取特征点，利用放射变换初值进行有约束的匹配，利用RANSAC剔除粗差，设定场景为二维平面，在重投影点的区域内搜索得到同名点。
[0023]在一些实施例中，在根据中层金字塔图像的特征匹配结果，在所述底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果中，包括以下步骤：
[0024]利用FAST或ORB方法提取特征点，利用中层金字塔图像的特征匹配结果进行有约束的精细特征匹配，利用RANSAC剔除粗差，最终得到图像间的二维放射变换结果。
[0025]在一些实施例中，在采集下视角相机的视频拍摄数据，选取两帧待分析图像中，包括以下步骤：
[0026]在所述视频拍摄数据的时间连续的图像序列中选取前后时刻相邻的两帧图像作为待分析图像；或
[0027]在所述视频拍摄数据的时间连续的图像序列中选取待分析时刻的图像，以及在吊钩未吊起吊物时的图像。
[0028]在一些实施例中，在步骤S40中，包括以下步骤：
[0029]根据相对运动估计对两帧待分析图像进行运动改正，并对准两帧待分析图像；
[0030]计算两帧待分析图像的对应像素间的颜色差异，进行像素级差分计算，取R、G、B三个通道中灰度差的绝对值最大的值作为像素差异值d；
[0031]对其中一张待分析图像中的每个像素取一个处理窗口Tp，并在另一张待分析图像中以二维放射变换计算后的同名点作为中心点，取一个面积更大的处理窗口Tr；
[0032]利用归一化相关系数，计算处理窗口Tp在处理窗口Tr中的最佳匹配位置，并将最佳位置处的归一化相关系数p作为像素差异值d的置信度加权，得到加权差分图像。
[0033]在一些实施例中，在根据所述加权差分图像，分割得出吊物检测结果中，包括以下步骤：
[0034]判断图像中的联通体数量和/或面积，如联通体数量小于第一阈值，和/或联通体面积大于第二阈值，则判断检测成功，分割得出吊物检测结果；
[0035]如联通体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于下视角相机的塔吊吊物检测分割方法，所述下视角相机安装于大臂塔吊小车下方，其特征在于，包括以下步骤：S10、采集下视角相机的视频拍摄数据，选取两帧待分析图像；S20、对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果；S30、判断二维放射变换结果，若结果匹配成功，进入步骤S40，若结果匹配失败，则进入步骤S10；S40、根据相对运动估计对两帧待分析图像进行运动改正，对准两帧待分析图像，对两帧待分析图像进行像素级差分计算，根据高程差，对像素级差分计算结果进行置信度加权，得到加权差分图像；S50、根据所述加权差分图像，分割得出吊物检测结果。2.如权利要求1所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，在对每一帧待分析图像构建多分辨率金字塔图像，对场景作二维平面化处理，对两帧多分辨率金字塔图像进行相对运动分析，得到图像间的二维放射变换结果中，包括以下步骤：采用2倍下采样模式，利用双线性内插方法构建三级金字塔，分别为顶层金字塔图像、中层金字塔图像和底层金字塔图像；在所述顶层金字塔图像进行整体模板匹配，得到放射变换初值，所述整体模板匹配的搜索空间包括二维旋转和平移；在所述中层金字塔图像进行特征匹配，在所述放射变换初值的约束下进行特征点匹配，搜索得到同名点；根据中层金字塔图像的特征匹配结果，在所述底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果。3.如权利要求2所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，所述顶层金字塔图像的分辨率是所述底层金字塔图像的0.1倍，所述中层金字塔图像的分辨率是所述底层金字塔图像的0.3倍。4.如权利要求2所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，在中层金字塔图像进行特征匹配，在所述放射变换初值的约束下进行特征点匹配，搜索得到同名点中，包括以下步骤：利用SIFT方法提取特征点，利用放射变换初值进行有约束的匹配，利用RANSAC剔除粗差，设定场景为二维平面，在重投影点的区域内搜索得到同名点。5.如权利要求2所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，在根据中层金字塔图像的特征匹配结果，在所述底层金字塔图像中进行精细特征匹配，最终得到图像间的二维放射变换结果中，包括以下步骤：利用FAST或ORB方法提取特征点，利用中层金字塔图像的特征匹配结果进行有约束的精细特征匹配，利用RANSAC剔除粗差，最终得到图像间的二维放射变换结果。6.如权利要求1所述的一种基于下视角相机的塔吊吊物检测分割方法，其特征在于，在采集下视角相机的视频拍摄数据，选取两帧待分析图像中，包括以下步骤：在所述视频拍摄数据的时间连...

【专利技术属性】
技术研发人员：葛晓东，米文忠，姜贺，安民洙，
申请(专利权)人：广东光速智能设备有限公司，
类型：发明
国别省市：