一种基于视觉雷达的起重机定位方法技术

本发明专利技术提出一种基于可见光、红外图像数据相结合的起重机目标定位识别系统与方法，利用可见光图像特征与短时间内红外图像的变化特征联合识别视觉目标并定位，相比采用卷积神经网络的识别学习模型，极大的减少了学习（训练）所需的时间，能够在起重机工作环境下实时识别周围环境中的操作目标（物体），对物体进行定位。位。位。

【技术实现步骤摘要】
一种基于视觉雷达的起重机定位方法


[0001]本
技术实现思路
属于起重机自动定位领域，特别涉及利用视觉进行位置检测的领域。

技术介绍

[0002]我国工业的建设经历了机械化、自动化、数字化这几个发展阶段，工厂的生产工艺和管理效率都有了突飞猛进的发展，为我国的工业事业和城市发展做出了巨大贡献。近年来，随着智慧城市、智慧工业、数字中国等项目建设的不断推进，社会发展对工厂的管理者提出了更高的要求。目前来说，整个工业总体上仍然是一个劳动密集型的传统产业，产业现代化水平不高，存在建设周期较长、资源能源消耗较高及生产效率、科技含量偏低等问题。在工业4.0的大浪潮下，如何进一步提升工业化和自动化水平，让工厂的运行更加智慧，以做到更加安全、高效、节能成为新的发展研究方向。
[0003]通过建设基于数字孪生技术的智能起重机操作教育平台，基于数字信息、自控、设备、通讯传输、AI智能分析模型完善起重机操作教研措施，从而全面提升机械设计制造及其自动化等相关专业的实验教学水平。
[0004]通过建立起重机操作虚拟化、抽象化的数字孪生模型，将现实目标物体、环境重现于虚拟环境中，需要对现实世界中的目标物体进行定位。通过视觉雷达实现快速稳定的获取空间三维数据，快速进行分析处理，比如体积计算，物料定位，物体识别等；具有通用性广、安装灵活、适应能力强的优势。处理结果可以存入数据库，生成报表以及网页端展示。以此适应数据信息采集、自动化、数字化的各类需求。
[0005]通过图像、视频等光学信号处理方法实现目标探测识别的视觉雷达技术是一种现代工业界广泛使用的技术。相比于传统雷达具有不易受干扰、识别能力强的优点。早期的视觉雷达技术通常采用图像底层特征提取、匹配的方法实现目标定位，这类方法对图像中噪声较敏感，可靠性较低，在现实应用中通常需要激光等额外辅助装置。近年来，随着计算技术的发展，基于卷积神经网络的深度学习技术被应用于视觉目标识别和定位，取得了较好的效果。该类方法模拟人类神经元细胞，建立多层次的神经网络模型，并采用多层深度卷积核将图像底层特征抽象为一个个“卷积层”，再进一步建立卷积层的映射关系，以实现图像中与目标类别有关的特征识别。该类方法对图像噪声不敏感，可靠性较高，能够识别多种类别的图像样本。然而，当前普遍在图像识别中采用的大型深度神经网络模型通常包含数百层卷积层，因此也存在模型复杂度高，学习时间较长的缺点。

技术实现思路

[0006]为解决上述一个或多个技术问题，现提出如下技术方案：本专利技术提出一种基于可见光、红外图像数据相结合的起重机目标定位识别系统与方法，利用可见光图像特征与短时间内红外图像的变化特征联合识别视觉目标并定位，相比采用卷积神经网络的识别学习模型，极大的减少了学习（训练）所需的时间，能够在起重机工作环境下实时识别周围环境中的操作目标（物体），对物体进行定位。
[0007]一种基于视觉雷达的起重机定位方法，步骤1：预先获得工作环境的全景可见光图像；当起重机处于工作状态下，拍摄包含起重机的操作对象的可见光图像，并将之与前述工作环境的全景可见光图像相比较，定位到操作对象图像在全景图像下的相对位置后，从操作对象图像中减除全景图像中与其相对应的工作环境背景，得到参考图像；步骤2：根据步骤1获得参考图像，记为 ，时刻采集到红外图像，记为，时刻采集到红外图像，记为；步骤3：建立轻量级的神经网络模型第一层为局部特征提取层
[0008]上式中，等九个参数为线性金字塔卷积核，是卷积核的位置偏移；为截距参数， 为激励函数；第二层为红外帧差优化层，
[0009]其中，为帧差优化层的卷积核参数， 是卷积核的位置偏移，为截距参数；第三层为全连接层，进一步优化第二层输出、即红外图像与可见光图像的联合特征，实现对物体定位的优化；第三层后计算输出图像，即输出层；输出层每个元素表示操作对象位置标记。
[0010]还包括步骤4，根据操作目标在图像中的位置，确定目标与起重机之间相对位置。
[0011]获得目标设施在图像中的图像坐标，计算目标设施在现实环境中的坐标，即摄像机坐标系下坐标，从而为在虚拟环境中的对应位置建立该目标设施的模型提供依据。
[0012]计算目标设施图像坐标所对应的摄像机坐标还包括标定摄像机内部参数。
[0013]计算目标设施图像坐标所对应的摄像机坐标还包括测定现实度量单位和深度。
[0014]还包括对神经网络模型训练的过程。
[0015]训练过程是根据学习样本确定神经网络模型参数的过程。
[0016]所述神经网络模型参数包括卷积核参数、线性权重参数、截距参数。
[0017]训练过程为迭代的过程，初始将卷积核参数、权重参数置为1，截距参数置为0。
[0018]迭代过程由输出层向前依次反推计算各项参数。
[0019]本专利技术的专利技术点及技术效果：1、本专利技术提出一种根据可见光图像、连续两帧红外图像获得操作对象位置标记的方法，采用可见光摄像机拍摄到操作对象图像，与预先标记的可见光工作环境图像相比较，并标记出当前可见光图像中的操作对象；利用红外摄像机拍摄到相邻帧红外图像。将可见光图像和两个相邻帧的红外图像共同作为输入进行定位判断，定位信息更佳准确。
[0020]2、建立并优化了神经网络模型（模型结构、激励函数、代价函数等），利用可见光图像特征与短时间内红外图像的变化特征联合识别操作目标并定位，相比采用卷积神经网络的识别学习模型，极大的减少了学习时间与定位时延，能够在起重机工作环境下实时识别周围环境中的操作目标（物体），对物体进行定位。
附图说明
[0021]图1是本专利技术的主要流程图。
具体实施方式
[0022]本专利技术主要利用视觉方法对起重机工作环境下的操作对象（即物体）实施定位。本专利技术关键设备包括可见光摄像机和红外摄像机。其中，可见光摄像机拍摄可见光图像，并将拍摄到的图像与预先标记好的起重机工作环境可见光图像相比对，以区分前景（物体）和背景（厂房）。而红外摄像机拍摄红外图像。根据可见光图像中获得的物体大致位置，与相邻帧的红外图像，进一步建立模型对操作对象进行定位。
[0023]步骤1描述了一种采用可见光摄像机拍摄到操作对象图像，与预先标记的可见光工作环境图像相比较，并标记出当前可见光图像中的操作对象（物体）。
[0024]可见光摄像机拍摄到操作对象图像，与预先标记的可见光工作环境图像相比较，是指预先获得工作环境的全景可见光图像；当起重机处于工作状态下，拍摄包含起重机的操作对象的可见光图像，并将之与前述工作环境的全景可见光图像相比较，定位到操作对象图像在全景图像下的相对位置后，从操作对象图像中减除全景图像中与其相对应的工作环境背景，可近似获得操作对象的位置。
[0025]首先，采用尺度不变特征变换算子（SIFT）或其它类似算法，在全景可见光图像、操作对象可见光图像中分别提取图像特征。
[0026]其次，对两幅图像中分别提取到的图像特征进行特征匹配，获得若干图像特征点对，及每对图像特征点在两幅图像中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉雷达的起重机定位方法，其特征在于：步骤1：预先获得工作环境的全景可见光图像；当起重机处于工作状态下，拍摄包含起重机的操作对象的可见光图像，并将之与前述工作环境的全景可见光图像相比较，定位到操作对象图像在全景图像下的相对位置后，从操作对象图像中减除全景图像中与其相对应的工作环境背景，得到参考图像；步骤2：根据步骤1获得参考图像，记为，时刻采集到红外图像，记为，时刻采集到红外图像，记为；步骤3：建立轻量级的神经网络模型第一层为局部特征提取层，上式中，为线性金字塔卷积核，是卷积核的位置偏移；为截距参数，为激励函数；第二层为红外帧差优化层，，其中，为帧差优化层的卷积核参数，是卷积核的位置偏移，为截距参数；
第三层为全连接层，进一步优化第二层输出、即红外图像与可见光图像的联合特征，实现对物体定位的优化；第三层后计算输出图像，即输出层；输出层每个元素表示操作对象位置标记。2.如权利要求1所述的方法，其特征在于：还包括步骤4，根据操作目标在图像中的位置，确定目标...

【专利技术属性】
技术研发人员：郭晋飞，周宁，杨松，贾蒙，陈厚锦，吕艳雪，李芳琪，史林睿，
申请(专利权)人：新乡学院，
类型：发明
国别省市：