基于图像特征分析的塔吊夹具物料匹配性识别方法和装置制造方法及图纸

本申请实施例提供一种基于图像特征分析的塔吊夹具物料匹配性识别方法和装置。该方法包括：分别以待使用塔吊夹具、待吊装物料为中心建立空间坐标系，采集夹具、待吊装物料的图像；分别提取待使用塔吊夹具、待吊装物料的图像的特征，输入分类神经网络，获得待使用塔吊夹具、待吊装物料的类型；当物料的重量小于夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含夹具的类型和物料的类型组成的匹配对，如果存在匹配对则确认夹具和物料匹配，如果不存在则确认夹具和物料不匹配。本申请利用能够实时的采集夹具和物料的图像，并通过神经网络智能分类得到夹具的承重上限和估计物料重量，进而智能的判断待使用塔吊夹具是否可以用于待吊装物料的吊装任务。以用于待吊装物料的吊装任务。以用于待吊装物料的吊装任务。

【技术实现步骤摘要】
基于图像特征分析的塔吊夹具物料匹配性识别方法和装置


[0001]本申请涉及智能塔吊
，尤其涉及一种基于图像特征分析的塔吊夹具物料匹配性识别方法和装置。

技术介绍

[0002]目前的塔吊，基本都是人员在塔吊上的中控室进行操控，或者通过操作人员在远程进行实时智能操控。塔吊行业来说，目前的发展方向是无人塔吊、智能塔吊，那么在产业升级的过程中会遇到很多的技术问题。
[0003]目前塔吊任务中，物料需要放在夹具上固定，然后塔吊上的挂钩挂取夹具然后进行吊装，然而目前吊装任务在吊装某种物料时，通常只能由人工现场根据经验判断使用哪一种夹具来固定物料，这种经验判断往往不准确，严重的情况下如果物料重量超出夹具承重上限，会导致严重的事故。

技术实现思路

[0004]有鉴于此，本申请的目的在于提出一种基于图像特征分析的塔吊夹具物料匹配性识别方法和装置，本申请利用能够基于图像特征分析，智能的识别塔吊夹具物料是否匹配性，实现了智能塔吊的夹具准确调度控制。
[0005]基于上述目的，本申请提出了一种基于图像特征分析的塔吊夹具物料匹配性识别方法，包括：
[0006]以待使用塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像；
[0007]以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像；
[0008]提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息；
[0009]提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量；
[0010]当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配。
[0011]优选地，所述以塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像，包括：
[0012]以塔吊夹具的质心为原点建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上距离所述夹具的质心相同距离处各设置一个摄像头；
[0013]三个摄像头分别朝向所述夹具拍摄所述夹具的图像，得到所述夹具三个方位的图像信息。
[0014]优选地，所述以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像，包括：
[0015]以待吊装物料的质心为原点建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上距离所述待吊装物料的质心相同距离处各设置一个摄像头；
[0016]三个摄像头分别朝向所述待吊装物料拍摄所述待吊装物料的图像，得到所述待吊装物料三个方位的图像信息。
[0017]优选地，所述提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息，包括：
[0018]将大批量已知夹具的外观形状、制作材料、尺寸、承重上限信息导入到卷积神经网络，得到各个夹具的类型；将已知夹具的外观形状、制作材料、尺寸、承重上限信息和夹具的类型构成的特征向量作为训练样本，构建训练样本集；
[0019]用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
[0020]提取所述夹具的图像的特征，得到所述夹具的外观形状、制作材料、尺寸；
[0021]将待分类夹具的外观形状、制作材料、尺寸输入训练好的AKC模型中，得到该待分类夹具的承重上限。
[0022]优选地，所述提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量，包括：
[0023]将大批量已知物料的外观形状、材料、尺寸、重量信息导入到卷积神经网络，得到各个物料的类型；将已知物料的外观形状、制作材料、尺寸、重量信息和物料的类型构成的特征向量作为训练样本，构建训练样本集；
[0024]用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；
[0025]提取所述物料的图像的特征，得到所述物料的外观形状、材料、尺寸；
[0026]将待分类物料的外观形状、材料、尺寸输入训练好的AKC模型中，得到该待分类物料的重量。
[0027]优选地，所述当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配，包括：
[0028]比较所述物料的重量和所述夹具的承重上限的大小关系，得到所述物料的重量小于所述夹具的承重上限；
[0029]在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，其中所述预设的夹具物料匹配库包括多个从已完成的大批量吊装任务中提取的夹具的类型和物料的类型组成的匹配对；
[0030]如果所述匹配库中存在所述待使用塔吊夹具的类型和待吊装物料的类型组成的匹配对，则确认所述待使用塔吊夹具和待吊装物料匹配，如果不存在则确认所述待使用塔吊夹具和待吊装物料不匹配。
[0031]优选地，当所述物料的重量大于所述夹具的承重上限时，更换所述夹具为新夹具，重复图像采集到查找匹配对的过程，直至在预设的夹具物料匹配库中查找到包含夹具的类
型和物料的类型组成的匹配对；或者，
[0032]如果确认所述夹具和物料不匹配，则更换所述夹具为新夹具，重复图像采集到查找匹配对的过程，直至在预设的夹具物料匹配库中查找到包含夹具的类型和物料的类型组成的匹配对。
[0033]基于上述目的，本申请还提出了一种基于图像特征分析的塔吊夹具物料匹配性识别装置，包括：
[0034]夹具图像采集模块，用于以待使用塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像；
[0035]物料图像采集模块，用于以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像；
[0036]夹具类型获取模块，用于提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息；
[0037]物料类型获取模块，用于提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量；
[0038]夹具物料匹配判本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像特征分析的塔吊夹具物料匹配性识别方法，其特征在于，包括：以待使用塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像；以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像；提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息；提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量；当所述物料的重量小于所述夹具的承重上限时，在预设的夹具物料匹配库中查找是否包含所述夹具的类型和物料的类型组成的匹配对，如果存在所述匹配对则确认所述夹具和物料匹配，如果不存在则确认所述夹具和物料不匹配。2.根据权利要求1所述的方法，其特征在于，所述以塔吊夹具为中心建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述夹具的图像，包括：以塔吊夹具的质心为原点建立第一空间坐标系，在所述第一空间坐标系的X、Y、Z轴上距离所述夹具的质心相同距离处各设置一个摄像头；三个摄像头分别朝向所述夹具拍摄所述夹具的图像，得到所述夹具三个方位的图像信息。3.根据权利要求2所述的方法，其特征在于，所述以待吊装物料为中心建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上各设置一个摄像头，采集所述物料的图像，包括：以待吊装物料的质心为原点建立第二空间坐标系，在所述第二空间坐标系的X、Y、Z轴上距离所述待吊装物料的质心相同距离处各设置一个摄像头；三个摄像头分别朝向所述待吊装物料拍摄所述待吊装物料的图像，得到所述待吊装物料三个方位的图像信息。4.根据权利要求3所述的方法，其特征在于，所述提取所述夹具的图像的特征，输入第一分类神经网络，获得所述夹具的类型，所述夹具的类型包括夹具的外观形状、制作材料、尺寸、承重上限信息，包括：将大批量已知夹具的外观形状、制作材料、尺寸、承重上限信息导入到卷积神经网络，得到各个夹具的类型；将已知夹具的外观形状、制作材料、尺寸、承重上限信息和夹具的类型构成的特征向量作为训练样本，构建训练样本集；用训练样本集训练由基于全连接神经网络的自动编码器模型和K－means模型构成的AKC模型；提取所述夹具的图像的特征，得到所述夹具的外观形状、制作材料、尺寸；将待分类夹具的外观形状、制作材料、尺寸输入训练好的AKC模型中，得到该待分类夹具的承重上限。5.根据权利要求4所述的方法，其特征在于，所述提取所述物料的图像的特征，输入第二分类神经网络，获得所述物料的类型，所述
物料的类型包括物料的外观形状、材料、尺寸，并估计所述物料的重量，包括：将大批量已知物料的外观形状、材料、尺寸、重量信息导入到卷积神经网络，得到各个物料的类型；将已知物料的外观形状、制作材料、尺寸、重量信息和物料的类型构成的特征向量作为训练样本，构建...

【专利技术属性】
技术研发人员：陈德木，蒋云，陆建江，陈曦，赵晓东，
申请(专利权)人：杭州大杰智能传动科技有限公司，
类型：发明
国别省市：