本申请涉及一种面向机械手抓取的物体纹理识别方法、装置、计算机设备和存储介质。所述方法包括：通过LBP算法对机械手采集的物体的视频图像进行处理，得到LBP图像，进一步通过MDS算法得到LBP编码映射图像，将原始图像和LBP编码映射图像输入纹理识别网络中，在特征提取、残差池化操作后进行特征向量融合，由全连接层进行物体纹理的识别分类；通过训练集对纹理识别网络进行训练后得到训练好的纹理识别网络，用于机械手获取的视频的物体纹理识别。本发明专利技术通过LBP算法以及MDS算法得到LBP编码映射图像，使用原始视频图像和LBP编码映射图像输入双流网络，基于深度学习算法，给出纹理识别结果，提高了纹理识别的准确度。提高了纹理识别的准确度。提高了纹理识别的准确度。
【技术实现步骤摘要】
一种面向机械手抓取的物体纹理识别方法、装置和设备
[0001]本申请涉及计算机
，特别是涉及一种面向机械手抓取的物体纹理识别方法、装置、计算机设备和存储介质。
技术介绍
[0002]随着人工智能的飞速发展以及深入应用，生活生产过程也向着自动化、智能化的方向不断地发展。在生产生活中，重复性最强、最繁重的任务就是产品以及原材料的搬运问题，所以研究机器人代替人类实现抓取任务是十分必要的。对于人类看似简单的抓取任务，对于机器人来说十分困难。要求机器人同时具备视觉、触觉等多个传感器数据融合的能力，还要对被抓取物体进行目标检测与识别，对被抓取物体进行归类，还要生成抓取姿态；最后，还要求机器人规划出无碰撞的运动轨迹。机器手在进行抓取操作之前，要求首先对环境中的物体进行检测与识别，然后才能执行后续的精准动作。主要的难点在于快速检测与可靠识别出多种物体，特别是在智能制造领域，多达成百上千种相似物体，实现准确检测与鲁棒识别，是一个机器视觉难题。
技术实现思路
[0003]基于此，有必要针对上述技术问题，提供一种能够根据机械手获取的视频图像实时判断物体纹理类别的面向机械手抓取的物体纹理识别方法、装置、计算机设备和存储介质。
[0004]一种面向机械手抓取的物体纹理识别方法，所述方法包括：
[0005]获取机械手摄像头采集的物体的视频图像，对所述视频图像进行预处理后得到多物体图像数据集，由所述多物体图像数据集构成训练数据集；
[0006]通过LBP算法对所述训练数据集中的原始图像进行处理，得到LBP图像；
[0007]通过MDS多维映射算法根据所述LBP图像得到LBP编码映射图像；
[0008]将所述原始图像和所述LBP编码映射图像输入纹理识别网络中；所述纹理识别网络包括特征提取网络、深度残差层和全连接分类层；
[0009]通过所述特征提取网络分别对所述原始图像和所述LBP编码映射图像进行特征提取，得到对应的原始图像特征和LBP编码映射图像特征；
[0010]通过所述深度残差层分别对所述原始图像特征和所述LBP编码映射图像特征进行池化，得到对应的原始图像特征向量和LBP编码映射图像特征向量；
[0011]通过所述全连接分类层对所述原始图像特征向量和所述LBP编码映射图像特征向量进行融合分类，输出所述原始图像的物体纹理识别结果；
[0012]根据预设的损失函数对所述纹理识别网络进行训练，得到训练好的纹理识别网络；
[0013]通过所述训练好的纹理识别网络对待检测的机械手采集视频图像进行物体纹理识别。
[0014]在其中一个实施例中，还包括：获取机械手摄像头采集的物体的视频图像；
[0015]对所述视频图像进行抽帧预处理，得到帧图像；
[0016]将所述帧图像进行灰度化处理，得到多物体图像数据集；
[0017]在其中一个实施例中，还包括：由所述多物体图像数据集构成训练数据集。通过MDS算法根据所述LBP图像得到LBP编码映射图像；其中，由陆地移动距离描述两个LBP图像之间的差异。
[0018]在其中一个实施例中，还包括：通过所述特征提取网络分别对所述原始图像和所述LBP编码映射图像进行特征提取，得到对应的原始图像特征和LBP编码映射图像特征；所述特征提取网络为通用特征提取网络。
[0019]在其中一个实施例中，还包括：通过所述深度残差层分别对所述原始图像特征和所述LBP编码映射图像特征进行池化，得到对应的原始图像特征向量和LBP编码映射图像特征向量；所述深度残差层包括残差编码模块和聚合模块；所述残差编码模块用于将输入的特征图通过sigmoid函数激活后，与原始输入的特征图做残差计算，并将残差计算结果输入所述聚合模块；所述聚合模块用于对残差进行池化。
[0020]在其中一个实施例中，还包括：对所述原始图像特征向量和所述LBP编码映射图像特征向量进行融合为：
[0021]Y＝Y0+a1Y1[0022]其中，Y为融合结果，Y0为所述原始图像特征向量，Y1为所述LBP编码映射图像特征向量，a1表示所述原始图像特征向量和所述LBP编码映射图像特征向量之间的权重关系；
[0023]通过所述全连接分类层根据所述融合结果进行分类，输出所述原始图像的物体纹理识别结果。
[0024]在其中一个实施例中，还包括：通过交叉熵损失约束网络，通过反向传播更新网络参数，对所述纹理识别网络进行训练，得到训练好的纹理识别网络。
[0025]在其中一个实施例中，还包括：对待检测的机械手采集视频图像进行预处理后得到图像数据集；
[0026]通过LBP算法对所述图像数据集中的原始图像进行处理，得到LBP图像；
[0027]通过MDS多维映射算法根据所述LBP图像得到LBP编码映射图像；
[0028]将所述原始图像和所述LBP编码映射图像输入所述训练好的纹理识别网络中，输出物体纹理识别结果。
[0029]一种面向机械手抓取的物体纹理识别装置，所述装置包括：
[0030]训练数据集获取模块，用于获取机械手摄像头采集的物体的视频图像，对所述视频图像进行预处理后得到多物体图像数据集，由所述多物体图像数据集构成训练数据集；
[0031]LBP算法模块，用于通过LBP算法对所述训练数据集中的原始图像进行处理，得到LBP图像；
[0032]MDS算法模块，用于通过MDS多维映射算法根据所述LBP图像得到LBP编码映射图像；
[0033]网络处理模块，用于将所述原始图像和所述LBP编码映射图像输入纹理识别网络中；所述纹理识别网络包括特征提取网络、深度残差层和全连接分类层；通过所述特征提取网络分别对所述原始图像和所述LBP编码映射图像进行特征提取，得到对应的原始图像特
征和LBP编码映射图像特征；通过所述深度残差层分别对所述原始图像特征和所述LBP编码映射图像特征进行池化，得到对应的原始图像特征向量和LBP编码映射图像特征向量；通过所述全连接分类层对所述原始图像特征向量和所述LBP编码映射图像特征向量进行融合分类，输出所述原始图像的物体纹理识别结果；
[0034]网络训练模块，用于根据预设的损失函数对所述纹理识别网络进行训练，得到训练好的纹理识别网络；
[0035]网络应用模块，用于通过所述训练好的纹理识别网络对待检测的机械手采集视频图像进行物体纹理识别。
[0036]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0037]获取机械手摄像头采集的物体的视频图像，对所述视频图像进行预处理后得到多物体图像数据集，由所述多物体图像数据集构成训练数据集；
[0038]通过LBP算法对所述训练数据集中的原始图像进行处理，得到LBP图像；
[0039]通过MDS多维映射算法根据所述LBP图像得到LBP编码映射图像；
[0040]将所述原始图像和所述LBP编码映射图像输本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种面向机械手抓取的物体纹理识别方法，其特征在于，所述方法包括：获取机械手摄像头采集的物体的视频图像，对所述视频图像进行预处理后得到多物体图像数据集，由所述多物体图像数据集构成训练数据集；通过LBP算法对所述训练数据集中的原始图像进行处理，得到LBP图像；通过MDS算法根据所述LBP图像得到LBP编码映射图像；将所述原始图像和所述LBP编码映射图像输入纹理识别网络中；所述纹理识别网络包括特征提取网络、深度残差层和全连接分类层；通过所述特征提取网络分别对所述原始图像和所述LBP编码映射图像进行特征提取，得到对应的原始图像特征和LBP编码映射图像特征；通过所述深度残差层分别对所述原始图像特征和所述LBP编码映射图像特征进行池化，得到对应的原始图像特征向量和LBP编码映射图像特征向量；通过所述全连接分类层对所述原始图像特征向量和所述LBP编码映射图像特征向量进行融合分类，输出所述原始图像的物体纹理识别结果；根据预设的损失函数对所述纹理识别网络进行训练，得到训练好的纹理识别网络；通过所述训练好的纹理识别网络对待检测的机械手采集视频图像进行物体纹理识别。2.根据权利要求1所述的方法，其特征在于，获取机械手摄像头采集的物体的视频图像，对所述视频图像进行预处理后得到多物体图像数据集，由所述多物体图像数据集构成训练数据集，包括：获取机械手摄像头采集的物体的视频图像；对所述视频图像进行抽帧预处理，得到帧图像；将所述帧图像进行灰度化处理，得到多物体图像数据集；由所述多物体图像数据集构成训练数据集。3.根据权利要求2所述的方法，其特征在于，通过MDS算法根据所述LBP图像得到LBP编码映射图像，包括：通过MDS算法根据所述LBP图像得到LBP编码映射图像；其中，由陆地移动距离描述两个LBP图像之间的差异。4.根据权利要求3所述的方法，其特征在于，通过所述特征提取网络分别对所述原始图像和所述LBP编码映射图像进行特征提取，得到对应的原始图像特征和LBP编码映射图像特征，包括：通过所述特征提取网络分别对所述原始图像和所述LBP编码映射图像进行特征提取，得到对应的原始图像特征和LBP编码映射图像特征；所述特征提取网络为通用特征提取网络。5.根据权利要求4所述的方法，其特征在于，通过所述深度残差层分别对所述原始图像特征和所述LBP编码映射图像特征进行池化，得到对应的原始图像特征向量和LBP编码映射图像特征向量，包括：通过所述深度残差层分别对所述原始图像特征和所述LBP编码映射图像特征进行池化，得到对应的原始图像特征向量和LBP编码映射图像特征向量；所述深度残差层包括残差编码模块和聚合模块；所述残差编码模块用于将输入的特征图通过sigmoid函数激活后，与原始输入的特征图做残差计算，并将残差计算结果输入所述聚合模块；所述聚合模块用于
对残差进行池化。6...
【专利技术属性】
技术研发人员：谢剑斌，郭锐，
申请(专利权)人：湖南中科助英智能科技研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。