【技术实现步骤摘要】
本专利技术涉及机器人视觉识别，具体涉及基于深度学习的粮库清理机器人视觉识别平台及方法。
技术介绍
1、基于深度学习的粮库清理机器人视觉识别技术指的是利用深度学习算法，尤其是卷积神经网络(cnn)等深度学习模型，对粮库环境中的图像或视频数据进行分析和处理，从而识别和分类不同的物体、障碍物或环境特征。在粮库清理机器人的应用中，这种视觉识别技术可以帮助机器人识别粮堆中的杂物、漏掉的粮粒、损坏的设备或不规则的堆放方式等问题，进而进行精确的清理和维护操作。深度学习模型通过不断从大量的标注图像中学习，能够自动从环境中提取有用的特征，进行物体检测、分类和定位，从而在复杂的粮库环境中实现自动化、高效的清理工作。这种技术不仅提升了机器人在实际操作中的准确性和可靠性，还降低了人工干预的需求，提高了工作效率和安全性。
2、玻璃碎片难以被深度学习模型识别，主要原因在于其透明或半透明的特性导致在视觉上缺乏显著的纹理和颜色特征，与背景环境(如粮堆或地面)容易融为一体。此外，玻璃碎片的形态多样，可能呈现出不规则的形状和反光特性，这种高反射性在不同光照条件下会产生强烈的光斑或伪影，进一步干扰模型的特征提取和分类能力。这些特性使得模型在训练时难以捕捉玻璃碎片的稳定特征，从而降低了识别的准确性和鲁棒性，未能及时清理的玻璃碎片可能对粮食加工设备造成严重损害，甚至引发安全事故，如设备刃口磨损、传输带刺破或粮食品质污染，带来不可忽视的经济和安全风险。因此，如何在粮库环境高效地识别其内的玻璃碎片是目前亟需解决的问题。
3、在所述
技术介绍
部分公开的上
技术实现思路
1、本专利技术的目的是提供基于深度学习的粮库清理机器人视觉识别平台及方法，通过全面图像采集和特征提取，确保深度学习模型输入的准确性，利用预训练模型对玻璃碎片进行初步识别和隐患预测，针对隐患区域，采用自适应边缘锐化技术增强边缘特征，并进行二次识别，提高检测精度，最终，精确标记玻璃碎片区域并生成清理指令，有效减少漏检和误检，提高清理效率和准确性，降低设备损坏和食品安全风险，提升粮库运营的安全性与经济效益，以解决上述
技术介绍
中的问题。
2、为了实现上述目的，本专利技术提供如下技术方案：基于深度学习的粮库清理机器人视觉识别方法，包括以下步骤：
3、通过粮库清理机器人上的视觉系统对粮库环境中的不同区域进行全面图像采集；
4、将图像划分为若干个子区域，对于每个子区域，从采集到的图像中提取反映潜在玻璃碎片存在的关键特征，对提取的特征进行分析，确保深度学习模型能够接收到准确的输入；
5、将分析后的特征输入到预先训练好的深度学习模型中，通过深度学习模型对粮库中的玻璃碎片进行识别，预测粮库中的玻璃碎片隐患区域和玻璃碎片区域；
6、对初步识别出的玻璃碎片隐患区域进行标记，并描绘出标记区域的边缘，为进一步精细处理提供明确的目标范围；
7、针对标记的玻璃碎片隐患区域，根据深度学习模型的预测结果，对边缘锐化强度进行自适应调节，增强玻璃碎片的边缘特征；
8、将锐化后的边缘特征重新输入深度学习模型进行二次识别，进一步提高深度学习模型对玻璃碎片的检测精度；
9、将最终识别出的玻璃碎片区域及其边界信息输出，并生成清理机器人执行的清理指令。
10、优选的，对粮库环境中的不同区域进行全面图像采集的具体步骤如下：
11、根据粮库的布局和环境特征，明确需要采集图像的区域，并制定采集策略，包括图像分辨率、采集频率和光源配置；
12、在粮库复杂的光照条件下，通过多光源系统提供均匀且稳定的光线，避免因光照不足或光线反射影响图像质量；
13、通过在机器人上安装多角度、多类型摄像头，实现对粮库环境的全方位图像采集，确保不遗漏任何细节；
14、在粮库环境中，通过动态调整摄像头和光源的采集参数，确保持续采集到高质量的图像。
15、优选的，对于每个子区域，提取反映潜在玻璃碎片存在的关键特征，其中，提取的特征包括图像中物体周围因高反光而形成的光晕、图像中反射光谱特征以及普通粮食反射光谱特征，获取后，对图像中物体周围因高反光而形成的光晕进行分析后生成光晕效应参考值，通过光晕效应参考值量化图像中因玻璃碎片高反光而在物体周围形成的光晕区域的强度和范围，突出反光物体的显著性，对图像中反射光谱特征和普通粮食反射光谱特征之间存在的差异进行分析后生成反射频谱偏移参考值，通过反射频谱偏移参考值量化图像中的反射光谱特征相对于普通粮食反射反射光谱的偏移程度，识别出光谱特性异常的物体。
16、优选的，获取到对提取的反映潜在玻璃碎片存在的关键特征进行分析生成的光晕效应参考值和反射频谱偏移参考值后，将光晕效应参考值和反射频谱偏移参考值输入到预先训练好的深度学习模型中生成玻璃碎片特征指数，通过玻璃碎片特征指数对粮库中的玻璃碎片进行识别，预测粮库中的玻璃碎片隐患区域和玻璃碎片区域。
17、优选的，对图像中物体周围因高反光而形成的光晕进行分析后生成光晕效应参考值的具体步骤如下：
18、通过光强阈值分割法在图像中检测光晕区域，设图像像素矩阵为i(x，y)，用于表示图像中的每个像素位置，其中x，y为图像的坐标，对应位置的像素强度为p(x，y)，表示图像中每个像素的亮度，定义光强阈值，当p(x，y)>th时，该像素被标记为光晕区域的一部分，形成光晕像素集φh，为了量化光晕区域的强度，计算每个光晕区域中所有光晕像素的光强累积值，计算的表达式为：
19、,
20、其中，th为光强阈值，预设用于判断光晕区域的边界，sh为光晕区域强度累积值，用于量化光晕区域的光强总量，φ(p，th)为非线性增强函数，φ(p，th)＝p(x，y)2·ln(1+|p(x，y)-th|)，用于放大光晕强度中的显著部分；
21、在完成光晕区域检测后，通过形态学处理获取光晕区域的几何特征，包括光晕区域面积和光晕区域周长，引入复合范围指数来衡量光晕范围的综合特性：
22、,
23、其中，ah为光晕区域面积，由区域内像素数表示，ch为光晕区域周长，由边界像素数量表示，κ为形状复杂度因子，形状复杂度因子的计算表达式为：
24、,
25、用于描述光晕区域形状不规则性，rc为复合范围指数，用于表征光晕区域的范围特性；
26、在获取光晕区域强度累积值sh和表征光晕区域范围特性的复合范围指数rc后，综合光晕区域强度累积值sh和复合范围指数rc生成光晕效应参考值，光晕效应参考值的生成表达式为：
27、heiτ＝λ1·sh+λ2·ln(1+rc),
28、式中，heiτ为光晕效应参考值，用于综合量化光晕区域的强度和范围特性，λ1和λ2为动态权重因子，根据环境条件对强度和范围的贡献进行平衡。
29、本文档来自技高网...
【技术保护点】
1.基于深度学习的粮库清理机器人视觉识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，对粮库环境中的不同区域进行全面图像采集的具体步骤如下：
3.根据权利要求1所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，对于每个子区域，提取反映潜在玻璃碎片存在的关键特征，其中，提取的特征包括图像中物体周围因高反光而形成的光晕、图像中反射光谱特征以及普通粮食反射光谱特征，获取后，对图像中物体周围因高反光而形成的光晕进行分析后生成光晕效应参考值，通过光晕效应参考值量化图像中因玻璃碎片高反光而在物体周围形成的光晕区域的强度和范围，突出反光物体的显著性，对图像中反射光谱特征和普通粮食反射光谱特征之间存在的差异进行分析后生成反射频谱偏移参考值，通过反射频谱偏移参考值量化图像中的反射光谱特征相对于普通粮食反射反射光谱的偏移程度，识别出光谱特性异常的物体。
4.根据权利要求3所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，获取到对提取的反映潜在玻璃碎片存在的关键特征进行分析生成的光
5.根据权利要求3所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，对图像中物体周围因高反光而形成的光晕进行分析后生成光晕效应参考值的具体步骤如下：
6.根据权利要求5所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，对图像中反射光谱特征和普通粮食反射光谱特征之间存在的差异进行分析后生成反射频谱偏移参考值的具体步骤如下：
7.根据权利要求4所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，将通过深度学习模型对粮库中的玻璃碎片进行预测时生成的玻璃碎片特征指数与预先设定的玻璃碎片特征指数参考阈值范围进行比对分析，对粮库中的玻璃碎片进行识别，识别的步骤如下：
8.根据权利要求1所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，采用图像分割技术对标记区域的边缘进行描绘，生成精确的边缘轮廓，具体的步骤如下：
9.根据权利要求7所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，针对标记的玻璃碎片隐患区域，根据深度学习模型的预测结果，对边缘锐化强度进行自适应调节，具体的步骤如下：
10.基于深度学习的粮库清理机器人视觉识别平台，用于实现上述权利要求1-9中任意一项所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，包括图像采集模块、特征提取与分析模块、玻璃碎片识别模块、隐患区域标记与边缘描绘模块、自适应边缘锐化模块、二次识别模块以及清理指令生成模块；
...【技术特征摘要】
1.基于深度学习的粮库清理机器人视觉识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，对粮库环境中的不同区域进行全面图像采集的具体步骤如下：
3.根据权利要求1所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，对于每个子区域，提取反映潜在玻璃碎片存在的关键特征，其中，提取的特征包括图像中物体周围因高反光而形成的光晕、图像中反射光谱特征以及普通粮食反射光谱特征，获取后，对图像中物体周围因高反光而形成的光晕进行分析后生成光晕效应参考值，通过光晕效应参考值量化图像中因玻璃碎片高反光而在物体周围形成的光晕区域的强度和范围，突出反光物体的显著性，对图像中反射光谱特征和普通粮食反射光谱特征之间存在的差异进行分析后生成反射频谱偏移参考值，通过反射频谱偏移参考值量化图像中的反射光谱特征相对于普通粮食反射反射光谱的偏移程度，识别出光谱特性异常的物体。
4.根据权利要求3所述的基于深度学习的粮库清理机器人视觉识别方法，其特征在于，获取到对提取的反映潜在玻璃碎片存在的关键特征进行分析生成的光晕效应参考值和反射频谱偏移参考值后，将光晕效应参考值和反射频谱偏移参考值输入到预先训练好的深度学习模型中生成玻璃碎片特征指数，通过玻璃碎片特征指数对粮库中的玻璃碎片进行识别，预测粮库中的玻璃碎片隐患区域和玻璃碎片区域。
5.根据权利要求3所述的...
【专利技术属性】
技术研发人员：冯辉，陆铁文，杨银娣，翁业林，朱亮，
申请(专利权)人：江苏财经职业技术学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。