一种无人装载机室内自主装货系统及方法技术方案

本发明专利技术涉及智能控制技术领域，具体涉及一种无人装载机室内自主装货系统及方法，该方法包括：根据所有实帧图像的烟尘区域获得所有分组结果，通过因子分析得到每一个物料倾倒图像的独立因子向量，进而得到物料倾倒图像的烟尘信息和烟尘浓度指标；并计算每个分组结果的一致性，根据所述一致性获得保留组；将所有保留组中第一指标最小的保留组作为候选组；将候选组中所有物料倾倒图像中指定的物料倾倒图像对应的倾倒角度作为最佳倾倒角度；根据最佳倾倒角度下铲斗与料斗的距离得到最佳高度；通过最佳倾倒角度和最佳高度参数对无人装载机进行控制，使得烟尘的扩散范围最小，避免尘土对装载机上摄像头的采集画面的影响而影响无人装载机的工作。装载机的工作。装载机的工作。

【技术实现步骤摘要】
一种无人装载机室内自主装货系统及方法


[0001]本专利技术涉及智能控制领域，具体涉及一种无人装载机室内自主装货系统及方法。

技术介绍

[0002]在对仓库内堆放的砂石等建筑物料进行装载出库时，最新的技术是利用无人装载机来将物料进行卡车装载，无人装载通过自带的摄像机来实现铲斗的控制，将物料装载到卡车料斗内，然后卡车将物料运输至各个建筑区域进行出库利用。
[0003]当装载机装好货物后需要将货物倾倒在卡车的料斗区域，在倾倒时往往会扬起较大的尘土，尘土范围过大除了会影响室内空气外，还会导致灰尘附着在摄像机镜头上，影响采集画面，进而导致不能根据采集的画面来进行无人装载机的控制，影响无人装载机的工作；目前往往采用降低高度的方法来减少尘土的产生，但降低高度的同时，为了避免铲斗与料斗的碰触，往往铲斗的翻转角度较小，导致存在货物无法完全倾倒，降低了装货效率。

技术实现思路

[0004]为了解决上述问题，本专利技术提供一种无人装载机室内自主装货方法，所述方法包括：获得实帧图像，对实帧图像进行语义分割获取实帧图像的烟尘区域，根据所有实帧图像的烟尘区域获得实帧图像的所有分组结果；获得空帧图像，通过对所有实帧图像和空帧图像进行语义分割，分别获得实帧图像和空帧图像的料斗区域，分别计算实帧图像的料斗区域与所有空帧图像的料斗区域的所有交并比，将所述所有交并比的最大值对应的空帧图像记为实帧图像对应的空帧图像，将实帧图像与对应空帧图像的差值图像记为实帧图像的物料倾倒图像；通过对所有物料倾倒图像进行因子分析，得到每一个物料倾倒图像的独立因子向量，将物料倾倒图像的独立因子向量中所有元素之和记为物料倾倒图像的烟尘信息；将物料倾倒图像上且在的烟尘区域内的所有像素点的灰度值的熵记为物料倾倒图像的烟尘浓度指标；获得每个分组结果中所有实帧图像对应的所有物料倾倒图像的烟尘信息组成的烟尘信息序列和烟尘浓度指标组成的烟尘浓度指标序列，计算每个分组结果的一致性，将所述一致性大于预设阈值的分组结果记为保留组；计算每个保留组的第一指标，将所有保留组中第一指标最小的保留组作为候选组；将候选组中所有物料倾倒图像中中间的物料倾倒图像对应的倾倒角度作为最佳倾倒角度；根据最佳倾倒角度下铲斗与料斗的距离得到最佳高度；通过最佳倾倒角度和最佳高度参数对无人装载机进行控制；进一步地，所述获得实帧图像、获得空帧图像的步骤包括:采集铲斗为空时无人装载机在倾倒物料时的倾倒视频，记为空倾倒视频，空倾倒视频中每帧图像记为空帧图像；采集铲斗不为空时无人装载机在倾倒物料时的倾倒视频，记为实倾倒视频，将实倾倒视频分割为多个实视频帧，实视频帧对应的图像记为实帧图像；
进一步地，所述根据所有实帧图像的烟尘区域获得实帧图像的所有分组结果的步骤包括：将实帧图像的烟尘区域的面积与实帧图像的面积的比值记为实帧图像的烟尘范围，将所有实帧图像的烟尘范围组成烟尘范围序列，通过对所述烟尘范围序列进行多阈值分割得到所有实帧图像的分组结果；进一步地，所述计算每个分组结果的一致性的步骤包括：计算每个分组的烟尘信息序列和烟尘浓度指标序列的DTW距离，根据DTW距离得到每个分组的匹配关系，将每个分组的匹配关系中唯一匹配数量与每个分组中物料倾倒图像的数量的比值记为每个分组的一致性；进一步地，所述计算每个保留组的第一指标的步骤包括：计算每个保留组的烟尘信息序列的第一方差和烟尘浓度指标序列的第二方差，将所述第一方差和第二方差的均值记为保留组的第三方差，计算每个保留组的烟尘范围的均值和第三方差的乘积，记为每个保留组的第一指标；本专利技术实施例提出一种无人装载机室内自主装货系统，包括控制器、存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本专利技术实施例中的无人装载机室内自主装货方法，并将获得的最佳倾倒角度和最佳高度存储在存储器中，控制器通过读取存储器中的最佳倾倒角度和最佳高度来控制无人装载机的铲斗角度和高度。
[0005]本专利技术实施例至少具有如下有益效果：通过将实帧图像与对应空帧图像的差值图像记为实帧图像的物料倾倒图像，去除铲斗区域的影响，提高了后续计算的精度；根据物料倾倒图像对更大角度倾泻时的烟尘范围进行预测，根据预测值得到最佳倾倒角度，结合最佳倾倒角度对应的铲斗与料斗的距离对当前的铲斗高度进行调整，得到最佳高度，最大限度地避免了尘土对装载机上摄像头的采集画面的影响。通过在不同视频帧图像中去除铲斗区域变化的影响，提高了后续计算的精度。
附图说明
[0006]为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0007]图1为本专利技术一个实施例提供的一种无人装载机室内自主装货系统及方法的步骤流程图。
[0008]图2为本专利技术一个实施例提供的烟尘信息序列和烟尘浓度指标序列的匹配关系。
具体实施方式
[0009]为了更进一步阐述本专利技术为达成预定专利技术目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本专利技术提出的一种无人装载机室内自主装货系统及方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或
特点可由任何合适形式组合。
[0010]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。
[0011]下面结合附图具体的说明本专利技术所提供的一种无人装载机室内自主装货系统及方法的具体方案。
[0012]请参阅图1，其示出了本专利技术一个实施例提供的一种无人装载机室内自主装货系统及方法的步骤流程图，该方法包括以下步骤：步骤S001，获取实帧图像和空帧图像。
[0013]通过摄像头采集得到一次空倾倒视频，该次空倾倒时无人装载机与卡车的距离记为预设距离，该距离可以通过RGB
‑
D相机中的深度图像中的距离信息来进行获取，例如：将该距离为1M，即之后实际倾倒时的距离也为1M。通过摄像头采集铲斗为空的无人装载机在倾倒物料时的倾倒视频，记为该预设距离下的空倾倒视频，空倾倒视频中每帧图像记为空帧图像。
[0014]将以往历史中无人装载机装货过程中料斗最大的倾倒角度作为经验角度，通过摄像头采集在经验角度下铲斗不为空的无人装载机在倾倒物料时的倾倒视频，记为实倾倒视频，将实倾倒视频分割为多个实视频帧，实视频帧对应的图像记为实帧图像。
[0015]步骤S002，通过对烟尘范围序列进行多阈值分割得到所有实帧图像的分组结果。
[0016]在无人装载机的铲斗朝着卡车的料斗区域进行物料倾倒时，为了避免速度过快，导致烟尘较大，往往倾倒速度较慢，当倾倒角度相近时，产生的烟尘的范围相近，本专利技术的目的之一是获得使得烟尘的扩散范围最小的倾倒角度，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人装载机室内自主装货方法，其特征在于，所述方法包括：获得实帧图像，对实帧图像进行语义分割获取实帧图像的烟尘区域，根据所有实帧图像的烟尘区域获得实帧图像的所有分组结果；获得空帧图像，通过对所有实帧图像和空帧图像进行语义分割，分别获得实帧图像和空帧图像的料斗区域，分别计算实帧图像的料斗区域与所有空帧图像的料斗区域的所有交并比，将所述所有交并比的最大值对应的空帧图像记为实帧图像对应的空帧图像，将实帧图像与对应空帧图像的差值图像记为实帧图像的物料倾倒图像；通过对所有物料倾倒图像进行因子分析，得到每一个物料倾倒图像的独立因子向量，将物料倾倒图像的独立因子向量中所有元素之和记为物料倾倒图像的烟尘信息；将物料倾倒图像上且在的烟尘区域内的所有像素点的灰度值的熵记为物料倾倒图像的烟尘浓度指标；获得每个分组结果中所有实帧图像对应的所有物料倾倒图像的烟尘信息组成的烟尘信息序列和烟尘浓度指标组成的烟尘浓度指标序列，根据烟尘信息序列和烟尘浓度指标序列计算每个分组结果的一致性，将所述一致性大于预设阈值的分组结果记为保留组；计算每个保留组的第一指标，将所有保留组中第一指标最小的保留组作为候选组；将候选组中所有物料倾倒图像中指定的物料倾倒图像对应的倾倒角度作为最佳倾倒角度，根据最佳倾倒角度下铲斗与料斗的距离得到最佳高度，通过最佳倾倒角度和最佳高度对无人装载机进行控制。2.根据权利要求1所述的一种无人装载机室内自主装货方法，其特征在于，所述获得实帧图像、获得空帧图像的步骤包括:采集铲斗为空时无人装载机在倾倒物料时的倾倒视频，记为空倾倒视频，空倾倒视频中每帧图像记为空帧图像；采集铲斗不为空时无人装载机在倾倒...

【专利技术属性】
技术研发人员：李秀华，
申请(专利权)人：南通长石科技有限公司，
类型：发明
国别省市：