物料检测方法、装置、电子设备和计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种物料检测方法、装置、电子设备和计算机可读存储介质，涉及自动装车技术领域，该方法包括获取待检测物料装载车厢的视频监控数据；对视频监控数据的视频图像进行预处理，得到目标监控图像；每幅目标监控图像包含有车厢图像和内部物料图像；对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息。本发明专利技术降低了图像获取的成本，在检测方式更加简便的同时实现了车厢物料堆型的检测。

【技术实现步骤摘要】
物料检测方法、装置、电子设备和计算机可读存储介质
本专利技术涉及自动装车
，尤其是涉及一种物料检测方法、装置、电子设备和计算机可读存储介质。
技术介绍
在汽车自动装车系统的设计与实施中，由于装料时的车速、装料速度、车辆装载能力等不确定性因素的存在，常常出现装料过多造成的撒料以及装料不足造成的空载浪费，因此需要使用传感器对当前车辆装载情况进行实时测量，反馈调节装载速度以及车速，以实现均匀装料，避免撒料等情况的发生。当前进行料堆实时监测测量的解决方案主要包括激光雷达、双目相机、单/双目相机搭配线结构光等，其原理主要为获取装载处的三维点云数据或者深度数据，从而计算已经装载的物料量，但这些方案成本较高，同时容易受到灰尘、落料等因素的干扰。因此，目前自动装车检测成本较高，且物料信息计算方法复杂的问题尚未有效的解决方案。
技术实现思路
本专利技术的目的在于提供一种物料检测方法、装置、电子设备和计算机可读存储介质，降低了图像获取的成本，在检测方式更加简便的同时实现了车厢物料堆型的检测。第一方面，本专利技术实施例提供一种物料检测方法，方法包括：获取待检测物料装载车厢的视频监控数据；对视频监控数据的视频图像进行预处理，得到目标监控图像；每幅目标监控图像包含有车厢图像和内部物料图像；对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息。在可选的实施方式中，获取待检测物料装载车厢的视频监控数据的步骤，包括：通过监控相机获取待检测物料装载车厢的视频监控数据。在可选的实施方式中，通过监控相机获取待检测物料装载车厢的视频监控数据的步骤，包括：采取侧向拍摄的方式通过监控相机获取待检测物料装载车厢的视频监控数据；监控相机设置于待检测物料装载车厢的上方预设位置处。在可选的实施方式中，对视频监控数据的视频图像进行预处理，得到目标监控图像的步骤，包括：提取视频监控数据的视频图像的感兴趣区域；对感兴趣区域进行仿射变换，得到目标监控图像；目标监控图像中只包含有车厢图像和内部物料图像；车厢图像为水平图像。在可选的实施方式中，对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息的步骤，包括：通过预先训练好的语义分割模型对目标监控图像进行语义分割，得到语义分割结果；语义分割结果包括物料像素面积和车厢边界像素面积；基于物料像素面积和车厢边界像素面积判别待检测物料装载车厢的物料装载信息。在可选的实施方式中，基于物料像素面积和车厢边界像素面积判别待检测物料装载车厢的物料装载信息的步骤，包括：预先设置第一判别阈值范围；确定物料像素面积和车厢边界像素面积的面积比值；如果面积比值处于第一判别阈值范围，则判别待检测物料装载车厢的物料装载信息为装载合格。在可选的实施方式中，基于物料像素面积和车厢边界像素面积判别待检测物料装载车厢的物料装载信息的步骤，包括：预先设置第二判别阈值范围；确定物料像素面积和车厢边界像素面积的面积差值；如果面积差值处于第二判别阈值范围，则判别待检测物料装载车厢的物料装载信息为装载合格。第二方面，本专利技术实施例提供一种物料检测装置，装置包括：数据获取模块，用于获取待检测物料装载车厢的视频监控数据；数据处理模块，用于对视频监控数据的视频图像进行预处理，得到目标监控图像；每幅目标监控图像包含有车厢图像和内部物料图像；物料检测模块，用于对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息。第三方面，本专利技术实施例提供一种电子设备，包括处理器和存储器；存储器上存储有计算机程序，计算机程序在被处理器运行时执行如第一方面任一项的方法。第四方面，本专利技术实施例提供一种计算机可读存储介质，用于储存如第一方面任一项方法所用的计算机软件指令。本专利技术提供的物料检测方法、装置、电子设备和计算机可读存储介质，该方法首先获取待检测物料装载车厢的视频监控数据，进而对视频监控数据的视频图像进行预处理，得到目标监控图像，其中，每幅目标监控图像包含有车厢图像和内部物料图像；对目标监控图像进行语义分割，并基于语义分割结果确定待检测物料装载车厢的物料装载信息。上述方式无需采用成本较高的图像获取设备（诸如激光雷达、双目相机、单/双目相机搭配线结构光等）获取车厢图像数据，通过获取视频监控数据并检测待检测物料装载车厢的装载情况，降低了图像获取的成本；通过采用预处理和语义分割对获取的视频监控数据进行处理，无需进行三维点云分析，在检测方式更加简便的同时实现了车厢物料堆型的检测。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种物料检测方法的流程示意图；图2为本专利技术实施例提供的一种视频监控数据获取的示意图；图3为本专利技术实施例提供的一种目标监控图像经过语义分割后的语义分割结果的示意图；图4为本专利技术实施例提供的另一种物料检测方法的流程示意图；图5为本专利技术实施例提供的一种物料检测模型的训练流程示意图；图6为本专利技术实施例提供的一种物料检测装置的结构示意图；图7为本专利技术实施例提供的一种电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。在本专利技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该专利技术产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。<本文档来自技高网...

【技术保护点】
1.一种物料检测方法，其特征在于，包括：/n获取待检测物料装载车厢的视频监控数据；/n对所述视频监控数据的视频图像进行预处理，得到目标监控图像；每幅所述目标监控图像包含有车厢图像和内部物料图像；/n对所述目标监控图像进行语义分割，并基于语义分割结果确定所述待检测物料装载车厢的物料装载信息。/n

【技术特征摘要】
1.一种物料检测方法，其特征在于，包括：
获取待检测物料装载车厢的视频监控数据；
对所述视频监控数据的视频图像进行预处理，得到目标监控图像；每幅所述目标监控图像包含有车厢图像和内部物料图像；
对所述目标监控图像进行语义分割，并基于语义分割结果确定所述待检测物料装载车厢的物料装载信息。


2.根据权利要求1所述的方法，其特征在于，所述获取待检测物料装载车厢的视频监控数据的步骤，包括：
通过监控相机获取所述待检测物料装载车厢的所述视频监控数据。


3.根据权利要求2所述的方法，其特征在于，所述通过监控相机获取所述待检测物料装载车厢的所述视频监控数据的步骤，包括：
采取侧向拍摄的方式通过所述监控相机获取所述待检测物料装载车厢的所述视频监控数据；所述监控相机设置于所述待检测物料装载车厢的上方预设位置处。


4.根据权利要求1所述的方法，其特征在于，所述对所述视频监控数据的视频图像进行预处理，得到目标监控图像的步骤，包括：
提取所述视频监控数据的视频图像的感兴趣区域；
对所述感兴趣区域进行仿射变换，得到所述目标监控图像；所述目标监控图像中只包含有车厢图像和内部物料图像；所述车厢图像为水平图像。


5.根据权利要求1所述的方法，其特征在于，所述对所述目标监控图像进行语义分割，并基于语义分割结果确定所述待检测物料装载车厢的物料装载信息的步骤，包括：
通过预先训练好的语义分割模型对所述目标监控图像进行语义分割，得到语义分割结果；所述语义分割结果包括物料像素面积和车厢边界像素面积；
基于所述物料像素面积和所述车厢边界像素面积判别所述待检测...

【专利技术属性】
技术研发人员：梁兴国，冯化一，吴昊，杨瑞鹏，刘化男，
申请(专利权)人：天津美腾科技股份有限公司，
类型：发明
国别省市：天津;12