【技术实现步骤摘要】
本公开涉及工程机械自动化，尤其是一种语义分割方法、装置、系统和工程机械设备。
技术介绍
1、各类工程机械设备被广泛应用于在矿山采掘、水利工程、交通运输、电力工程等各种场景的施工中。
2、作为目前主要的发展方向，无人工程机械设备具有各种优势，它可以缓解人口老龄化所带来的劳动力短缺的问题，并且可以避免操作员在危险环境(例如，具有塌方风险的场所、具有有毒有害气体的场所等)下工作。
技术实现思路
1、然而，相关技术中，无人工程机械设备自动化控制的准确性较低。
2、通过分析发现，这是由于语义分割的准确性较低导致的。语义分割准确性低，这导致难以准确地感知无人化作业的环境信息(例如难以准确地对作业区域中的物料进行定位)，从而导致自动化控制的准确性低。
3、为了解决上述问题，本公开实施例提出了如下解决方案。
4、根据本公开实施例的一方面，提供一种语义分割方法，包括：对工程机械设备的作业区域的原始图像进行处理，以得到至少一个图像特征图组，每个图像特征图组均包括尺度不同的多个图像特征图；对所述作业区域的点云数据进行处理，以得到雷达特征图组；针对每个图像特征图组，分别执行与所述雷达特征图组的融合操作，以得到融合特征图；以及基于所述融合特征图得到语义分割结果。
5、在一些实施例中，每个图像特征图组均包括图像特征图的m个子组，所述雷达特征图组包括尺度不同的m个雷达特征图，m≥2；其中，针对每个图像特征图组，分别执行与所述雷达特征图组的融合操作，以得
6、在一些实施例中，对第i个子组的第一融合特征图和第i个雷达特征图执行第二融合操作，以得到第i个子组的第二融合特征图包括：对第i个雷达特征图执行一组或连续的多组运算，以得到第一中间特征图，每组运算包括一组或连续的多组子运算，并且，每组运算的输出特征图通过将最后一组子运算的输出特征图与该组运算的输入特征图相加得到，其中，每组子运算由卷积运算和卷积运算后的激活运算构成；以及将第i个子组的第一融合特征图与所述第一中间特征图相加，并对相加所得到的特征图进行链式残差池化处理以得到第i个子组的第二融合特征图。
7、在一些实施例中，所述第一融合操作包括：对待处理的多个特征图分别执行卷积运算，以得到多个第二中间特征图，所述多个第二中间特征图中尺度最大的特征图为第一特征图；对所述多个第二中间特征图中除所述第一特征图外的其他特征图进行上采样，以使得所述其他特征图的尺度与所述第一特征图的尺度相同；以及将所述上采样后的所述其他特征图与所述第一特征图相加。
8、在一些实施例中，每个图像特征图组中所述多个图像特征图的数量为m，每个图像特征图组中的m个图像特征图按照尺度从小到大的顺序排列，雷达特征图组中的m个雷达特征图按照尺度从小到大的顺序排列，其中：第j个子组为第j个图像特征图和第j+1个图像特征图，并且，第m个子组为第m个图像特征图。
9、在一些实施例中，对工程机械设备的作业区域的原始图像进行处理，以得到至少一个图像特征图组包括：利用至少一种预处理方式对所述原始图像进行预处理，以得到至少一个图像；以及对多个待处理图像中的每个待处理图像进行下采样，以得到每个待处理图像对应的一个图像特征图组，其中，所述多个待处理图像包括所述原始图像和所述至少一个图像。
10、在一些实施例中，所述作业区域包括散状物料，所述至少一种预处理方式包括基于去尘算法的预处理和基于同态滤波算法的预处理中的至少一个。
11、在一些实施例中，对所述作业区域的点云数据进行处理，以得到雷达特征图组包括：利用投影法对所述点云数据进行处理以得到第一雷达图像；利用双边滤波器对所述第一雷达图像进行处理以得到第二雷达图像；以及对所述第二雷达图像执行池化运算，以得到所述雷达特征图组。
12、在一些实施例中，所述作业区域包括散状物料，所述方法还包括：根据所述语义分割结果确定所述散状物料的特征参数，以根据所述特征参数控制所述工程机械设备作业。
13、根据本公开实施例的另一方面，提供一种语义分割装置，包括：被配置为执行上述任意一个实施例所述的语义分割方法的模块。
14、根据本公开实施例的又一方面，提供一种语义分割装置，包括：存储器；以及耦接至所述存储器的处理器，被配置为基于存储在所述存储器中的指令，执行上述任意一个实施例所述的语义分割方法。
15、根据本公开实施例的还一方面，提供一种语义分割系统，用于安装在工程机械设备上，并且包括：上述任意一个实施例所述的语义分割装置；图像采集单元，被配置为将采集的所述原始图像发送给所述语义分割装置；和点云采集单元，被配置为将采集的所述点云数据发送给所述语义分割装置。
16、根据本公开实施例的还一方面，提供一种工程机械设备，包括：上述任意一个实施例所述的语义分割系统。
17、根据本公开实施例的还一方面，提供一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述任意一个实施例所述的语义分割方法。
18、根据本公开实施例的还一方面，提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序被处理器执行时实现上述任意一个实施例所述的语义分割方法。
19、本公开实施例中，对工程机械设备的作业区域的原始图像进行处理，以得到至少一个图像特征图组，并对作业区域的点云数据进行处理，以得到雷达特征图组。然后，针对每个图像特征图组，分别执行与雷达特征图组的融合操作，以得到融合特征图，从而基于融合特征图得到语义分割结果。如此，可以提高语义分割的准确性，从而有利于提高工程机械设备自动化控制的准确性。
20、下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
本文档来自技高网...【技术保护点】
1.一种语义分割方法，包括：
2.根据权利要求1所述的方法，其中，每个图像特征图组均包括图像特征图的M个子组，所述雷达特征图组包括尺度不同的M个雷达特征图，M≥2；
3.根据权利要求2所述的方法，其中，对第i个子组的第一融合特征图和第i个雷达特征图执行第二融合操作，以得到第i个子组的第二融合特征图包括：
4.根据权利要求2所述的方法，其中，所述第一融合操作包括：
5.根据权利要求2所述的方法，其中，每个图像特征图组中所述多个图像特征图的数量为M，每个图像特征图组中的M个图像特征图按照尺度从小到大的顺序排列，雷达特征图组中的M个雷达特征图按照尺度从小到大的顺序排列，其中：
6.根据权利要求1-5任意一项所述的方法，其中，对工程机械设备的作业区域的原始图像进行处理，以得到至少一个图像特征图组包括：
7.根据权利要求6所述的方法，其中，所述作业区域包括散状物料，所述至少一种预处理方式包括基于去尘算法的预处理和基于同态滤波算法的预处理中的至少一个。
8.根据权利要求1-5任意一项所述的方法，其中，对所述作
9.根据权利要求1-5任意一项所述的方法，其中，所述作业区域包括散状物料，所述方法还包括：
10.一种语义分割装置，包括：
11.一种语义分割装置，包括：
12.一种语义分割系统，用于安装在工程机械设备上，并且包括：
13.一种工程机械设备，包括：
14.一种计算机可读存储介质，包括计算机程序指令，其中，所述计算机程序指令被处理器执行时实现权利要求1-9任意一项所述的语义分割方法。
...【技术特征摘要】
1.一种语义分割方法，包括：
2.根据权利要求1所述的方法，其中，每个图像特征图组均包括图像特征图的m个子组，所述雷达特征图组包括尺度不同的m个雷达特征图，m≥2；
3.根据权利要求2所述的方法，其中，对第i个子组的第一融合特征图和第i个雷达特征图执行第二融合操作，以得到第i个子组的第二融合特征图包括：
4.根据权利要求2所述的方法，其中，所述第一融合操作包括：
5.根据权利要求2所述的方法，其中，每个图像特征图组中所述多个图像特征图的数量为m，每个图像特征图组中的m个图像特征图按照尺度从小到大的顺序排列，雷达特征图组中的m个雷达特征图按照尺度从小到大的顺序排列，其中：
6.根据权利要求1-5任意一项所述的方法，其中，对工程机械设备的作业区域的原始图像进行处理，以得到至少一个图像特征...
【专利技术属性】
技术研发人员：史文婕，张坚，刘建，
申请(专利权)人：江苏徐工工程机械研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。