【技术实现步骤摘要】
本专利技术涉及自动驾驶，具体涉及一种视觉地表属性分类预测模型训练方法及系统。
技术介绍
1、复杂场景中利用激光雷达、摄像头等环境感知数据，可以对无人平台前方区域的地表属性进行分类识别，从而预先判断可通过性及通过代价，在此基础上建立安全的驾驶策略。相比激光雷达，摄像头采集的视觉图像具有丰富的纹理特征，被广泛采用。然而复杂场景中地表特征多样，动态变化，且随着光照、季节、天候等影响，基于视觉的方法缺乏足够的鲁棒性和环境自适应能力。另一方面，利用无人平台的轮速编码器、加速度计等机体感知传感器，可以接触式地感受地表属性带来的影响，在无人平台通过中直接获得地表反馈，且对于环境动态变化、光照、季节、天候等不敏感，具有较强的鲁棒性。然而接触式的感知无法实现在无人平台通过前的预判。
2、基于视觉或激光雷达的地表属性分类，基于机体感知的地表属性分类，以及两者融合的地表属性分类方法均已被提出。然而这些方法大多采用监督学习的方法来训练静态模型，这些模型对环境变化不具备自适应能力。针对比如光照带来的环境变化，或者在复杂环境中同一类地表属性可能具有不同的特征等，或者遇到训练集中没有出现的场景，这些方法的分类性能降低，缺乏足够的鲁棒性。
技术实现思路
1、本专利技术的目的在于提供一种视觉地表属性分类预测模型训练方法及系统，以解决上述
技术介绍
中存在的至少一项技术问题。
2、为了实现上述目的，本专利技术采取了如下技术方案：
3、一方面，本专利技术提供一种视觉地表属性分类预测模型训
4、获取训练数据；其中，所述训练数据包括多张地表图像以及标注图像中地表属性特征的标签；
5、基于训练数据对视觉地表属性分类预测模型进行训练，其中，视觉地表属性分类预测模型包括视觉模块、机体感知模块和分类网络；视觉模块的输入为1帧图像块，输出为地表属性标签；机体感知模块的输入为100毫秒的加速度计及轮速编码器的时序信号，输出为地表属性标签；分类网络基于人工标注样本，以全监督方式学习视觉模块、机体感知模块的模型参数，得到地表属性分类。
6、可选的，基于视觉感知的地表属性分类包括：时刻t，无人平台利用前向摄像头采集前方区域a的地表图像块pt；基于地表图像块的视觉特征，基于视觉模块，预测出前方区域a的地表属性。
7、可选的，基于机体感知的地表属性分类，包括：时刻t+1，无人平台通过区域a，通过机体感知采集区域a的机体感知数据；基于机体感知数据无人平台与地面接触所感知的信息，基于机体感知模块，对区域a的地表属性进行分类，得到分类标签
8、可选的，视觉感知结果与机体感知结果不同，且机体感知置信度高于阈值时，构建样本将监督损失进行反向传播，优化视觉预测模块的参数θ，提高其环境自适应性。
9、第二方面，本专利技术提供一种视觉地表属性分类预测模型训练系统，包括：
10、获取模块，用于获取训练数据；其中，所述训练数据包括多张地表图像以及标注图像中地表属性特征的标签；
11、训练模块，用于基于训练数据对视觉地表属性分类预测模型进行训练，其中，视觉地表属性分类预测模型包括视觉模块、机体感知模块和分类网络；视觉模块的输入为1帧图像块，输出为地表属性标签；机体感知模块的输入为100毫秒的加速度计及轮速编码器的时序信号，输出为地表属性标签；分类网络基于人工标注样本，以全监督方式学习视觉模块、机体感知模块的模型参数，得到地表属性分类。
12、第三方面，本专利技术提供一种视觉地表属性分类预测方法，包括：
13、获取地表图像数据；
14、利用视觉地表属性分类预测模型对获取的地表图像数据进行处理，得到地表属性分类结果；其中，所述视觉地表属性分类预测模型为使用如第一方面所述的模型训练方法训练得到。
15、第四方面，本专利技术提供一种视觉地表属性分类预测系统，包括：
16、获取模块，用于获取地表图像数据；
17、预测模块，用于利用视觉地表属性分类预测模型对获取的地表图像数据进行处理，得到地表属性分类结果；其中，所述视觉地表属性分类预测模型为使用如第一方面所述的模型训练方法训练得到。
18、第五方面，本专利技术提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的视觉地表属性分类预测模型训练方法。
19、第六方面，本专利技术提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如上所述的视觉地表属性分类预测模型训练方法。
20、第七方面，本专利技术提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的视觉地表属性分类预测模型训练方法的指令。
21、第八方面，本专利技术提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如第三方面所述的视觉地表属性分类预测方法。
22、第九方面，本专利技术提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行第三方面所述的视觉地表属性分类预测方法。
23、第十方面，本专利技术提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如第三方面所述的视觉地表属性分类预测方法的指令。
24、本专利技术有益效果：针对视觉感知对环境变化的适应能力差，受光照、季节、天候等影响，缺乏足够的鲁棒性等问题，利用机体感知对环境变化的稳定性等特点，利用对同一地表的机体感知结果构建监督样本，在线地优化视觉感知模型，使其具备对环境变化的自适应能力，提高其鲁棒性。
25、本专利技术附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本专利技术的实践了解到。
本文档来自技高网...【技术保护点】
1.一种视觉地表属性分类预测模型训练方法，其特征在于，包括：
2.根据权要求1所述的视觉地表属性分类预测模型训练方法，其特征在于，基于视觉感知的地表属性分类包括：时刻t，无人平台利用前向摄像头采集前方区域A的地表图像块pt；基于地表图像块的视觉特征，基于视觉模块，预测出前方区域A的地表属性。
3.根据权要求2所述的视觉地表属性分类预测模型训练方法，其特征在于，基于机体感知的地表属性分类，包括：时刻t+1，无人平台通过区域A，通过机体感知采集区域A的机体感知数据；基于机体感知数据无人平台与地面接触所感知的信息，基于机体感知模块，对区域A的地表属性进行分类，得到分类标签
4.根据权要求3所述的视觉地表属性分类预测模型训练方法，其特征在于，视觉感知结果与机体感知结果不同，且机体感知置信度高于阈值时，构建样本将监督损失进行反向传播，优化视觉预测模块的参数θ，提高其环境自适应性。
5.一种视觉地表属性分类预测模型训练系统，其特征在于，包括：
6.一种视觉地表属性分类预测方法，其特征在于，包括：
7.一种视觉地表属性分类
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如权利要求6所述的视觉地表属性分类预测方法。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行如权利要求6所述的视觉地表属性分类预测方法。
10.一种电子设备，其特征在于，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如权利要求6所述的视觉地表属性分类预测方法的指令。
...【技术特征摘要】
1.一种视觉地表属性分类预测模型训练方法，其特征在于，包括：
2.根据权要求1所述的视觉地表属性分类预测模型训练方法，其特征在于，基于视觉感知的地表属性分类包括：时刻t，无人平台利用前向摄像头采集前方区域a的地表图像块pt；基于地表图像块的视觉特征，基于视觉模块，预测出前方区域a的地表属性。
3.根据权要求2所述的视觉地表属性分类预测模型训练方法，其特征在于，基于机体感知的地表属性分类，包括：时刻t+1，无人平台通过区域a，通过机体感知采集区域a的机体感知数据；基于机体感知数据无人平台与地面接触所感知的信息，基于机体感知模块，对区域a的地表属性进行分类，得到分类标签
4.根据权要求3所述的视觉地表属性分类预测模型训练方法，其特征在于，视觉感知结果与机体感知结果不同，且机体感知置信度高于阈值时，构建样本将监督损失进行反向传播，优化视觉预测模块的参数θ，提高其环境自适应性。
5.一种视觉地表...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。