一种矿用机车远程驾驶多模态人机交互控制系统技术方案

技术编号:46573814 阅读:0 留言:0更新日期:2025-10-10 21:18
本发明专利技术涉及矿用机车控制技术领域,公开了一种矿用机车远程驾驶多模态人机交互控制系统,该系统包括环境状态感知模块、工况特征解析模块、驾驶策略特征增强模块、操作决策融合模块和驾驶指令生成模块。环境状态感知模块通过多源异构传感器获取实时工况数据,工况特征解析模块对数据进行时空切片和特征提取,驾驶策略特征增强模块优化时序关联性特征,操作决策融合模块基于能量分布进行全局特征融合,驾驶指令生成模块生成远程控制信号。该系统能全面感知矿山环境,高效处理多源数据,精准生成驾驶策略,实现流畅人机交互,提升矿用机车远程驾驶的安全性和效率,适用于矿山自动化、智能化开采场景。

【技术实现步骤摘要】

本专利技术涉及矿用机车控制,具体为一种矿用机车远程驾驶多模态人机交互控制系统


技术介绍

1、在矿山开采作业中,矿用机车的驾驶操作面临着诸多严峻挑战。矿山环境复杂恶劣,存在高粉尘、潮湿、低矮巷道等特殊场景,这对矿用机车驾驶的安全性和可靠性提出了极高要求。传统的现场驾驶方式,驾驶员需要身处恶劣环境中,不仅面临着粉尘危害、机械伤害等安全风险,而且长时间在这种环境下工作,容易产生疲劳,影响驾驶的准确性和效率。

2、随着矿山自动化、智能化发展的需求日益迫切,远程驾驶技术逐渐成为矿用机车驾驶的重要发展方向。现有的矿用机车远程驾驶系统在实际应用中存在不少问题:对矿山复杂环境的感知能力不足,矿山环境中的障碍物、巷道结构、温度变化等信息丰富且复杂,单一类型的传感器难以全面、准确地获取这些信息,导致系统对环境的认知存在偏差,影响驾驶决策的准确性,在数据处理和决策生成方面存在缺陷。另外,现有系统往往不能有效地对多源异构传感器获取的数据进行处理,无法充分挖掘数据中的时空特征和时序关联性,导致生成的驾驶策略不够精准和灵活,难以适应矿山环境的动态变化

3、本文档来自技高网...

【技术保护点】

1.一种矿用机车远程驾驶多模态人机交互控制系统,其特征在于,包括:

2.根据权利要求1所述的矿用机车远程驾驶多模态人机交互控制系统,其特征在于,所述工况特征解析模块包括:

3.根据权利要求1或2所述的矿用机车远程驾驶多模态人机交互控制系统,其特征在于,所述驾驶策略特征增强模块包括:

4.根据权利要求3所述的矿用机车远程驾驶多模态人机交互控制系统,其特征在于,所述时段特征关联度计算单元包括:

5.根据权利要求4所述的矿用机车远程驾驶多模态人机交互控制系统,其特征在于,所述时段特征优化单元具体实现为:对所述工况环境时段约束关联度矩阵进行空洞卷积...

【技术特征摘要】

1.一种矿用机车远程驾驶多模态人机交互控制系统,其特征在于,包括:

2.根据权利要求1所述的矿用机车远程驾驶多模态人机交互控制系统,其特征在于,所述工况特征解析模块包括:

3.根据权利要求1或2所述的矿用机车远程驾驶多模态人机交互控制系统,其特征在于,所述驾驶策略特征增强模块包括:

4.根据权利要求3所述的矿用机车远程驾驶多模态人机交互控制系统,其特征在于,所述时段特征关联度计算单元包括:

5.根据权利要求4所述的矿用机车远程驾驶多模态人机交互控制系统,其特征在于,所述时段特征优化单元具体实现为:对所述工况环境时段约束关联度矩阵进行空洞卷积处理,以得到工况环境时段约束关联特征矩阵;将所述工况环境局部时段特征向量的集合与所述工况环境时段约束关联特征矩阵输入时序注意力编码网络,以得到工况环境局部时段上下文特征向量的集合;对所述工况环境局部时段上下文特征向量的集合进行张量重构,以得到所述工况环境局部时段优化特征张量的集合。

6.根据权利要求1所述的矿用机车远程驾驶多模态人机交互控制系统,其特征在于,所述操作决策融合模块包括:

7.根据权利要求6所述的矿用机车远程驾驶多模态人机交互控制系统,其特征在于,所述时段特征静态能量计算单元具体实现为:计算所述工况环境局部时段优化特征向量的集合中各工况环境局部时段优化特征向量的均值向量与标准差向量;将所述工况环境局部时段优化特征向量与所述均值向量进行逐元素差值计算,并对差值结果...

【专利技术属性】
技术研发人员:宁永宏段亚鑫王大伟陈诚付金丽武颖赵星亮郭文军白鹏归宁泽飞刘程斐赵健鹏宋敏白宇
申请(专利权)人:山西云井数通智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1