一种基于VR虚拟现实的聋哑人智能驾驶训练系统及方法技术方案

本发明专利技术涉及驾驶模拟控制领域，公开了一种基于VR虚拟现实的聋哑人智能驾驶训练系统及方法，包括构建模块，用于根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型；训练模块，用于利用VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据；人机交互模块，用于在训练过程中与目标人员实现交互功能；评估模块，用于对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导。通过构建VR模型对聋哑人员进行驾驶训练即可提供直接、生动、直观、智能、安全的驾驶训练课程，提高训练质量与效率，同时降低训练成本，避免聋哑人与教练人员沟通困难的问题，提高实用性，降低风险的同时提高安全性。性。性。

【技术实现步骤摘要】
一种基于VR虚拟现实的聋哑人智能驾驶训练系统及方法


[0001]本专利技术涉及驾驶模拟控制
，尤其涉及一种基于VR虚拟现实的聋哑人智能驾驶训练系统及方法。

技术介绍

[0002]在现代社会，驾驶是一项重要的社会技能。目前，在对学员进行驾驶技能培训时，通常是由具有经验的驾驶教练一对一对学员在实际道路上驾驶实际车辆进行陪练，这种方法能够确保每位学员真正掌握驾驶技巧。然而，这种陪练方式的效率较低，而且，由于需要在实际道路驾驶实际车辆，增加了学车时的危险性。
[0003]模拟驾驶、自动驾驶相关技术近年来也在快速发展，例如公开号为CN109597317A的中国专利申请，提出一种基于自学习的车辆自动驾驶方法、系统及电子设备，可进行道路环境学习，构建虚拟道路场景，规划目标轨迹和目标车速，生成待训练的自动驾驶控制模型。
[0004]特别是对于聋哑人来说，由于其具备明显的生理缺陷故而在驾驶技能学习时会会出现与教练人员沟通困难，进而极大的增加教学难度和学车时的危险性。

技术实现思路

[0005]针对上述所显示出来的问题，本专利技术提供了一种基于VR虚拟现实的聋哑人智能驾驶训练系统及方法，用以解决
技术介绍
中提到的聋哑人具备明显的生理缺陷故而在驾驶技能学习时会出现与教练人员沟通困难，进而极大的增加教学难度和学车时的危险性的问题。
[0006]一种基于VR虚拟现实的聋哑人智能驾驶训练系统，该系统包括：构建模块，用于根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型；训练模块，用于利用VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据；人机交互模块，用于在训练过程中与目标人员实现交互功能；评估模块，用于对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导。
[0007]优选的，上述构建模块，包括：第一获取子模块，用于获取目标人员的身份信息并提取其对应的五官特征，根据身份信息和五官特征确定目标人员的残疾信息；选择子模块，用于根据目标人员的残疾信息选择对应的教学模式和教学视频；第一构建子模块，用于根据教学模式和教学视频确定教学场景，获取教学场景对应的场景点云数据并基于VR技术构建VR场景模型；第二构建子模块，用于根据目标人员的驾驶需求确定驾驶训练车型，获取驾驶训练车型中任一车辆的车辆点云数据并基于VR技术构建VR车辆模型。
[0008]优选的，上述训练模块，包括：身份确认子模块，用于确认目标人员是否符合训练人员的身份信息，根据确认结果确认目标人员是否具备训练条件；第一标记子模块，用于根据VR场景模型，获取场地中库位标线、道路标线或特征点，并将场地中库位标线、道路标线或特征点以预设方式进行标记以确定车辆的行驶方向；第一生成子模块，用于根据车辆的行驶方向和VR车辆模型以及VR场景模型生成VR训练场地以供目标人员进行训练。
[0009]监控子模块，用于监控目标人员在驾驶过程中的注视特征信息和驾驶状态信息；第一采集子模块，用于采集目标人员在驾驶过程中的车辆动力系统参数信息和车辆行驶轨迹信息。
[0010]优选的，上述人机交互模块，包括：第二采集子模块，用于采集目标人员发出的语音信号或者手势信号；第二获取子模块，用于根据语音信号获取第一技术问题信息或者根据手势信号获取手势行为；转化子模块，用于利用预设手势识别算法对手势行为进行解析，将解析结果转化为文字格式内容；确认子模块，用于将文字格式内容反馈至目标人员佩戴VR设备确认是否正确，接收目标人员反馈的动作指令以确认文字格式内容的精度；第三获取子模块，用于当目标人员确认文字格式内容无误时，根据文字格式内容获取第二技术问题信息；检索子模块，用于根据第一技术问题和第二技术问题对预设教学内容进行检索，获取对应的答疑或指导方案；教学子模块，用于根据答疑或指导方案对目标人员进行语音教学或者手势教学。
[0011]优选的，上述训练模块，还包括：第四获取子模块，用于获取目标人员的驾驶训练项并获取每个驾驶训练项的预设驾驶参数；第二生成子模块，用于根据每个驾驶训练项的预设驾驶参数生成该驾驶项的语音指导指标和文字指导指标；判断子模块，用于通过语音指导指标和文字指导指标提醒目标人员进行驾驶训练，在训练过程中当目标人员出现错误操作时，获取车辆操作错误后的位置数据和姿态数据，根据位置数据和姿态数据判断目标人员是否可以继续完整的完成驾驶科目流程；第二标记子模块，用于当判断目标人员可以继续完整的完成驾驶科目流程时，对错误操作参数进行标记和存储；调整子模块，用于当判断目标人员无法继续完整的完成驾驶科目流程时，通过预设大数据算法计算出目标人员可继续完整的完成驾驶科目流程时的目标位置并将车辆调节至目标位置。
[0012]优选的，上述评估模块，用于对训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导，包括：筛选子模块，用于根据训练数据筛选出目标人员的错误驾驶操作；
第五获取子模块，用于获取目标人员的错误驾驶操作对应的操作行为特征；分析子模块，用于根据操作行为特征分析出目标人员的操作错误原因和改进建议；第三生成子模块，用于根据目标人员的每个错误操作项的改进建议和该错误操作项的规范操作参数生成第一人称指导内容和第三人称指导内容；第一显示子模块，用于将上述第一人称指导内容和第三人称指导内容进行显示以对目标人员进行错误操作项的指导工作。
[0013]优选的，该系统，还包括：确定模块，用于确定训练数据的数据格式；加密模块，用于基于数据格式对训练数据进行加密，获取加密后的训练数据；上传模块，用于将加密后的训练数据上传到管理服务器上；上述训练模块，还包括：处理子模块，用于将VR车辆模型进行透明化处理以显示其多个车辆连接部件；第二显示子模块，用于显示目标人员在训练过程中VR车辆模型在不同操作项下方向盘转角与轮胎角度之间的联动关系以及车辆所处的视景位置和行驶过程中车辆与路面、车辆与障碍物之间的位置关系。
[0014]优选的，加密模块基于数据格式对训练数据进行加密，获取加密后的训练数据，具体为：整合训练数据中的关键数据集，并进行数据保护；根据关键数据集中每个关键数据的数据格式确定该关键数据的数据类型；确定每种数据类型对应的加密密级，根据加密等级生成对应的密级钥；根据每种数据类型的密级钥构建其对应规格的加密序列，并将加密序列输入到预设矩阵中构建加密矩阵；将关键数据集输入到加密矩阵中，并获取随机码填充加密矩阵中的空白元素位，同时根据每一元素行在加密矩阵中的顺序，为每一元素行进行编号；根据编号顺序并基于对应的密级钥分别提取每一元素行对应的密级敏感元素，并在提取密级敏感元素的过程中记录每一元素行对应的当前密级钥，建立与编号对应的密级钥链；在加密矩阵中标记每一密级敏感元素对应的第一位置，并根据每一元素列中包含的密级敏感元素的数量，建立对应的加密层；获取所有第一位置，建立待检位置集；将每个元素列输入到其对应的加密层中，进行逐层加密，根据编号顺序利用加密结果建立秘密矩阵，同时，获取秘密矩阵在建立过程中的秘密钥链；判断密级钥链与秘密钥链是否互补，并在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述系统包括：构建模块，用于根据目标人员的身份信息构建相应的VR车辆模型和VR场景模型；训练模块，用于利用所述VR车辆模型和VR场景模型对目标人员进行驾驶训练，在训练过程中实时采集训练数据；人机交互模块，用于在训练过程中与目标人员实现交互功能；评估模块，用于对所述训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导。2.根据权利要求1所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述构建模块，包括：第一获取子模块，用于获取目标人员的身份信息并提取其对应的五官特征，根据所述身份信息和五官特征确定目标人员的残疾信息；选择子模块，用于根据目标人员的残疾信息选择对应的教学模式和教学视频；第一构建子模块，用于根据所述教学模式和教学视频确定教学场景，获取所述教学场景对应的场景点云数据并基于VR技术构建VR场景模型；第二构建子模块，用于根据目标人员的驾驶需求确定驾驶训练车型，获取所述驾驶训练车型中任一车辆的车辆点云数据并基于所述VR技术构建VR车辆模型。3.根据权利要求1所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述训练模块，包括：身份确认子模块，用于确认目标人员是否符合训练人员的身份信息，根据确认结果确认目标人员是否具备训练条件；第一标记子模块，用于根据所述VR场景模型，获取场地中库位标线、道路标线或特征点，并将所述场地中库位标线、道路标线或特征点以预设方式进行标记以确定车辆的行驶方向；第一生成子模块，用于根据所述车辆的行驶方向和VR车辆模型以及VR场景模型生成VR训练场地以供目标人员进行训练;监控子模块，用于监控目标人员在驾驶过程中的注视特征信息和驾驶状态信息；第一采集子模块，用于采集目标人员在驾驶过程中的车辆动力系统参数信息和车辆行驶轨迹信息。4.根据权利要求1所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述人机交互模块，包括：第二采集子模块，用于采集目标人员发出的语音信号或者手势信号；第二获取子模块，用于根据所述语音信号获取第一技术问题信息或者根据所述手势信号获取手势行为；转化子模块，用于利用预设手势识别算法对所述手势行为进行解析，将解析结果转化为文字格式内容；确认子模块，用于将所述文字格式内容反馈至目标人员佩戴VR设备确认是否正确，接收目标人员反馈的动作指令以确认所述文字格式内容的精度；第三获取子模块，用于当目标人员确认文字格式内容无误时，根据所述文字格式内容获取第二技术问题信息；
检索子模块，用于根据所述第一技术问题和第二技术问题对预设教学内容进行检索，获取对应的答疑或指导方案；教学子模块，用于根据所述答疑或指导方案对目标人员进行语音教学或者手势教学。5.根据权利要求3所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述训练模块，还包括：第四获取子模块，用于获取目标人员的驾驶训练项并获取每个驾驶训练项的预设驾驶参数；第二生成子模块，用于根据每个驾驶训练项的预设驾驶参数生成该驾驶项的语音指导指标和文字指导指标；判断子模块，用于通过所述语音指导指标和文字指导指标提醒目标人员进行驾驶训练，在训练过程中当目标人员出现错误操作时，获取车辆操作错误后的位置数据和姿态数据，根据所述位置数据和姿态数据判断目标人员是否可以继续完整的完成驾驶科目流程；第二标记子模块，用于当判断目标人员可以继续完整的完成驾驶科目流程时，对所述错误操作参数进行标记和存储；调整子模块，用于当判断目标人员无法继续完整的完成驾驶科目流程时，通过预设大数据算法计算出目标人员可继续完整的完成驾驶科目流程时的目标位置并将车辆调节至所述目标位置。6.根据权利要求1所述基于VR虚拟现实的聋哑人智能驾驶训练系统，其特征在于，所述评估模块，用于对所述训练数据进行评估以确定目标人员的合格率和错误操作并进行错误指导，包括：筛选子模块，用于根据所述训练数据筛选出目标人员的错误驾驶操作；第五获取子模块，用于获取目标人员的错误驾驶操作对应的操作行为特征；分析子模块，用于根据所述操作行为特征分析出目标人员的操作错误原因和改进建议；第三生成子模块，用于根据目标人员的每个错误操作项的改进建议和该错误操作项的规范操作参数生成第一人称指导内容和第三人称指导内容；第一显示子模块，用于将所述第一人称指导内容和第三人称指导内容进行显示以对目标人员进...

【专利技术属性】
技术研发人员：范春玲，杨宝华，李迪，张雷，
申请(专利权)人：北京千种幻影科技有限公司，
类型：发明
国别省市：