无人驾驶作业车人机交互系统及方法技术方案

本发明专利技术提供了一种无人驾驶作业车人机交互系统及方法，涉及无人驾驶作业技术领域，该方法包括：多个摄像头、拾音器、扬声器和复位式开关，还包括显示屏、控制器及云平台；多个所述摄像头、拾音器、扬声器和复位式开关均安装在作业车上；所述显示屏安装在作业车顶部或侧面，以文字、图片或视频的方式向车外人员展示作业车信息和互动信息；所述控制器控制摄像头的视频采集、拼接和推送，控制拾音器的音频收集，控制扬声器的音频播放，控制显示屏的信息展示；所述云平台与所述控制器和车载主控制器进行无线通信。本发明专利技术能够实现与车内外人的稳定对讲，并提供更丰富的交互内容。并提供更丰富的交互内容。并提供更丰富的交互内容。

【技术实现步骤摘要】
无人驾驶作业车人机交互系统及方法


[0001]本专利技术涉及无人驾驶作业
，具体地，涉及一种无人驾驶作业车人机交互系统及方法。

技术介绍

[0002]随着人力成本的上升以及人口老龄化问题的加剧，越来越多的行业面临自动化升级和无人化作业的压力。随着无人驾驶技术的进步，无人驾驶作业车在环卫、物流、农业、矿区等领域得到了逐步应用，解放了人力，提高了作业效率，代表了未来的发展方向。
[0003]无人驾驶作业车可以自主完成预定任务而无需人工介入，但有些时候也需要与车内或附近的人进行信息交流，例如向安全员提供车辆状态信息、向行人发送警示信息以避免碰撞等，这就需要人机交互系统的协助。目前，无人驾驶作业车的交互功能以视频传输和文字传输为主，即将车辆及周围环境的实时视频传输至云平台，以及将文字等显示内容通过云平台下发至车载显示屏。这种交互系统功能单一，只能用于一般信息的传输和显示，无法应用更加复杂的紧急情况。至于语音功能，目前多数无人驾驶作业车只能实现与车内安全员的语音对讲，而无法实现与车外行人的稳定对讲。
[0004]公开号为CN111984007A的专利技术专利，公开了一种自动驾驶智能扫路人机交互控制系统及设备，包括融合建模模块将感知模块和定位模块的信息进行融合，设置光影交互信号的指令库，构建自动行驶所需要的行驶场景模型；决策规划模块是基于融合的感知信号和定位信号以及场景模型做决策规划，遍历预设的光影交互信号的定义启动指令，持续跟踪记录位置和后续动作，视频感知模块辐射范围为周围环境与红外感知模块共同感知并记录周围环境变化，进行光影算法融合；人机交互模块包括语音交互模块和光影交互模块；光影交互模块包括摄像设备、光影显示模块、光影控制模块。然而，该系统只适用于不含驾驶舱的小型扫路车，不包含与车内安全员的交互功能；同时，该系统的交互直接发生在人与扫路车之间，没有云平台的介入，因而处理信息和做出应对措施的能力受限；另外还有交互传感器数量较少、光影系统显示效果不佳等缺点。

技术实现思路

[0005]针对现有技术中的缺陷，本专利技术提供一种无人驾驶作业车人机交互系统及方法。
[0006]根据本专利技术提供的一种无人驾驶作业车人机交互系统及方法，所述方案如下：
[0007]第一方面，提供了一种无人驾驶作业车人机交互系统，所述系统包括：多个摄像头、拾音器、扬声器和复位式开关，还包括显示屏、控制器及云平台；
[0008]所述摄像头、拾音器、扬声器和复位式开关均安装在作业车上；
[0009]所述显示屏安装在作业车顶部或侧面，以文字、图片或视频的方式向车外人员展示作业车信息和互动信息；
[0010]所述控制器控制所述摄像头的视频采集、拼接和推送，控制所述拾音器的音频收集，控制所述扬声器的音频播放，控制所述显示屏的信息展示；
[0011]所述云平台与所述控制器以及车载主控制器分别进行无线通信。
[0012]优选地，所述摄像头包括：第一摄像头、第二摄像头、第三摄像头、第四摄像头和第五摄像头；
[0013]所述拾音器包括：第一拾音器、第二拾音器、第三拾音器、第四拾音器和第五拾音器；
[0014]所述扬声器包括：第一扬声器、第二扬声器、第三扬声器、第四扬声器和第五扬声器；
[0015]所述复位式开关包括：第一复位式开关、第二复位式开关、第三复位式开关、第四复位式开关和第五复位式开关；
[0016]所述第一摄像头为驾驶员监控摄像头，安装在作业车驾驶舱内，用于监视驾驶舱内的情况，并记录车内安全员的肢体动作；所述第二摄像头、第三摄像头、第四摄像头和第五摄像头均为全景监控摄像头，所述第二摄像头安装在作业车的前方，所述第三摄像头安装在作业车的左侧，所述第四摄像头安装在作业车的右侧，所述第五摄像头安装在作业车的后方，上述四个摄像头用于监视作业车四周的环境情况，并记录车外人员的肢体动作；
[0017]所述第一拾音器为指向型拾音器，安装在作业车驾驶舱内方向盘附近，用于收集车内安全员说话的声音；所述第二拾音器、第三拾音器、第四拾音器和第五拾音器均为全向型拾音器，所述第二拾音器安装在作业车的前方，所述第三拾音器安装在作业车的左侧，所述第四拾音器安装在作业车的右侧，所述第五拾音器安装在作业车的后方，上述四个拾音器用于收集车外人员说话的声音；
[0018]所述第一扬声器为小功率扬声器，安装在作业车驾驶舱内方向盘附近，用于向车内安全员播放音频；所述第二扬声器、第三扬声器、第四扬声器和第五扬声器均为大功率扬声器，所述第二扬声器安装在作业车的前方，所述第三扬声器安装在作业车的左侧，所述第四扬声器安装在作业车的右侧，所述第五扬声器安装在作业车的后方，上述四个扬声器用于向车外人员播放音频；
[0019]所述第一复位式开关安装在作业车驾驶舱内方向盘附近，所述第二复位式开关、第三复位式开关、第四复位式开关和第五复位式开关均集成了急停触发功能，所述第二复位式开关安装在作业车的前方，所述第三复位式开关安装在作业车的左侧，所述第四复位式开关安装在作业车的右侧，所述第五复位式开关安装在作业车的后方。
[0020]优选地，当车外人员按下所述第二复位式开关至第五复位式开关之一时，作业车急停，同时与被按下的复位式开关同侧的拾音器开启，所述云平台通过与被按下的复位式开关同侧的拾音器和扬声器与车外人员进行对讲；
[0021]当车外人员松开被按下的复位式开关后，被按下的复位式开关自动复位，与被按下的复位式开关同侧的拾音器关闭，对讲结束。
[0022]优选地，所述第一拾音器的开关方式包括：车内安全员通过所述第一复位式开关实现；
[0023]具体地，当车内安全员按下所述第一复位式开关时，所述第一拾音器开启，所述云平台通过所述第一拾音器和第一扬声器与安全员进行对讲；在安全员松开所述第一复位式开关后，所述第一复位式开关自动复位，所述第一拾音器关闭，对讲结束。
[0024]优选地，所述第一拾音器的开关方式还包括：所述平云台通过下发指令给所述控
制器实现；
[0025]具体地，当所述平云台判断有必要时，将直接命令所述控制器打开所述第一拾音器，然后通过所述第一拾音器和第一扬声器与安全员进行对讲，在对讲结束后命令所述控制器关闭所述第一拾音器。
[0026]第二方面，提供了一种无人驾驶作业车人机交互方法，所述方法包括：
[0027]所述第一摄像头至第五摄像头采集作业车内部及四周的视频数据，所述第一拾音器至第五拾音器采集车内外人员的音频数据，所述控制器将所述视频数据和音频数据推送至所述云平台上；
[0028]所述云平台对接收到的视频数据和音频数据进行分析，当判断分析结果出现特定事件后，按照预设策略做出相应平台决策，所述平台决策包括调度管理指令和车辆交互指令；
[0029]所述云平台把所述调度管理指令下发给预设责任方，所述预设责任方根据所述调度管理指令按照预设职责做出相应措施；
[0030]所述云平台把所述车辆交互指令下发给所述控制器和车载主控本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人驾驶作业车人机交互系统，其特征在于，包括：多个摄像头、拾音器、扬声器和复位式开关，还包括显示屏、控制器及云平台；多个所述摄像头、拾音器、扬声器和复位式开关均安装在作业车上；所述显示屏安装在作业车顶部或侧面，以文字、图片或视频的方式向车外人员展示作业车信息和互动信息；所述控制器控制摄像头的视频采集、拼接和推送，控制拾音器的音频收集，控制扬声器的音频播放，控制显示屏的信息展示；所述云平台与所述控制器和车载主控制器进行无线通信。2.根据权利要求1所述的无人驾驶作业车人机交互系统，其特征在于，所述摄像头包括：第一摄像头、第二摄像头、第三摄像头、第四摄像头和第五摄像头；所述拾音器包括：第一拾音器、第二拾音器、第三拾音器、第四拾音器和第五拾音器；所述扬声器包括：第一扬声器、第二扬声器、第三扬声器、第四扬声器和第五扬声器；所述复位式开关包括：第一复位式开关、第二复位式开关、第三复位式开关、第四复位式开关和第五复位式开关；述第一摄像头为驾驶员监控摄像头，安装在作业车驾驶舱内，用于监视驾驶舱内的情况，并记录车内安全员的肢体动作；所述第二摄像头、第三摄像头、第四摄像头和第五摄像头均为全景监控摄像头，所述第二摄像头安装在作业车的前方，所述第三摄像头安装在作业车的左侧，所述第四摄像头安装在作业车的右侧，所述第五摄像头安装在作业车的后方，上述四个摄像头用于监视作业车四周的环境情况，并记录车外人员的肢体动作；所述第一拾音器为指向型拾音器，安装在作业车驾驶舱内方向盘附近，用于收集车内安全员说话的声音；所述第二拾音器、第三拾音器、第四拾音器和第五拾音器均为全向型拾音器，所述第二拾音器安装在作业车的前方，所述第三拾音器安装在作业车的左侧，所述第四拾音器安装在作业车的右侧，所述第五拾音器安装在作业车的后方，上述四个拾音器用于收集车外人员说话的声音；所述第一扬声器为小功率扬声器，安装在作业车驾驶舱内方向盘附近，用于向车内安全员播放音频；所述第二扬声器、第三扬声器、第四扬声器和第五扬声器均为大功率扬声器，所述第二扬声器安装在作业车的前方，所述第三扬声器安装在作业车的左侧，所述第四扬声器安装在作业车的右侧，所述第五扬声器安装在作业车的后方，上述四个扬声器用于向车外人员播放音频；所述第一复位式开关安装在作业车驾驶舱内方向盘附近，所述第二复位式开关、第三复位式开关、第四复位式开关和第五复位式开关均集成了急停触发功能，所述第二复位式开关安装在作业车的前方，所述第三复位式开关安装在作业车的左侧，所述第四复位式开关安装在作业车的右侧，所述第五复位式开关安装在作业车的后方。3.根据权利要求2所述的无人驾驶作业车人机交互系统，其特征在于，当车外人员按下所述第二复位式开关至第五复位式开关之一时，作业车急停，同时与被按下的复位式开关同侧的拾音器开启，所述云平台通过与被按下的复位式开关同侧的拾音器和扬声器与车外人员进行对讲；当车外人员松开被按下的复位式开关后，被按下的复位式开关自动复位，与被按下的复位式开关同侧的拾音器...

【专利技术属性】
技术研发人员：何弢，燕冬，廖文龙，
申请(专利权)人：酷哇环境技术有限公司，
类型：发明
国别省市：