智能导游方法、系统、服务器及车辆技术方案

本申请涉及一种智能导游方法、系统、服务器及车辆，车辆在收到介绍景点的语音指令时，根据语音指令包含的景点类型生成景点信息获取请求，并将景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器，服务器在收到景点信息获取请求时，获取车辆的实时位置，根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给车辆以展示给用户。本申请能够在收到指令时根据眼球跟踪信息及时获取用户意图，同时5G车联网网络使服务器能够同时处理车外视频及车辆位置，从而便捷、及时地提供导游服务，实现所见即所得的出行体验。

Intelligent tour guide method, system, server and vehicle

【技术实现步骤摘要】
智能导游方法、系统、服务器及车辆
本申请涉及车辆
，具体涉及一种智能导游方法、系统、服务器及车辆。
技术介绍
随着我国汽车工业的快速发展和人们生活水平的提高，居民家庭的汽车拥有量快速增加，汽车逐步成为了人们生活中不可或缺的交通工具之一。同时，人们不再将汽车定位为简单的交通运输工具与代步工具，通过汽车实现智能出行等方面的需求越来越大，想要实现智能出行，需要将每个独立的车通过车联网技术进行连接以进行大数据分析，这导致了车载通信的频谱资源短缺、频段拥挤、安全等问题日益突出。而随着第五代移动通信(5G)的快速发展，其低时延、高可靠、频谱高效利用等方面的性能可以有效解决当前车联网的问题，因此5G车联网的实现与部署将势在必行。另一方面，眼球追踪技术可根据眼球和眼球周边的特征变化进行跟踪，或根据虹膜角度变化进行跟踪，或是主动投射红外线等光束到虹膜来提取特征，当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，预测用户的状态和需求，并进行响应，达到用眼睛控制设备的目的。对于汽车厂商来说，眼球追踪技术的应用还是一个全新的课题，目前主要使用摄像头来监控司机的眼球运动，如果司机的眼睛闭合时间稍长，系统就会启动声音警报器唤醒司机以防止事故发生。由于眼球追踪技术在汽车领域的应用目前仍局限于对眼球状态的分析，而未真正应用于对用户的意图识别上，如此，在一种场景下，当用户开车经过一段道路并观看周围感兴趣的景点时，由于没有导游陪同且车辆无法及时获取用户的意图，使得用户无法及时获取所需的信息，影响用户的出行体验。针对上述问题，本领域技术人员一直在寻求解决办法。
技术实现思路
本申请的目的在于，提供一种智能导游方法、系统、服务器及车辆，其可以解决上述技术问题，能够在收到指令时根据眼球跟踪信息及时获取用户意图，同时5G车联网网络使服务器能够同时处理车外视频及车辆位置，从而便捷、及时地提供导游服务，实现所见即所得的出行体验。为解决上述技术问题，本申请提供一种智能导游方法，包括：车辆在收到介绍景点的语音指令时，根据所述语音指令包含的景点类型生成景点信息获取请求，并将所述景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器；所述服务器在收到所述景点信息获取请求时，获取所述车辆的实时位置，根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给所述车辆，以使得所述车辆将所述景点信息展示给用户。其中，所述根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，包括：所述服务器根据所述眼球跟踪信息获取用户的眼球运动角度；根据所述眼球运动角度及所述实时位置确定道路侧的坐标范围；若所述坐标范围持续设定时长保持一致，则将处于所述坐标范围内的符合所述景点类型的景点确认为道路侧的目标景点；获取所述目标景点的景点信息，所述景点信息包括详情数据及从所述车外视频中提取的所述目标景点的图像。其中，所述根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，包括：所述服务器根据所述跟踪信息获取用户的眼球运动角度；根据所述眼球运动角度及所述实时位置确定道路侧的坐标范围；提取所述车外视频的与所述实时位置对应的至少一帧图像并判断所述至少一帧图像中是否包含与所述景点类型对应的特征；若所述至少一帧图像中包含与所述景点类型对应的特征且所述坐标范围持续设定时长保持一致，则将处于所述坐标范围内的符合所述景点类型的景点确认为道路侧的目标景点；获取所述目标景点的景点信息，所述景点信息包括详情数据及从所述车外视频中提取的所述目标景点的图像。其中，所述详情数据包括目标景点的名称与景点讲解内容。其中，所述车辆将所述景点信息展示给用户，包括：所述车辆通过平视显示器显示接收的景点信息，和/或，通过语音装置播放接收到的景点信息；当所述景点信息包含目标景点的位置时，在电子地图上的相应位置对所述目标景点进行标注。其中，所述方法还包括：所述车辆在接收到景点信息时，将所述景点信息与对应的车外视频进行存储，并在接收到查看景点信息的指令时展示所述景点信息及对应的车外视频。其中，所述方法还包括：所述车辆在接收到移动终端查看指令时，向所述服务器发送信息获取请求，以使得所述服务器将所述景点信息发送到对应的移动终端进行显示。本申请还提供一种车辆，所述车辆包括视频采集装置、眼球跟踪装置、语音接收装置及处理模块；所述视频采集装置，用于采集车外视频；所述眼球跟踪装置，用于采集眼球跟踪信息；所述语音接收装置，用于接收语音指令；所述处理模块，分别与所述视频采集装置、所述眼球跟踪装置、所述语音接收装置连接，用于加载并执行至少一条程序指令以实现如下方法：车辆在收到介绍景点的语音指令时，根据所述语音指令包含的景点类型生成景点信息获取请求，并将所述景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器，以使得所述服务器在收到所述景点信息获取请求时，获取所述车辆的实时位置，根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给所述车辆；将所述景点信息展示给用户。本申请还提供一种服务器，所述服务器用于加载并执行至少一条程序指令以实现如下方法：服务器在通过5G车联网网络接收到车辆根据介绍景点的语音指令发送的景点信息获取请求及实时采集的车外视频、眼球跟踪信息时，获取所述车辆的实时位置，所述景点信息获取请求由所述车辆根据所述语音指令包含的景点类型生成；根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息；通过5G车联网网络将获取的景点信息发送给所述车辆，以使得所述车辆将所述景点信息展示给用户。本申请还提供一种智能导游系统，包括如上所述的车辆及如上所述的服务器。本申请的智能导游方法、系统、服务器及车辆，车辆在收到介绍景点的语音指令时，根据语音指令包含的景点类型生成景点信息获取请求，并将景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器，服务器在收到景点信息获取请求时，获取车辆的实时位置，根据实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给车辆以展示给用户。本申请能够在收到指令时根据眼球跟踪信息及时获取用户意图，同时5G车联网网络使服务器能够同时处理车外视频及车辆位置，从而便捷、及时地提供导游服务，实现所见即所得本文档来自技高网...

【技术保护点】
1.一种智能导游方法，其特征在于，包括：/n车辆在收到介绍景点的语音指令时，根据所述语音指令包含的景点类型生成景点信息获取请求，并将所述景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器；/n所述服务器在收到所述景点信息获取请求时，获取所述车辆的实时位置，根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给所述车辆，以使得所述车辆将所述景点信息展示给用户。/n

【技术特征摘要】
1.一种智能导游方法，其特征在于，包括：
车辆在收到介绍景点的语音指令时，根据所述语音指令包含的景点类型生成景点信息获取请求，并将所述景点信息获取请求及实时采集的车外视频、眼球跟踪信息通过5G车联网网络发送给服务器；
所述服务器在收到所述景点信息获取请求时，获取所述车辆的实时位置，根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，以及，通过5G车联网网络将获取的景点信息发送给所述车辆，以使得所述车辆将所述景点信息展示给用户。


2.根据权利要求1所述的智能导游方法，其特征在于，所述根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，包括：
所述服务器根据所述眼球跟踪信息获取用户的眼球运动角度；
根据所述眼球运动角度及所述实时位置确定道路侧的坐标范围；
若所述坐标范围持续设定时长保持一致，则将处于所述坐标范围内的符合所述景点类型的景点确认为道路侧的目标景点；
获取所述目标景点的景点信息，所述景点信息包括详情数据及从所述车外视频中提取的所述目标景点的图像。


3.根据权利要求1所述的智能导游方法，其特征在于，所述根据所述实时位置、眼球跟踪信息、车外视频及景点类型确定道路侧的目标景点并获取所述目标景点的景点信息，包括：
所述服务器根据所述跟踪信息获取用户的眼球运动角度；
根据所述眼球运动角度及所述实时位置确定道路侧的坐标范围；
提取所述车外视频的与所述实时位置对应的至少一帧图像并判断所述至少一帧图像中是否包含与所述景点类型对应的特征；
若所述至少一帧图像中包含与所述景点类型对应的特征且所述坐标范围持续设定时长保持一致，则将处于所述坐标范围内的符合所述景点类型的景点确认为道路侧的目标景点；
获取所述目标景点的景点信息，所述景点信息包括详情数据及从所述车外视频中提取的所述目标景点的图像。


4.根据权利要求2或3所述的智能导游方法，其特征在于，所述详情数据包括目标景点的名称与景点讲解内容。


5.根据权利要求1或2所述的智能导游方法，其特征在于，所述车辆将所述景点信息展示给用户，包括：
所述车辆通过平视显示器显示接收的景点信息，和/或，通过语音装置播放接收到的景点信息；...

【专利技术属性】
技术研发人员：时红仁，
申请(专利权)人：上海擎感智能科技有限公司，
类型：发明
国别省市：上海;31