一种带有图像理解的智能语音车载交互系统技术方案

本发明专利技术公开了一种带有图像理解的智能语音车载交互系统，包括带有图像理解的在线智能语音车载交互系统和离线智能语音车载交互系统，所述带有图像理解的在线智能语音车载交互系统，包括车载移动终端、车载无线网关、车联网云平台和互联网，所述的离线智能语音车载交互系统，包括离线语音接收模块、车辆OBD接口、离线语音识别引擎、离线语音合成引擎、离线语音播放模块和车载移动终端。本发明专利技术提供了一种前所未有的辅助驾驶新体验，创新性地运用图像理解、自然语言理解、智能语音和网络通讯等技术，将实时综合路况信息和连接互联网的更多更丰富的用户需求响应以智能语音的形式与用户进行交互。

Intelligent voice vehicle mounted interactive system with image understanding

The invention discloses a vehicle with intelligent voice interactive system with image understanding, including image understanding online and offline vehicle intelligent voice interactive system of intelligent voice vehicle interaction system, the online intelligent voice interactive system with on-board image understanding, including mobile terminal, wireless gateway, car cloud networking platform and the Internet. The off-line intelligent voice vehicle interaction system, including off-line voice receiving module, OBD interface, vehicle off-line speech recognition engine, off-line speech synthesis engine, off-line voice playback module and mobile terminal. The invention provides a hitherto unknown auxiliary pilot experience, innovative use of image understanding, natural language understanding, intelligent voice and network communication technology, the integrated real-time traffic information and connect to the Internet more and more rich user demand response to interact with the user intelligent voice.

【技术实现步骤摘要】
一种带有图像理解的智能语音车载交互系统
本专利技术涉及一种带有图像理解的智能语音车载交互系统，属于信息
，主要涉及物联网、车联网、移动互联网、网络通讯、数据库、智能语音、自然语言理解、图像理解。
技术介绍
近年来，随着移动网络的发展和移动智能终端设备的广泛使用，利用移动智能终端的卫星定位及无线通信功能构建的车联网，实现更多更复杂功能已是必然趋势。但是拥有众多功能的车载终端系统需要驾驶员更多更复杂的交互操作，进行这些操作的时候，驾驶员一般无法目视前方，因此增加了出现交通意外的风险。因此需引入其他措施以使得相关信息更够更好地与驾驶员交互。
技术实现思路
本专利技术目的在于提供一种带有图像理解的智能语音车载交互系统，以提供一种前所未有的辅助驾驶体验。为实现上述目的，本专利技术提供了一种带有图像理解的智能语音车载交互系统，该带有图像理解的智能语音车载交互系统包括带有图像理解的在线智能语音车载交互系统和离线智能语音车载交互系统。所述带有图像理解的在线智能语音车载交互系统，包括车载移动终端、车载无线网关、车联网云平台和互联网，用于整合车辆摄像头拍摄的周边路况图像信息、实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，以及根据用户对互联网资源信息的诸多需求其进行分析，实现图像的语义理解，将实时综合路况信息和连接互联网的更多更丰富的用户需求响应以智能语音的形式与用户进行交互。为了进一步提高性能，所述的车载移动终端用于接收该车辆周边路况图像信息和需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据，并通过车载无线网关发送至车联网云平台，同时通过车载无线网关接收车联网云平台的图像理解引擎实时处理的交通路况信息和根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源等其他用户需求响应的语音反馈信息，并与用户进行该功能的智能语音交互，包括车载图像接收模块、在线语音接收模块、车载图像发送模块、在线语音发送模块、语音反馈信息接收模块、在线语音播放模块；其中，所述的车载图像接收模块，通过车载摄像头拍摄车辆周围路况视频，接收该车辆周边路况图像信息；所述的在线语音接收模块，通过采集用户的语音数据，接收用于需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；所述的车载图像发送模块，用于接收车载图像接收模块接收的车辆周边路况图像信息，并通过车载无线网关发送至车联网云平台；所述的在线语音发送模块，用于接收在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；所述的语音反馈信息接收模块，通过车载无线网关接收语音反馈信息发送模块发送的语音信号；所述的在线语音播放模块，用于将在线语音合成引擎的合成结果播放给用户；为了进一步提高性能，所述的车联网云平台，一方面，通过车载无线网关接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别，另一方面，利用图像理解引擎将通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息和实时视频监控模块实时采集当前车辆周边道路视频监控图像进行分析，实现图像的语义理解，并接收其他用户需求响应模块根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源信息合成为语音信号，包括云端车载图像接收模块、云端语音接收模块、在线语音识别引擎、实时视频监控模块、图像理解引擎、其他用户需求响应模块、在线语音合成引擎、语音反馈信息发送模块；其中，所述的云端车载图像接收模块，通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息；所述的云端语音接收模块，通过车载无线网关在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；所述的在线语音识别引擎，对云端语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别；所述的实时视频监控模块，汇集道路视频监控图像，根据车辆GPS定位，实时采集当前车辆周边道路视频监控图像；所述的图像理解引擎，整合云端车载图像接收模块接收的车辆周边路况图像信息和实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，对其进行分析，实现图像的语义理解；所述的其他用户需求响应模块，根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源信息；所述的在线语音合成引擎，将图像理解引擎输出的信息和车联网云平台对用户其他需求的响应，合成为语音信号；所述的语音反馈信息发送模块，用于接收在线语音合成引擎合成为语音信号，并通过车载无线网关发送至语音反馈信息接收模块；为了进一步提高性能，所述的车载无线网关，分别与车联网云平台和车载移动终端连接，用于实现车载移动终端和车联网云平台之间的无线通信功能；为了进一步提高性能，所述的互联网，与车联网云平台连接，用于获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源。所述的离线智能语音车载交互系统，包括离线语音接收模块、车辆OBD接口、离线语音识别引擎、离线语音合成引擎、离线语音播放模块和车载移动终端，用于显示无需联网可完成的用户需求语音交互；其中，所述的离线语音接收模块，通过采集用户的语音数据，接收用于控制汽车车窗、空调、广播等的用户基础语音控制命令；所述的车辆OBD接口，用于输出包括车速、转速、油耗等车况参数信息；所述的离线语音识别引擎，用于对离线语音接收模块接收的用于控制汽车车窗、空调、广播等的用户基础语音控制命令进行理解、识别；所述的离线语音合成引擎，用于将车辆OBD接口输出的车况参数信息和执行离线语音控制命令后汽车对用户的需求响应，合成为语音信号；所述的离线语音播放模块，用于将离线语音合成引擎的合成结果播放给用户；所述的车载移动终端，根据OBD协议与车辆OBD接口通信，并在在本地离线状态进行OBD信息以及简单语音识别、简单语音合成的信息处理。有益效果在于：同现有技术相比，本专利技术提供了一种前所未有的辅助驾驶新体验。本专利技术考虑用户无法良好关注图像信息的情形，创新性地运用图像理解、自然语言理解、智能语音和网络通讯等技术对整合云端车载图像接收模块接收的车辆周边路况图像信息、实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，以及根据用户对互联网资源信息的诸多需求其进行分析，实现图像的语义理解，将实时综合路况信息和连接互联网的更多更丰富的用户需求响应以智能语音的形式与用户进行交互。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。附图1是本专利技术提供的车载移动终端系统的整体结构示意图；附图2是根据本专利技术可选实施例的在线带有图像理解的智能语音交互系统的结构示意图；附图3是根据本专利技术可选实施例的离线智能语音交互系统的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下文中将参考附图并结合实施例来详细说明本专利技术。实施例一本实施例提供了一种带有图像理解的在线智能语音车载交互系统，整合车辆摄像头拍摄的周边路况图像信息、实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，以及根据用户对互联网资源信息的诸多需求其进行分析，实现图像的语义理解，将实时综合路况信息和连接互联网的更多更丰富的本文档来自技高网...

【技术保护点】
一种带有图像理解的智能语音车载交互系统，包括带有图像理解的在线智能语音车载交互系统和离线智能语音车载交互系统，其特征在于：所述带有图像理解的在线智能语音车载交互系统，包括车载移动终端、车载无线网关、车联网云平台和互联网，用于整合车辆摄像头拍摄的周边路况图像信息、实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，以及根据用户对互联网资源信息的诸多需求其进行分析，实现图像的语义理解，将实时综合路况信息和连接互联网的更多更丰富的用户需求响应以智能语音的形式与用户进行交互；所述的离线智能语音车载交互系统，包括离线语音接收模块、车辆OBD接口、离线语音识别引擎、离线语音合成引擎、离线语音播放模块和车载移动终端，用于显示无需联网可完成的用户需求语音交互。

【技术特征摘要】
1.一种带有图像理解的智能语音车载交互系统，包括带有图像理解的在线智能语音车载交互系统和离线智能语音车载交互系统，其特征在于：所述带有图像理解的在线智能语音车载交互系统，包括车载移动终端、车载无线网关、车联网云平台和互联网，用于整合车辆摄像头拍摄的周边路况图像信息、实时视频监控模块接收的实时采集当前车辆周边道路视频监控图像，以及根据用户对互联网资源信息的诸多需求其进行分析，实现图像的语义理解，将实时综合路况信息和连接互联网的更多更丰富的用户需求响应以智能语音的形式与用户进行交互；所述的离线智能语音车载交互系统，包括离线语音接收模块、车辆OBD接口、离线语音识别引擎、离线语音合成引擎、离线语音播放模块和车载移动终端，用于显示无需联网可完成的用户需求语音交互。2.根据权利要求1所述的一种带有图像理解的智能语音车载交互系统，其特征在于：所述的车载移动终端用于接收该车辆周边路况图像信息和需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据，并通过车载无线网关发送至车联网云平台，同时通过车载无线网关接收车联网云平台的图像理解引擎实时处理的交通路况信息和根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络资源等其他用户需求响应的语音反馈信息，并与用户进行该功能的智能语音交互，包括车载图像接收模块、在线语音接收模块、车载图像发送模块、在线语音发送模块、语音反馈信息接收模块、在线语音播放模块；其中，所述的车载图像接收模块，通过车载摄像头拍摄车辆周围路况视频，接收该车辆周边路况图像信息；所述的在线语音接收模块，通过采集用户的语音数据，接收用于需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；所述的车载图像发送模块，用于接收车载图像接收模块接收的车辆周边路况图像信息，并通过车载无线网关发送至车联网云平台；所述的在线语音发送模块，用于接收在线语音接收模块接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据；所述的语音反馈信息接收模块，通过车载无线网关接收语音反馈信息发送模块发送的语音信号；所述的在线语音播放模块，用于将在线语音合成引擎的合成结果播放给用户。3.根据权利要求1所述的一种带有图像理解的智能语音车载交互系统，其特征在于：所述的车联网云平台，一方面，通过车载无线网关接收的需要连接车联网云平台才能完成语音识别功能的复杂用户语音数据进行理解、识别，另一方面，利用图像理解引擎将通过车载无线网关接收车载图像发送模块发送的车辆周边路况图像信息和实时视频监控模块实时采集当前车辆周边道路视频监控图像进行分析，实现图像的语义理解，并接收其他用户需求响应模块根据用户需求获取天气信息、新闻资讯、电子邮件、周边服务等一系列网络...

【专利技术属性】
技术研发人员：蒋雪峰，蒋顺恺，
申请(专利权)人：重庆峰创科技有限公司，
类型：发明
国别省市：重庆,50