行程语音服务生成方法、行程陪伴助理系统及电子设备技术方案

本发明专利技术提供一种行程语音服务生成方法、行程陪伴助理系统及电子设备，其中，行程语音服务生成方法包括：步骤S1，获取综合信息，所述综合信息包括基于位置的服务信息、视频信息、语音信息、用户画像信息及用户行为信息、乘员信息及乘员行为信息及车辆状态信息；步骤S2，对所述综合信息进行理解，输出理解信息，所述理解信息包括行程理解信息、环境理解信息、用户理解信息、乘员理解信息及车辆理解信息；步骤S3，基于所述理解信息，通过策略模型生成语音动作策略；步骤S4，基于所述语音动作策略，执行所述语音动作，从而生成行程语音服务。根据本发明专利技术的行程语音服务生成方法，能够提供行程过程中的语音陪伴，与用户建立起长期的信任关系和情感连接。

【技术实现步骤摘要】
行程语音服务生成方法、行程陪伴助理系统及电子设备
本专利技术涉及车辆领域，具体涉及一种行程语音服务生成方法、行程陪伴助理系统及电子设备。
技术介绍
目前市场上的车机系统一般均搭载车载音频应用，主流提供商包括喜马拉雅、听伴，他们都已经推出了连续音频流的产品(喜马拉雅一键听，听伴智能电台流)，但只是简单的已有音频节目的串联和拼接，用户体验较差。
技术实现思路
有鉴于此，本专利技术提供行程语音服务生成方法、行程陪伴助理系统及电子设备，能够提供行程过程中的语音陪伴，与用户建立起长期的信任关系和情感连接。为解决上述技术问题，一方面，本专利技术提供行程语音服务生成方法，包括如下步骤：步骤S1，获取综合信息，所述综合信息包括基于位置的服务信息、视频信息、语音信息、用户画像信息及用户行为信息、乘员信息及乘员行为信息及车辆状态信息；步骤S2，对所述综合信息进行理解，输出理解信息，所述理解信息包括行程理解信息、环境理解信息、用户理解信息、乘员理解信息及车辆理解信息；步骤S3，基于所述理解信息，通过策略模型生成语音动作策略；步骤S4，基于所述语音动作策略，执行所述语音动作，从而生成行程语音服务。进一步地，对所述综合信息进行理解，输出所述理解信息包括：对用户出行习惯、本次出行时间和出发地、及用户设置导航情况进行理解，输出行程目的；对行程目的、用户历史出行习惯及路况信息的理解和/或根据导航系统的时间，输出本次行程的时长；对行程目的和导航系统的路线进行理解，输出本次行程所需要经过的道路类型和路况，对导航系统获取的实时路况进行理解或对摄像头获取的车外的视频进行识别，输出周边路况信息；对网络上的实时天气信息进行理解或对摄像头获取的车外的图像进行识别，输出天气信息；对网站输出的距离当前位置的预定距离的区域内出现的异常事件的信息或对导航系统输出的异常事件信息进行理解，输出异常事件信息，对用户日常行为习惯理解，输出用户本次日程的上下文；对车内摄像头获取的用户图像进行识别和对方向盘及座椅的压力传感器的数据进行分析，输出用户的疲劳状态；对车内摄像头获取的用户图像进行识别和对用户的随身传感器的数据进行分析，输出用户的情绪；对车内摄像头获取的用户图像进行识别和车外摄像头获取的车辆行驶轨迹，输出驾驶行为信息；对用户的年龄、性别、职业、婚姻情况、家庭情况、子女情况及日常消费信息进行理解，输出消费信息；对车内摄像头获取的乘员图像信息进行识别和/或对乘员的语音信息进行识别，输出乘员身份信息、乘员的疲劳状态及乘员的情绪；对车辆部件的状态码进行理解，输出车辆部件状态信息；对车辆碰撞的检测信息进行理解，输出车辆受损信息；对车辆的行驶轨迹进行理解，输出车辆行驶信息。进一步地，所述步骤S3包括：步骤S31，追踪所述理解信息和用户收听信息；步骤S32，基于追踪到的所述理解信息和用户收听信息，通过策略模型生成语音动作策略。进一步地，所述用户收听信息包括用户本次收听的累计时长信息、用户本次收听语言类节目的时长信息、用户距离上次音乐播放结束的时长信息及用户距离上次快讯插播的时长信息；所述语音动作策略为确定出当前所需要执行的语音动作的策略，所述语音动作包括节目编排、快讯播报、天气播报、路况播报、关怀语生成、车辆状态播报、驾驶提醒播报、广告播报及垂直域对话。进一步地，所述策略模型为马尔科夫决策过程模型，包括：S表示系统状态空间，st为t时刻所述理解信息的特征、所述用户收听信息的特征、虚拟人设的特征及所述用户画像信息的特征，A表示语音动作集合，P表示系统状态转移，P(st+1|st，at)为在状态st的情况下，采取动作at之后系统状态转变为st+1的概率，R表示奖励，即R(st，at)为在状态st的情况下采取at获得的奖励，所述奖励根据用户反馈设定，π为语音动作策略，θ为策略模型的参数，πt＝f(st，θ)；所述策略模型通过策略梯度算法进行优化。进一步地，执行所述语音动作包括：执行节目编排、执行快讯播报、执行天气播报、执行路况播报、执行关怀语生成、执行车辆状态播报、执行驾驶提醒播报、执行广告播报及执行垂直域对话。进一步地，所述执行节目编排包括：基于用户、所述理解信息及上下文生成栏目；提取所述栏目对应的栏目内容；将所述栏目内容进行编排，形成音频序列；在所述栏目的开始、结尾以及所述栏目内容中不同音频之间生成主播语，所述执行垂直域对话包括：询问上下文信息、询问用户兴趣点、询问用户收听意图及根据用户反馈进行响应，根据行车安全和用户情绪发起对话。进一步地，行程语音服务生成方法还包括：步骤S5，基于用户反馈及时进行调整；所述调整包括理解调整、语音动作策略调整及执行语音动作调整中的一种或多种。第二方面，本专利技术提供行程陪伴助理系统，用于生成语音服务，包括：获取器，所述获取器用于获取综合信息，所述综合信息包括基于位置的服务信息、视频信息、语音信息、用户画像信息及用户行为信息、乘员信息及乘员行为信息及车辆状态信息；理解器，所述理解器用于对所述综合信息进行理解，输出理解信息，所述理解信息包括行程理解信息、环境理解信息、用户理解信息、乘员理解信息及车辆理解信息；核心管理器，所述核心管理器用于基于所述理解信息，通过策略模型生成语音动作策略；动作执行器，所述动作执行器用于基于所述语音动作策略，执行所述语音动作，从而生成行程语音服务。进一步地，所述理解器包括：行程理解器，所述行程理解器用于对用户出行习惯、本次出行时间和位置、及用户设置导航情况进行理解，输出行程目的；对行程目的、用户出行习惯及路况信息的理解和/或根据导航系统的时间，输出本次行程的时长；对行程目的和导航系统的路线进行理解，输出本次行程所需要经过的道路类型和路况，环境理解器，所述环境理解器用于对实时路况进行理解或对摄像头获取的车外的图像进行识别，输出周边路况信息；对实时天气信息进行理解或对摄像头获取的车外的图像进行识别，输出天气信息；对网站输出的距离当前位置的预定距离的区域内出现的异常事件的信息或对导航系统输出的异常事件信息进行理解，输出异常事件信息，用户理解器，所述用户理解器用于对用户日常行为习惯理解，输出用户本次日程的上下文；对车内摄像头获取的用户图像进行识别和对方向盘及座椅的压力传感器的数据进行分析，输出用户的疲劳状态；对车内摄像头获取的用户图像进行识别和对用户的随身传感器的数据进行分析，输出用户的情绪；对车内摄像头获取的用户图像进行识别和车外摄像头获取的车辆行驶轨迹，输出驾驶行为信息；对用户的年龄、性别、职业、婚姻情况、家庭情况、子女情况及日常消费信息进行理解，输出消费信息；乘员理解器，所述乘员理解器用于对车内摄像头获取的乘员图像信息进行识别和/或对乘员的语音信息进行识别，输出乘员身份信息、乘员的疲劳状态及乘员的情绪；车辆理本文档来自技高网...

【技术保护点】
1.一种行程语音服务生成方法，其特征在于，包括如下步骤：/n步骤S1，获取综合信息，所述综合信息包括基于位置的服务信息、视频信息、语音信息、用户画像信息及用户行为信息、乘员信息及乘员行为信息及车辆状态信息；/n步骤S2，对所述综合信息进行理解，输出理解信息，所述理解信息包括行程理解信息、环境理解信息、用户理解信息、乘员理解信息及车辆理解信息；/n步骤S3，基于所述理解信息，通过策略模型生成语音动作策略；/n步骤S4，基于所述语音动作策略，执行所述语音动作，从而生成行程语音服务。/n

【技术特征摘要】
1.一种行程语音服务生成方法，其特征在于，包括如下步骤：
步骤S1，获取综合信息，所述综合信息包括基于位置的服务信息、视频信息、语音信息、用户画像信息及用户行为信息、乘员信息及乘员行为信息及车辆状态信息；
步骤S2，对所述综合信息进行理解，输出理解信息，所述理解信息包括行程理解信息、环境理解信息、用户理解信息、乘员理解信息及车辆理解信息；
步骤S3，基于所述理解信息，通过策略模型生成语音动作策略；
步骤S4，基于所述语音动作策略，执行所述语音动作，从而生成行程语音服务。


2.根据权利要求1所述的行程语音服务生成方法，其特征在于，对所述综合信息进行理解，输出所述理解信息包括：
对用户出行习惯、本次出行时间和出发地、及用户设置导航情况进行理解，输出行程目的；对行程目的、用户历史出行习惯及路况信息的理解和/或根据导航系统的时间，输出本次行程的时长；对行程目的和导航系统的路线进行理解，输出本次行程所需要经过的道路类型和路况，
对导航系统获取的实时路况进行理解或对摄像头获取的车外的视频进行识别，输出周边路况信息；对网络上的实时天气信息进行理解或对摄像头获取的车外的图像进行识别，输出天气信息；对网站输出的距离当前位置的预定距离的区域内出现的异常事件的信息或对导航系统输出的异常事件信息进行理解，输出异常事件信息，
对用户日常行为习惯理解，输出用户本次日程的上下文；对车内摄像头获取的用户图像进行识别和对方向盘及座椅的压力传感器的数据进行分析，输出用户的疲劳状态；对车内摄像头获取的用户图像进行识别和对用户的随身传感器的数据进行分析，输出用户的情绪；对车内摄像头获取的用户图像进行识别和车外摄像头获取的车辆行驶轨迹，输出驾驶行为信息；对用户的年龄、性别、职业、婚姻情况、家庭情况、子女情况及日常消费信息进行理解，输出消费信息；
对车内摄像头获取的乘员图像信息进行识别和/或对乘员的语音信息进行识别，输出乘员身份信息、乘员的疲劳状态及乘员的情绪；
对车辆部件的状态码进行理解，输出车辆部件状态信息；对车辆碰撞的检测信息进行理解，输出车辆受损信息；对车辆的行驶轨迹进行理解，输出车辆行驶信息。


3.根据权利要求1所述的行程语音服务生成方法，其特征在于，所述步骤S3包括：
步骤S31，追踪所述理解信息和用户收听信息；
步骤S32，基于追踪到的所述理解信息和用户收听信息，通过策略模型生成语音动作策略。


4.根据权利要求3所述的行程语音服务生成方法，其特征在于，
所述用户收听信息包括用户本次收听的累计时长信息、用户本次收听语言类节目的时长信息、用户距离上次音乐播放结束的时长信息及用户距离上次快讯插播的时长信息；
所述语音动作策略为确定出当前所需要执行的语音动作的策略，所述语音动作包括节目编排、快讯播报、天气播报、路况播报、关怀语生成、车辆状态播报、驾驶提醒播报、广告播报及垂直域对话。


5.根据权利要求4所述的行程语音服务生成方法，其特征在于，所述策略模型为马尔科夫决策过程模型，包括：
S表示系统状态空间，st为t时刻所述理解信息的特征、所述用户收听信息的特征、虚拟人设的特征及所述用户画像信息的特征，
A表示语音动作集合，
P表示系统状态转移，P(st+1|st，at)为在状态st的情况下，采取动作at之后系统状态转变为st+1的概率，
R表示奖励，即R(st，at)为在状态st的情况下采取at获得的奖励，所述奖励根据用户反馈设定，
π为语音动作策略，θ为策略模型的参数，πt＝f(st，θ)；
所述策略模型通过策略梯度算法进行优化。


6.根据权利要求1所述的行程语音服务生成方法，其特征在于，执行所述语音动作包括：执行节目编排、执行快讯播报、执行天气播报、执行路况播报、执行关怀语生成、执行车辆状态播报、执行驾驶提醒播报、执行广告播报及执行垂直域对话。


7.根据权利要求6所述的行程语音服务生成方法，其特征在于，
所述执行节目编排包括：
基于用户、所述理解信息及上下文生成栏目；
提取所述栏目对应的栏目内容；
将所述栏目内容进行编排，形成音频序列；
在所述栏目的开始、结尾以及所述栏目内容中不同音频之间生成主播语，
所述执行垂直域对话包括：
询问上下文信息、询问用户兴趣点、询问用户收听意图及根据用户反馈进行响应，根据行车安全和用户情绪发起对话。


8.根据权利要求1所述的行程语音服务生成方法，其特征在于，还包括：
步骤S5，基于用户反馈及时进行调整；
所述调整包括理解调整、语音动作策略调整及执行语音动作调整中的...

【专利技术属性】
技术研发人员：蒋丹宁，李博，张婕欣，张伟志，
申请(专利权)人：斑马网络技术有限公司，
类型：发明
国别省市：上海;31