基于数字人的车舱交互方法、装置及车辆制造方法及图纸

本公开实施例提供一种基于数字人的车舱交互方法、装置及车辆，获取车舱内的活体的状态信息，确定与所述状态信息相匹配的动作信息，并根据所述动作信息生成并在所述车舱内的显示设备上显示数字人执行相应动作的动画。

【技术实现步骤摘要】
基于数字人的车舱交互方法、装置及车辆
本公开涉及计算机视觉
，尤其涉及基于数字人的车舱交互方法、装置及车辆。
技术介绍
目前，许多车辆上会安装监控产品，用来与车上的活体进行交互。然而，传统的监控产品的交互方式比较生硬，缺少人性化。
技术实现思路
本公开提供一种基于数字人的车舱交互方法、装置及车辆。根据本公开实施例的第一方面，提供一种基于数字人的车舱交互方法，所述方法包括：获取车舱内乘坐的活体的状态信息；确定与所述状态信息相匹配的动作信息；根据所述动作信息生成并在所述车舱内的显示设备上显示数字人执行相应动作的动画。在一些实施例中，所述根据所述动作信息生成并在所述车舱内的显示设备上显示数字人执行相应动作的动画，包括：确定与所述状态信息相匹配的语音信息；根据所述语音信息获取对应的语音，所述语音中包括时间戳；在播放所述语音的同时，根据所述动作信息生成并显示所述数字人在所述时间戳对应的时刻执行所述动作的动画。在一些实施例中，所述动作中包括多个子动作，每个子动作与所述语音中的一个音素相匹配，所述时间戳包括每本文档来自技高网...

【技术保护点】
1.一种基于数字人的车舱交互方法，其特征在于，所述方法包括：/n获取车舱内乘坐的活体的状态信息；/n确定与所述状态信息相匹配的动作信息；/n根据所述动作信息生成并在所述车舱内的显示设备上显示数字人执行相应动作的动画。/n

【技术特征摘要】
1.一种基于数字人的车舱交互方法，其特征在于，所述方法包括：
获取车舱内乘坐的活体的状态信息；
确定与所述状态信息相匹配的动作信息；
根据所述动作信息生成并在所述车舱内的显示设备上显示数字人执行相应动作的动画。


2.根据权利要求1所述的方法，其特征在于，所述根据所述动作信息生成并在所述车舱内的显示设备上显示数字人执行相应动作的动画，包括：
确定与所述状态信息相匹配的语音信息；
根据所述语音信息获取对应的语音，所述语音中包括时间戳；
在播放所述语音的同时，根据所述动作信息生成并显示所述数字人在所述时间戳对应的时刻执行所述动作的动画。


3.根据权利要求2所述的方法，其特征在于，所述动作中包括多个子动作，每个子动作与所述语音中的一个音素相匹配，所述时间戳包括每个音素的时间戳；所述根据所述动作信息生成并显示所述数字人在所述时间戳对应的时刻执行所述动作的动画，包括：
根据每个音素的时间戳，确定与所述每个音素相匹配的子动作的执行时间；
根据所述动作信息，生成并显示所述数字人在每个音素的时间戳执行与所述每个音素相匹配的子动作的动画。


4.根据权利要求1至3任意一项所述的方法，其特征在于，所述根据所述动作信息生成并在所述车舱内的显示设备上显示数字人执行相应动作的动画，包括：
从动作模型库中调用与所述动作信息对应的至少一帧数字人的动作切片；
将所述至少一帧数字人的动作切片中的每帧数字人的动作切片依次显示在所述显示设备上。


5.根据权利要求1至4任意一项所述的方法，其特征在于，所述活体的状态信息包括所述活体的第一状态信息，所述获取车舱内乘坐的活体的状态信息，包括：
采集车舱内后排的监控视频；
对所述监控视频进行活体检测并对检测出的活体进行状态分析，得到所述活体的第一状态信息。


6.根据权利要求5所述的方法，其特征在于，所述监控视频由安装在所述车舱内的后视镜上，且镜头朝向车舱后排的视频采集装置获取。


7.根据权利要求5或6所述的方法，其特征在于，
所述第一状态信息包括以下至少之一：所述活体的类别信息、身份信息、属性信息、情绪信息、表情信息、肢体动作信息、座椅落座信息、安全带佩戴信息；和/或，
所述活体包括以下至少之一：驾驶员、副驾驶员、儿童、老人、宠物、后排乘车人。


8.根据权利要求1至7任意一项所述的方法，其特...

【专利技术属性】
技术研发人员：曾彬，周群艳，李轲，吴阳平，许亮，郑世静，伍俊，
申请(专利权)人：上海商汤临港智能科技有限公司，
类型：发明
国别省市：上海;31