一种被动触觉反馈的混合现实交互系统技术方案

本发明专利技术提供了一种具有被动触觉反馈的混合现实交互系统的低成本解决方案，利用类人机器人作为虚拟人的躯干，使用逼真的人脸模型制作虚拟形象，并将虚拟形象准确的叠加在类人机器人的头部，通过虚拟形象增强类人机器人的面部细节，提升机器人外貌，并以这样一个虚实结合的形象与用户进行交互，相较于无躯干人的虚拟形象，为用户提供了被动触觉力反馈，大幅提升虚拟人真实感，增强虚拟人系统的交互体验；同时，本发明专利技术相较于具有被动力反馈的虚拟人“U‑Tsu‑Shi‑O‑Mi”，不使用专用的硬件跟踪设备，使用基于三维标志点的跟踪方式跟踪注册虚拟形象的位置，并利用RGB摄像头，实现虚实融合，节省了跟踪成本。

A Hybrid Reality Interactive System with Passive Tactile Feedback

The invention provides a low-cost solution for a hybrid reality interactive system with passive tactile feedback. The human-like robot is used as the trunk of the virtual human, the realistic face model is used to create the virtual image, and the virtual image is accurately superimposed on the head of the human-like robot. Through the virtual image, the facial details of the human-like robot are enhanced, and the appearance of the robot is enhanced. Compared with the virtual image without trunk, such a virtual image provides users with passive tactile force feedback, greatly improves the reality of virtual human and enhances the interactive experience of virtual human system. At the same time, compared with the virtual human \U Tsu Shi O Mi\ with passive force feedback, the present invention does not use dedicated hardware tracking equipment and uses the base device. Tracking the location of the registered virtual image in the way of three-dimensional marking points, and using RGB camera to realize the fusion of virtual and real, which saves the tracking cost.

【技术实现步骤摘要】
一种被动触觉反馈的混合现实交互系统
本专利技术属于陪伴机器人、交互类技能训练、心理舒缓等虚拟人应用领域，尤其涉及一种被动触觉反馈的混合现实交互系统。
技术介绍
目前，虚拟人系统绝大多不具备被动力反馈，市面上虚拟人U-Tsu-Shi-O-Mi属于为数不多的具备被动力反馈的虚拟人系统之一。U-Tsu-Shi-O-Mi虚拟人系统使用扣绿技术将虚拟形象叠加在绿色皮肤的类人机器人上，使用固定在头盔显示器上的光学追踪器跟踪用户相对于类人机器人的位置，从而调整虚拟形象呈现在头盔显示器中的角度，使用关节跟踪器跟踪类人机器人形态，从而改变虚拟形象形态。U-Tsu-Shi-O-Mi实现增强现实效果的方式分为两个部分：扣绿和用户头部位置跟踪，但该方案的虚实融合效果不佳，虚拟形象边缘与真实场景具有明显分界线；需要使用大量传感器、跟踪器等硬件设备辅助计算机器人和用户的相对位置、机器形态，成本较高。
技术实现思路
为解决上述问题，本专利技术提供一种被动触觉反馈的混合现实交互系统。本专利技术通过增强现实技术将虚拟形象与类人机器人进行融合，通过虚拟形象增强类人机器人的面部细节，提升机器人外貌，通过机器人提供被动触觉力反馈，增强虚拟人系统的交互体验。一种被动触觉反馈的混合现实交互系统，包括标准化输入模块、中央处理模块、标准化输出模块、驱动模块、虚实融合模块、类人机器人以及增强现实头盔显示器；所述标准化输入模块包括语音识别单元和表情识别单元；其中语音识别单元将用户语音数据转化为计算机可识别的文本数据，表情识别单元将用户表情画面转化为计算机可识别的用户表情数据；所述中央处理模块包括智能对话单元和情感计算单元；其中智能对话单元接收语音识别单元输出的文本数据，并根据文本数据生成文本文字形式的虚拟人的回答，情感计算单元接收表情识别单元输出的用户表情数据，并根据用户表情数据生成虚拟人当前的情绪数据；其中，虚拟人当前的情绪数据为愉悦、悲伤、愤怒、惊讶、恐惧以及厌恶六种基本情绪的强度值；所述标准化输出模块包括语音合成单元、口型编码单元、表情编码单元以及行为编码单元，其中语音合成单元和口型编码单元接收智能对话单元输出的文本文字，表情编码单元和行为编码单元接收情感计算单元输出的情绪数据；所述语音合成单元将文本文字合成语音，作为混合现实交互系统的听觉输出；所述口型编码单元根据协同发音的规律，得到文本文字中每个汉字的发音里各个可视化发音音素的口型和权重，并对所述口型和权重一一进行编码，得到各个汉字对应的口型编码；所述表情编码单元基于面部表情编码系统，将虚拟人当前情绪数据中的六种基本情绪的强度值乘以一个预设的转换系数，将所述强度值转换为六种基本情绪表情的权重，并将该权重作为虚拟人的表情编码；所述行为编码单元根据虚拟人的情绪数据与类人机器人行为的预定义映射关系，对类人机器人行为进行行为编码；所述驱动模块包括口型动画单元、表情动画单元以及电机控制单元；其中口型动画单元接收口型编码单元输出的口型编码，表情动画单元接收表情编码单元输出的表情编码，电机控制单元接收行为编码单元输出的行为编码；所述口型动画单元和表情动画单元采用混合变形的方式控制预先构建的人脸模型进行变形，具体的，所述人脸模型是具有10种口型变形形状和6种基本情绪变形形状的模型，其中每种变形形状对应一个混合权重参数，且混合权重参数决定人脸模型由无表情变形为对应形状的形变程度，口型动画单元根据口型编码控制口型变形形状对应的混合权重参数，表情动画单元根据表情编码控制基本情绪变形形状的混合权重参数；混合现实交互系统引擎依据16个混合权重参数对人脸模型进行变形，并将预先获取的人脸贴图应用在变形后的人脸模型上，最后将完成贴图后的人脸模型渲染成虚拟形象；所述电机控制单元通过接收的所述行为编码，控制类人机器人的电机，驱动类人机器人进行动作，以此给用户提供被动力反馈，作为混合现实交互系统的触觉输出；虚实融合模块将用户手部的画面和类人机器人的画面渲染在增强现实头盔显示器的显示画面中，并根据用户与类人机器人的位姿关系将所述虚拟形象叠加在显示画面中类人机器人的头部位置，最终得到混合现实交互系统的视觉输出。一种被动触觉反馈的混合现实交互系统，所述位姿关系通过RGB摄像机拍摄类人机器人头部的三维标志点计算得到。一种被动触觉反馈的混合现实交互系统，所述语音识别单元和智能对话单元分别使用科大讯飞语音引擎完成语音识别功能和智能对话功能。一种被动触觉反馈的混合现实交互系统，所述表情识别单元使用Intel实感摄像机的表情识别SDK实现表情识别。一种被动触觉反馈的混合现实交互系统，根据第二深度摄像机捕捉得到的用户手部信息确定所述用户手部在空间中的位置，以此去除虚拟形象对用户手部的遮挡。一种被动触觉反馈的混合现实交互系统，所述情感计算单元根据多层情感空间模型来计算外部刺激、之前时刻的情感残留以及性格对虚拟人情绪的影响，从而将用户表情数据生成虚拟人当前的情绪数据。一种被动触觉反馈的混合现实交互系统，根据中文发音的规律，所述可视化发音音素分为10种口型形状，分别是拼音b、f、d、zh、z、a、e、i、o、u的发音形状。一种被动触觉反馈的混合现实交互系统，所述预定义映射关系具体为：愉悦的情绪对应类人机器人微抬头并伴有头部向肩膀随机角度的倾斜动作，悲伤的情绪对应类人机器人低头并伴有随机角度的转头动作，愤怒的情绪对应类人机器人微抬头并伴有随机角度的转头动作，惊讶的情绪对应类人机器人抬头的动作，恐惧的情绪对应类人机器人低头的动作，厌恶的情绪对应类人机器人随机的转头动作。一种被动触觉反馈的混合现实交互系统，所述用户语音数据由麦克风采集得到。一种被动触觉反馈的混合现实交互系统，所述用户表情画面由第一深度摄像机拍摄得到。有益效果：本专利技术提供了一种具有被动触觉反馈的混合现实交互系统的低成本解决方案，利用类人机器人作为虚拟人的躯干，使用逼真的人脸模型制作虚拟形象，并将虚拟形象准确的叠加在类人机器人的头部，通过虚拟形象增强类人机器人的面部细节，提升机器人外貌，并以这样一个虚实结合的形象与用户进行交互，相较于无躯干人的虚拟形象，为用户提供了被动触觉力反馈，大幅提升虚拟人真实感，增强虚拟人系统的交互体验；同时，本专利技术相较于具有被动力反馈的虚拟人“U-Tsu-Shi-O-Mi”，不使用专用的硬件跟踪设备，使用基于三维标志点的跟踪方式跟踪注册虚拟形象的位置，并利用RGB摄像头，实现虚实融合，节省了跟踪成本。附图说明图1为本专利技术虚拟人交互系统硬件结构图；图2为本专利技术虚拟人交互系统结构图；图3为本专利技术人脸模型获取流程图；1-第二深度摄像机，2-RGB摄像机，3-增强现实头盔显示器，4-耳机，5-三维标志点，6-第一深度摄像机，7-类人机器人，8-麦克风。具体实施方式下面结合附图并举实施例，对本专利技术进行详细叙述。一种被动触觉反馈的混合现实交互系统，如图1所示，其硬件构成包含第二深度摄像机1、RGB摄像机2、增强现实头盔显示器3、耳机4、第一深度摄像机6、一个带有标志点5的类人机器人7以及麦克风8。虚拟人系统使用一个第一深度摄像机6采集用户的表情数据作为本系统的输入数据，驱动情感模型，从而实现虚拟人与用户的情感交互。本混合现实交互系统使用麦克风8采集用户的语音数据，驱动智能对话程序，使用本文档来自技高网...

【技术保护点】
1.一种被动触觉反馈的混合现实交互系统，其特征在于，包括标准化输入模块、中央处理模块、标准化输出模块、驱动模块、虚实融合模块、类人机器人以及增强现实头盔显示器；所述标准化输入模块包括语音识别单元和表情识别单元；其中语音识别单元将用户语音数据转化为计算机可识别的文本数据，表情识别单元将用户表情画面转化为计算机可识别的用户表情数据；所述中央处理模块包括智能对话单元和情感计算单元；其中智能对话单元接收语音识别单元输出的文本数据，并根据文本数据生成文本文字形式的虚拟人的回答，情感计算单元接收表情识别单元输出的用户表情数据，并根据用户表情数据生成虚拟人当前的情绪数据；其中，虚拟人当前的情绪数据为愉悦、悲伤、愤怒、惊讶、恐惧以及厌恶六种基本情绪的强度值；所述标准化输出模块包括语音合成单元、口型编码单元、表情编码单元以及行为编码单元，其中语音合成单元和口型编码单元接收智能对话单元输出的文本文字，表情编码单元和行为编码单元接收情感计算单元输出的情绪数据；所述语音合成单元将文本文字合成语音，作为混合现实交互系统的听觉输出；所述口型编码单元根据协同发音的规律，得到文本文字中每个汉字的发音里各个可视化发音音素的口型和权重，并对所述口型和权重一一进行编码，得到各个汉字对应的口型编码；所述表情编码单元基于面部表情编码系统，将虚拟人当前情绪数据中的六种基本情绪的强度值乘以一个预设的转换系数，将所述强度值转换为六种基本情绪表情的权重，并将该权重作为虚拟人的表情编码；所述行为编码单元根据虚拟人的情绪数据与类人机器人行为的预定义映射关系，对类人机器人行为进行行为编码；所述驱动模块包括口型动画单元、表情动画单元以及电机控制单元；其中口型动画单元接收口型编码单元输出的口型编码，表情动画单元接收表情编码单元输出的表情编码，电机控制单元接收行为编码单元输出的行为编码；所述口型动画单元和表情动画单元采用混合变形的方式控制预先构建的人脸模型进行变形，具体的，所述人脸模型是具有10种口型变形形状和6种基本情绪变形形状的模型，其中每种变形形状对应一个混合权重参数，且混合权重参数决定人脸模型由无表情变形为对应形状的形变程度，口型动画单元根据口型编码控制口型变形形状对应的混合权重参数，表情动画单元根据表情编码控制基本情绪变形形状的混合权重参数；混合现实交互系统引擎依据16个混合权重参数对人脸模型进行变形，并将预先获取的人脸贴图应用在变形后的人脸模型上，最后将完成贴图后的人脸模型渲染成虚拟形象；所述电机控制单元通过接收的所述行为编码，控制类人机器人的电机，驱动类人机器人进行动作，以此给用户提供被动力反馈，作为混合现实交互系统的触觉输出；虚实融合模块将用户手部的画面和类人机器人的画面渲染在增强现实头盔显示器的显示画面中，并根据用户与类人机器人的位姿关系将所述虚拟形象叠加在显示画面中类人机器人的头部位置，最终得到混合现实交互系统的视觉输出。...

【技术特征摘要】
1.一种被动触觉反馈的混合现实交互系统，其特征在于，包括标准化输入模块、中央处理模块、标准化输出模块、驱动模块、虚实融合模块、类人机器人以及增强现实头盔显示器；所述标准化输入模块包括语音识别单元和表情识别单元；其中语音识别单元将用户语音数据转化为计算机可识别的文本数据，表情识别单元将用户表情画面转化为计算机可识别的用户表情数据；所述中央处理模块包括智能对话单元和情感计算单元；其中智能对话单元接收语音识别单元输出的文本数据，并根据文本数据生成文本文字形式的虚拟人的回答，情感计算单元接收表情识别单元输出的用户表情数据，并根据用户表情数据生成虚拟人当前的情绪数据；其中，虚拟人当前的情绪数据为愉悦、悲伤、愤怒、惊讶、恐惧以及厌恶六种基本情绪的强度值；所述标准化输出模块包括语音合成单元、口型编码单元、表情编码单元以及行为编码单元，其中语音合成单元和口型编码单元接收智能对话单元输出的文本文字，表情编码单元和行为编码单元接收情感计算单元输出的情绪数据；所述语音合成单元将文本文字合成语音，作为混合现实交互系统的听觉输出；所述口型编码单元根据协同发音的规律，得到文本文字中每个汉字的发音里各个可视化发音音素的口型和权重，并对所述口型和权重一一进行编码，得到各个汉字对应的口型编码；所述表情编码单元基于面部表情编码系统，将虚拟人当前情绪数据中的六种基本情绪的强度值乘以一个预设的转换系数，将所述强度值转换为六种基本情绪表情的权重，并将该权重作为虚拟人的表情编码；所述行为编码单元根据虚拟人的情绪数据与类人机器人行为的预定义映射关系，对类人机器人行为进行行为编码；所述驱动模块包括口型动画单元、表情动画单元以及电机控制单元；其中口型动画单元接收口型编码单元输出的口型编码，表情动画单元接收表情编码单元输出的表情编码，电机控制单元接收行为编码单元输出的行为编码；所述口型动画单元和表情动画单元采用混合变形的方式控制预先构建的人脸模型进行变形，具体的，所述人脸模型是具有10种口型变形形状和6种基本情绪变形形状的模型，其中每种变形形状对应一个混合权重参数，且混合权重参数决定人脸模型由无表情变形为对应形状的形变程度，口型动画单元根据口型编码控制口型变形形状对应的混合权重参数，表情动画单元根据表情编码控制基本情绪变形形状的混合权重参数；混合现实交互系统引擎依据16个混合权重参数对人脸模型进行变形，并将预先获取的人脸贴图应用在变形...

【专利技术属性】
技术研发人员：翁冬冬，苏妺，胡翔，
申请(专利权)人：北京理工大学，南昌虚拟现实检测技术有限公司，
类型：发明
国别省市：北京,11