一种虚拟诊疗系统和方法技术方案

本发明专利技术涉及一种虚拟诊疗系统和方法，属于心理诊疗装置技术领域，解决现有诊疗装置不能获取贴合用户虚拟人物、幻听语言对患者进行心理疏导的问题。虚拟诊疗系统包括：人物画像生成模块，根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；三维人物模型建立模块，基于虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟虚拟人物的三维人物模型；情景诊疗模块，通过加载虚拟场景模块、面部捕捉模块、全身动作捕捉模块和变声器模块，在心理治疗师、患者和虚拟人物模型之间进行人机互动。能够获得贴合用户虚拟人物形象的三维人物模型并将虚拟人物的幻听声音和表情动作同时展示给患者，实现心理疏导与治疗。

【技术实现步骤摘要】
一种虚拟诊疗系统和方法
本专利技术涉及心理诊疗装置
，尤其涉及一种虚拟诊疗系统和方法。
技术介绍
在精神病学中，幻听是一种主要的知觉障碍。幻听表现为在没有任何人或外部刺激干预的情况下，病人出现基于现实感觉基础上的虚假感。75％的精神分裂症患者被诊断有幻听症状，治疗精神分裂症症状的药物其药理为多巴胺受体阻断，通过这些药物可以缓解幻听的症状。但临床实践表明，医疗程序无法行之有效的帮助幻听患者，一半的幻听会发展成为慢性疾病，尽管使用了药物治疗，幻觉仍然会保留数月甚至数年之久。这些症状常常是精神疾病患者住院治疗的原因，导致病人与社会脱节。到目前为止，针对心理疾病、心理障碍诊断、治疗与缓解的现有技术还远远没有成熟，缺乏一套能够贴合用户虚拟人物、幻听语言对患者进行心理疏导以改善其心理状态的装置和方法。
技术实现思路
鉴于上述的分析，本专利技术实施例旨在提供一种虚拟诊疗系统和方法，用以解决现有诊疗装置不能获取贴合用户虚拟人物、幻听语言对患者进行心理疏导的问题。一方面，本专利技术实施例提供了一种虚拟诊疗系统，包括：人物画像生成模块，用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；三维人物模型建立模块，用于基于所述虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟所述虚拟人物的三维人物模型；情景诊疗模块，用于通过加载所述虚拟场景模块、所述面部捕捉模块、所述全身动作捕捉模块和所述变声器模块，在所述心理治疗师、所述患者和虚拟人物模型之间进行人机互动，其中，虚拟场景模块，用于根据所述患者需求提供不同虚拟场景；面部捕捉模块，用于根据由人脸视频获取的面部捕捉数值，通过所述Blendshape表情控制器实时控制所述三维人物模型的面部表情；全身动作捕捉模块，用于根据多个传感器所获得的骨骼运动四元数数据，通过所述transform动作控制器实时控制所述三维人物模型的全身动作；变声器模块，用于对原始声音进行音调基频变声控制，以转换为模拟所述虚拟人物声音的幻听声音。上述技术方案的有益效果如下：能够获得贴合用户虚拟人物形象的三维人物模型。心理治疗师通过面部捕捉模块和全身动作捕捉模块控制三维人物模型的表情动作，通过变声器模块将原始声音转换为模拟所述虚拟人物声音的幻听声音，并将虚拟人物的幻听声音和表情动作同时展示给患者，实现心理疏导与治疗，改善患者的心理压力状态。基于上述系统的进一步改进，虚拟诊疗系统还包括五官库构建模块，用于构建多个五官库，所述五官库构建模块包括脸型库构建子模块、头发库构建子模块、眉毛库构建子模块、眼睛库构建子模块、鼻子库构建子模块和嘴巴库构建子模块，其中，所述脸型库构建子模块，用于基于具有不同脸型特征的多张人物形象照片，以抠图的方式去掉其他五官而保存脸型，以及利用保存的脸型构建具有所述不同脸型特征的脸型库；以及所述头发库构建子模块、所述眉毛库构建子模块、所述眼睛库构建子模块、所述鼻子库构建子模块和所述嘴巴库构建子模块，用于基于具有不同五官特征的多张人物形象照片，以抠图的方式分别构建具有不同的对应特征的头发库、眉毛库、眼睛库、鼻子库和嘴巴库。上述技术方案的有益效果如下：利用五官库构建模块所构建多个五官库可以快速准确地获得符合所述虚拟人物形象的虚拟画像。从而克服了手工构建虚拟形象的时间长以及患者幻想的虚拟形象是现实生活中并不存在的虚拟形象而无法采用扫描建模的缺陷。基于上述系统的进一步改进，虚拟诊疗系统还包括五官调整模块，用于通过对所述人物画像中的五官进行调整，以获得符合所述虚拟人物形象的虚拟画像，所述五官调整模块包括：X轴移动模块、Y轴移动模块、X轴缩放模块和Y轴缩放模块，其中，所述X轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在X轴方向上进行移动调整；所述Y轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在Y轴方向上进行移动调整；所述X轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述X轴方向上进行缩放调整；以及所述Y轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述Y轴方向上进行缩放调整。上述技术方案的有益效果如下：通过对人物画像中的五官进行调整，以获得符合虚拟人物形象的虚拟画像。基于上述系统的进一步改进，所述三维人物模型建立模块，进一步包括：生成三维人物的基础模型并制作所述Blendshape表情控制器和transform动作控制器；基于人脸面部识别算法，分析所述虚拟画像中的人脸区域；根据人脸区域转换成人脸的基本衡量参数，同时将所述人脸区域的图像进行抠图并对所述基础模型进行头部贴图；所述Blendshape表情控制器接收所述人脸的基本衡量参数，并根据所述人脸的基本衡量参数动态控制所述基础模型的头部形状，以最大匹配所述虚拟画像中的头部特征；以及根据患者描述的虚拟人物，通过所述transform动作控制器控制所述基础模型的身高和身躯、四肢的形状。基于上述系统的进一步改进，所述面部捕捉模块进一步配置为：通过网络摄像头实时拍摄所述心理治疗师人脸的视频；结合所述人脸面部捕捉算法，在眉毛、眼睛、瞳孔、鼻子和嘴巴位置生成对应标记点；在所述心理治疗师人脸的视频中，实时跟踪对应标记点的位置；以及将对应标记点的位置实时转换成所述面部捕捉数值并存储所述面部捕捉数值；以及基于所述面部捕捉数值实时控制所述三维人物模型的多个Blendshape控制组件以模拟所述心理治疗师的面部表情。基于上述系统的进一步改进，所述Blendshape表情控制器包括多个Blendshape控制组件，其中，所述多个Blendshape控制组件用于分别控制所述头部高度、头部宽度、头颅高度、头颅宽度、人脸宽度、人脸长度、眉毛高度、眉毛宽度、眼睛高度、鼻子宽度、嘴部高度和嘴部宽度。基于上述系统的进一步改进，所述全身动作捕捉模块进一步配置为：将所述多个传感器分别设置于心理治疗师的不同位置处，所述不同位置包括手部、小臂、大臂、肩部、头部、背部、胸部、脚部、小腿和大腿处；在所述心理治疗师运动时，所述多个传感器分别实时感测所述不同位置的骨骼运动数据并转换为骨骼运动四元数数据；以及根据所述骨骼运动四元数数据，通过所述transform动作控制器实时控制所述三维人物模块的手部、小臂、大臂、肩部、头部、背部、胸部、脚部、小腿和大腿动作，以模拟所述心理治疗师的动作。基于上述系统的进一步改进，虚拟诊疗系统，还包括同步模块和输出模块，其中，所述同步模块，用于将所述幻听声音与所述面部表情进行同步；以及所述输出模块，用于将虚拟人物的幻听声音和所述动作表情同时展示给所述患者。基于上述系统的进一步改进，虚拟诊疗系统还包括：量表评估模块，配置为：所述患者在每次治疗前填写心理评估量表；根据所述填写的所述心理评估量表，评估所述患者的心理状态；以及根据所述患者的心理状态，灵活地调整心理治疗本文档来自技高网...

【技术保护点】
1.一种虚拟诊疗系统，其特征在于，包括：/n人物画像生成模块，用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；/n三维人物模型建立模块，用于基于所述虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟所述虚拟人物的三维人物模型；/n情景诊疗模块，用于通过加载所述虚拟场景模块、所述面部捕捉模块、所述全身动作捕捉模块和所述变声器模块，在所述心理治疗师、所述患者和虚拟人物模型之间进行人机互动，其中，/n虚拟场景模块，用于根据所述患者需求提供不同虚拟场景；/n面部捕捉模块，用于根据由人脸视频获取的面部捕捉数值，通过所述Blendshape表情控制器实时控制所述三维人物模型的面部表情；/n全身动作捕捉模块，用于根据多个传感器所获得的骨骼运动四元数数据，通过所述transform动作控制器实时控制所述三维人物模型的全身动作；/n变声器模块，用于对原始声音进行音调基频变声控制，以转换为模拟所述虚拟人物声音的幻听声音。/n

【技术特征摘要】
1.一种虚拟诊疗系统，其特征在于，包括：
人物画像生成模块，用于根据患者描述的虚拟人物形象，从多个五官库中选择对应五官以组拼成一幅完整的人物画像；
三维人物模型建立模块，用于基于所述虚拟画像，制作Blendshape表情控制器、transform动作控制器并生成模拟所述虚拟人物的三维人物模型；
情景诊疗模块，用于通过加载所述虚拟场景模块、所述面部捕捉模块、所述全身动作捕捉模块和所述变声器模块，在所述心理治疗师、所述患者和虚拟人物模型之间进行人机互动，其中，
虚拟场景模块，用于根据所述患者需求提供不同虚拟场景；
面部捕捉模块，用于根据由人脸视频获取的面部捕捉数值，通过所述Blendshape表情控制器实时控制所述三维人物模型的面部表情；
全身动作捕捉模块，用于根据多个传感器所获得的骨骼运动四元数数据，通过所述transform动作控制器实时控制所述三维人物模型的全身动作；
变声器模块，用于对原始声音进行音调基频变声控制，以转换为模拟所述虚拟人物声音的幻听声音。


2.根据权利要求1所述的虚拟诊疗系统，其特征在于，还包括五官库构建模块，用于构建多个五官库，所述五官库构建模块包括脸型库构建子模块、头发库构建子模块、眉毛库构建子模块、眼睛库构建子模块、鼻子库构建子模块和嘴巴库构建子模块，其中，
所述脸型库构建子模块，用于基于具有不同脸型特征的多张人物形象照片，以抠图的方式去掉其他五官而保存脸型，以及利用保存的脸型构建具有所述不同脸型特征的脸型库；以及
所述头发库构建子模块、所述眉毛库构建子模块、所述眼睛库构建子模块、所述鼻子库构建子模块和所述嘴巴库构建子模块，用于基于具有不同五官特征的多张人物形象照片，以抠图的方式分别构建具有不同的对应特征的头发库、眉毛库、眼睛库、鼻子库和嘴巴库。


3.根据权利要求2所述的虚拟诊疗系统，其特征在于，还包括五官调整模块，用于通过对所述人物画像中的五官进行调整，以获得符合所述虚拟人物形象的虚拟画像，所述五官调整模块包括：X轴移动模块、Y轴移动模块、X轴缩放模块和Y轴缩放模块，其中，
所述X轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在X轴方向上进行移动调整；
所述Y轴移动模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴在Y轴方向上进行移动调整；
所述X轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述X轴方向上进行缩放调整；以及
所述Y轴缩放模块，用于根据所述虚拟人物形象，对所述人物画像中的脸型、头发、眉毛、眼睛、鼻子和嘴巴分别在所述Y轴方向上进行缩放调整。


4.根据权利要求1所述的虚拟诊疗系统，其特征在于，所述三维人物模型建立模块，进一步包括：
生成三维人物的基础模型并制作所述Blendshape表情控制器和transform动作控制器；
基于人脸面部识别算法，分析所述虚拟画像中的人脸区域；
根据人脸区域转换成人脸的基本衡量参数，同时将所述人脸区域的图像进行抠图并对所述基础模型进行头部贴图；
所述Blendshape表情控制器接收所述人脸的基本衡量参数，并根据所述人脸的基本衡量参数动态控制所述基础模型的头部形状，以最大匹配...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：山西智优利民健康管理咨询有限公司，
类型：发明
国别省市：山西;14