一种用于虚拟沉浸式抑郁症治疗系统的图像融合设备技术方案

本发明专利技术提出了一种用于虚拟沉浸式抑郁症治疗系统的图像融合设备，所述虚拟沉浸式抑郁症治疗系统包括摄像头、VR设备、生理数据传感器和服务器，该设备包括：采集单元、选择单元、融合单元和播放单元，这些单元相互配合，用以使所述摄像头采集用户的视频图像发送至所述服务器后提取出关键图像序列，并将所述生理数据传感器采集的用户的生理数据发送至所述服务器后从场景数据库中选择一个场景视频；所述服务器使用多参数对抗生成神经网络模型基于所述生理数据将关键帧图像序列中的每一帧图像融合到所述场景视频中以生成融合场景视频图像后发送至所述VR设备播放。是采用患者的图像与虚拟场景中的帧图像进行融合，增强了患者的沉浸感。的沉浸感。的沉浸感。

【技术实现步骤摘要】
一种用于虚拟沉浸式抑郁症治疗系统的图像融合设备


[0001]本专利技术涉及人工智能及医疗数据处理
，具体涉及一种用于虚拟沉浸式抑郁症治疗系统的图像融合设备。

技术介绍

[0002]中国专利技术专利2017103003414公开了一种基于VR技术的抑郁 症辅助治疗虚拟场景系统，包括相互连接的虚拟场景交互模块、数据采集模块 和数据分析模块，所述虚拟场景交互模块包括VR设备，所述虚拟场景交互模块 通过VR设备与所述数据采集模块连接，所述数据分析模块包括数据库；其中，所述虚拟场景交互模块，用于模拟医生做心理疏导的故事叙述手法，借助 VR设备，提供各种具有丰富故事性情景的虚拟场景，实现交互行为，为使用者营造沉浸式体验环境，在场景搭建阶段作为情绪和生理数据触发源，在场景达到最优后的使用阶段起抑郁情绪的缓解作用；所述数据采集模块，用于获取使用者在所述虚拟场景交互模块中的反馈数据，并将反馈数据发送至所述数据分析模块；所述数据分析模块，用于将数据库中的反馈数据，结合统计理论转换为所 述虚拟场景交互模块中所需各种数值的调整信息。所述虚拟场景交互模块还包括环境模块、角色模块以及情节模块；所述环境模块、角色模块以及情节模块构建多个虚拟场景，并通过时间轴构成虚拟场景故事系统；所述虚拟场景，在初步创建时需结合抑郁情绪缓解的经验基础和心理医生的专业指导建议；所述虚拟场景，在后期利用时需根据所述数据分析模块的反馈数据对环境、人物、情节模块进行调整，得到具有最优数值的虚拟场景。
[0003]但是，该系统采用的虚拟场景，一般是采用卡通人物替代患者，导致患者的沉浸感不强，治疗效果差。
[0004]现有技术中，图像融合一般采用小波变换、对抗生成神经网络的方式进行，但是，在抑郁症的虚拟环境中，如何基于患者本身的生理参数进行图像的融合是一项技术挑战，即如何使得融合后的视频中的人物可以完美的匹配患者的身体状况，并提高融合的速度。

技术实现思路

[0005]本专利技术针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。
[0006]一种用于虚拟沉浸式抑郁症治疗系统的图像融合设备，所述虚拟沉浸式抑郁症治疗系统包括摄像头、VR设备、生理数据传感器和服务器，该设备包括：采集单元，用于使所述摄像头采集用户的视频图像发送至所述服务器，所述服务器接收到所述视频图像后从所述视频图像中提取出关键图像序列，并将所述关键图像序列保存在第一缓存队列中；选择单元，用于将所述生理数据传感器采集的用户的生理数据发送至所述服务器，所述服务器基于所述生理数据从场景数据库中选择一个场景视频；融合单元，用于使所述服务器使用多参数对抗生成神经网络模型基于所述生理数据将第一缓存队列中的关键帧图像序列中的每一帧图像融合到所述场景视频中以生成融
合场景视频图像，其中所述多参数对抗生成神经网络模型采用优化后的损失函数训练得到；播放单元，用于将所述融合场景视频图像发送至所述VR设备，在所述VR设备的显示装置中向所述用户播放。
[0007]进一步地，所述生理数据至少包括体温、脑电波、血压、心率、心电和肌电数据。
[0008]进一步地，从所述视频图像中提取出关键图像序列的操作为：将所述视频图像的每一帧输入至第一卷积神经网络进行处理得到关键帧图像序列。
[0009]进一步地，所述融合单元的操作为：从服务器中获取关键帧图像序列中的一关键帧图像Mi对应的生理数据Pi，其中Pi=（Ti、NEi、BPi、HRi、HEi、MEi），基于所述关键帧图像Mi在所述场景视频确定对应的待融合图像帧Ni，在所述待融合图像帧Ni中确定所述关键帧图像Mi的融合坐标，将所述关键帧图像Mi、待融合图像帧Ni、生理数据Pi和融合坐标输入多参数对抗生成神经网络模型生成融合图像帧，在所述关键帧图像序列中的所有关键帧图像都处理完毕后，将生成多个融合图像帧组合成融合场景视频图像，其中，n≥i≥0，n为关键帧图像序列中的总帧数，Ti、NEi、BPi、HRi、HEi、Mei分别表示对应的体温、脑电波、血压、心率、心电、肌电数据。
[0010]进一步地，基于所述关键帧图像Mi在所述场景视频确定对应的待融合图像帧Ni的操作为：判断所述场景视频中每一帧图像中的虚拟人物的姿势与所述关键帧图像Mi中的用户的姿势的相似度，将相似度最大的一帧对象作为待融合图像帧Ni。
[0011]进一步地，所述对抗生成神经网络模型包括融合图像生成器G和融合图像鉴别器D，交替训练融合图像生成器G和融合图像鉴别器D，将样本集中的每一个训练样本输入融合图像生成器G则生成一个融合图像，融合图像鉴别器D用于鉴别该生成的融合图像与真实图像之间的差异。
[0012]进一步地，样本集中的每一个训练样本Sj包括用户图像Uj、用户生理数据Pj、待融合的背景图像Bj、融合坐标Cj和真实图像RMj，其中，Pj=（Tj、NEj、BPj、HRj、HEj、MEj），其中，m≥j≥0，m为训练样本的数目，Tj、NEj、BPj、HRj、HEj、MEj分别表示训练样本Sj中的用户生理数据Pj中对应的体温、脑电波、血压、心率、心电、肌电数据。
[0013]进一步地，优化后的损失函数包括融合图像生成器G的损失函数LossG和融合图像鉴别器D的损失函数LossD，其中：;；;
;其中，表示输入为时融合图像生成器G生成的融合图像；表示利用融合图像鉴别器D对的识别结果，表示与RMj之间的差，表示融合图像鉴别器D对RMj的识别结果，经过若干次迭代训练后，得到训练好的对抗网络。
[0014]本专利技术还提出了一种用于虚拟沉浸式抑郁症治疗系统的图像融合方法，所述虚拟沉浸式抑郁症治疗系统包括摄像头、VR设备、生理数据传感器和服务器，该方法包括：采集步骤，所述摄像头采集用户的视频图像发送至所述服务器，所述服务器接收到所述视频图像后从所述视频图像中提取出关键图像序列，并将所述关键图像序列保存在第一缓存队列中；选择步骤，将所述生理数据传感器采集的用户的生理数据发送至所述服务器，所述服务器基于所述生理数据从场景数据库中选择一个场景视频；融合步骤，所述服务器使用多参数对抗生成神经网络模型基于所述生理数据将第一缓存队列中的关键帧图像序列中的每一帧图像融合到所述场景视频中以生成融合场景视频图像，其中所述多参数对抗生成神经网络模型采用优化后的损失函数训练得到；播放步骤，将所述融合场景视频图像发送至所述VR设备，在所述VR设备的显示装置中向所述用户播放。
[0015]更进一步地，所述生理数据至少包括体温、脑电波、血压、心率、心电和肌电数据。
[0016]更进一步地，从所述视频图像中提取出关键图像序列的操作为：将所述视频图像的每一帧输入至第一卷积神经网络进行处理得到关键帧图像序列。
[0017]更进一步地，所述融合步骤的操作为：从服务器中获取关键帧图像序列中的一关键帧图像Mi对应的生理数据Pi，其中Pi=（Ti、NEi、BPi、HRi、HEi、MEi），基于所述关键帧图像Mi在所述场景视频确定对应的待融合图像帧Ni，在所述待融合图像帧Ni中确定所述关键帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于虚拟沉浸式抑郁症治疗系统的图像融合设备，其特征在于，所述虚拟沉浸式抑郁症治疗系统包括摄像头、VR设备、生理数据传感器和服务器，该设备包括：采集单元，用于使所述摄像头采集用户的视频图像发送至所述服务器，所述服务器接收到所述视频图像后从所述视频图像中提取出关键图像序列，并将所述关键图像序列保存在第一缓存队列中；选择单元，用于将所述生理数据传感器采集的用户的生理数据发送至所述服务器，所述服务器基于所述生理数据从场景数据库中选择一个场景视频；融合单元，用于使所述服务器使用多参数对抗生成神经网络模型基于所述生理数据将第一缓存队列中的关键帧图像序列中的每一帧图像融合到所述场景视频中以生成融合场景视频图像，其中所述多参数对抗生成神经网络模型采用优化后的损失函数训练得到；播放单元，用于将所述融合场景视频图像发送至所述VR设备，在所述VR设备的显示装置中向所述用户播放。2.根据权利要求1所述的设备，其特征在于，所述生理数据至少包括体温、脑电波、血压、心率、心电和肌电数据。3.根据权利要求2所述的设备，其特征在于，从所述视频图像中提取出关键图像序列的操作为：将所述视频图像的每一帧输入至第一卷积神经网络进行处理得到关键帧图像序列。4.根据权利要求3所述的设备，其特征在于，所述融合单元的操作为：从服务器中获取关键帧图像序列中的一关键帧图像Mi对应的生理数据Pi，其中Pi=（Ti、NEi、BPi、HRi、HEi、MEi），基于所述关键帧图像Mi在所述场景视频确定对应的待融合图像帧Ni，在所述待融合图像帧Ni中确定所述关键帧图像Mi的融合坐标，将所述关键帧图像Mi、待融合图像帧Ni、生理数据Pi和融合坐标输入多参数对抗生成神经网络模型生成融合图像帧，在所述关键帧图像序列中的所有关键帧图像都处...

【专利技术属性】
技术研发人员：严龙生，林友辉，
申请(专利权)人：厦门颐安智能科技有限公司，
类型：发明
国别省市：