基于多模态成像技术的生理信号远程监控系统及应用技术方案

本发明专利技术提供了一种基于多模态成像技术的生理信号远程监控系统及应用，包括集成成像模块、高光谱成像模块和控制终端，所述高光谱成像模块设置于集成成像模块的上方，所述集成成像模块和高光谱成像模块分别与控制终端通信连接。本发明专利技术整合了高光谱、可见光、近红外、远红外、激光生物散斑5种成像模式，可以实现高精度的生理信号提取和分析。同时，本发明专利技术可以进行多模态设备间的协作数据获取和数据间的协同处理分析，以满足睡眠监控和病猪筛选等不同的应用需求。

Remote monitoring system of physiological signals based on multi modality imaging technology and its application

The invention provides a physiological signal remote monitoring system and application of multimodality imaging technology based on the integrated imaging module, hyperspectral imaging module and a control terminal, the upper part of the hyperspectral imaging module is arranged on the integrated imaging module, the integrated imaging module and hyperspectral imaging module are respectively connected with the control terminal communication connection. The invention integrates 5 imaging modes, such as high spectrum, visible light, near infrared, far infrared and laser biological speckle. At the same time, the invention can carry out the cooperation data acquisition and the data processing analysis among the multi-mode devices, so as to meet different application requirements such as sleep monitoring and disease screening.

【技术实现步骤摘要】

本专利技术涉及成像及图像处理
，具体地，涉及一种基于多模态成像技术的生理信号高精度远程监控系统及其应用。
技术介绍
生理信号是衡量生命体实时生理情况及其运作状态的功能性指标群。生理信号指标群主要包括心率、呼吸速率、温度和血氧含量等，其值受生命体的年龄、性别、体重、运动情况和身体状态的影响特别大。因此，对生理信号的监控在医学上已经得到十分广泛的应用。此外，较新的研究表明生理信号可以作为心理状态的表观反映指标之一，故在心理学领域也得到了极大的关注。现有的生理信号测量方法大多都是接触式的，其主要包括用于呼吸速率测量的呼吸带传感器、用于心率测量的心电图和用于血氧含量测量的血氧饱和度仪。目前已有两通道的半接触式心电图测量系统(申请号：201510845944.3)、基于电信号的生理信号采集贴片(申请号：201511024925.0)和腕带式生理信号感测装置(申请号：201410522683.7)等基于传统方法改进的专利。以上接触式的方法虽然所得的结果比较准确，但是会给待测试的对象带来不适乃至身心上的痛苦，因此不适用于长时间的测量。为了解决接触式生理信号测量方法存在的问题，很多非接触式的方法被采纳用于远程生理信号的获取。多普勒雷达通过发射雷达信号来估测胸腔的位移从而获得呼吸信号，但这种方法对轻微运动的干扰非常敏感，同时也受到待测试对象衣着等外界因素的影响(Scalise，etal.，2011)。也有学者采用超声波的方式来测量呼吸速率，但是这种方法同样受制于前述影响因素(Min，etal.，2010)。可见光相机也在生理信号的测量中得到了不少尝试，Bal，2015在自然光照下采用普通的数码相机对人的心率和血氧含量进行了非接触测量。但是常规的相机在测量过程中受光照等因素影响较大。因此，有学者采用被动式无源的成像方式如热成像技术来对体温、呼吸速率和心率进行远程测量(Nakayama，eta1.，2015；Basu，eta1.，2016)。现有的非接触式监控的专利有基于图像流技术的血氧含量方法(申请号：201310201579.3)和基于视频拍摄技术的心率测量方法(申请号：201310172275.9)等。以上基于单模态的非接触式生理信号测量方法存在信息获取单一、干扰因素较多和测量指标不全面等不足之处。Zhang，etal.，2016采用两个单色相机、一个RGB相机和一个热成像相机对人体的呼吸速率和心率进行了非接触测量，但是该文献的方法需要对测试对象进行补光并且未能对多模态信息进行融合分析。Gupta，etal.，2016同样用三模态的成像方式对人体的生理信号进行测量，但是他们采用的热成像相机分辨率太低，只有64个像素点，因此未能将热成像的优势较好地发挥出来。现有的专利采用光学多模态成像系统(申请号：201310689751.4；201610481809.X)主要用于解剖结构和生理学功能的检测研究，还未见有将多模态成像技术用于生理信号监控的专利和报道。由于在特定的场景下，人们对生理信号测量设备的精度要求较高，并且对测量方法的鲁棒性要求也较高。因此，亟待开发能满足各种应用需求的基于多模态成像的高精度远程生理信号监控系统。目前没有发现同本专利技术类似技术的说明或报道，也尚未收集到国内外类似的资料。
技术实现思路
为了解决以上提及的问题，满足人们对非接触式远程生理信号的高精度测量需求，本专利技术提供了一种基于热成像、可见光成像、近红外成像、高光谱成像和激光生物散斑成像技术的基于多模态成像技术的生理信号远程监控系统。该基于多模态成像技术的生理信号远程监控系统可以实现心率、呼吸速率、体表温度和血氧含量的远程测量。此外，通过多层次的传感器信息融合，可以满足特定条件下对测量结果的高精度要求。为实现上述目的，本专利技术是通过以下技术方案实现的。根据本专利技术的一个方面，提供了一种基于多模态成像技术的生理信号远程监控系统，包括集成成像模块、高光谱成像模块和控制终端，所述高光谱成像模块设置于集成成像模块的上方，所述集成成像模块和高光谱成像模块分别与控制终端通信连接。优选地，所述集成成像模块包括集成的热成像装置、可见光成像装置、近红外成像装置和激光生物散斑成像装置，所述热成像装置、可见光成像装置、近红外成像装置和激光生物散斑成像装置并排排列，相邻两个装置之间紧密设置；其中：所述热成像装置，结合可见光成像装置和近红外成像装置进行感兴趣区域的定位和追踪，并用于提取夜晚条件下心率、体表温度、呼吸速率和血氧含量的热成像图像；所述可见光成像装置用于提取心率和血氧含量的可见光图像以及增强热成像装置、近红外成像装置和/或激光生物散斑成像装置提取图像的分辨率；所述近红外成像装置用于提取光照不足情况下的心率和血氧含量的近红外图像以及增强其他成像装置提取图像的分辨率；所述激光生物散斑成像装置用于获得心率和血氧含量在多模态下的生物散斑图像序列。优选地，所述热成像装置采用远红外相机，所述热成像装置提取的热成像图像具有光照不变性。优选地，所述可见光成像装置采用RGB相机，所述RGB相机可在光照充足的情况下有较好的细节分辨能力，可以与其他模态的相机相辅相成使用。优选地，所述近红外成像装置包括近红外相机和LED阵列，所述LED阵列设置于近红外相机的周围。优选地，所述LED阵列采用850nm的红外LED阵列，该阵列的光为肉眼不可见，可以适应于无光照或弱光照的应用场景。优选地，所述激光生物散斑成像装置包括可见光-近红外相机和多个不同波段的激光器，多个不同波段的激光器分别设置于可见光-近红外相机的周边。优选地，多个不同波段的激光器分别为：点状绿光激光器、点状红光激光器、点状蓝光激光器以及点状红外激光器。优选地，所述点状绿光激光器的波长为532nm，所述点状红光激光器的波长为655nm，所述点状蓝光激光器的波长为450nm，所述点状红外激光器的波长为850nm。前三个波段分别对应绿、红、蓝三原色，可以扩宽系统的使用范围；850nm波段下的激光为肉眼不可见，可以同时适用于白天和夜晚情况下的生理信号获取。优选地，所述激光生物散斑成像装置还包括移动平台，多个不同波段的激光器分别设置于移动平台上。该移动平台可以根据待测物体的移动而使激光生物散斑成像装置相应移动，从而使该模块适用于待测物体运动的情况。优选地，所述高光谱成像模块包括集成的高光谱成像装置；其中，所述高光谱成像装置用于提取心率和血氧含量的高光谱图像堆。优选地，所述控制终端包括图像接收模块、图像转换模块和分析模块，所述图像接收模块用于接收集成成像模块和高光谱成像模块获取的图像并发送至图像转换模块；所述图像转换模块用于将图像转换为生理信号数据，所述分析模块用于对生理信号数据进行多模态信号融合分析。优选地，所述图像接收模块包括：图像内容复杂度计算单元、图像质量评价单元、生物散斑判断单元以及调配单元；所述图像内容复杂度计算单元用于接收可见光成像装置获取的可见光图像并生成图像复杂度计算信号发送至调配单元，所述图像质量评价单元用于接收热成像装置、近红外成像装置和高光谱成像装置获取的图像并生成图像质量评价信号发送至调配单元，所述生物散斑判断单元用于接收激光生物散斑成像装置获取的生物散斑图像序列并生成散斑数量判断信号发送至调配单元，所述调配单元本文档来自技高网...

【技术保护点】
一种基于多模态成像技术的生理信号远程监控系统，其特征在于：包括集成成像模块、高光谱成像模块和控制终端，所述高光谱成像模块设置于集成成像模块的上方，所述集成成像模块和高光谱成像模块分别与控制终端通信连接；所述集成成像模块包括集成的热成像装置、可见光成像装置、近红外成像装置和激光生物散斑成像装置，所述热成像装置、可见光成像装置、近红外成像装置和激光生物散斑成像装置并排排列，相邻两个装置之间紧密设置；其中：所述热成像装置，结合可见光成像装置和近红外成像装置进行感兴趣区域的定位和追踪，并用于提取夜晚条件下心率、体表温度、呼吸速率和血氧含量的热成像图像；所述可见光成像装置用于提取心率和血氧含量的可见光图像以及增强热成像装置、近红外成像装置和/或激光生物散斑成像装置提取图像的分辨率；所述近红外成像装置用于提取光照不足情况下的心率和血氧含量的近红外图像以及增强其他成像装置提取图像的分辨率；所述激光生物散斑成像装置用于获得心率和血氧含量在多模态下的生物散斑图像序列；所述高光谱成像模块包括集成的高光谱成像装置；其中：所述高光谱成像装置用于提取心率和血氧含量的高光谱图像堆。

【技术特征摘要】
1.一种基于多模态成像技术的生理信号远程监控系统，其特征在于：包括集成成像模块、高光谱成像模块和控制终端，所述高光谱成像模块设置于集成成像模块的上方，所述集成成像模块和高光谱成像模块分别与控制终端通信连接；所述集成成像模块包括集成的热成像装置、可见光成像装置、近红外成像装置和激光生物散斑成像装置，所述热成像装置、可见光成像装置、近红外成像装置和激光生物散斑成像装置并排排列，相邻两个装置之间紧密设置；其中：所述热成像装置，结合可见光成像装置和近红外成像装置进行感兴趣区域的定位和追踪，并用于提取夜晚条件下心率、体表温度、呼吸速率和血氧含量的热成像图像；所述可见光成像装置用于提取心率和血氧含量的可见光图像以及增强热成像装置、近红外成像装置和/或激光生物散斑成像装置提取图像的分辨率；所述近红外成像装置用于提取光照不足情况下的心率和血氧含量的近红外图像以及增强其他成像装置提取图像的分辨率；所述激光生物散斑成像装置用于获得心率和血氧含量在多模态下的生物散斑图像序列；所述高光谱成像模块包括集成的高光谱成像装置；其中：所述高光谱成像装置用于提取心率和血氧含量的高光谱图像堆。2.根据权利要求1所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：所述热成像装置采用远红外相机，所述热成像装置提取的图像具有光照不变性；所述可见光成像装置采用RGB相机；所述近红外成像装置包括近红外相机和LED阵列，所述LED阵列设置于近红外相机的周围；所述激光生物散斑成像装置包括可见光-近红外相机和多个不同波段的激光器，多个不同波段的激光器分别设置于可见光-近红外相机的周边。3.根据权利要求2所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：所述LED阵列采用850nm的红外LED阵列。4.根据权利要求2所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：多个不同波段的激光器分别为：点状绿光激光器、点状红光激光器、点状蓝光激光器以及点状红外激光器；其中：所述点状绿光激光器的波长为532nm，所述点状红光激光器的波长为655nm，所述点状蓝光激光器的波长为450nm，所述点状红外激光器的波长为850nm。5.根据权利要求2所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：所述激光生物散斑成像装置还包括移动平台，多个不同波段的激光器分别设置于移动平台上。6.根据权利要求1至5中任一项所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：所述控制终端包括图像接收模块、图像转换模块和分析模块，所述图像接收模块用于接收集成成像模块和高光谱成像模块获取的图像并发送至图像转换模块；所述图像转换模块用于将图像转换为生理信号数据，所述分析模块用于对生理信号数据进行多模态信号融合分析。7.根据权利要求6所述的基于多模态成像技术的生理信号远程监控系统，其特征在于：所述图像接收模块包括：图像内容复杂度计算单元、图像质量评价单元、生物散斑判断单元以及调配单元；所述图像内容复杂度计算单元用于接收可见光成像装置获取的可见光图像并生成图像复杂度计算信号发送至调配单元，所述图像质量评价单元用于接收热成像装置、近红外成像装置和高光谱成像装置获取的图像并生成图像质量评价信号发送至调配单元，所述生物散斑判断单元用于接收激光生物散斑成像装置获取的生物散斑图像序列并生成散斑数量判断信号发送至调配单元，所述调配单元用于根据图像内容复杂度计算单元、图像质量评价单...

【专利技术属性】
技术研发人员：胡孟晗，李铎，翟广涛，杨小康，范业昭，朱文瀚，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31