远程医疗中症状的实时标注制造技术

一种电话会议系统包括被配置为获取音频信号和视频信号的第一终端。与第一终端和第二终端通信的电话会议服务器被配置为从第一终端实时接收视频信号和音频信号，并将视频信号和音频信号发送到第二终端。与第一终端和电话会议服务器通信的症状识别服务器被配置为从第一终端接收视频信号和音频信号，异步地分析视频信号和音频信号以检测一个或多个疾病迹象，在检测到一个或多个疾病迹象时生成诊断警报，并且将诊断警报发送到电话会议服务器以在第二终端上显示。

【技术实现步骤摘要】
【国外来华专利技术】远程医疗中症状的实时标注
本专利技术涉及视频会议，并且更具体地涉及用于视频会议中的面部、身体和语音症状的实时标注的系统。
技术介绍
远程医疗是这样的实践，通过该实践，可以向位于不同位置，可能在很远的距离的医疗从业者和患者提供医疗。远程医疗为服务不足的人群提供优质的医疗创造了机会，并且还将访问扩展到高度专业化的提供者创造了机会。远程医疗还具有降低医疗保健成本的潜力。
技术实现思路
一种电话会议系统包括被配置为获取音频信号和视频信号的第一终端。与第一终端和第二终端通信的电话会议服务器被配置为从第一终端实时接收视频信号和音频信号，并将视频信号和音频信号发送到第二终端。与第一终端和电话会议服务器通信的症状识别服务器被配置为从第一终端接收视频信号和音频信号，异步地分析视频信号和音频信号以检测一个或多个疾病迹象，在检测到一个或多个疾病迹象时生成诊断警报，并且将诊断警报发送到电话会议服务器以在第二终端上显示。一种电话会议系统包括第一终端，该第一终端包括相机和麦克风，该第一终端被配置为获取音频信号和高质量视频信号，并且将所获取的高质量视频信号转换为比特率小于该高质量视频信号的比特率的低质量视频信号。与第一终端和第二终端通信的电话会议服务器被配置为从第一终端实时接收低质量视频信号和音频信号，并将低质量视频信号和音频信号发送到第二终端。与第一终端和电话会议服务器通信的症状识别服务器被配置为从第一终端接收高质量视频信号和音频信号，异步地分析高质量视频信号和音频信号以检测一个或多个疾病迹象，在检测到一个或多个疾病迹象时生成诊断警报，并且将诊断警报发送到电话会议服务器以显示在第二终端上。一种用于电话会议的方法包括从第一终端获取音频信号和视频信号。视频信号和音频信号被传输到与第一终端和第二终端通信的电话会议服务器。将视频信号和音频信号发送到症状识别服务器，其与所述第一终端和所述电话会议服务器通信。使用多模态递归神经网络从视频信号和音频信号检测疾病迹象。针对所检测到的疾病迹象生成诊断警报。用诊断警告标注视频信号。在第二终端上显示标注的视频信号。一种用于从图像数据检测疾病迹象的计算机程序产品，所述计算机程序产品包括具有随其体现的程序指令的计算机可读存储介质，所述程序指令可由计算机执行以使所述计算机使用所述计算机获取音频信号和视频信号，使用所述计算机从所述视频信号检测面部，使用所述计算机从所述检测到的面部提取动作单元，使用所述计算机从所述检测到的面部检测标志(landmark)，使用所述计算机跟踪所述检测到的标志，使用所述跟踪标志执行语义特征提取，使用所述计算机从所述音频信号检测音调特征，使用所述计算机转录所述音频信号以生成转录，使用所述计算机对所述转录执行自然语言处理，使用所述计算机对所述转录执行多模态分析，对所述转录执行语言结构提取，以及使用所述计算机使用所述多模态递归神经网络从所述检测到的面部检测所述疾病迹象、提取动作单元、跟踪标志、提取语义特征、音调特征、转录、自然语言处理的结果、语义分析的结果和语言结构提取的结果。附图说明当结合附图考虑时，通过参考以下详细描述，将容易获得对本专利技术及其许多附带方面的更完整理解，并且本专利技术及其许多附带方面变得更好理解，其中：图1是示出根据本专利技术示例性实施例的用于在视频会议中实时标注面部症状的系统的示意图；图2是示出根据本专利技术的示例性实施例的图1所示的系统的操作方式的流程图；图3和4包括示出根据本专利技术示例性实施例的用于在视频会议中实时标注面部症状的方法的处理流程；图5是示出根据本专利技术示例性实施例的电话会议显示器的图；以及图6示出了能够实现根据本公开的实施例的方法和装置的计算机系统的示例。具体实施方式在描述附图中所示的本专利技术的示例性实施例时，为了清楚起见，使用了特定的术语。然而，本专利技术不旨在限于图示或任何特定术语，并且应当理解，每个元件包括所有等同物。如上所述，远程医疗为居住在没有得到医疗提供者良好服务的地区的患者提供了扩展医疗访问的机会。特别地，远程医疗可用于对可能不能充分访问这种医疗服务的患者管理医疗。然而，存在与远程管理对患者的某些类型的医疗相关联的特定问题；尽管全科医生可能能够在视频会议中很好地要求患者描述症状，但是一些专业健康从业者必须经常能够从患者的表情和行为方式中识别细微的症状。理想地，在远程医疗中使用的视频会议硬件将能够提供未压缩的超高清视频和清晰的音频，使得健康从业者能够容易地了解微小的症状，然而，由于对带宽存在显著的实际限制，特别是在患者的末端处，因为患者可能位于偏远的乡村位置、在没有建立高速网络接入的新兴国家、或者甚至在海上、在空中或太空中，由健康提供者接收的音频和视频的质量可能是不充分的并且重要的，但是可能遗漏细微的症状。此外，虽然可能将高质量的音频和视频异步地传输到健康提供者，但是由于医疗经常涉及自然对话，其过程取决于健康提供者的观察，因此事后分析音频和视频可能不是提供医疗的适当手段。本专利技术的示例性实施例提供了一种用于实时视频会议的系统，其中，为了有效的实时通信，非常清楚地获取音频和视频信号，并且将这些信号压缩和/或缩减为这里所称的低质量信号，同时对高质量信号执行自动症状识别以自动检测来自其中的各种细微症状。然后使用自动症状识别的发现来标注使用低质量信号的实时电话会议，使得可以使医疗提供者以及时的方式意识到发现，以相应地指导医疗咨询。这可以通过在患者的位置处布置自动症状识别硬件，或者通过随着实时电话会议的继续异步地向自动症状识别硬件发送高质量信号，然后在确定警报时向医疗提供者叠加警报来实现。自动症状识别硬件可以利用循环神经网络以以下面更详细描述的方式识别症状。图1是示出根据本专利技术示例性实施例的用于在视频会议中实时标注面部症状的系统的示意图。患者受试者10可以利用相机和麦克风11，并且可以从其获取患者受试者10的声音和外观。尽管元件11被图示为相机设备，但是该描绘仅仅是示例，并且实际设备可以被实例化为电话会议装备、个人计算机或者甚至移动电子设备，诸如包括相机/麦克风的智能电话或平板计算机。应当理解，照相机/麦克风元件11可以另外包括模数转换器、网络接口和处理器。摄像机/麦克风11可以数字化所获取的音频/视频信号，以产生诸如符合超高清(UHD)标准的4k视频之类的高清音频/视频信号。数字化信号可以通过计算机网络12，例如因特网，与电话会议服务器14通信。照相机/麦克风11还可以通过缩小和/或利用诸如H.264的压缩方案或一些其它方案来减小音频/视频信号的大小。减少的程度可以由可用带宽和各种传输条件来规定。摄像机/麦克风11可以将音频/视频信号作为高质量获取信号和作为按比例缩小/压缩信号两者发送到电话会议服务器14，所述信号在本文中可以被称为低质量信号。高质量信号可以异步发送，例如，数据可以被分成分组，分组可以到达电话会议服务器14以便在完成一些数量的图像帧的传输时进行处理，而低质量信号可以被实时发送到电话会议服务器14，并且质量降低的程本文档来自技高网...

【技术保护点】
1.一种电话会议系统，包括：/n第一终端，包括相机和麦克风，被配置为获取音频信号和高质量视频信号，并将所获取的高质量视频信号转换为比特率小于所述高质量视频信号的比特率的低质量视频信号；/n远程会议服务器，其与所述第一终端和第二终端通信，并且被配置为从所述第一终端实时接收所述低质量视频信号和所述音频信号，并且将所述低质量视频信号和所述音频信号发送到所述第二终端；以及/n症状识别服务器，其与所述第一终端和所述电话会议服务器通信，并且被配置为从所述第一终端异步地接收所述高质量视频信号和所述音频信号，分析所述高质量视频信号和所述音频信号以检测一个或多个疾病迹象，在检测到所述一个或多个疾病迹象时生成诊断警报，并且将所述诊断警报传输到所述电话会议服务器以显示在所述第二终端上。/n

【技术特征摘要】
【国外来华专利技术】20180427 US 15/964,5421.一种电话会议系统，包括：
第一终端，包括相机和麦克风，被配置为获取音频信号和高质量视频信号，并将所获取的高质量视频信号转换为比特率小于所述高质量视频信号的比特率的低质量视频信号；
远程会议服务器，其与所述第一终端和第二终端通信，并且被配置为从所述第一终端实时接收所述低质量视频信号和所述音频信号，并且将所述低质量视频信号和所述音频信号发送到所述第二终端；以及
症状识别服务器，其与所述第一终端和所述电话会议服务器通信，并且被配置为从所述第一终端异步地接收所述高质量视频信号和所述音频信号，分析所述高质量视频信号和所述音频信号以检测一个或多个疾病迹象，在检测到所述一个或多个疾病迹象时生成诊断警报，并且将所述诊断警报传输到所述电话会议服务器以显示在所述第二终端上。


2.如权利要求1所述的系统，其中所述症状识别服务器被配置为使用多模态递归神经网络从所述高质量视频信号和所述音频信号检测所述疾病迹象。


3.如权利要求2所述的系统，其中所述症状识别服务器被配置为通过以下步骤从所述高质量视频信号检测所述疾病迹象迹象：
从所述高质量视频信号检测面部；
从所检测的面部提取动作单元；
从所检测的面部检测标志；
跟踪所检测的标志；
使用所跟踪的标志来执行语义特征提取；以及
使用所述多模态递归神经网络来从所检测的面部、所提取的动作单元、所跟踪的标志以及所提取的语义特征检测所述疾病迹象。


4.如权利要求2所述的系统，其中所述症状识别服务器被配置为通过以下步骤从所述高质量视频信号检测所述疾病迹象：
从所述高质量视频信号检测身体姿势；
从所述高质量视频信号跟踪头部移动；以及
使用所述多模态递归神经网络来从所检测的身体姿势和所跟踪的头部移动来检测所述疾病迹象。


5.如权利要求2所述的系统，其中所述症状识别服务器被配置为通过以下步骤从所述音频信号检测所述疾病迹象：
从所述音频信号检测音调特征；
转录所述音频信号以生成转录；
对所述转录执行自然语言处理；
对所述转录进行语义分析；
对所述转录进行语言结构提取；以及
使用所述循环神经网络来从所检测的音调特征、所述转录、所述自然语言处理的结果、所述语义分析的结果以及所述语言结构提取的结果来检测所述疾病迹象。


6.如权利要求1所述的系统，其中所述第一终端被配置为通过降低所述高质量信号的分辨率、通过降低所述高质量信号的帧率、或者通过压缩所述高质量信号来将所述高质量视频信号转换为较低比特率的低质量视频信号。


7.如权利要求1所述的系统，其中所述症状识别服务器是所述第一终端的一部分或本地连接到所述第一终端。


8.如权利要求1所述的系统，其中所述电话会议服务器通过因特网或另一广域网与所述第一终端和所述第二终端通信。


9.如权利要求1所述的系统，其中所述第二终端被配置为显示所述低质量视频信号作为电话会议的一部分，并且所述电话会议服务器被配置为将所述诊...

【专利技术属性】
技术研发人员：S·博佐塔巴，S·塞戴，N·福克斯，R·加纳维，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US