【技术实现步骤摘要】
多模态数据标注装置及包含程序的计算机可读存储介质
本专利技术涉及一种基于患者行为的多模态数据标注装置，还涉及一种包含程序的计算机可读存储介质。
技术介绍
随着机器学习、行为识别等科学技术的飞速发展，很多医院对于患者行为数据的收集和存储方式变得更加多元化，多模态用来表示不同形态的数据形式，一般表示成病例单的文本信息、基于计算机视觉的表情或情绪图片、病情叙述的音频信号、人体运动三维捕捉的视频以及生理信号的混合数据等等。多模态患者行为标注技术通过现代人机物共融医疗服务采集到的患者图像信息、语音信息、状态信息，包括通过可穿戴传感器设备获取的心跳，姿态，血氧浓度信息等，即利用全方位的不同角度相关信息，描述患者的行为，并及时地对健康风险及重要性进行评估。数据标注作为人工智能学习数据进行加工的一种重要行为，其标注得越精确对算法模型训练的效果就越好。然而由于大规模多模态数据库的匮乏，目前市面上大多数采用的是单模态数据标注方式，传统的数据标注算法有基于拉普拉斯图的GRF算法和基于归一化拉普拉斯的LLGC算法等，现有的标注系统往往仅针对...
【技术保护点】
1.一种基于患者行为的多模态数据标注装置，包括数据采集设备、标注存储器及处理器，其特征是：还包括预处理服务器、数据库服务器、AI协作服务器和半监督学习算法，该算法由预处理模块、审查模块、管理模块以及AI协作模块四个程序模块组成，旨在利用数据采集设备采集的多模态信息进行信息融合，之后通过融合数据的特征构建成图，然后通过融合多张图集成到一个正则化表达式框架中，同时优化这些图的加权系数，完成多模态数据的自动标注。/n
【技术特征摘要】
1.一种基于患者行为的多模态数据标注装置，包括数据采集设备、标注存储器及处理器，其特征是：还包括预处理服务器、数据库服务器、AI协作服务器和半监督学习算法，该算法由预处理模块、审查模块、管理模块以及AI协作模块四个程序模块组成，旨在利用数据采集设备采集的多模态信息进行信息融合，之后通过融合数据的特征构建成图，然后通过融合多张图集成到一个正则化表达式框架中，同时优化这些图的加权系数，完成多模态数据的自动标注。
2.如权利要求1所述的基于患者行为的多模态数据标注装置，其特征是：
所述的预处理模块，包括如下步骤：
获取患者行为的不同模态数据，以高层语义和数据集成为基准，将多模态数据构建成符合半监督学习的特征数据集；
根据数据特征中顶点和边的权重随着欧氏距离的变化，确定权重方程和正则表达式；
融合建图，结合多源模态的特征维数选取最优距离度量，生成对应多图。
3.如权利要求1所述的基于患者行为的多模态数据标注装置，其特征是：
所述的审查模块，包括如下步骤：
利用预处理后的模态信息和距离度量通过AMPQ消息件，与半监督学习的数据反馈...
【专利技术属性】
技术研发人员：张立华，杨鼎康，张沛轩，翟鹏，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。