【技术实现步骤摘要】
本申请涉及医工学科交叉，具体涉及机器学习和信号处理技术在中医功能态辨识方面的应用；更具体的，涉及一种多模态中医虚实功能态辨识方法与相关装置。
技术介绍
1、中医学认为，虚实功能态是人体生命过程中，在先天禀赋和后天获得的基础上所形成的形态结构、生理功能和心理状态方面综合的、相对稳定的固有特质。虚实功能态这一概念最早在《黄帝内经》中的《素问》篇中得到了详细的探讨，此外，不同地区、不同人群的虚实的分布也有所不同。目前在进行虚实功能态分类的过程中，八纲辨证是一个核心方法，通过观察人的体征、脉象等信息进行判断。在临床辨识过程中，辨识结果严重依赖待辨识对象的主观感受以及医生的专业知识与经验，缺乏客观分析过程。
2、随着人工智能技术的发展，深度学习等技术赋能中医研究，使得虚实功能态客观化辨别成为可能，如公开日为2022-01-21，公开号为cn110532907b的中国专利技术专利：基于面象和舌象双模态特征提取的中医人体体质分类方法中，通过深度学习等方法，提取患者的与体质相关的面部舌部特征来提高体质分类结果准确率。又如公开日为2023-07-25，公开号为cn 116189884 b的中国专利技术专利：一种基于面部视觉的多模态融合中医体质判别方法及系统，其通过人工智能先进范式侦测面、唇、目、舌、脉，使用多模态融合技术进行多维数据融合，试图使得不同模态数据相互补充，更全面且准确得出结论，在有限搭载结构情况下，实现多种人体数据的采集和处理分析。但从结果来看，现有技术的辨别准确率还是有待提升。
技术实现思路<
1、针对现有技术的局限性，本专利技术提出了一种多模态中医虚实功能态辨识方法与相关装置，采用的技术方案如下：
2、一种中医虚实功能态辨识模型的构建方法，该方法以标注了虚实功能态类型的中医多模态数据作为训练数据，根据并行的虚实功能态辨识任务以及特征归一化任务，对包括特征提取模块、特征归一化分支网络、特征融合模块以及虚实功能态辨识分支网络的多模态神经网络架构进行训练；
3、其中，所述中医多模态数据包括采样对象的图像数据、视频数据、语音数据以及文本数据中的至少两种；
4、在训练过程中：
5、所述特征提取模块用于对所述中医多模态数据进行roi区域检测以及特征向量学习与压缩，获得所述中医多模态数据中各模态的粗粒度特征；
6、所述特征归一化分支网络用于将各模态的粗粒度特征接入预设的得分矩阵中，通过余弦约束进行归一化，映射到同一联合表征空间下；
7、所述特征融合模块用于采用空间自注意力机制对进行自适应权重分配，对映射到所述联合表征空间下的粗粒度特征进行加权求和，形成细粒度融合特征；
8、所述虚实功能态辨识分支网络用于以所述细粒度融合特征以及标注的虚实功能态类型进行分类训练；
9、以训练后的特征提取模块、特征融合模块以及虚实功能态辨识分支网络作为中医虚实功能态辨识模型。
10、相较于现有技术，本专利技术突破了传统虚实功能态辨识客观化的应用瓶颈，以数据驱动联动知识驱动，客观的、可量化的建立起不同模态数据与人体虚实功能态之间的内在逻辑关系；通过将不同特征描述空间映射到同一个联合表征空间下再进行多模态特征融合，为后续虚实功能态辨识任务提供一种高质量的融合特征范式，为实现轻硬件高鲁棒性的开放环境下虚实功能态信息客观化辨识以及其它类似的分类任务提供了可能。
11、作为一种优选方案，所述虚实功能态类型包括五虚：阴虚、血虚、气郁、火热、气虚；还包括五实：伏风、精亏、痰湿、血瘀、阳虚。
12、作为一种优选方案，在训练过程中，所述特征归一化任务包括以下内容：
13、以各模态的粗粒度特征作为共享信息特征；通过同时接收来自所述虚实功能态辨识分支网络以及特征归一化分支网络学习到的深层语义信息，以误差反向传播的方式共同对所述共享信息特征的特征值产生影响，帮助所述特征融合模块学会运用相同的描述方式来表征各模态的特征；
14、将各模态的共享信息特征同时输入到所述特征归一化分支网络进行映射，完成各模态的粗粒度特征到同一联合表征空间下的转换。
15、进一步的，所述特征归一化分支网络包括score-net；将各模态的共享信息特征同时输入到所述score-net后，通过以下公式获得各模态之间的相似度，组合成余弦网络层：
16、
17、其中，a、b分别表示参与计算的两种模态的粗粒度特征，similaeity(a，b)表示a与b之间的相似度；n表示所述中医多模态数据的种类；i表示所述中医多模态数据的的索引，依次进行选取计算。
18、更进一步的，所述特征归一化任务的优化目标为使所述特征归一化任务的目标损失函数l归一化最小：
19、l归一化＝1-similaity(a,b)。
20、作为一种优选方案，所述特征融合模块包括以下处理过程：
21、将归一化后的特征sm输入到预设的全连接层中转换为固定长度形式的待融合特征s′m：
22、s′m∈{text，image，video.voice}＝tanh(wm*sm+bm)；
23、对所述待融合特征s′m进行粗粒度的拼接，得到拼接后的特征mj：
24、
25、采用空间自注意力机制进行权重计算，形成细粒度融合特征sfused：
26、
27、sfused＝∑m∈{text,image,video.voice}αms′m；
28、其中，wm、bm、wm1为模型权重的训练参数，αm为空间自注意力机制自适应计算得到的各模态特征的权重。
29、作为一种优选方案，在训练过程中的整体优化目标为联合损失ltotal，按以下公式表示：
30、ltotal＝αlcls+(1-α)；
31、其中：lcls表示虚实功能态辨识任务的目标损失函数，l归一化表示特征归一化任务的目标损失函数；α表示损失比例权重；
32、
33、y′k＝softmax(sfused)；
34、yk表示虚实功能态的预测概率，y′k表示虚实功能态类型的标注标签；sfused表示细粒度融合特征，softmax()表示softmax分类器；c表示虚实功能态类型的数量；k表示虚实功能态类型的索引。
35、本专利技术还包括以下内容：
36、一种多模态中医虚实功能态辨识方法，包括以下步骤：
37、s1，获取用户的中医多模态数据；
38、s2，将用户的中医多模态数据输入如前述的中医虚实功能态辨识模型的构建方法得到的中医虚实功能态辨识模型中，获得用户功能态类型概率；
39、s3，根据预设的阈值对所述用户功能态类型概率进行过滤，获得用户的功能态辨别结果。
40、相较于现有技术，本专利技术创新了虚实功能态辨识新模式，基于图像、视频、音频、文本等多种模态数据出发，实现不同模本文档来自技高网...
【技术保护点】
1.一种中医虚实功能态辨识模型的构建方法，其特征在于，该方法以标注了虚实功能态类型的中医多模态数据作为训练数据，根据并行的虚实功能态辨识任务以及特征归一化任务，对包括特征提取模块、特征归一化分支网络、特征融合模块以及虚实功能态辨识分支网络的多模态神经网络架构进行训练；
2.根据权利要求1所述的中医虚实功能态辨识模型的构建方法，其特征在于，所述虚实功能态类型包括五虚：阴虚、血虚、气郁、火热、气虚；还包括五实：伏风、精亏、痰湿、血瘀、阳虚。
3.根据权利要求1所述的中医虚实功能态辨识模型的构建方法，其特征在于，在训练过程中，所述特征归一化任务包括以下内容：
4.根据权利要求3所述的中医虚实功能态辨识模型的构建方法，其特征在于，所述特征归一化分支网络包括Score-Net；将各模态的共享信息特征同时输入到所述Score-Net后，通过以下公式获得各模态之间的相似度，组合成余弦网络层：
5.根据权利要求4所述的中医虚实功能态辨识模型的构建方法，其特征在于，所述特征归一化任务的优化目标为使所述特征归一化任务的目标损失函数L归一化最小：
...【技术特征摘要】
1.一种中医虚实功能态辨识模型的构建方法，其特征在于，该方法以标注了虚实功能态类型的中医多模态数据作为训练数据，根据并行的虚实功能态辨识任务以及特征归一化任务，对包括特征提取模块、特征归一化分支网络、特征融合模块以及虚实功能态辨识分支网络的多模态神经网络架构进行训练；
2.根据权利要求1所述的中医虚实功能态辨识模型的构建方法，其特征在于，所述虚实功能态类型包括五虚：阴虚、血虚、气郁、火热、气虚；还包括五实：伏风、精亏、痰湿、血瘀、阳虚。
3.根据权利要求1所述的中医虚实功能态辨识模型的构建方法，其特征在于，在训练过程中，所述特征归一化任务包括以下内容：
4.根据权利要求3所述的中医虚实功能态辨识模型的构建方法，其特征在于，所述特征归一化分支网络包括score-net；将各模态的共享信息特征同时输入到所述score-net后，通过以下公式获得各模态之间的相似度，组合成余弦网络层：
5.根据权利...
【专利技术属性】
技术研发人员：胡镜清，王传池，吴珊，陈南杰，许强，刘微微，陈帅，
申请(专利权)人：广东省新黄埔中医药联合创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。