【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其涉及一种基于计算机视觉的面部视频判别中医气血系统。
技术介绍
1、气血为生命之根本。中医学认为，“气主煦之，血主濡之”，气具有推动、调控、温煦、防御等作用，可以推动机体生长发育、维持脏腑生理功能；血是构成和维持生命的重要物质及营养基础，具有滋润、儒养脏腑经络的功能。中医气血论是一套完整的辨证理论体系，从物质及功能两个角度整体审查机体状态改变，可视为脏腑、经络等辨证体系的基石，甚则有专家提出“气血理论或成为中医辨证理论体系的核心”这一说法。
2、目前气血辨识以盈虚通滞状态判断为主，所得证候皆是从不同角度对气血状态进行诊察。气血辨识内容包括：气病辨证，血病辨证及气血同病。每类分别包含不同子类。目前，气血辨证主要依靠医生根据患者症状表现判别，缺乏客观化且简便快捷的判别方法。面诊是中医望诊的主要内容；中医学认为，面部为人体经络汇聚之处，具有丰富的血脉供应。生理状态下，五脏六腑的气血皆上荣于面，病理状态下人体的气血盈衰亦可通过面部反映于外。现代医学认为，中医气血改变可以引起每搏输出量细微变化，此种变化可以通过面部反应出来。因此，面部与人体气血密切相关，且面部皮肤表浅易于观察，可作为判断气血状态的重要途径；随着人工智能等先进技术的发展，计算机视觉技术可灵敏捕捉面部信息随气血变化产生的细微变化，进而“思外揣内”客观化评估中医气血状态变化。
3、目前计算机视觉技术已取得较大进展，在制造业、军事、医疗诊断等领域应用广泛。面部视频中包含由血红蛋白变化引起的反射光变化（这与中医气血密切相关），
4、目前中医气血辨识客观化主要方法包括：
5、（1）医生采集患者症候，根据临床经验进行辨识；
6、（2）医生采集患者症候，根据传统机器学习方法进行辨识；
7、（3）基于特定设备采集患者症候，根据传统机器学习方法进行辨识。
8、目前使用的技术方案存在如下问题和缺陷：
9、（1）目前判断中医气血的方法需要结合多种设备的诊断结果综合判断，而各部分的气血诊断结果均会影响最终判断结果的一致性，使最终诊断结果不够准确；
10、（2）目前采用传统机器学习或人为设定的规则进行辨识，该过程高度依赖人为先验知识，耗费大量人力和财力，且无法做到标准化和客观化，对于不同诊断人员得到的气血分类结果无法统一。
技术实现思路
1、本专利技术的目的在于克服传统气血辨识需要大量人为干预的复杂步骤，提供一种基于计算机视觉的面部视频判别中医气血系统，以面部视频为记录媒介，并基于transformer构建气血特征提取模型，实现从面部视频提取中医气血相关特征，并在模型升级模块进行错误勘误及闭环优化，本专利技术实现的系统仅通过摄像头记录面部视频实现气血辨证，推动中医气血辨证客观化。
2、为了实现上述专利技术目的，本专利技术提供了以下技术方案：
3、一种基于计算机视觉的面部视频判别中医气血系统，该系统包括：
4、视频采集模块，采集面部视频；
5、视频预处理模块，将所述面部视频切割，划分为视频帧；
6、特征提取模块，基于transformer构建气血特征提取模型，包括浅层粗特征提取单元、中间层patch embedding单元以及深层注意力机制单元，所述模型从所述视频帧中提取中医气血相关特征；
7、气血辨识模块，基于所述中医气血相关特征获取气血分类，并将气血辨证损失、心率损失和血压损失的加权求和作为总损失进行模型训练；
8、模型升级模块，进行最终气血辨证分类，根据所述气血分类结果与专家辨识结果的一致性，判断数据是否需要重新送入气血特征提取模型训练。
9、优选地，在视频预处理模块中，使用视频编解码工具读取视频流并进行分帧，视频帧数的范围为240-260帧，视频帧图片大小调整为固定尺寸256*256像素，由于尺寸及帧数设定越大，所需硬件、显卡、数据量资源越多、训练时间也越长，故考虑本专利技术数据量、现有硬件显卡资源和训练时长，设定帧数范围240-260帧，尺寸一般为2的倍数，设定为256*256。
10、优选地，所述气血特征提取模型的架构具体包括：所述浅层粗特征提取单元从视频帧中提取粗略时空特征，所述中间层patch embedding单元将所述粗略时空特征分成非重叠的tube token并编码，所述深层注意力机制单元包括时空多头自注意力和时空前馈神经网络，所述时空多头自注意力改进投影模式，从所述tubetoken提取注意力特征并喂入所述时空前馈神经网络，所述时空前馈神经网络输出所述中医气血相关特征，鉴于transformer具有长程上下文建模及时序处理能力，所以所述气血特征提取模型的构建参考transformer架构并进行调整。
11、优选地，所述浅层粗特征提取单元由指定层数的3d卷积神经网络组成，每层包括3d卷积层、批归一化层、 relu激活函数及最大池化层，从经所述视频预处理模块调整的视频帧中提取粗略时空特征，浅层粗特征提取单元提取粗略的时空特征，从而去除视频冗余信息，为后续提取精准特征做准备。
12、优选地，所述中间层patch embedding单元由指定层数的3d卷积神经网络组成，将所述粗略时空特征分成非重叠的tube token并且编码。
13、优选地，所述时空多头自注意力改进投影模式以及获取注意力特征的具体步骤包括：时空多头自注意力使用3d卷积神经网络构建所述tube token的向量 q、k、 v投影，并对向量 q、 k进行归一化，将向量 q、 k、 v展平并送入指定个数的注意力头中，再对每个注意力头的特征输出进行特征拼接、线性投影及残差连接后得到注意力特征；由于3d卷积神经网络在处理视频时的优越性，本专利技术将传统transformer中构建向量 q、 k、 v使用的全连接网络改为3d卷积神经网络。
14、优选地，所述气血辨识模块包括气血辨证单元和多任务学习单元，所述气血辨证单元依次对所述气血相关特征进行时间上采样、空间平均、卷积和线性映射，获取气血分类结果；所述多任务学习单元将气血辨证损失、心率损失和血压损失的加权求和作为总损失进行模型训练。
15、优本文档来自技高网...
【技术保护点】
1.一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，该系统包括：
2.根据权利要求1所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，在视频预处理模块中，使用视频编解码工具读取视频流进行分帧，并设定视频帧数的范围为240-260帧，图片大小调整为固定尺寸256*256像素，获取视频帧。
3.根据权利要求1所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，所述气血特征提取模型的架构具体包括：所述浅层粗特征提取单元从视频帧中提取粗略时空特征，所述中间层patch embedding单元将所述粗略时空特征分成非重叠的tubetoken并编码，所述深层注意力机制单元包括时空多头自注意力和时空前馈神经网络，所述时空多头自注意力改进投影模式，从所述tube token提取注意力特征并喂入所述时空前馈神经网络，所述时空前馈神经网络输出所述中医气血相关特征。
4.根据权利要求3所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，所述浅层粗特征提取单元由指定层数的3D卷积神经网络组成，每层包括3D卷积层、批归一化
5.根据权利要求3所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，所述中间层patch embedding单元由指定层数的3D卷积神经网络组成，将所述粗略时空特征分成非重叠的tube token并且编码。
6.根据权利要求3所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，所述时空多头自注意力改进投影模式以及获取注意力特征的具体步骤包括：时空多头自注意力使用3D卷积神经网络构建所述tube token的向量Q、K、V投影，并对向量Q、K进行归一化，将向量Q、K、V展平并送入指定个数的注意力头中，再对每个注意力头的特征输出进行特征拼接、线性投影及残差连接后得到注意力特征。
7.根据权利要求1-6任一所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，所述气血辨识模块包括气血辨证单元和多任务学习单元，所述气血辨证单元依次对所述气血相关特征进行时间上采样、空间平均、卷积和线性映射，获取气血分类结果；所述多任务学习单元将气血辨证损失、心率损失和血压损失的加权求和作为总损失进行模型训练。
8.根据权利要求7所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，多任务学习单元将气血辨证损失、心率损失和血压损失的加权求和作为总损失进行模型训练的具体步骤包括：通过卷积投影、线性投影并使用交叉熵损失函数计算气血辨证损失，通过卷积投影、线性投影并使用均方差损失函数分别计算心率损失和血压损失，最后计算气血辨证损失、心率损失和血压损失的加权求和为总损失，使用所述总损失进行模型训练。
9.根据权利要求1所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，在所述气血辨识模块所得气血分类结果包括三大类：气病、血病和气血同病；所述气病包括气虚证、气陷证、气不固证、气脱证、气逆证和气闭证；所述血病包括血虚证、血脱证、血瘀证、血热证和血寒证；所述气血同病包括气血两虚、气虚血瘀、气不摄血、气随血脱、气滞血瘀。
10.根据权利要求1所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，模型升级模块根据最终气血辨证分类结果与专家实际辨识结果的一致性，若不一致则将视频帧数据重新送入模型，使用OHEM训练方式进行迭代训练，直至达到一致则训练完成。
...【技术特征摘要】
1.一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，该系统包括：
2.根据权利要求1所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，在视频预处理模块中，使用视频编解码工具读取视频流进行分帧，并设定视频帧数的范围为240-260帧，图片大小调整为固定尺寸256*256像素，获取视频帧。
3.根据权利要求1所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，所述气血特征提取模型的架构具体包括：所述浅层粗特征提取单元从视频帧中提取粗略时空特征，所述中间层patch embedding单元将所述粗略时空特征分成非重叠的tubetoken并编码，所述深层注意力机制单元包括时空多头自注意力和时空前馈神经网络，所述时空多头自注意力改进投影模式，从所述tube token提取注意力特征并喂入所述时空前馈神经网络，所述时空前馈神经网络输出所述中医气血相关特征。
4.根据权利要求3所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，所述浅层粗特征提取单元由指定层数的3d卷积神经网络组成，每层包括3d卷积层、批归一化层、relu激活函数及最大池化层，从所述视频帧中提取粗略时空特征。
5.根据权利要求3所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，所述中间层patch embedding单元由指定层数的3d卷积神经网络组成，将所述粗略时空特征分成非重叠的tube token并且编码。
6.根据权利要求3所述的一种基于计算机视觉的面部视频判别中医气血系统，其特征在于，所述时空多头自注意力改进投影模式以及获取注意力特征的具体步骤包括：时空多头自注意力使用3d卷积神经网络构建所述tube token...
【专利技术属性】
技术研发人员：赵智慧，周毅，陈日高，温川飙，许强，李炜弘，高原，
申请(专利权)人：成都中医药大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。