基于人脸图像多阶段关系学习的内脏器官特征编码方法技术

本发明专利技术公开了一种基于人脸图像多阶段关系学习的内脏器官特征编码方法，包括，采集人脸图像，并获取为每张人脸图像标注的标签，标签包括内脏器官标签和与每个内脏器官相关联的器官特征标签；将人脸图像进行数据增广后，对RGB三个通道分别进行归一化与标准化处理，得到训练集；利用内脏器官标签与器官特征标签同时对人脸图像训练集进行两个子任务分支的监督学习，以嵌入内脏特征的先验指导知识，最终获得嵌入了先验知识的内脏特征编码模型。本发明专利技术能够充分考虑人脸图像和内脏器官标签以及器官特征标签之间的关联性，对多阶段关系学习模型进行建模和分析，对人体内脏器官特征的编码结果为人体保健养生提供直观、客观的基础支撑。

【技术实现步骤摘要】
基于人脸图像多阶段关系学习的内脏器官特征编码方法
本专利技术涉及机器学习
，更具体的说是涉及一种基于人脸图像多阶段关系学习的内脏器官特征编码方法。
技术介绍
中国古书《黄帝内经》记载道“十二经脉，三百六十五路，起血气皆上于面而走空窍”，这表明人类的五脏六腑情况会表现在脸上的相关区域，这样通过观察人的面部气色就可以掌握用户的五脏六腑情况，然后通过饮食、运动和生活习惯的改善等来调理五脏六腑，以达到健康养生的目的。例如有湿气的人，脸上一般会长斑、起痘、满脸油光、鼻头红赤等，因此体内湿气能通过面部特征表现。体内的湿气与五脏六腑有关，可能在肺也可能在脾，只有知道了湿气所在的脏腑才能制定合理的饮食调理方案，运动调理方案和生活习惯改善方案，但是这需要丰富的养生专家经验，普通群众没有这类经验，无法制定合适的调理方案。随着科技的发展，近年来大数据和深度学习技术发展迅速。机器学习技术是利用多层次的神经网络，通过大批量数据的训练，可以使计算机学习理解复杂的图像声音等数据，并可以做出相应的行为。机器学习网络可以提取复杂程度高，且人类难以理解描述的对比特征。然而，目前的深度监督学习方法需要大量的标签数据支持，否则模型训练容易陷入过拟合，导致模型的泛化能力不足以有效地表达出数据的区分性特征。然而，标签数据的采集代价非常昂贵，几乎不可能为每一个任务都收集充足的训练数据。而通过多任务的框架学习多个相关任务，利用这些相关任务的标签数据来嵌入先验知识，可以将相关任务的知识迁移至主任务，最终达到辅助主任务建模的目的。这能够减少对标签数据的依赖，提高现有标签数据的利用率，提高主任务模型的泛化能力。因此，如何基于有限的标签数据，提供一种通过人脸图像对人体器官特征进行有效编码的方法是本领域技术人员亟需解决的问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于人脸图像多阶段关系学习的内脏器官特征编码方法，能够充分考虑人脸图像和内脏器官标签以及器官特征标签之间的关联性，对多阶段关系学习模型进行建模和分析，为对人体内脏器官特征的预测编码提供基础支撑。为了实现上述目的，本专利技术提供如下技术方案：一种基于人脸图像多阶段关系学习的内脏器官特征编码方法，包括如下步骤：步骤1，数据采集：采集人脸图像，并获取为每张人脸图像标注的标签，标签包括内脏器官标签和与每个内脏器官相对应的器官特征标签；步骤2，数据处理：将人脸图像进行数据增广，然后对R、G、B三个通道分别进行归一化与标准化处理，得到训练集Dtr＝{(xn，yn)，n＝1...N}，xn∈X，yn∈Y，X为处理后的人脸图像样本集，Y为标签集；步骤3，多阶段关系学习网络模型构建：利用内脏器官标签与器官特征标签同时对人脸图像样本集进行两个子任务分支的监督学习，以嵌入内脏特征的先验指导知识，最终获得嵌入了先验知识的内脏特征编码模型。优选的，所述步骤1中，内脏器官标签包括大肠，胆囊，肺，肝脏，膀胱，脾脏，肾脏，胃，小肠，心脏，和未知；器官特征标签包括气虚，血虚，阴虚，阳虚，气滞，血瘀，痰，风，热，寒，燥，湿，和未知。优选的，所述步骤2中进行数据增广的过程包括，人脸图像放缩到256×256的尺寸大小，然后从放缩后的图像中随机裁剪出224×224尺寸大小的图像，再对裁剪后的图像进行随机水平翻转进行数据增广。优选的，所述步骤3包括：步骤31，构建主干网络，内脏器官标签和器官特征标签作为多任务学习框架的子任务集，人脸图像样本xn经过主干网络提取出任务间共享的共性特征；步骤32，构建动态序列模块DSM，将共性特征作为输入通过循环神经网络RNN对内脏器官标签与器官特征标签两个任务进行建模，输出内脏器官与器官特征的任务相关特征；步骤33，构建分类器，步骤32的输出经过全连接层后分别输入各自的多标签分类器与得到一组包含内脏器官与器官特征预测结果的决策向量。优选的，所述步骤32具体包括：步骤321，对内脏器官建模，把主干网络提取的共性特征作为任务相关层的DSM每个时间步对应节点的输入，每个时间步的节点对应一个子任务分支，分别为内脏器官与器官特征两个任务，任务数即时间步数；步骤322，再将时间步的隐状态特征及共性特征传入RNN中的下一个时间步节点，对人体内脏器官特征建模，时间步的隐状态特征表示为其中，其中M是与尺寸一致的掩码M～Bernoulli(rs)，且Dh为隐状态特征的特征维度，为随机初始化的初始状态；得到每个时间步的输出分别为内脏器官分支的输出与器官特征分支的输出其中受输入的共性特征以及上一个时间步的隐状态以概率rs影响。优选的，所述步骤3还包括构建语义正则损失函数的过程：步骤34,设定一个超参数阈值z，根据其L2损失的大小，对内脏器官和器官特征任务分别计算出一个激活值和分别表示模型对内脏器官和器官特征的识别结果；步骤35，在损失函数中引入惩罚项，设置一个门控项G来控制惩罚项的激活，并计算得到语义约束的损失对各分支的输出/标签对计算二值交叉熵损失，分别得到两个多标签分类损失Lloc与Lnat；将三个损失相加得到最终的损失为：其中，Lloc和Lnat分别为人体内脏器官、人体内脏器官特征的多标签交叉熵分类损失；步骤36，对计算出来的损失Ltotal进行反向传播，调整模型的参数，最终实现将内脏器官、器官特征的先验知识嵌入内脏特征编码，以获得训练后的内脏特征编码模型。本专利技术设计的一种基于人脸图像多阶段关系学习的内脏器官特征编码方法与现有技术相比的优点在于：本专利技术提出的方法利用对内脏器官与器官特征的标签进行编码，并辅助识别内脏器官的特征，对内脏特征嵌入先验指导知识，改善人脸图像对应内脏特征的特征编码。它通过构造一个多任务学习模型，利用内脏器官与器官特征两组标签同时进行两个子任务分支的监督学习，以嵌入先验知识，最终获得嵌入了先验知识的内脏特征编码。实验表明，通过将测试样本中的人脸图像输入本专利技术的模型，能够获得改善后的内脏特征编码，所得编码可以作为饮食调理方案，运动调理方案和生活习惯改善方案的基础技术支撑，提高调理方案的针对性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术提供的一种基于人脸图像多阶段关系学习的内脏器官特征编码方法的流程框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例公开了一种基于人脸图像多阶段关系学习本文档来自技高网...

【技术保护点】
1.一种基于人脸图像多阶段关系学习的内脏器官特征编码方法，其特征在于，包括如下步骤：/n步骤1，数据采集：采集人脸图像，并获取为每张人脸图像标注的标签，标签包括内脏器官标签和与每个内脏器官相对应的器官特征标签；/n步骤2，数据处理：将人脸图像进行数据增广后，对R、G、B三个通道分别进行归一化与标准化处理，得到训练集D

【技术特征摘要】
1.一种基于人脸图像多阶段关系学习的内脏器官特征编码方法，其特征在于，包括如下步骤：
步骤1，数据采集：采集人脸图像，并获取为每张人脸图像标注的标签，标签包括内脏器官标签和与每个内脏器官相对应的器官特征标签；
步骤2，数据处理：将人脸图像进行数据增广后，对R、G、B三个通道分别进行归一化与标准化处理，得到训练集Dtr＝{(xn，yn)，n＝1...N}，xn∈X，yn∈Y，X为处理后的人脸图像样本集，Y为标签集；
步骤3，多阶段关系学习网络模型构建：利用内脏器官标签与器官特征标签同时对人脸图像样本集进行两个子任务分支的监督学习，以嵌入内脏特征的先验指导知识，最终获得嵌入了先验知识的内脏特征编码。


2.根据权利要求1所述的一种基于人脸图像多阶段关系学习的内脏器官特征编码方法，其特征在于，所述步骤1中，内脏器官标签包括大肠，胆囊，肺，肝脏，膀胱，脾脏，肾脏，胃，小肠，心脏，和未知；器官特征标签包括气虚，血虚，阴虚，阳虚，气滞，血瘀，痰，风，热，寒，燥，湿，和未知。


3.根据权利要求1所述的一种基于人脸图像多阶段关系学习的内脏器官特征编码方法，其特征在于，所述步骤2中进行数据增广的过程包括，人脸图像放缩到256×256的尺寸大小，然后从放缩后的图像中随机裁剪出224×224尺寸大小的图像，再对裁剪后的图像进行随机水平翻转进行数据增广。


4.根据权利要求1所述的一种基于人脸图像多阶段关系学习的内脏器官特征编码方法，其特征在于，所述步骤3包括：
步骤31，构建主干网络，内脏器官标签和器官特征标签作为多任务学习框架的子任务集，人脸图像样本xn经过主干网络提取出任务间共享的共性特征；
步骤32，构建动态序列模块DSM，将共性特征作为输入通过循环神经网络RNN对内脏器官标签与器官特征标签两个任务进行建模，输出内脏器官与器官特征的任务相关特征；
步骤33，构建分类...

【专利技术属性】
技术研发人员：文鹏程，
申请(专利权)人：广州华见智能科技有限公司，
类型：发明
国别省市：广东;44