一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法技术

一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法，包括数据库构建、检索模型构建、检索模型训练、预警精度测试和监控方法的使用五个过程。利用卷积神经网络与BERT分别学习食品图像模态和描述文本模态中的语义表征，在提取特征的同时帮助处理各形态特征之间的潜在联系，其将第三模态的数据引入跨模态检索方法中，以缩小模态间的语义鸿沟。本发明专利技术利用实时摄取的生活记录图像作为输入来检测食品并进行检索，在输出部分增添食品组成数据来提高输出信息的实用性。以上改进均可以提高跨模态检索的精确度与稳定性，从而实现准确的跨模态检索。同时，该方法还可用于辅助分析致糖尿病食物成分与个体身体状况的相关性。

【技术实现步骤摘要】
一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法
本专利技术涉及多模态数据的分析与利用，特别涉及一种面向糖尿病患者的端到端的实时饮食健康监控方法。
技术介绍
在医疗水平日益发展的今天，对于糖尿病患者来说，健康饮食仍然是困扰他们的大问题。计划和监测糖尿病患者的日常饮食是一项极度消耗人力物力的任务，比如普通人难以记忆所有关于饮食的医学知识，而且因日常餐饮的频次而难以处处谨记糖尿病饮食禁忌，导致心力交瘁。另一方面，随着物联网的快速发展，能够感知和记录生物健康数据的传感器与可穿戴设备日益普及，这些实时生物数据也越来越多地被记录和使用，如每日步数、心跳、卡路里、血糖等，这些数据均可与生活图像结合，组成一个庞大的生活数据库，利用合适的多媒体数据分析技术，我们可以从中提取需要的食物图像与身体指标数据，帮助构建一种能够对饮食进行实时监测并实时给用户反馈食品特性的方法，这种方法可以为糖尿病者提供饮食相关的健康建议，使他们能更为方便地维持健康生活。
技术实现思路
为了解决糖尿病患者的健康饮食问题，本专利技术提出了一种基于可穿戴设备获取的多模态数据与跨模态检索技术实现对糖尿病患者的饮食进行实时监控的方法，提出了一种新的基于跨模态检索方法实时饮食健康记录与预警的方法，该方法能够利用视觉和生理信息来估计用户试图获取的食物是否有糖尿病致病风险，并通过手机将详细原因反馈给用户。本专利技术解决其技术问题所采用的技术方案是：一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法，所述方法包括以下步骤：步骤一、数据库构建，过程如下：步骤1.1：对公开数据集Food-101进行扩展，扩展为多标签食物图像数据集，并基于此训练一个多标签分类器；步骤1.2：对元数据集中的生活图像进行初步粗过滤，将全部模糊无法使用的图像以及所有被遮盖、看不清或视野内无明显实物的图片全部过滤剔除；步骤1.3：对元数据集中的实时生物数据进行数据清洗，剔除无用数据并补充缺失数据；步骤1.4：将配对的生活图像与实时生物数据进行协同过滤，即使用步骤2.1训练好的分类器来检测图像是否为食物，将所有不是食物的生活图像连同生物数据过滤删除，保留食物图像和与其配对的实时生物健康数据，并打上食物标签；步骤1.5：将搜集到的食物组成数据集、糖尿病禁忌食物表、糖尿病血糖指标数据集通过数据整合与数据清洗汇总为一个包括食物组成、食物描述和健康提示在内的糖尿病饮食健康数据集；步骤1.6：将食物图像及实时健康数据集同糖尿病饮食健康数据集通过食物标签进行配对，构建一个多模态的糖尿病饮食健康数据库，并划分训练集与测试集；步骤二、检索模型构建，过程如下：步骤2.1：该深度学习网络主要框架由一个图像特征提取模型、一个文本特征提取模型及一个典型关联分析模型组成，其中图像特征提取模型选用预训练的ResNet-101卷积神经网络，文本特征提取模型选用预训练的BERT模型；步骤2.2：典型关联分析模型的两路输入部分各接一个池化层与一个全连接层，池化层后接特征融合模块作为全连接层的输入，全连接层后面接ReLU激活函数；步骤2.3：最后连接到典型关联分析层，使用典型关联分析函数将图像特征与文本特征映射到同一子空间中，使用排序损失作为损失函数；步骤三、检索模型训练，过程如下：步骤3.1：将每个训练样本中的食物图像与食物描述文本作为两路输入送入跨模态检索模型，对食物图像使用卷积神经网络提取图像特征，对食物描述文本使用BERT提取文本特征；步骤3.2：将上一步骤输出的特征分别送入池化层进行下采样，并将得到的图像特征向量与训练样本中的生物健康数据进行特征融合，将得到的文本特征向量与训练样本中的食物组成数据进行特征融合；步骤3.3：将两路各自融合得到的特征向量经过一层全连接层送入典型关联分析模块，进行最终跨模态匹配部分的训练；步骤四、预警精度测试，过程如下：步骤4.1：将预处理好的测试数据集送入训练得到的最优模型；步骤4.2：使用跨模态检索模型对输入的食物图像进行跨模态匹配，匹配到最优的食物描述文本及其食物组成数据，并使用多层感知机来判断匹配的文本图像对所属类别，记录所有数据；步骤4.3：根据跨模态检索模型返回的图像文本对类别判断输入的食物是否为糖尿病人的禁忌食物，并针对结果进行预警提示；步骤4.4：比较问询图像的类别标签和跨模态检索模型返回的图像文本对类别标签是否一致，根据信息检索中的评价指标计算所有问询图片的准确率；步骤五、面向糖尿病患者实时饮食监控的使用，过程如下：步骤5.1：若通过可穿戴摄像头的监视发现食物则启动跨模态检索模块，方法将食物图像联合当下通过用户佩戴的智能手表采集到的生物健康数据送入跨模态检索模型，跨模态检索模型在数据库中检索一个最匹配的食物描述文本及其食物组成数据；步骤5.2：根据模型所测类别判断输入的食物是否为糖尿病人的禁忌食物，若是，通过智能手表的震动闪光对用户进行预警提示，并将跨模态检索得到的结果以文本的形式通过手机实时反馈给用户；步骤5.3：根据一天的饮食检索记录，将检索结果汇总为图文并茂的多模态健康建议报告，在每日结束时反馈到用户的手机上；经过上述步骤的操作，即可实现对糖尿病患者饮食的实时监控，包括记录与预警。进一步，所述步骤1.2的过程如下：步骤1.2.1：对元数据集中的生活图像进行模糊粗过滤，使用Laplacianfilter(3x3的拉普拉斯卷积核)与快速傅里叶变换两种方式计算图像的模糊度，保留所有模糊度小的图片作为有用图像数据，剔除所有模糊图像；步骤1.2.2：对剩余图像进行遮盖粗过滤，去除被某物大面积覆盖或面对天花板或墙壁的图像，过程如下：将图像转换为灰度图像，将灰度图像转换为二进制图像，将二值图像转换为矩阵，找出矩阵中最大的连通图形，并计算其面积比例，根据矩阵计算的结果,剔除最大连通图形面积超过整个区域90％的图像；步骤1.2.3：对元数据集中的实时生物健康数据进行数据清洗与处理，如去除与饮食关联度不大的生物数据如睡眠时间，以及根据时间序列上下时刻数据的平均值来补全缺失的血糖测量值；步骤1.2.4：对元数据集中的图像与数据进行协同过滤，使用步骤1.1中训练好的多标签分类器对生活图像打取标签，去除生活图像中对各类食物置信度低的图像，同时去掉所有与被删除图像配对的生物健康数据。所述步骤3.3中，卷积神经网络的预训练采用大批量食物图像数据集Food-101，将预训练好的分类器中的卷积神经网络放入本专利技术的跨模态检索模型中进行下一步的训练与参数微调。所述步骤5.3中，其每日的多模态健康建议报告由三份或多份饮食数据组成，其中每份饮食数据为检测到饮食的时间段中一张可穿戴摄像头摄取的食物图像、一组智能手环摄取的生物数据、一段跨模态检索模型检索得到的食物描述与饮食建议、一组检索得到的食物组成数据四部分组成，在每日结束时反馈到用户的手机上。本专利技术本文档来自技高网...

【技术保护点】
1.一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法，其特征在于，所述方法包括以下步骤：/n步骤一、数据库构建，过程如下：/n步骤1.1：对公开数据集Food-101进行扩展，扩展为多标签食物图像数据集，并基于此训练一个多标签分类器；/n步骤1.2：对元数据集中的生活图像进行初步粗过滤，将全部模糊无法使用的图像以及所有被遮盖、看不清或视野内无明显实物的图片全部过滤剔除；/n步骤1.3：对元数据集中的实时生物数据进行数据清洗，剔除无用数据并补充缺失数据；/n步骤1.4：将配对的生活图像与实时生物数据进行协同过滤，即使用步骤2.1训练好的分类器来检测图像是否为食物，将所有不是食物的生活图像连同生物数据过滤删除，保留食物图像和与其配对的实时生物健康数据，并打上食物标签；/n步骤1.5：将搜集到的食物组成数据集、糖尿病禁忌食物表、糖尿病血糖指标数据集通过数据整合与数据清洗汇总为一个包括食物组成、食物描述和健康提示在内的糖尿病饮食健康数据集；/n步骤1.6：将食物图像及实时健康数据集同糖尿病饮食健康数据集通过食物标签进行配对，构建一个多模态的糖尿病饮食健康数据库，并划分训练集与测试集；/n步骤二、检索模型构建，过程如下：/n步骤2.1：该深度学习网络主要框架由一个图像特征提取模型、一个文本特征提取模型及一个典型关联分析模型组成，其中图像特征提取模型选用预训练的ResNet-101卷积神经网络，文本特征提取模型选用预训练的BERT模型；/n步骤2.2：典型关联分析模型的两路输入部分各接一个池化层与一个全连接层，池化层后接特征融合模块作为全连接层的输入，全连接层后面接ReLU激活函数；/n步骤2.3：最后连接到典型关联分析层，使用典型关联分析函数将图像特征与文本特征映射到同一子空间中，使用排序损失作为损失函数；/n步骤三、检索模型训练，过程如下：/n步骤3.1：将每个训练样本中的食物图像与食物描述文本作为两路输入送入跨模态检索模型，对食物图像使用卷积神经网络提取图像特征，对食物描述文本使用BERT提取文本特征；/n步骤3.2：将上一步骤输出的特征分别送入池化层进行下采样，并将得到的图像特征向量与训练样本中的生物健康数据进行特征融合，将得到的文本特征向量与训练样本中的食物组成数据进行特征融合；/n步骤3.3：将两路各自融合得到的特征向量经过一层全连接层送入典型关联分析模块，进行最终跨模态匹配部分的训练；/n步骤四、预警精度测试，过程如下：/n步骤4.1：将预处理好的测试数据集送入训练得到的最优模型；/n步骤4.2：使用跨模态检索模型对输入的食物图像进行跨模态匹配，匹配到最优的食物描述文本及其食物组成数据，并使用多层感知机来判断匹配的文本图像对所属类别，记录所有数据；/n步骤4.3：根据跨模态检索模型返回的图像文本对类别判断输入的食物是否为糖尿病人的禁忌食物，并针对结果进行预警提示；/n步骤4.4：比较问询图像的类别标签和跨模态检索模型返回的图像文本对类别标签是否一致，根据信息检索中的评价指标计算所有问询图片的准确率；/n步骤五、面向糖尿病患者实时饮食监控的使用，过程如下：/n步骤5.1：若通过可穿戴摄像头的监视发现食物则启动跨模态检索模块，系统将食物图像联合当下通过用户佩戴的智能手表采集到的生物健康数据送入跨模态检索模型，跨模态检索模型在数据库中检索一个最匹配的食物描述文本及其食物组成数据；/n步骤5.2：根据模型所测类别判断输入的食物是否为糖尿病人的禁忌食物，若是，通过智能手表的震动闪光对用户进行预警提示，并将跨模态检索得到的结果以文本的形式通过手机实时反馈给用户；/n步骤5.3：根据一天的饮食检索记录，将检索结果汇总为图文并茂的多模态健康建议报告，在每日结束时反馈到用户的手机上。/n...

【技术特征摘要】
1.一种基于多模态数据的面向糖尿病患者的实时饮食健康监控方法，其特征在于，所述方法包括以下步骤：
步骤一、数据库构建，过程如下：
步骤1.1：对公开数据集Food-101进行扩展，扩展为多标签食物图像数据集，并基于此训练一个多标签分类器；
步骤1.2：对元数据集中的生活图像进行初步粗过滤，将全部模糊无法使用的图像以及所有被遮盖、看不清或视野内无明显实物的图片全部过滤剔除；
步骤1.3：对元数据集中的实时生物数据进行数据清洗，剔除无用数据并补充缺失数据；
步骤1.4：将配对的生活图像与实时生物数据进行协同过滤，即使用步骤2.1训练好的分类器来检测图像是否为食物，将所有不是食物的生活图像连同生物数据过滤删除，保留食物图像和与其配对的实时生物健康数据，并打上食物标签；
步骤1.5：将搜集到的食物组成数据集、糖尿病禁忌食物表、糖尿病血糖指标数据集通过数据整合与数据清洗汇总为一个包括食物组成、食物描述和健康提示在内的糖尿病饮食健康数据集；
步骤1.6：将食物图像及实时健康数据集同糖尿病饮食健康数据集通过食物标签进行配对，构建一个多模态的糖尿病饮食健康数据库，并划分训练集与测试集；
步骤二、检索模型构建，过程如下：
步骤2.1：该深度学习网络主要框架由一个图像特征提取模型、一个文本特征提取模型及一个典型关联分析模型组成，其中图像特征提取模型选用预训练的ResNet-101卷积神经网络，文本特征提取模型选用预训练的BERT模型；
步骤2.2：典型关联分析模型的两路输入部分各接一个池化层与一个全连接层，池化层后接特征融合模块作为全连接层的输入，全连接层后面接ReLU激活函数；
步骤2.3：最后连接到典型关联分析层，使用典型关联分析函数将图像特征与文本特征映射到同一子空间中，使用排序损失作为损失函数；
步骤三、检索模型训练，过程如下：
步骤3.1：将每个训练样本中的食物图像与食物描述文本作为两路输入送入跨模态检索模型，对食物图像使用卷积神经网络提取图像特征，对食物描述文本使用BERT提取文本特征；
步骤3.2：将上一步骤输出的特征分别送入池化层进行下采样，并将得到的图像特征向量与训练样本中的生物健康数据进行特征融合，将得到的文本特征向量与训练样本中的食物组成数据进行特征融合；
步骤3.3：将两路各自融合得到的特征向量经过一层全连接层送入典型关联分析模块，进行最终跨模态匹配部分的训练；
步骤四、预警精度测试，过程如下：
步骤4.1：将预处理好的测试数据集送入训练得到的最优模型；
步骤4.2：使用跨模态检索模型对输入的食物图像进行跨模态匹配，匹配到最优的食物描述文本及其食物组成数据，并使用多层感知机来判断匹配的文本图像对所属类别，记录所有数据；
步骤4.3：根据跨模态检索模型返回的图像文本对类别判断输入的食物是否为糖尿病人的禁忌食物...

【专利技术属性】
技术研发人员：周鹏飞，白琮，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江;33