一种智能膳食营养调查和评价方法、装置和系统制造方法及图纸

本发明专利技术提供了一种智能膳食营养调查和评价方法、装置和系统，包括：拍摄饮食图像，并上传所述图像；对所述图像进行分析，获得饮食种类信息；对所述图像进行分析，获得饮食重量信息；通过所述饮食种类信息和饮食重量信息获得用户饮食的营养数据；所述营养数据平台将所述营养数据和用户ID关联存储在服务器中，并发送所述营养数据和用户ID；根据所述营养数据和所述用户ID对应的用户信息，对所述用户饮食的营养数据进行评价，并根据评价结果生成相应的饮食建议信息，并将所述饮食建议信息发送给所述用户和所述服务器；根据存储的所述营养数据和饮食建议信息，周期性地为所述用户生成营养报告和饮食建议报告。相比于现有技术，本发明专利技术能够进一步增加饮食调查的精确度，及时给出相应的饮食指导与建议。的饮食指导与建议。的饮食指导与建议。

【技术实现步骤摘要】
一种智能膳食营养调查和评价方法、装置和系统


[0001]本专利技术属于人工智能领域，尤其涉及一种智能膳食营养调查和评价方法、装置和系统。

技术介绍

[0002]健康教育对于健康生活方式和合理饮食结构的改变至关重要,但是在开展准确有效的健康教育前，需了解不同居民的饮食情况。但传统的膳食调查方法在实际应用过程中都有一定的缺陷，如称重法虽细致精确，但耗费人力物力，成本高，不适用于做大规模的人群膳食调查；记账法的调查结果较为粗略，不适用于精确分析个体的膳食摄入情况；回顾法虽简单易行，但依赖于个人短期记忆，还需对调查员进行严格培训，否则调查结果的差异较大；食物频数法主要用于膳食结构与膳食模式调查，调查用时较长，调查结果会受到调查对象的依从度的影响，且调查结果不能提供每天饮食变化的信息；化学分析法操作复杂，不适用于普通居民在家里操作。因此，需要研发一种高效、精准、低成本、便捷的膳食营养调查和评价方法及系统。
[0003][0004]
技术实现思路

[0005]鉴于上述问题，本专利技术提供一种智能膳食营养调查和评价系统，通过图像分析技术与机器学习方法完成食物重量的估算与校准的程序，能避免大规模人群调查过程中需要费时、费力开展的组织协调、人群动员、入户登记、数据录入、质量控制等一系列的问题和困难，降低工作成本，提高工作效率和质量。本专利技术解决其技术问题所采用的技术方案是：
[0006]一种智能膳食营养调查和评价方法，其特征在于所述方法包括如下步骤：
[0007]步骤10，拍摄饮食图像，并上传所述图像；
[0008]步骤20，对所述图像进行分析，获得饮食种类信息；其中，步骤20具体包括：
[0009]步骤201，选择ImageNet数据集上预训练的Inception
‑
V3模型作为图片特征提取模型，并对所述模型进行优化，具体包括：
[0010]利用公式一计算擦除背景后的图像特征proto
c
，利用公式二计算背景特征proto
b
；
[0011]proto
c
＝φTb
‑
ResEca(F
ext
⊙
Y
↓
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式一
[0012]proto
b
＝φTb
‑
ResEca(F
ext
⊙
(1
‑
Y
↓
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式二
[0013]其中，F
ext
表示初始图像特征，φTb
‑
ResEca表示进行注意力机制处理，Y表示所述图像的像素值矩阵，
‘↓’
表示将Y降采样到与初始图像特征F
ext
相同的大小；
[0014]将初始图像特征F
ext
与擦除背景后的图像特征proto
c
视为正对组，将初始图像特征F
ext
与背景特征proto
b
视为负对组，设计自对比损失函数，实现最大化正对组权值并最小化负对组权值，其中，正对组和负对组的自对比损失函数分别利用公式三和公式四计算，公式三和公式四中的cos函数用公式五表示；
[0015]cos
c
＝cos(F
ext
,proto
c
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式三
[0016]cos
b
＝cos(F
ext
,proto
b
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式四
[0017][0018]L
sc
＝
‑
log(cos
c
+ε)
‑
log(1
‑
cos
b
+ε)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式六
[0019]其中，ε是一个小的恒定值，确保对数log(
·
)非零，并设置为1
×
10
‑5，L
sc
是辅助损失；
[0020]步骤202，将所述图像输入到步骤201获得的Inception
‑
V3模型中，经过卷积层特征提取后得到图像特定维度特征，使用注意力机制中的softmax函数为所述图像特定维度特征赋予权重，将所述图像特定维度特征与对应的权重相乘得到新的图像特定维度特征；
[0021]步骤203，利用所述新的图像特定维度特征进行图像分类，获得所述图像对应的饮食种类信息；
[0022]步骤30，对所述图像进行分析，获得饮食重量信息，其中营养数据平台中存储有饮食种类与饮食密度的对应关系一，每种饮食种类的轮廓内的像素点数和饮食面积的对应关系二；其中，步骤30具体包括：
[0023]步骤301，将所述图像转化为灰度图；将选定的餐盘颜色作为染色阈值，对所述灰度图进行整体染色；使用局部变化的图像分割方法，对饮食边缘进行识别分析；通过轮廓提取算法对饮食进行轮廓提取获得饮食轮廓；
[0024]步骤302，统计步骤301中的饮食轮廓内包括的像素点数，根据对应关系二计算相应的饮食面积；通过耙子工具测量所述图像中饮食的饮食高度；将所述饮食面积和所述饮食高度相乘，获得饮食体积；
[0025]步骤303，根据对应关系一获得对应的饮食密度；
[0026]步骤304，将步骤302获得的饮食体积和步骤303获得的饮食密度相乘，获得饮食重量信息；
[0027]步骤40，通过所述饮食种类信息和饮食重量信息获得用户饮食的营养数据；所述营养数据平台将所述营养数据和用户ID关联存储在服务器中，并发送所述营养数据和用户ID；
[0028]步骤50，根据所述营养数据和所述用户ID对应的用户信息，对所述用户饮食的营养数据进行评价，并根据评价结果生成相应的饮食建议信息，并将所述饮食建议信息发送给所述用户和所述服务器；
[0029]步骤60，根据存储的所述营养数据和饮食建议信息，周期性地为所述用户生成营养报告和饮食建议报告。
[0030]优选的，所述步骤30进一步包括：步骤305，使用MLR和SVM两种机器学习方法对所述饮食重量信息进行校准。
[0031]优选的，所述步骤50中所述的用户ID对应的用户信息包括下述一种或多种：用户性别、年龄、身高、体重、健康数据。
[0032]一种实现上述任一项所述方法的智能膳食营养调查和评价装置，包括：
[0033]饮食图像上传模块，用于拍摄饮食图像，并上传所述图像；
[0034]饮食种类信息获取模块，用于对所述图像进行分析，获得饮食种类信息；具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能膳食营养调查和评价方法，其特征在于所述方法包括如下步骤：步骤10，拍摄饮食图像，并上传所述图像；步骤20，对所述图像进行分析，获得饮食种类信息；其中，步骤20具体包括：步骤201，选择ImageNet数据集上预训练的Inception
‑
V3模型作为图片特征提取模型，并对所述模型进行优化，具体包括：利用公式一计算擦除背景后的图像特征proto
c
，利用公式二计算背景特征proto
b
；proto
c
＝φTb
‑
ResEca(F
ext
⊙
Y
↓
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式一proto
b
＝φTb
‑
ResEca(F
ext
⊙
(1
‑
Y
↓
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式二其中，F
ext
表示初始图像特征，φTb
‑
ResEca表示进行注意力机制处理，Y表示所述图像的像素值矩阵，
‘↓’
表示将Y降采样到与初始图像特征F
ext
相同的大小；将初始图像特征F
ext
与擦除背景后的图像特征proto
c
视为正对组，将初始图像特征F
ext
与背景特征proto
b
视为负对组，设计自对比损失函数，实现最大化正对组权值并最小化负对组权值，其中，正对组和负对组的自对比损失函数分别利用公式三和公式四计算，公式三和公式四中的cos函数用公式五表示；cos
c
＝cos(F
ext
,proto
c
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式三cos
b
＝cos(F
ext
,proto
b
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式四L
sc
＝
‑
log(cos
c
+ε)
‑
log(1
‑
cos
b
+ε)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式六其中，ε是一个小的恒定值，确保对数log(
·
)非零，并设置为1
×
10
‑5，L
sc
是辅助损失；步骤202，将所述图像输入到步骤201获得的Inception
‑
V3模型中，经过卷积层特征提取后得到图像特定维度特征，使用注意力机制中的softmax函数为所述图像特定维度特征赋予权重，将所述图像特定维度特征与对应的权重相乘得到新的图像特定维度特征；步骤203，利用所述新的图像特定维度特征进行图像分类，获得所述图像对应的饮食种类信息；步骤30，对所述图像进行分析，获得饮食重量信息，其中营养数据平台中存储有饮食种类与饮食密度的对应关系一，每种饮食种类的轮廓内的像素点数和饮食面积的对应关系二；其中，步骤30具体包括：步骤301，将所述图像转化为灰度图；将选定的餐盘颜色作为染色阈值，对所述灰度图进行整体染色；使用局部变化的图像分割方法，对饮食边缘进行识别分析；通过轮廓提取算法对饮食进行轮廓提取获得饮食轮廓；步骤302，统计步骤301中的饮食轮廓内包括的像素点数，根据对应关系二计算相应的饮食面积；通过耙子工具测量所述图像中饮食的饮食高度；将所述饮食面积和所述饮食高度相乘，获得饮食体积；步骤303，根据对应关系一获得对应的饮食密度；步骤304，将步骤302获得的饮食体积和步骤303获得的饮食密度相乘，获得饮食重量信息；步骤40，通过所述饮食种类信息和饮食重量信息获得用户饮食的营养数据；所述营养数据平台将所述营养数据和用户ID关联存储在服务器中，并发送所述营养数据和用户ID；
步骤50，根据所述营养数据和所述用户ID对应的用户信息，对所述用户饮食的营养数据进行评价，并根据评价结果生成相应的饮食建议信息，并将所述饮食建议信息发送给所述用户和所述服务器；步骤60，根据存储的所述营养数据和饮食建议信息，周期性地为所述用户生成营养报告和饮食建议报告。2.根据权利要求1所述的智能膳食营养调查和评价方法，其特征在于：所述步骤30进一步包括：步骤305，使用MLR和SVM两种机器学习方法对所述饮食重量信息进行校准。3.根据权利要求1所述的智能膳食营养调查和评价方法，其特征在于：所述步骤50中所述的用户ID对应的用户信息包括下述一种或多种：用户性别、年龄、身高、体重、健康数据。4.一种实现权利要求1
‑
3中任一项所述方法的智能膳食营养调查和评价装置，包括：饮食图像上传模块，用于拍摄饮食图像，并上传所述图像；饮食种类信息获取模块，用于对所述图像进行分析，获得饮食种类信息；具体包括：模型获取子模块，用于选择ImageNet数据集上预训练的Inception
‑
V3模型作为图片特征提取模型，并对所述模型进行优化，具体包括：利用公式一计算擦除背景后的图像特征proto
c
，利用公式二计算背景特征proto
b
；proto
c
＝φTb
‑
ResEca(F
ext
⊙
Y
↓
)
ꢀꢀꢀꢀ
公式一proto
b
＝φTb
‑
ResEca(F
ext
⊙
(1
‑
Y
↓
))
ꢀꢀꢀꢀ
公式二其中，F
ext
表示初始图像特征，φTb
‑
ResEca表示进行注意力机制处理，Y表示所述图像的像素值矩阵，
‘↓’
表示将Y降采样到与初始图像特征F
ext
相同的大小；将初始图像特征F
ext
与擦除背景后的图像特征proto
c
视为正对组，将初始图像特征F
ext
与背景特征proto
b
视为负对组，设计自对比损失函数，实现最大化正对组权值并最小化负对组权值，其中，正对组和负对组的自对比损失函数分别利用公式三和公式四计算，公式三和公式四中的cos函数用公式五表示；cos
c
＝cos(F
ext
,proto
c
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式三cos
b
＝cos(F
ext
,proto
b
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ...

【专利技术属性】
技术研发人员：苑林宏，任修文，姚宇辰，徐京晶，肖卓然，邬迪，
申请(专利权)人：首都医科大学，
类型：发明
国别省市：