基于多模态信息关联分析的食物推荐方法和系统技术方案

本发明专利技术提出一种基于多模态信息关联分析的食物推荐方法，包括：根据用户的饮食需求和饮食范围生成第一模态信息；根据食物的自然属性和附加属性生成第二模态信息；根据该用户的实时身体状况和饮食环境状况生成第三模态信息；对该第一模态信息、该第二模态信息和该第三模态信息进行关联性分析，生成针对该用户的食物推荐结果。

Food recommendation method and system based on multimodal information association analysis

【技术实现步骤摘要】
基于多模态信息关联分析的食物推荐方法和系统
本专利技术涉及食品领域，尤其是有关于一种食品推荐方法和系统。
技术介绍
食品是人们生活的物质基础，良好的饮食习惯可以预防各种慢性疾病(如肥胖、糖尿病等)。食品推荐有着非常广泛的实际运用，比如根据营养搭配进行推荐食谱、针对某些疾病推荐药膳等。但是食品推荐也存在一定的难点：(1)在现实生活中，个人的食品偏好涉及很多复杂的因素，难以搭建统一的模型；(2)食品推荐需要考虑更多更为全面的上下文信息，例如饮食时间、饮食地点、饮食环境等等因素；(3)食品推荐还需考虑饮食者的个人因素。为了解决以上问题，有些研究工作通过实时可移动系统来完成实物推荐，主要是通过对食品原材料进行识别分析，进一步在食材的基础上完成食物推荐工作；有些研究工作基于食物营养成分搭配规则，有针对性地对某个个体进行食物推荐；还有些研究工作根据每个个体多样性的生活方式，进行食品推荐。现有的食品推荐技术尽管已然开展了不少相关工作，但是这些方法多数是从某一角度完成食品推荐工作，例如饮食者角度或者食品本身属性角度。这些方法未曾从系统宏观的角度进行食品推荐工作，他们无法联合构成一个有机整体，自然无法完善地解决食品推荐领域的技术难题。
技术实现思路
针对现有技术中，食物推荐涉及因素多，各个因素未能充分融合考虑的问题，本专利技术综合用户和食物的多方面因素，通过多模态信息关联分析，以向用户提供考虑全面的食物推荐结果。具体来说，本专利技术的食物推荐方法包括：根据用户的饮食需求和饮食范围生成第一模态信息；根据食物的自然属性和附加属性生成第二模态信息；根据该用户的实时身体状况和饮食环境状况生成第三模态信息；对该第一模态信息、该第二模态信息和该第三模态信息进行关联性分析，生成针对该用户的食物推荐结果。本专利技术所述的食物推荐方法，其中以该第一模态信息、该第二模态信息和该第三模态信息进行关联性分析，获得用户向量和食物向量，通过最近相邻索引的方法以该用户向量和该食物向量建立针对该用户的食物推荐等级，并将该食物推荐等级作为该食物推荐结果。本专利技术所述的食物推荐方法，其中该饮食需求包括该用户对饮食的偏好，该饮食范围是根据该用户的身体健康状况得到的适于该用户食用的推荐食材和限制该用户食用的限制食材。本专利技术所述的食物推荐方法，其中通过交互方式获取该用户对饮食的偏好，该交互方式包括问卷调查、网络足迹追踪、在线学习、食物标签设置、对话系统记录。本专利技术所述的食物推荐方法，其中该食物的自然属性包括：该食物的营养成分、所含热量、外观、气味、口感；该食物的附加属性包括：对该食物的烹饪方法、烹饪时间和所采用食材的组合效用。本专利技术所述的食物推荐方法，其中获取该食物的图片信息和文字信息，对该图片信息进行区域分割，使用多标签分类器标明分割后的各区域以得到分割图片信息，将该分割图片信息与该文字信息通过多模态融合方法进行融合，以得到该食物的自然属性和/或附加属性。本专利技术所述的食物推荐方法，其中通过可穿戴传感器和/或智能记录设备获取该实时身体状况，该实时身体状况包括该用户的步长、心率、睡眠质量、血压、每日饮食、锻炼时间、睡眠状况；通过环境检测传感器获取该饮食环境状况。本专利技术还提出一种基于多模态信息关联分析的食物推荐系统，包括：多维食品属性分析模块，用于根据用户的饮食需求和饮食范围生成第一模态信息；个性化模型构建模块，用于根据食物的自然属性和附加属性生成第二模态信息；上下文与知识融合模块，用于根据该用户的实时身体状况和饮食环境状况生成第三模态信息；食物等级推荐模块，用于对该第一模态信息、该第二模态信息和该第三模态信息进行关联性分析，生成针对该用户的食物推荐结果。本专利技术还提出一种可读存储介质，存储有可执行指令，该可执行指令用于执行如前所述的基于多模态信息关联分析的食物推荐方法。本专利技术还提出一种数据处理装置，其特征在于，包括处理器和如前所述的可读存储介质，该处理器调取该可读存储介质中的可执行指令，以向用户进行基于多模态信息关联分析的食物推荐。附图说明图1是本专利技术的基于多模态信息关联分析的食物推荐系统示意图。图2是本专利技术的数据处理装置示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术提出的基于多模态信息关联分析的食物推荐方法和系统进一步详细说明。应当理解，此处所描述的具体实施方法仅仅用以解释本专利技术，并不用于限定本专利技术。专利技术人在进行食品推荐研究时，发现现有技术中该项缺陷是由于多数相关研究只是从单一角度进行食品推荐工作导致的，如仅考虑食物本身的营养成分，没有考虑饮食者对食物的偏好信息，因此由该方法推荐的相关食物自然与饮食者的期望不符，未能完成食物推荐工作。专利技术人经过研究发现，解决该项缺陷可以通过收集饮食者和膳食的大量多模态信息，将这些信息进行关联分析后构建食品推荐系统来实现。该专利技术将从上下文角度、饮食者角度、食品属性角度三方面收集各自的多模态信息，先各自嵌入相关信息经融合后再进行关联性学习，基于此分别构建饮食者向量矩阵和食品向量矩阵，使用最近相邻法得出食品推荐顺序，完成推荐工作。本专利技术的目的解决上述现有技术并没有针对食品推荐的多角度信息、多因素影响、多模态信息的问题，因此本专利技术提出了一种饮食者-膳食多模态信息关联分析的推荐方法以及多角度融合进行食物推荐的框架方法。关键点1，从饮食者角度而言，本专利技术实现了个人饮食偏好与个人营养需求的有机平衡，它既考虑了饮食者自身对某些食物的偏好，也考虑了饮食者自身的身体素质状况，能够在满足饮食者营养需求的前提下推荐其爱吃的食物。此外，它还能将不同饮食者自身复杂多变的身体信息考虑在内，如是否患糖尿病，是否对某些食物过敏等。关键点2，从食物本身角度而言，本专利技术对复杂各异的食物属性信息进行了详细分析，如烹饪方法、烹饪时间、原材料组合效用等，从而更加准确地获得对食物类型以及其他语义层次的深刻理解，进一步有效地完成食品推荐工作。关键点3，从上下文角度而言，本专利技术充分考虑了上下文信息、外部环境信息，这些多模态信息通过外部不同的传感器得以收集，进而获知饮食者实时身体状况与饮食环境情况，再结合相关医学和食品科学领域知识，提取出最有价值的信息实现用户需求与食物的准确匹配。关键点4，本专利技术有机地将三个角度的信息有机融合起来，进行关联性分析，搭建出一个完整全面高效的食物推荐系统。相比于现有技术，本专利技术更加针对食品本身属性多样性和饮食者需求复杂性的特点，不仅实现了个人饮食偏好与个人营养需求的有机平衡，而且对复杂各异的食物属性信息进行了语义层次上的深度分析，还充分考虑了上下文信息、外部环境信息。通过构建3个独立模块，各模块之间关联性学习的方式，给出符合推荐规则的食物推荐顺序，从而最大可能地提高了推荐性能。本专利技术的食品推荐系统，将复杂丰富的上下文信息、饮食者信息、食物属性信息融合成一个有机整体，进行关联性学习，进而用于完成食品推荐工作。各个模块的信息经收集整理后首先经过嵌入后实本文档来自技高网...

【技术保护点】
1.一种基于多模态信息关联分析的食物推荐方法，其特征在于，包括：/n根据用户的饮食需求和饮食范围生成第一模态信息；/n根据食物的自然属性和附加属性生成第二模态信息；/n根据该用户的实时身体状况和饮食环境状况生成第三模态信息；/n对该第一模态信息、该第二模态信息和该第三模态信息进行关联性分析，生成针对该用户的食物推荐结果。/n

【技术特征摘要】
1.一种基于多模态信息关联分析的食物推荐方法，其特征在于，包括：
根据用户的饮食需求和饮食范围生成第一模态信息；
根据食物的自然属性和附加属性生成第二模态信息；
根据该用户的实时身体状况和饮食环境状况生成第三模态信息；
对该第一模态信息、该第二模态信息和该第三模态信息进行关联性分析，生成针对该用户的食物推荐结果。


2.如权利要求1所述的食物推荐方法，其特征在于，以该第一模态信息、该第二模态信息和该第三模态信息进行关联性分析，获得用户向量和食物向量，通过最近相邻索引的方法以该用户向量和该食物向量建立针对该用户的食物推荐等级，并将该食物推荐等级作为该食物推荐结果。


3.如权利要求1所述的食物推荐方法，其特征在于，该饮食需求包括该用户对饮食的偏好，该饮食范围是根据该用户的身体健康状况得到的适于该用户食用的推荐食材和限制该用户食用的限制食材。


4.如权利要求3所述的食物推荐方法，其特征在于，通过交互方式获取该用户对饮食的偏好，该交互方式包括问卷调查、网络足迹追踪、在线学习、食物标签设置、对话系统记录。


5.如权利要求1所述的食物推荐方法，其特征在于，该食物的自然属性包括：该食物的营养成分、所含热量、外观、气味、口感；该食物的附加属性包括：对该食物的烹饪方法、烹饪时间和所采用食材的组合效用。


6.如权利要求5所述的食物推荐方法...

【专利技术属性】
技术研发人员：闵巍庆，王致岭，刘林虎，蒋树强，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11