面向食品安全的多模态人机交互方法和系统、设备及介质技术方案

本发明专利技术涉及一种面向食品安全的多模态人机交互方法和系统、电子设备及存储介质。该方法包括：获取用于生成多模态食品安全知识图谱的相关多模态数据源；针对所述多模态数据源，利用文档处理方法、图像识别工具以及知识抽取工具抽取多模态数据的信息，获得多模态食品安全知识；基于所述食品安全知识，生成所述多模态食品安全知识图谱；以及构建多模态人机交互系统，并基于所述多模态食品安全知识图谱实现对多模态数据的人机交互。本发明专利技术将现有的多模态食品安全数据整理并生成食品安全知识图谱，实现针对多模态数据的人机交互，能够更好的展示食品安全信息，从而替代食品安全领域专家的知识，实现食品安全领域的智能化。实现食品安全领域的智能化。实现食品安全领域的智能化。

【技术实现步骤摘要】
面向食品安全的多模态人机交互方法和系统、设备及介质


[0001]本专利技术涉及知识图谱
，更具体地，涉及一种面向食品安全的多模态人机交互方法和系统、电子设备及存储介质。

技术介绍

[0002]在知识图谱出现之前，往往会通过咨询食品安全专家或者构建相关专家知识库来满足人们在食品安全领域的知识需求。前者不仅成本较大，而且针对不同的食品类型需要邀请多个专家，费时费力；后者虽然在顶层已经通过足够完善的封装，使得使用者不必了解数据库的查询语句便可以实现查询某一类食品相关安全问题的目的。但是，这种简单的查询方式并不能判断出食品生产过程中的关联关系、安全风险等，同时，这种方式无法智能化地对不同安全风险推荐不同的纠偏措施。
[0003]食品安全领域的数据量庞大，有海量的相关法律法规、国家标准、地方标准等，而且不同种类的食品之间的相关度有较大差异。将所有的法律法规、国家标准、地方标准的知识都关联起来，形成食品安全知识图谱，以表示食品生产过程中各类因果关联。对于食品从业者来说，可以代替很大一部分专家，减少花费；对于消费者来说，可以查询产品的安全性，便本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向食品安全的多模态人机交互方法，其特征在于，包括：获取用于生成多模态食品安全知识图谱的相关多模态数据源；针对所述多模态数据源，利用文档处理方法、图像识别工具以及知识抽取工具抽取多模态数据的信息，获得多模态食品安全知识；基于所述食品安全知识，生成所述多模态食品安全知识图谱；以及构建多模态人机交互系统，并基于所述多模态食品安全知识图谱实现对多模态数据的人机交互。2.根据权利要求1所述的面向食品安全的多模态人机交互方法，其特征在于，所述多模态数据源包括结构化、半结构化和非结构化数据。3.根据权利要求1所述的面向食品安全的多模态人机交互方法，其特征在于，所述多模态数据的信息包括实体、所述实体的属性、所述实体之间的关系的信息。4.根据权利要求2所述的面向食品安全的多模态人机交互方法，其特征在于，所述利用文档处理方法、图像识别工具以及知识抽取工具抽取多模态数据的信息，获得多模态食品安全知识，包括：对于结构化数据，通过映射，将所述结构化数据转化为食品安全知识；对于半结构化数据，使用文档处理方法、自然语言处理技术进行知识抽取，将所述半结构化数据转为所述结构化数据，从而获得所述食品安全知识；对于非结构化数据，进行必要的人工标注，利用机器学习手段对所述非结构化数据进行处理，赋予标注语义，建立所述非结构化数据和知识的对应关系，从而获得所述食品安全知识，其中一个非结构化数据对应一条或多条知识。5.根据权利要求4所述的面向食品安全的多模态人机交互方法，其特征在于，所述基于所述食品安全知识，生成所述多模态食品安全知识图谱，包括：将基于所述结构化数据获得的食品安全知识转化为安全知识图谱；将基于所...

【专利技术属性】
技术研发人员：吕龙龙，张永恒，庞俊彪，黄庆明，尹宝才，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：