基于多模态的标签打印方法、系统、制冷设备及存储介质技术方案

本发明专利技术提供一种基于多模态的标签打印方法、系统、制冷设备及存储介质，方法包括步骤：获取用户指令语音数据、物品图像数据、用户地理位置信息；将所述用户指令语音数据转写为用户转写文本数据，并对所述用户转写文本数据进行多意图识别，得到用户指令意图，生成与每个所述用户指令意图对应的转写文本，所述转写文本包括待打印物品标签相关信息；提取所述物品图像数据特征信息，提取所述转写文本特征信息；将所述转写文本特征信息与所述物品图像数据特征信息拼接后输入神经网络模型，并基于所述用户地理位置信息生成对应转写文本回复信息，解析得到物品标签相关信息；根据所述物品标签相关信息和所述用户指令意图，选择对应内容打印物品标签。通过多模态信息融合，结合深度学习模型，实现用户定制化物品标签打印的高度个性化处理。在用户提出的指令中提取关键信息，结合用户地理位置和多模态信息，实现了对物品标签内容的智能识别和个性化打印，显著提高了系统的智能化水平。

【技术实现步骤摘要】

本专利技术涉及计算机，具体地涉及一种基于多模态的标签打印方法、系统、制冷设备及存储介质。

技术介绍

1、冰箱智能化不断升级为用户生活带来更多便利。除了提升冰箱自身硬件材料质量，挖掘冰箱基础的食材存储等相关的功能外，现有的冰箱还会连接其他硬件设备，强化冰箱的智能化水平。冰箱连接打印机实现了食材名称的打印功能，用户可以将打印的标签贴在食材包装后存放到冰箱中，方便对冰箱中食材的管理，避免食材浪费。现有的冰箱打印食材标签的方式主要有两种：一种是用户语音发出指令，冰箱打印用户指定的食材标签。比如用户说“打印苹果标签”，冰箱打印机接收到打印指令后，在标签上打印苹果以及存入日期等信息。另外一种是用户发出打印食材的指令，冰箱内置摄像头扫描冰箱中的食材标签，如果食材包装上未有标签，打印机会打印食材标签。比如用户说“打印冰箱中的食材”，冰箱打印机经过扫描后，打印冰箱中的食材。

2、以上两种方式都可以打印冰箱中的食材标签，但是整个打印流程中缺乏与用户的互动，无法更贴切的打印符合用户需求的标签。用户需要讲出要打印的食材名称，如果某种食材名称是地方化名称，打印机无法适配本文档来自技高网...

【技术保护点】

1.一种基于多模态的标签打印方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于多模态的标签打印方法，其特征在于，所述对所述用户转写文本数据进行意图识别，具体包括：

3.根据权利要求1所述的基于多模态的标签打印方法，其特征在于，所述对所述用户转写文本数据进行意图识别，具体包括：

4.根据权利要求2或3所述的基于多模态的标签打印方法，其特征在于，所述生成与每个所述用户指令意图对应的转写文本具体包括：

5.根据权利要求3所述的基于多模态的标签打印方法，其特征在于，所述将所述转写文本特征信息与所述物品图像数据特征信息拼接后输入神经网络模型，...

【技术特征摘要】

1.一种基于多模态的标签打印方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于多模态的标签打印方法，其特征在于，所述对所述用户转写文本数据进行意图识别，具体包括：

3.根据权利要求1所述的基于多模态的标签打印方法，其特征在于，所述对所述用户转写文本数据进行意图识别，具体包括：

4.根据权利要求2或3所述的基于多模态的标签打印方法，其特征在于，所述生成与每个所述用户指令意图对应的转写文本具体包括：

5.根据权利要求3所述的基于多模态的标签打印方法，其特征在于，所述将所述转写文本特征信息与所述物品图像数据特征信息拼接后输入神经网络模型，并基于所述用户地理位置信息生成对应转写文本回复信息，解析得到物品标签相关信息，具体包括：

6.根据权利要求2所述的基于多模态的标签打印方法，其特征在于，所述根据所述物品标签相关信息和所述用户指令意图选择内容打印物品标签，具体包括：

7.一种制冷设备基于多模态的标签打印系统，其特征在于，包括：

8.根据权利要求7所述的制冷设备基于多模态的标签打印系统，其特征在于，所述意图识别模块被配置为将用户转写文本数据输入文本分类模型，经模型多层网络映射后，通过softmax函数预测所述用户转写文本数据分别属于每个类别意图的概率，当概率高于预设阈值时，判断属于对应意图，其中意图为提前预设的多种固定类别意图。

9.根据权利要求7所述的制冷设备基于多模态的标签打印系统，其特征在于，所述意图识别模块被配置为将用户转写文本...

【专利技术属性】
技术研发人员：李敏，曾谁飞，
申请(专利权)人：青岛海尔电冰箱有限公司，
类型：发明
国别省市：