信息录入方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供了一种信息录入方法、装置及计算机可读存储介质。该方法包括：获取货物列表的图像；对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。通过本发明专利技术，解决了相关技术中食材录入中逐条输入导致效率低下的问题，进而达到了高效、准确识别并记录食材信息的效果。

【技术实现步骤摘要】
信息录入方法、装置及计算机可读存储介质
本专利技术涉及通信领域，具体而言，涉及一种信息录入方法、装置及计算机可读存储介质。
技术介绍
随着科技的发展，智能冰箱越来越受到人们的关注。智能冰箱相比于传统冰箱具有更为合理化的管理方式，并引入了很多新的技术，如精控微风道技术、干湿分离技术、动态杀菌技术、食材管理、到期提醒等。而这些功能的高精度实现依赖于存储区域食材种类的准确推导与录入。目前，冰箱内储存物品的录入主要包括以下几种方式：1)手动录入，即根据所放置的物品在智能冰箱屏幕或与之连接的手机端等通过人工的方式录入；2)语音录入，即在放置物品时直接通过语音交流的方式进行信息的录入；3)图像录入，即通过定时对冰箱内食材进行图像分析，确定冰箱内的物品种类等。然而，上述几种食材录入方式存在以下几点不足：1)手动录入需要用户与冰箱进行多次交互，输入商品名、类别、时间等等信息，效率较低。而在大量物品的购买后往往由于时间原因无法进行全面的录入，从而影响了信息的完整性。2)语音录入优化了录入的交流方式，减少了人的劳动，但同样存在与手动录入类似的问题。3)图像录入的方式容易受到食材之间互相遮挡的影响，摄像头无法拍摄到全部的食材信息，从而出现判断模糊的问题。面对目前冰箱食材录入方法的不足，亟待提供一种高效、准确的冰箱食材录入方案。
技术实现思路
本专利技术实施例提供了一种信息录入方法、装置及计算机可读存储介质，以至少解决相关技术中食材录入中逐条输入导致效率低下的问题。根据本专利技术的一个实施例，提供了一种信息录入方法，包括：获取货物列表的图像；对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。在至少一个示例性实施例中，获取所述货物列表的所述图像包括以下至少之一：通过智能冰箱上的图像采集模块采集所述货物列表的所述图像；接收移动终端采集并发送的所述货物列表的所述图像。在至少一个示例性实施例中，在所述货物列表对应多幅图像的情况下，获取所述货物列表的所述图像之后，所述方法还包括：对所述货物列表对应的所述多幅图像进行图像拼接。在至少一个示例性实施例中，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的所述文本信息包括：采用多种不同的文本内容识别系统对所述货物列表的图像进行文本内容识别，得到多个识别结果；根据所述多个不同的文本内容识别系统对不同类别的文本的识别准确度对所述多个识别结果进行合并，得到所述货物列表对应的所述文本信息。在至少一个示例性实施例中，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的所述文本信息之后，还包括：根据自然语言模型，基于上下文信息对所述货物列表对应的文本信息进行纠错。在至少一个示例性实施例中，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别包括：对所述货物列表对应的文本信息进行分词，将每个词转换为词向量，并根据词之间的关系将词向量组合为向量矩阵；基于所述向量矩阵采用机器学习模型预测所述货物列表中的货物的类别，其中，所述机器学习模型采用焦点损失作为训练误差。在至少一个示例性实施例中，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别之前，所述方法还包括：基于字符模糊匹配的方式从所述货物列表对应的文本信息中确定出所述货物列表的生成时间；记录所述货物列表的生成时间，并将所述生成时间从所述货物列表对应的文本信息中删除。在至少一个示例性实施例中，记录所述食材类的货物的货物信息包括：从所述货物列表对应的文本信息中，提取所述食材类的货物对应的货物信息并记录，其中，所述货物信息包括以下至少之一：货物名称、货物数量、货物品牌、货物重量。在至少一个示例性实施例中，记录所述食材类的货物的货物信息包括：确定所述货物列表的生成时间和所述图像的获取时间之间的时间差值；采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息。在至少一个示例性实施例中，采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息包括以下至少之一：在所述时间差值小于阈值t的情况下，显示第一界面，其中，所述第一界面中显示筛选出的所述食材类的货物的货物信息，并提示对筛选出的所述食材类的货物的货物信息进行确认；在所述时间差值不小于所述阈值t的情况下，显示第二界面，其中，所述第二界面中显示筛选出的所述食材类的货物的货物信息，并提示删除已使用的食材类的货物的货物信息；在接收到删除结果时，记录未被删除的食材类的货物的货物信息，并显示所述未被删除的食材类的货物的建议存储位置。在至少一个示例性实施例中，所述阈值t在进餐时间段的取值小于在除进餐时间段之外的其他时间段的取值。根据本专利技术的另一个实施例，提供了一种信息录入装置，包括：图像获取模块，设置为获取货物列表的图像；文本内容识别模块，设置为对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；类别预测模块，设置为对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；货物筛选记录模块，设置为根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。在至少一个示例性实施例中，所述文本内容识别模块设置为：采用多种不同的文本内容识别系统对所述货物列表的图像进行文本内容识别，得到多个识别结果；根据所述多个不同的文本内容识别系统对不同类别的文本的识别准确度对所述多个识别结果进行合并，得到所述货物列表对应的所述文本信息。在至少一个示例性实施例中，所述类别预测模块设置为：对所述货物列表对应的文本信息进行分词，将每个词转换为词向量，并根据词之间的关系将词向量组合为向量矩阵；基于所述向量矩阵采用机器学习模型预测所述货物列表中的货物的类别，其中，所述机器学习模型采用焦点损失作为训练误差。在至少一个示例性实施例中，所述货物筛选记录模块设置为：确定所述货物列表的生成时间和所述图像的获取时间之间的时间差值；采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息。根据本专利技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。通过本专利技术，由于对货物列表的图像进行文本内容识别，基于文本内容识别的结果进行分词并基于机器学习模型进行货物的类别的预测，从而能够准确筛选出食材类的货物，并记录食材信息，因此，可以解决相关技术中食材录入中逐条输入导致效率低下的问题，达到高效、准确识别并记录食材信息的效果。附图说明此处所说明的附图本文档来自技高网...

【技术保护点】
1.一种信息录入方法，其特征在于，包括：/n获取货物列表的图像；/n对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；/n对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；/n根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。/n

【技术特征摘要】
1.一种信息录入方法，其特征在于，包括：
获取货物列表的图像；
对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；
对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；
根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。


2.根据权利要求1所述的方法，其特征在于，获取所述货物列表的所述图像包括以下至少之一：
通过智能冰箱上的图像采集模块采集所述货物列表的所述图像；
接收移动终端采集并发送的所述货物列表的所述图像。


3.根据权利要求1所述的方法，其特征在于，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的所述文本信息包括：
采用多种不同的文本内容识别系统对所述货物列表的图像进行文本内容识别，得到多个识别结果；
根据所述多个不同的文本内容识别系统对不同类别的文本的识别准确度对所述多个识别结果进行合并，得到所述货物列表对应的所述文本信息。


4.根据权利要求1所述的方法，其特征在于，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的所述文本信息之后，还包括：
根据自然语言模型，基于上下文信息对所述货物列表对应的文本信息进行纠错。


5.根据权利要求1所述的方法，其特征在于，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别包括：
对所述货物列表对应的文本信息进行分词，将每个词转换为词向量，并根据词之间的关系将词向量组合为向量矩阵；
基于所述向量矩阵采用机器学习模型预测所述货物列表中的货物的类别，其中，所述机器学习模型采用焦点损失作为训练误差。


6.根据权利要求1所述的方法，其特征在于，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别之前，还包括：
基于字符模糊匹配的方式从所述货物列表对应的文本信息中确定出所述货物列表的生成时间；
记录所述货物列表的生成时间，并将所述生成时间从所述货物列表对应的文本信息中删除。


7.根据权利要...

【专利技术属性】
技术研发人员：胡江明，李雷雷，
申请(专利权)人：海尔优家智能科技北京有限公司，
类型：发明
国别省市：北京;11