一种食材录入方法及设备技术

本发明专利技术实施例涉及智能家电技术领域，尤其涉及一种食材录入方法及设备，用于简化食材录入程序，提高食材录入效率。本发明专利技术实施例中，基于所述购物清单的视频确定N张图片，N为正整数；删除所述N张图片中存在的模糊区域，得到基于所述N张图片的有效区域；将所述有效区域进行拼接，得到目标图片；对所述目标图片进行图像识别，获取所述目标图片中包括的至少一个食材信息，所述食材信息包括食材名称，食材数量以及食材售价中的一个或多个；获取到用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。录入到食材数据库中。录入到食材数据库中。

【技术实现步骤摘要】
一种食材录入方法及设备


[0001]本专利技术实施例涉及智能家电
，尤其涉及一种食材录入方法及设备。

技术介绍

[0002]随着工智能技术在家电领域中的应用越来越广泛，冰箱作为家电行业中一种典型产品，其智能化发展已成为当前聚焦的方向之一，其中，对冰箱实现食材智能感知与管理尤为重视。
[0003]目前，业内提出了通过冰箱大屏端的摄像头或手机对购物小票进行拍照，并对拍照得到的图片进行识别，从而实现食材的一键批量录入。然而，经常由于购物小票长度过长，用户需要拍摄多张图像进行识别，操作不够简便，以及经常存在多张图片的拍摄角度不同，用户拍摄的购物小票图片清晰度不高，小票照片出现模糊的情况，从而导致基于拍摄得到的图片进行图像识别时，出现大量的文字误识别或不识别等问题，降低了食材录入功能的使用体验。
[0004]因此，需要提供一种更有效的食材录入方案，用于解决食材录入流程繁琐，误识别率高的问题。

技术实现思路

[0005]本专利技术实施例提供一种食材录入方法及设备，用于解决食材录入流程繁琐，误识别率高的问题。
[0006]第一方面，本专利技术实施例提供的一种食材录入方法，包括：
[0007]获取待录入的购物清单的视频；基于所述购物清单的视频确定N张图片，N为正整数；删除所述N张图片中存在的模糊区域，得到基于所述N张图片的有效区域；将所述有效区域进行拼接，得到目标图片；对所述目标图片进行图像识别，获取所述目标图片中包括的至少一个食材信息，所述食材信息包括食材名称，食材数量以及食材售价中的一个或多个；获取到用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。
[0008]通过上述方式，本申请实施例通过获取购物清单的视频，基于所述购物清单视频获取多张图片，然后通过筛选掉所述N张图片中的模糊区域，得到有效区域，以及将所述多张图片中的有效区域进行拼接，最后对拼接之后的图片进行后处理，获取购物清单中的食材信息，从而能够有效提升图像识别的准确性，更加方便用户管理冰箱食材。
[0009]在一种可能的设计中，所述删除所述N张图片中存在的模糊区域，得到基于所述N张图片的有效区域，包括：按时间顺序从所述N张图片中选取M张关键图片；对所述M张关键图片分别进行特征点提取；基于所述M张关键图片中每张图片的特征点，确定所述M张关键图片中存在的模糊区域；删除所述M张关键图片中存在的模糊区域，得到基于所述M张关键图片的有效区域。
[0010]通过上述方式，本申请实施例从N张截取的图片中选取用于拼接的关键图片，能够有效减少不必要图片拼接工作，节省系统开销，有效提升目标图片的获取效率，适用性更
强。
[0011]在一种可能的设计中，所述按时间顺序从所述N张图片中选取M张关键图片，包括：按时间顺序将所述N张图片中第一张图片上方白色区域占比满足第一占比阈值，至第一张图片下方白色区域占比满足第二占比阈值的M张图片，选取为关键图片。
[0012]通过上述方式，提供了一种从N张图片中选取M张关键图片的方式，适用性更强。
[0013]在一种可能的设计中，所述基于所述M张关键图片中每张图片的特征点，确定所述M张关键图片中存在的模糊区域，包括：对所述M张关键图片中的每张图片进行子区域划分；统计所述M张关键图片中每个子区域内有效特征点的数量；将所述M张关键图片中有效特征点的数量低于第一阈值数量的子区域确定为模糊区域。
[0014]通过上述方式，本申请实施例提供了一种确定模块区域的方式，例如通过对图片进行子区域划分，统计图片中每个子区域内有效特征点的数量，然后将图片中有效特征点的数量低于第一阈值数量的子区域确定为模糊区域。
[0015]在一种可能的设计中，所述删除所述M张关键图片中存在的模糊区域，得到基于所述M张关键图片的有效区域，还包括：删除所述M张关键图片中模糊区域的数量高于第二阈值数量的图片；或删除所述M张关键图片中模糊区域的面积高于阈值面积的图片。
[0016]通过上述方式，本申请实施例中当图片中模糊区域的数量高于第二阈值数量，或图片中模糊区域的面积高于阈值面积时，可以认为所述图片整体模糊，通过将整体模糊的图片删除，能够有效减少不必要的识别工作，提升识别效率，以及提升识别的准确性。
[0017]在一种可能的设计中，所述将所述有效区域进行拼接，得到目标图片，包括：根据所述有效区域中每个有效区域的特征点，将所述有效区域中每相邻两个有效区域的特征点进行配准，完成相邻有效区域的图像拼接，得到所述目标图片。
[0018]通过上述方式，本申请实施例中在进行图片拼接时，可以基于每个有效区域的特征点，将相邻两个有效区域的特征点进行配准，从而获取所述目标图片，有效保障了所述目标图片的完整性以及准确性，适用性更强。
[0019]在一种可能的设计中，所述方法还包括：确定相邻两个有效区域无法匹配到阈值数量对的特征点时，在所述第一显示界面提示用户重新进行拍摄；或通过语音方式提示用户重新进行拍摄。
[0020]通过上述方式，本申请实施例提供了一种确定图像拼接失败的方式，例如，确定相邻两个有效区域无法匹配到阈值数量对的特征点时，认为图像拼接失败。此外，在确定图像拼接失败后，可以向用户发送提示重新拍摄的信息，例如，可以在所述第一显示界面提示用户重新进行拍摄；或通过语音方式提示用户重新进行拍摄。
[0021]在一种可能的设计中，所述对所述目标图片进行图像识别，获取所述目标图片中包括的至少一个食材信息，包括：将所述目标图片进行卷积操作，获取所述目标图片的深度学习初步特征，对所述初步学习特征进行识别，获取所述目标图片中包括的至少一个产品信息，所述产品信息包括产品名称，产品种类，产品数量以及产品售价中的一个或多个；从所述至少一个产品信息中确定需要录入到所述食材数据库中的食材信息。
[0022]通过上述方式，由于本申请实施例中基于购物清单图像识别到的至少一个产品中可能并不全是食材。因此，为了更好的提升食材录入的准确率，有效降低用户自行删减录入信息的操作的流程，本申请实施例可以在基于购物清单图像识别到的至少一个产品中，筛
选出食材。
[0023]在一种可能的设计中，所述方法还包括：根据冰箱中各存储位置提供的存储条件以及所述食材信息中各食材要求的存储条件之间的匹配程度，确定所述食材信息中各食材在冰箱中的存储位置；在所述第一界面显示所述食材信息以及所述食材信息中各食材在冰箱中的存储位置。
[0024]通过上述方式，本申请实施例中在确定需要放入冰箱的食材信息后，根据冰箱中各存储位置提供的存储条件以及所述食材信息中各食材要求的存储条件之间的匹配程度，确定所述食材信息中各食材在冰箱中的存储位置，以及在显示界面中显示所述食材信息中各食材在冰箱中的存储位置，能够有效提高食材存储管理的智能化。
[0025]在一种可能的设计中，获取到用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中之前，获取到用户对所述第一界面中显示的所述食材信息的修改本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种食材录入方法，其特征在于，所述方法包括：获取待录入的购物清单的视频；基于所述购物清单的视频确定N张图片，N为正整数；删除所述N张图片中存在的模糊区域，得到基于所述N张图片的有效区域；将所述有效区域进行拼接，得到目标图片；对所述目标图片进行图像识别，获取所述目标图片中包括的至少一个食材信息，所述食材信息包括食材名称，食材数量以及食材售价中的一个或多个；获取到用户对所述食材信息触发的录入操作后，将所述食材信息录入到食材数据库中。2.如权利要求1所述的方法，其特征在于，所述删除所述N张图片中存在的模糊区域，得到基于所述N张图片的有效区域，包括：按时间顺序从所述N张图片中选取M张关键图片；对所述M张关键图片分别进行特征点提取；基于所述M张关键图片中每张图片的特征点，确定所述M张关键图片中存在的模糊区域；删除所述M张关键图片中存在的模糊区域，得到基于所述M张关键图片的有效区域。3.如权利要求2所述的方法，其特征在于，所述按时间顺序从所述N张图片中选取M张关键图片，包括：按时间顺序将所述N张图片中第一张图片上方白色区域占比满足第一占比阈值，至第一张图片下方白色区域占比满足第二占比阈值的M张图片，选取为关键图片。4.如权利要求3所述的方法，其特征在于，所述基于所述M张关键图片中每张图片的特征点，确定所述M张关键图片中存在的模糊区域，包括：对所述M张关键图片中的每张图片进行子区域划分；统计所述M张关键图片中每个子区域内特征点的数量；将所述M张关键图片中特征点的数量低于第一阈值数量的子区域确定为模糊区域。5.如权利要求4所述的方法，其特征在于，所述删除所述M张关键图片中存在的模糊区域，得到基于所述M张关键图片的有效区域，还包括：删除所述M张关键图片中模糊区域的数量高于第二阈值数量的图片；或删除所述M张关键图片中模糊区域的...

【专利技术属性】
技术研发人员：陈维强，高雪松，赵启东，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：