一种帮助盲人查找物品的方法和装置制造方法及图纸

本发明专利技术提供一种帮助盲人查找物品的方法和装置。所述方法包括：通过语音模块获取用户所要查找的物品；获取由双目相机拍摄的室内物品的深度图像；将所述图像输入识别模型，识别出所要查找的物品；基于所述物品的深度图像估算所述物品的位置，并通过语音模块引导用户接近所述物品；如果收到用户反馈的查找出错信息，通过修改部分权重参数微调识别模型，使其能够正确识别所要查找的物品。本发明专利技术通过语音模块获取用户所要查找的物品，并能通过语音模块引导用户顺利找到所述物品，方便了视障人士的日常生活。本发明专利技术还能根据用户反馈的出错信息自动微调识别模型，由于只调整模型的部分权重参数，可快速对模型进行训练，使其正确识别所要查找的物品。所要查找的物品。所要查找的物品。

【技术实现步骤摘要】
一种帮助盲人查找物品的方法和装置


[0001]本专利技术涉及人工智能
，具体涉及一种帮助盲人查找物品的方法和装置。

技术介绍

[0002]视觉信息是人类识别周围环境的最重要信息来源，人类获得的信息80％左右是从视觉系统输入的。根据世界卫生组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状的理解很困难。有鉴于此，有很多辅助盲人生活的智能产品纷纷问世。申请号为201810534069.0的专利技术专利，公开一种基于多模态数据进行视觉定位的盲人辅助眼镜，利用小型处理器对GNSS、相机采集的多模态数据进行处理，输出定位结果。该眼镜能够进行白天、黑夜等不同光照条件下的定位，具有误检率低、漏检率低、实时性好、跨平台性好等优点，可以很好地满足视障人士的精确定位的应用要求。
[0003]现有辅助盲人生活类产品大多用于导航和危险物、障碍物检测(检测危险的汽车、水坑等，辅助盲人避障行走)，缺少室内物品的查找定位功能；而且依赖的模型一般都是通过对固定的训练样本进行训练获得的，不能根据具体的应用环境进行适应性调整，检测精度低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种帮助盲人查找物品的方法，其特征在于，包括以下步骤：通过语音模块获取用户所要查找的物品；获取由双目相机拍摄的室内物品的深度图像；将所述图像输入识别模型，识别出所要查找的物品；基于所述物品的深度图像估算所述物品的位置，并通过语音模块引导用户接近所述物品；如果收到用户反馈的查找出错信息，通过修改部分权重参数微调识别模型，使其能够正确识别所要查找的物品。2.根据权利要求1所述的帮助盲人查找物品的方法，其特征在于，所述识别模型为基于CNN的物品检测网络YOLO
‑
V3。3.根据权利要求1所述的帮助盲人查找物品的方法，其特征在于，估算所述物品位置的方法包括：获取所述物品的深度图像的像素值，所述像素值即为物品与用户的距离R；按下式计算图像中所述物品与图像中心点距离m：式中，(x1,y1)、(x0,y0)分别表示的物品在图像中的坐标和图像中心的坐标，单位为像素点；按下式计算所述物品相对用户正前方的方位偏差α：α＝arcsin(mr/R)式中，r为每个像素点表示的实际距离。4.根据权利要求1所述的帮助盲人查找物品的方法，其特征在于，所述微调识别模型的方法包括：将室内物品的深度图像加入训练样本集，对识别模型重新进行训练；训练过程中，只调整识别模型中特征提取后的全连接层的权重和偏置参数。5.一种帮助盲人查找物品的装置，其特征在于，包括：第二方面，本发明提供一种帮助盲人查找物品的装置，包括：...

【专利技术属性】
技术研发人员：房云峰，俞益洲，李一鸣，乔昕，
申请(专利权)人：杭州深睿博联科技有限公司，
类型：发明
国别省市：