【技术实现步骤摘要】
本申请属于人工智能，具体涉及一种图像识别模型训练方法和图像识别模型应用方法。
技术介绍
1、目前有一些产品可以帮助视障人士，比如采用助盲棍或智能眼镜等引导视障人士规避障碍物。但这些产品通常只能识别视障人士前方是否有障碍物，并在有障碍物的情况下引导视障人士避开障碍物。除此之外，这些产品无法很好的帮助视障人士感知到更多的外界信息，对视障人士说能获得的外界信息过少。
技术实现思路
1、本申请提出一种图像识别模型训练方法和图像识别模型应用方法，能够解决当前助盲产品无法很好的帮助视障人士感知到更多的外界信息，对视障人士说能获得的外界信息过少的技术问题。
2、本申请第一方面实施例提出了一种图像识别模型训练方法，所述图像识别模型应用于助盲系统，所述图像识别模型包括：图像标签识别编码器和图像深度识别编码器，所述方法包括：
3、对第一样本图像进行预处理，得到所述第一样本图像对应的第一目标图像标签以及所述第一样本图像对应的多个中层提示图像；所述多个中层提示图像为在不同相机位姿下所述第一样本图像对应的不同采集视角的图像；
4、基于所述第一目标图像标签、所述第一样本图像和预设标签语义库，对所述图像标签识别编码器进行训练，得到训练好的图像标签识别编码器；所述预设标签语义库包括多个样本图像各自对应的图像标签的语义信息；
5、基于所述多个中层提示图像和所述第一样本图像，对图像深度识别编码器进行训练，得到训练好的图像深度识别编码器。
6、本申请第二方面实
7、接收助盲设备采集的目标图像；
8、将所述目标图像输入预先训练的图像识别模型，得到所述目标图像对应的第一目标图像标签和目标图像深度；所述图像识别模型是利用权利要求1-7任一项所述的图像识别模型训练方法获得的；
9、基于所述第一目标图像标签和所述目标图像深度输出针对所述目标图像的文本描述信息；
10、将所述文本描述信息发送给所述助盲设备。
11、本申请第三方面实施例提出了一种助盲系统，包括：助盲设备和服务端，
12、所述助盲设备，用于采集目标图像，发送所述目标图像给所述服务端；
13、所述服务端，用于将所述目标图像输入预先训练的图像识别模型，得到所述目标图像对应的第一目标图像标签和目标图像深度；基于所述第一目标图像标签和所述目标图像深度输出针对所述目标图像的文本描述信息；发送所述文本描述信息至所述助盲设备；
14、所述助盲设备还用于接收所述文本描述信息；基于所述文本描述信息，执行相应的助盲操作，所述助盲操作包括语音播放所述文本描述信息、基于所述文本描述信息进行路径导航中的至少之一。
15、本申请第四方面实施例提出了一种助盲设备，包括：可穿戴组件和引航组件；
16、所述可穿戴组件，用于采集目标图像，发送所述目标图像给服务端；接收所述服务端返回的所述目标图像的文本描述信息，所述文本描述信息用于描述所述目标图像的图像内容；基于所述文本描述信息发送引航指令给所述引航组件；
17、所述引航组件，用于接收所述引航指令，执行所述引航指令对应的引航操作。
18、本申请第五方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面所述的方法。
19、本申请第六方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。
20、本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
21、本申请提出一种图像识别模型训练方法和图像识别模型应用方法，图像识别模型应用于助盲系统，图像识别模型包括：图像标签识别编码器和图像深度识别编码器，包括：对第一样本图像进行预处理，得到第一样本图像对应的第一目标图像标签以及第一样本图像对应的多个中层提示图像；多个中层提示图像为在不同相机位姿下第一样本图像对应的不同采集视角的图像；基于第一目标图像标签、第一样本图像和预设标签语义库，对图像标签识别编码器进行训练，得到训练好的图像标签识别编码器；预设标签语义库包括多个样本图像各自对应的图像标签的语义信息；基于多个中层提示图像和第一样本图像，对图像深度识别编码器进行训练，得到训练好的图像深度识别编码器。本申请实施例中的图像识别模型通过结合语义信息，提高了模型的泛化能力，且同时得到图像的深度。
22、本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。
本文档来自技高网...【技术保护点】
1.一种图像识别模型训练方法，其特征在于，所述图像识别模型应用于助盲系统，所述图像识别模型包括：图像标签识别编码器和图像深度识别编码器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标图像标签、所述第一样本图像和预设标签语义库，对所述图像标签识别编码器进行训练，得到训练好的图像标签识别编码器，包括：
3.根据权利要求2所述的方法，其特征在于，所述图像识别模型还包括：图像标签交互编码器和图像标签文本生成解码器，所述基于所述第一目标图像标签、所述第一样本图像和预设标签语义库，对所述图像标签识别编码器进行训练，得到训练好的图像标签识别编码器，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述多个中层提示图像对图像深度识别编码器进行训练，得到训练好的图像深度识别编码器，包括：
5.根据权利要求1所述的方法，其特征在于，所述对第一样本图像进行预处理，得到所述样本图像对应的目标标签数据以及所述样本图像对应的多个中层提示图像，包括：
6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.一种图像识别模型应用方法，其特征在于，应用于助盲系统，包括：
9.一种助盲系统，其特征在于，包括：助盲设备和服务端，
10.一种助盲设备，其特征在于，包括：可穿戴组件和引航组件；
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-7或者权利要求8中任一项所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-7或者权利要求8中任一项所述的方法。
...【技术特征摘要】
1.一种图像识别模型训练方法，其特征在于，所述图像识别模型应用于助盲系统，所述图像识别模型包括：图像标签识别编码器和图像深度识别编码器，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一目标图像标签、所述第一样本图像和预设标签语义库，对所述图像标签识别编码器进行训练，得到训练好的图像标签识别编码器，包括：
3.根据权利要求2所述的方法，其特征在于，所述图像识别模型还包括：图像标签交互编码器和图像标签文本生成解码器，所述基于所述第一目标图像标签、所述第一样本图像和预设标签语义库，对所述图像标签识别编码器进行训练，得到训练好的图像标签识别编码器，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述多个中层提示图像对图像深度识别编码器进行训练，得到训练好的图像深度识别编码器，包括：
5.根据权利要求1所述的方法，其特征在于，所述对第一样本图...
【专利技术属性】
技术研发人员：郭彦东，
申请(专利权)人：智平方深圳科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。