一种基于语义描述的端到端的零样本学习方法技术

本发明专利技术公开了一种基于语义描述的端到端的零样本学习方法，通过类别语义描述特征自动化构建，使用长短期记忆神经网络完成对类别描述语义向量的生成。通过图像特征提取与零样本迁移建模联合训练实现一个基于语义描述的端到端(联合训练)的零样本学习模型的技术方案，解决使用单一词向量造成的非视觉性、歧义性。图像特征提取模块、零样本迁移建模模块联合训练，端到端的模型更加方便、快捷。语义向量构建可以针对不同场景定制，更加准确、高效。

An End-to-End Zero-Sample Learning Method Based on Semantic Description

The invention discloses an end-to-end zero-sample learning method based on semantic description, which automatically constructs category semantic description features and generates category description semantic vectors using long-term and short-term memory neural networks. Through the joint training of image feature extraction and zero sample migration modeling, a zero sample learning model based on semantic description is implemented, which can solve the non-visual and ambiguity caused by using a single word vector. The joint training of image feature extraction module and zero sample migration modeling module makes the end-to-end model more convenient and fast. Semantic vector construction can be customized for different scenarios, which is more accurate and efficient.

【技术实现步骤摘要】
一种基于语义描述的端到端的零样本学习方法
本专利技术涉及的是一种基于语义描述的端到端的零样本学习方法，属于计算机

技术介绍
长久以来，计算机视觉(Computervision)、自然语言处理(Naturallanguageprocessing)、语音识别(Speechrecognition)等主要在集中解决有监督学习以及半监督学习问题，并且，有监督学习方法在过去的一段时间内取得了相当大的突破，诸如人脸识别、车辆检测、车牌识别等甚至已经投入了实际的生产生活，高效且准确的分类器给人们的日常生活带来了极大的便利，大大缩减了所在领域的成本支出。就计算机视觉领域来看，随着深度卷积神经网络的不断创新、计算机处理性能的大幅提升，2010年的1000类图片分类top5准确率只有72％，目前已经突破了97％的大关，这一识别精度已经超越了人类的识别精度。ImageNet数据集中含有超过1500万由人手工注释的图片网址，也就是带标签的图片，标签说明了图片中的内容，超过2.2万个类别。可以看出，为了提升深度学习网络的学习性能，大规模的带标注的图片数据必不可少，然而，现实生活中存在着海量的类别，如果本文档来自技高网...

【技术保护点】
1.一种基于语义描述的端到端的零样本学习方法，其特征在于，包括：获取到零样本学习分类任务中各个类别对应的维基百科页面，得到每个类别的描述；通过句子向量生成(Sent2Vec)的方式获取每个类别描述的嵌入表示作为这个类别的语义嵌入表示，得到提取的类别描述向量；训练过程中，对图像特征提取模块网络采用深度残差卷积神经网络(inception‑resnet)产生图片深度特征，采用交叉熵损失函数(Cross Entropy Loss)完进行模型训练；类别描述向量经过两层全连接+均方误差(mean squared error Loss)的方法完成与图片深度特征之间的对齐，完成全连接层的参数训练，得到完整的...

【技术特征摘要】
1.一种基于语义描述的端到端的零样本学习方法，其特征在于，包括：获取到零样本学习分类任务中各个类别对应的维基百科页面，得到每个类别的描述；通过句子向量生成(Sent2Vec)的方式获取每个类别描述的嵌入表示作为这个类别的语义嵌入表示，得到提取的类别描述向量；训练过程中，对图像特征提取模块网络采用深度残差卷积神经网络(inception-resnet)产生图片深度特征，采用交叉熵损失函数(CrossEntropyLoss)完进行模型训练；类别描述向量经过两层全连接+均方误差(meansquarederrorLoss)的方法完成与图片深度特征之间的对齐，完成全连接层的参数训练，得到完整的端到端的零样本学习网络。2.如权利要求1所述的方法，其特征在于，零样本学习分类任务是为了完成对未知类别图片的分类任务，优选的，识别在测试集中出现且在训练集中没有出现过的数据类别。3.如权利要求1所述的方法，其特征在于，所述获取到零样本学习分类任务中各个类别对应的维基百科页面，得到每个类别的描述，包括：采用自动爬虫的方法，根据零样本学习分类任务中各个类别名称，爬取维基百科页面的类别描述。4.如权利要求1所述的方法，其特征在于，所述通过...

【专利技术属性】
技术研发人员：黄麟，肖波，邓伟洪，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11