多模态知识表示自动学习模型的构建方法及系统技术方案

本发明专利技术涉及一种多模态知识表示自动学习模型的构建方法及系统，所述构建方法包括：从互联网的数据中挖掘出结构化的文本集；从互联网的数据中挖掘出结构化的图片集；根据所述结构化的文本集和图片集，构建统一特征空间的自动学习模型，用于确定多模态待检测信息的知识向量。本发明专利技术多模态知识表示自动学习模型的构建方法通过从互联网的数据中挖掘结构化的文本集和图片集，进而构建统一特征空间的自动学习模型，从而能够快速实现对多模态待检测信息的知识向量的分析检索，可提高准确度高和识别效率。

The construction method and system of multi-modal knowledge representation automatic learning model

The invention relates to a multi modal knowledge representation model of the construction of automatic learning method and system, the construction method comprises: a structured text mining data from the Internet; a structured set of photos from the Internet data mining; according to the structured text and pictures set set, automatic learning model unified feature space, knowledge vector to determine detection for multi modal information. Construction of automatic learning model by mining structured text sets and pictures from the Internet data set in the invention of multi modal knowledge representation, automatic learning model and construct unified feature space analysis, which can realize the rapid detection of information knowledge vector for multi-modal retrieval, can improve the accuracy and efficiency of identification.

【技术实现步骤摘要】
多模态知识表示自动学习模型的构建方法及系统
本专利技术涉及网络信息处理
，更具体地，涉及一种多模态知识表示自动学习模型的构建方法及系统。
技术介绍
海量互联网数据中蕴含着大量的知识，人们理解数据的基本单元也是知识，例如，给定一句文本“猫和狗在厨房里嬉闹”实际包含“猫在厨房”、“狗在厨房”、“猫狗在嬉闹”三个知识。在信息检索领域需要将数据转变为向量才能被计算机处理，而知识表示学习的目的就是通过训练学习的方法将知识转化为有鲁棒性和具有区分性的向量表示。传统的知识表示学习技术致力于结构化的三元组文本表示，即将<主，谓，宾>三元组结构表示为向量。这类方法最大的缺点在于具有<主，谓，宾>三元组结构的数据需要大量人员进行手工标注。近年来，也有一些工作开始研究图像的知识化表示，一幅图像可能包含多个物体且这些物体两两之间可能会具有一些空间或者其他交互信息，例如“人在骑马”，“狗躺在沙发上”，图像的知识化的表示的目的是将同时包含两个物体的区域表示为特征向量。这类方法的缺点在于需要大量人工精确标注每一幅图片中各个物体所在的位置与物体两两之间的本文档来自技高网...

【技术保护点】
一种多模态知识表示自动学习模型的构建方法，其特征在于，所述构建方法包括：从互联网的数据中挖掘出结构化的文本集；从互联网的数据中挖掘出结构化的图片集；根据所述结构化的文本集和图片集，构建统一特征空间的自动学习模型，用于确定多模态待检测信息的知识向量。

【技术特征摘要】
1.一种多模态知识表示自动学习模型的构建方法，其特征在于，所述构建方法包括：从互联网的数据中挖掘出结构化的文本集；从互联网的数据中挖掘出结构化的图片集；根据所述结构化的文本集和图片集，构建统一特征空间的自动学习模型，用于确定多模态待检测信息的知识向量。2.根据权利要求1所述的多模态知识表示自动学习模型的构建方法，其特征在于，所述从互联网的文本数据中挖掘出结构化的文本集，具体包括：利用信息抽取工具，将互联网的文本数据转换为结构化表示，确定候选结构化文本集；利用词典数据库，对所述候选结构化文本集进行初次过滤，删除不包含属于实体的结构化文本数据，获得初滤结构化文本集；利用文本搜索引擎，对所述初滤结构化文本集进行二次过滤，获得结构化文本集。3.根据权利要求2所述的多模态知识表示自动学习模型的构建方法，其特征在于，所述利用文本搜索引擎，对所述初滤结构化文本集进行二次过滤，具体包括：将所述初滤结构化文本集中的各结构化文本数据连接成句子；将各所述句子分别输入至搜索引擎中进行搜索，如果返回相关网页，则保留所述句子对应的结构化文本数据；否则，删除所述句子对应的结构化文本数据，保留的各结构化文本数据形成结构化文本集。4.根据权利要求1所述的多模态知识表示自动学习模型的构建方法，其特征在于，所述从互联网的图片数据中挖掘出结构化的图片集，具体包括：根据所述结构化的文本集，采用图片搜索引擎从互联网的图片数据中获得候选结构化图片数据集；根据结构化图片的可表示力，删除所述候选结构化图片数据集中无效图片，获得初滤结构化图片数据集；对所述初滤结构化图片数据集进行噪声过滤，获得结构化的图片集。5.根据权利要求4所述的多模态知识表示自动学习模型的构建方法，其特征在于，所述根据结构化图片的可表示力，删除所述候选结构化图片数据集中无效图片，具体包括：根据以下公式确定图片组Vi的可表示力φ(Vi)：其中，每一个结构化文本Si具有表示相同知识的一组图片记为Vi,i是索引号，图片组Vi中含有Ni张图片，Cent(Vi)是第i组图片的中心，dist(k,Cent(Vi))表示第i组图片组Vi中图片k和中心Cent(Vi)之间的距离；判断所述图片组Vi的可表示力φ(Vi)是否大于可表示力阈值，如果大于，则可表示力对应的图片组为无效，删除无效图片组；否则保留对应的图片组；保留的各图片组形成初滤结构化图片数据集。6.根据权利要求5所述的多模态知识表示自动学习模型的构建方法，其特征在于，所述对所述初滤结构化图片数据集进行噪声过滤，具体包括：根据以下公式，计算图片组Vi中图片k的噪声分数Snoisy(k)：其中，j表示图片组Vi中的图片，dist(k,j)表示第i组图片组Vi中图片k和图片j之间的距离；判断所述噪声分数是否大于噪声阈值，如果大于，则删除对应噪声分数图片组中的图片；否则保留，保留下的图片组形成结构化的图片集。7.根据权利要求6所述的多模态知识表示自动学习模型的构建方法，其特征在于，根据以下公式确定第i组图片组Vi中图片...

【专利技术属性】
技术研发人员：徐常胜，鲍秉坤，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11