一种基于多模态识别技术的事件识别方法及系统技术方案

本发明专利技术属于管理系统技术领域，具体涉及一种基于多模态识别技术的事件识别方法及系统。所述方法包括：通过信息采集模块获取内容共享平台内的目标信息，建立第一识别模型并获取目标信息中的文本信息、图像信息和视频信息；建立第二识别模型并获取第一分类结果，第二分类结果，第三分类结果，且第一分类结果、第二分类结果和第三分类结果分别包括不同的关注度得分；建立第三识别模型，在第一至第三分类结果中有两种或两种以上分类结果的类型相同时，共同分类结果作为目标信息的分类结果，在三种分类结果的类型都不相同时，关注度得分最高的分类结果作为目标信息的分类结果。本发明专利技术解决了事件识别准确性的问题。事件识别准确性的问题。事件识别准确性的问题。

【技术实现步骤摘要】
一种基于多模态识别技术的事件识别方法及系统


[0001]本专利技术涉及信息处理
，更具体涉及一种基于多模态识别技术的事件识别方法及系统。

技术介绍

[0002]现在处于信息大爆炸的时代，微博、今日头条、小红书等各大内容共享平台信息满天飞，且现有技术对这些信息的甄别难度大、识别模式单一、匹配度低等问题日益突出。基于内容共享平台信息的分析、判断已经引起社会的广泛关注。
[0003]为解决该问题，现有技术中提出了通过搜索内容进行分类的方法和基于文本的事件识别方法。如中国专利技术专利申请“CN110709833A”记载了，一种用于对搜索到的媒体内容进行分类的方法，包括处理设备识别与搜索查询相对应的多个搜索结果，由处理设备将第二媒体项与第一内容标签相关联。然而，该方法需要用户提供搜索项，且只能获取到与搜索项相关的内容。如中国专利技术专利申请“CN108563655A”记载了文本事件识别方法，通过获取待识别文本，根据待识别文本，查询预先建立的事件概率模型，得到待识别文本中所含各词的事件概率。然而，该方法识别模式单一，识别结果片面，对事件类别的识别不准确或判断错误。因此提高事件识别的准确率和正确性成为社会亟待解决的问题。
[0004]多模态识别技术是提高事件识别的准确率和正确性的关键。多模态识别技术是对文本信息、图片信息、视频信息共同作用识别的技术，有效提高了事件识别结果的准确率和正确性。

技术实现思路

[0005]本专利技术旨在解决单一模态识别技术对信息的识别维度不全、对事件的识别准确率低、识别错误的问题，本专利技术首先获取内容共享平台内的目标信息，其次针对目标信息采用多模态识别技术，获取目标信息中的文本信息、图像信息和视频信息。通过综合分析、判断，获取目标信息的分类结果，实现对事件的识别，有效提高了事件识别结果的准确率和正确性，以便相关部门对不同事件及时作出不同关注度。
[0006]为了达到上述的专利技术目的，给出如下所述的一种基于多模态识别技术的事件识别方法，主要包括以下的步骤：步骤S1：通过信息采集模块获取内容共享平台内的目标信息，基于所述目标信息建立第一识别模型，所述第一识别模型对所述目标信息进行识别，并获取所述目标信息中的文本信息、图像信息和视频信息；步骤S2：基于所述文本信息、所述图像信息和所述视频信息建立第二识别模型，所述第二识别模型对所述文本信息进行识别，并获取第一分类结果，所述第二识别模型对所述图像信息进行识别，并获取第二分类结果，所述第二识别模型对所述视频信息进行识别，并获取第三分类结果，且所述第一分类结果、所述第二分类结果和所述第三分类结果分别包括不同的关注度得分；
步骤S3：基于所述第一分类结果、所述第二分类结果和所述第三分类结果建立第三识别模型，并将所述第一分类结果、所述第二分类结果和所述第三分类结果输入至所述第三识别模型中，在第一至第三分类结果中有两种或两种以上分类结果的类型相同时，将所述两种或两种以上分类结果作为判定结果，所述第三识别模型将所述判定结果作为目标信息的分类结果进行输出，在三种分类结果的类型都不相同时，将所述关注度得分最高的分类结果作为所述目标信息的分类结果进行输出。
[0007]作为本专利技术的一种优选技术方案，对所述文本信息进行识别，并获取所述第一分类结果，包括以下步骤：建立文本语义库，所述文本语义库包括多种文本类型和多种文本类型的第一参考文本语义，每种所述第一参考文本语义都标记有文本所属的类别，所述文本语义库对所述文本信息进行图像识别，并获取所述文本信息中的文字信息，还基于所述文字信息获取所述文本信息所要表达的语义，同时将所述文本信息中的文本语义与所述文本语义库内各个所述第一参考文本语义进行对比，在所述文本语义库内存在所述第一文本语义与所述文本信息中的文本语义的第一相似度大于等于第一阈值时，将所述第一文本语义定义为第一目标文本，并获取所述第一目标文本的类别，将所述第一目标文本的类别设置为所述文本信息的所述第一分类结果。
[0008]作为本专利技术的一种优选技术方案，对所述图像信息进行识别，并获取所述第二分类结果，包括以下步骤：建立图像数据库，所述图像数据库包括多种类型和多种类型的第一参考图像，每种所述第一参考图像都标记有图像所属的类别，将所述图像信息与所述图像数据库各个所述第一参考图像进行对比，在所述图像数据库内存在所述第一参考图像与所述图像信息的第二相似度大于等于第二阈值时，将所述第一参考图像定位为第一目标图像，并获取所述第一目标图像的类别，将所述第一目标图像的类别设置为所述图像信息的所述第二分类结果。
[0009]作为本专利技术的一种优选技术方案，获取所述第二分类结果的所述关注度得分，包括以下步骤：步骤S21：获取所述图像信息的尺寸及所述图像信息中各个物体的轮廓，基于所述物体轮廓获取物体在所述图像信息中所占的面积，还基于所述物体轮廓所占的面积和所述图像信息的尺寸，计算各个所述物体在所述图像信息中所占据的比例；步骤S22：建立第一权重模型，所述第一权重模型基于物体在所述图像信息中所占的比例分配所述物体的权重，其中，所述物体在所述图像信息中所占的比例越大，所述第一权重模型为所述物体分配的权重越高；步骤S23：建立分数表，所述分数表内包括物体类别及对应的物体类别的关注度得分，建立物体识别数据库，所述物体识别数据库包括多种不同类别物体的第二参考图像；步骤S24：将所述图像信息进行二值化并获取物体的轮廓，将所述图像信息中第n个物体轮廓与所述物体识别数据库各个所述第二参考图像进行对比，在所述物体识别数据库内存在所述第二参考图像与所述图像信息中第n个物体轮廓的第三相似度大于等于第三阈值时，将所述第二参考图像定位为第二目标图像，并获取所述第一目标图像的物体类别，基于所述第一目标图像的物体类别从所述分数表内获取所述对应的物体类别的所述关注度得分；步骤S25：重复步骤S24，所述图像信息的所述关注度得分的表达式如下：
其中，n为所述图像信息中第n个物体的轮廓，为第n个所述物体类别的所述关注度得分，为第n个所述物体类别的所述关注度得分的权重，为n个所述物体类别的所述关注度得分总和，也称为所述第二分类结果的所述关注度得分，为所述物体类别的总数。
[0010]作为本专利技术的一种优选技术方案，将所述第二参考图像与所述物体轮廓进行对比，包括如下步骤：步骤S41：将所述物体识别数据库中的所述第二参考图像作为第三图像，获取所述第三图像的第一拍摄时间，将所述图像信息中物体轮廓作为第四图像，获取所述第四图像的拍摄时间为第二拍摄时间；步骤S42：在所述第一拍摄时间和所述第二拍摄时间不同时，确定第四图像在所述图像信息中的纵向像素，以及所述第四图像的影子信息；步骤S43：建立第一生成模型，所述第一生成模型基于所述第四图像在所述图像信息中的纵向像素、以及所述第四图像的影子信息和所述第一拍摄时间，更新所述第四图像的影子信息生成对比图像，将所述对比图像与所述第三图像进行对比获取第三相似度。
[0011]作为本专利技术的一种优选技术方案，对所述视频信息进行识别，并获取所述第三分类结果，包括以下步骤：提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态识别技术的事件识别方法，其特征在于，所述方法包括如下步骤：步骤S1：通过信息采集模块获取内容共享平台内的目标信息，基于所述目标信息建立第一识别模型，所述第一识别模型对所述目标信息进行识别，并获取所述目标信息中的文本信息、图像信息和视频信息；步骤S2：基于所述文本信息、所述图像信息和所述视频信息建立第二识别模型，所述第二识别模型对所述文本信息进行识别，并获取第一分类结果，所述第二识别模型对所述图像信息进行识别，并获取第二分类结果，所述第二识别模型对所述视频信息进行识别，并获取第三分类结果，且所述第一分类结果、所述第二分类结果和所述第三分类结果分别包括不同的关注度得分；步骤S3：基于所述第一分类结果、所述第二分类结果和所述第三分类结果建立第三识别模型，并将所述第一分类结果、所述第二分类结果和所述第三分类结果输入至所述第三识别模型中，在第一至第三分类结果中有两种或两种以上分类结果的类型相同时，将所述两种或两种以上分类结果作为判定结果，所述第三识别模型将所述判定结果作为目标信息的分类结果进行输出，在三种分类结果的类型都不相同时，将所述关注度得分最高的分类结果作为所述目标信息的分类结果进行输出。2.根据权利要求1所述的一种基于多模态识别技术的事件识别方法，其特征在于，所述步骤S2中，对所述文本信息进行识别，并获取所述第一分类结果，包括以下步骤：建立文本语义库，所述文本语义库包括多种文本类型和多种文本类型的第一参考文本语义，每种所述第一参考文本语义都标记有文本所属的类别，所述文本语义库对所述文本信息进行图像识别，并获取所述文本信息中的文字信息，还基于所述文字信息获取所述文本信息所要表达的语义，同时将所述文本信息中的文本语义与所述文本语义库内各个所述第一参考文本语义进行对比，在所述文本语义库内存在所述第一文本语义与所述文本信息中的文本语义的第一相似度大于等于第一阈值时，将所述第一文本语义定义为第一目标文本，并获取所述第一目标文本的类别，将所述第一目标文本的类别设置为所述文本信息的所述第一分类结果。3.根据权利要求1所述的一种基于多模态识别技术的事件识别方法，其特征在于，所述步骤S2中，对所述图像信息进行识别，并获取所述第二分类结果，包括以下步骤：建立图像数据库，所述图像数据库包括多种类型的第一参考图像，每种所述第一参考图像都标记有图像所属的类别，将所述图像信息与所述图像数据库各个所述第一参考图像进行对比，在所述图像数据库内存在所述第一参考图像与所述图像信息的第二相似度大于等于第二阈值时，将所述第一参考图像定位为第一目标图像，并获取所述第一目标图像的类别，将所述第一目标图像的类别设置为所述图像信息的所述第二分类结果。4.根据权利要求1所述的一种基于多模态识别技术的事件识别方法，其特征在于，所述步骤S2中，获取所述第二分类结果的所述关注度得分，包括以下步骤：步骤S21：获取所述图像信息的尺寸及所述图像信息中各个物体的轮廓，基于所述物体轮廓获取物体在所述图像信息中所占的面积，还基于所述物体轮廓所占的面积和所述图像信息的尺寸，计算各个所述物体在所述图像信息中所占据的比例；步骤S22：建立第一权重模型，所述第一权重模型基于物体在所述图像信息中所占的比例分配所述物体的权重，其中，所述物体在所述图像信息中所占的比例越大，所述第一权重
模型为所述物体分配的权重越高；步骤S23：建立分数表，所述分数表内...

【专利技术属性】
技术研发人员：李建华，马亚中，王静宇，李蹊，郭宝松，
申请(专利权)人：中关村科学城城市大脑股份有限公司，
类型：发明
国别省市：