【技术实现步骤摘要】
一种面向公共安全领域的多模态数据管理方法及系统
[0001]本专利技术公开一种方法及系统，涉及数据识别
，具体地说是一种面向公共安全领域的多模态数据管理方法及系统。
技术介绍
[0002]由两种或两种以上模态组成的数据可以称之为多模态数据，多模态用来表示不同形态的数据形式，或者同种形态不同的格式。现有模式下图像、语音、文本等不同模态的数据有不同的接收方式，不同模态的数据汇总不同角度、不同方面描述同一个事物。
[0003]在公共安全领域中广泛涉及多模态数据，如不同信息来源的视频、语音、结构化、网站论坛文字等， 因此公共安全领域环境中，使用多模态数据常面临多种问题，例如：一、多模式下多模态数据管理无法统一，无法实现利用元模型、本体模型规范化定义多模态对象；二、各模态数据的置信水平不一，可能导致某些模式丢失必要数据；三、多个模态之间如何确认未知本体模型是否存在的前提下，多模态相关性无法有效辨认；四、各模态数据处理任务分裂，无法在高并发场景下，保障图像、文本等数据处理引擎统一，快速扩展；五、多模态数据无法实现基于同一事...
【技术保护点】
【技术特征摘要】
1.一种面向公共安全领域的多模态数据管理方法，其特征是包括以下步骤：步骤1：基于元模型建立知识图谱进行多模态数据管理：根据元模型本体，构建公共安全领域下元模型本体的树形结构，根据所述树形结构遍历获得各个元模型本体的要素数据，建立不同要素数据之间的关系模型，并为每个要素数据建立分类标识，根据要素数据的数据源类型通过关系模型构建知识图谱，通过所述知识图谱建立要素数据中多模态数据与同一实体的初步关联并建立概念模型用于管理多模态数据；步骤2：利用流批一体化计算引擎进行多模态数据加工，建立多模态数据的向量空间：分别对多模态数据中每种模态数据进行训练学习，获得每种模态数据的特征提取模型，利用所述特征提取模型提取相应模态数据的特征，依据不同模态数据的特征通过决策方式进行融合，根据融合结果针对多模态数据构建多模态数据的向量空间；步骤3：基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据：利用哈希的无监督学习方法获取所述向量空间内每种模态数据的向量所对应的哈希码，通过哈希码获得向量间的欧式距离，根据欧式距离进行多模态数据的相似搜索。2.根据权利要求1所述的一种面向公共安全领域的多模态数据管理方法，其特征是所述基于元模型建立知识图谱进行多模态数据管理中根据要素数据的数据源类型通过关系模型构建知识图谱，包括：判断要素数据的数据源类型，若数据源类型为关系型则获取元模型本体及要素数据对应的分类标识，完成实体节点及关系构建，若数据源类型为非关系型则通过元模型本体获取非关系型实体的数据结构，并获取要素数据对应的属性值，完成实体节点及关系的构建。3.根据权利要求1所述的一种面向公共安全领域的多模态数据管理方法，其特征是所述利用流批一体化计算引擎进行多模态数据加工，包括：针对多模态数据中每种模态数据分别采用不同的算法进行训练学习，若多模态数据为图像数据则采用卷积神经网络进行训练学习，获得图像特征提取模型，利用所述图像特征提取模型提取图像数据的特征，若多模态数据为序列化数据则采用循环神经网络进行训练学习，获得序列化数据特征提取模型，利用所述序列化数据特征提取模型提取序列化数据的特征。4.根据权利要求1所述的一种面向公共安全领域的多模态数据管理方法，其特征是根据所述流批一体化计算引擎部署数据管理组件和组件编排引擎，并通过可视化设计前端展示所述流批一体化计算引擎进行多模态数据加工的过程。5.根据权利要求1所述的一种面向公共安全领域的多模态数据管理方法，其特征是所述基于多模态数据的向量空间，利用哈希的无监督学习方法检索多模态数据，具体过程为：设定同一类实体的向量空间内数据集合，也属于数据集合，和表示实体的不同模态下数据样本，为数据样本的第k个模态的哈希码，为数据样本的第k个模态的哈希码，基于谱聚类算法，根据欧式距离 (Euclidean Distance)对距离的定义，利用如下公式：
获得与两个对应向量之间的欧式距离d，不同向量间根据欧式距离d进行排序，根据排序结果获取多模态数据的相似搜索结果。6.一种面向公共安全领域的多模态数据...
【专利技术属性】
技术研发人员：李存冰，尹萍，林杰，王金超，英杰，
申请(专利权)人：浪潮软件科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。