基于多模态知识图谱的古钟鉴别交互系统技术方案

本发明专利技术涉及古钟图像识别技术领域,具体公开了一种基于多模态知识图谱的古钟鉴别交互系统,包括收集大量的古钟图像数据，对图像进行标注和分类。构建古钟图像数据集；根据数据集提取古钟相关的属性、历史背景和文化知识，构建古钟知识图谱；基于计算机视觉技术提取古钟图像的特征，利用知识图谱中的实体和关系，将图像特征与对应的古钟属性、历史背景等进行关联，使用图像识别算法，将图像特征输入到图像识别模型中，进行古钟图像的自动识别和分类；开发古钟的三维建模算法，实现古钟的三维模型重建，提供交互式的古钟三维展示功能，能够全局观察古钟的外观、结构；古钟鉴别交互系统，具备古钟属性查询、图像识别、知识图谱、3D模型等功能。

【技术实现步骤摘要】

本系统涉及图像识别技术、知识图谱、3d建模等领域，具体涉及多模态知识图谱的古钟鉴别交互系统。

技术介绍

1、在现有的图像识别技术中，更多的是对于动植物、行人、车辆等领域的相关检测。本系统利用图像识别、深度学习等算法，以北京市大钟寺博物馆古钟为数据集，进行古钟图像识别算法研究。目的是通过该项技术，使游客通过拍照等手段，实现古钟鉴别。其中包括古钟外观、年代、篆刻等具体信息。利用neo4j对古钟基本信息进行数据库录入，可以更加直观的使游客了解到古钟的具体信息。利用3dsmax软件对古钟外观进行可视化迁移，使其可以在线上进行无死角展示。本产品共计有三份ui，分别用于“钟韵华章”小程序首页ui、古钟识别界面ui以及大钟寺地图界面ui。小程序首页ui包含六个模块，分别用于界面切换、搜索、拍照识别、3d模型查看、古钟图谱查看以及古钟故事六个功能的交互入口；古钟识别界面ui包含用于上传图片以识别功能的交互入口；地图界面ui用于展示大钟寺的简明地图与区域名称。

技术实现思路

1、针对上述技术，本系统的目的是打造一款古文物智慧识本文档来自技高网...

【技术保护点】

1.一种基于多模态知识图谱的古钟鉴别交互系统,其特征在于,包括以下步骤:

2.根据权利要求1所述的古钟属性提取,其特征在于,所述步骤S200中的古钟信息提取算法通过设置语言参数实现多语言支持。

3.根据权利要求2所述的方法，其中所述语言参数用于指定图像中所包含文本的语言类型。

4.根据权利要求2或3所述的方法，其中所述图像文本提取方法基于Tesseract OCR技术实现。

5.根据权利要求1所述的古钟知识图谱构建,其特征在于,所述步骤S200中的古钟知识图谱构建包括:

6.根据权利要求1所述的古钟识别鉴别方法,其特征在于,所述...

【技术特征摘要】

1.一种基于多模态知识图谱的古钟鉴别交互系统,其特征在于,包括以下步骤:

2.根据权利要求1所述的古钟属性提取,其特征在于,所述步骤s200中的古钟信息提取算法通过设置语言参数实现多语言支持。

3.根据权利要求2所述的方法，其中所述语言参数用于指定图像中所包含文本的语言类型。

4.根据权利要求2或3所述的方法，其中所述图像文本提取方法...

【专利技术属性】
技术研发人员：杨锋，申娜，彭菲，
申请(专利权)人：北京林业大学，
类型：发明
国别省市：