一种基于智能搜索的AR肿瘤知识图谱多模态演示方法技术

本发明专利技术提出一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，包括以下步骤：S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立一种基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；S3.智能搜索结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示。该方法通过结合多模态知识图谱的AR展示，并且提供智能搜索和2D转换，融合多种功能，有利于用户有更加丰富的体验效果，提高用户获取知识的效率。

【技术实现步骤摘要】
一种基于智能搜索的AR肿瘤知识图谱多模态演示方法
本专利技术涉及医疗数据处理以及知识图谱可视化领域，尤其涉及一种基于智能问答的AR肿瘤知识图谱多模态演示方法。
技术介绍
随着医学信息化的发展和医疗的大数据化，在医疗领域中，越来越多有用的知识图谱被构建出来，尤其是我国每年的肿瘤患者越来越多，已经渐渐成为“第一杀手”，将知识图谱运用到肿瘤领域中，可以通过构建肿瘤知识图谱，提供药物推荐，疾病预测等服务。目前，智能搜索能够提供传统的快速检索、相关度排序、智能信息过滤和推送等功能。患者的医疗知识普及主要是通过人工的方式，依靠医生的口头交待，但是有时会面临患者需要了解更多的知识，只能通过从网上检索信息。但是网上信息繁杂，患者难以获得自己有用的信息，而且网上提供的数据多为单一的文字描述，对于医学专业用词或者某些抽象的医学概念来说，理解起来比较困难，缺乏一定的直观性。此外，网络上搜索的答案鱼目混杂，对于有些不可靠的信息，用户有可能被误导。AR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。在医疗领域，增强现实与医疗的结合应用逐渐被人们所重视。由于知识图谱是将复杂的信息通过计算处理成能够结构化表示的知识，所表示的知识可以通过图形绘制而展现出来，为人们的学习提供有价值的参考，为信息检索提供便利。知识图谱就是一种知识库，但构建好的知识图谱如何可视化展示出来，还存在以下问题：1.医学知识枯燥难懂，内容冗杂，而知识图谱多为2D可视化展示，繁杂的文本会让知识图谱的节点很多，看起来复杂难懂，并且对于数据比较多的文本，显示效果会受到屏幕大小的限制。2.知识图谱的构建和数据都是基于单一文本数据格式进行分析，对于语音、视频、图像等多模态数据的使用存在明显不足，知识图谱的呈现多为文本形式的知识点，可视化感官效果不好，单调枯燥的医疗知识难以提供患者更加直观的感受，内容模态的单一性使用户获取目标知识的吸收程度不高。3.目前的医学相关知识图谱的可视化展示都是单一的2D或者3D的展示方式，患者选择性低，无法实现自定义展示方式。4.AR医疗知识图谱无法提供自动检索的功能。
技术实现思路
本专利技术的目的是针对肿瘤知识图谱可视化的难点，基于智能搜索，设计一种AR肿瘤知识图谱的多模态展示方法，不仅是通过文本展示，同时涉及图片、音频、视频等多媒体资源的展示，并且能结合3D和2D的切换，使用户根据自身需求，在3D的不同实体层级上，进行2D的切换和多模态展示，实现用户更好的体验效果，避免内容过多导致2D知识图谱显示的节点覆盖，屏幕太小等问题。增加智能检索功能，方便对目标知识的查询。该专利技术主要解决现有方法的可视化形式单一，内容枯燥，信息冗杂，功能简单的缺点，使用户获取目标医学知识更加简单，易于掌握。结合增强现实技术和智能搜索的方法，通过构建肿瘤知识图谱，实现一种方法可以展示3D的多模态知识图谱，并且可以根据用户的需要实现3D和2D的切换，摆脱了用户获取知识的枯燥性，也能让用户更好地掌握肿瘤相关的医学知识。为了达到上述目的，本专利技术技术方案的具体步骤为：S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立一种基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；S3.智能搜索结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示；在步骤S1中，对目标肿瘤的原始数据，通过以下方法进行多模态医疗知识图谱的构建以及数据库的连接：S11.根据不同的目标肿瘤实体以及相关肿瘤属性，从多个数据源获取多个原始数据，原始数据包括图片、音频或者视频资源；S12.利用开源的词法工具和医疗领域的词典库，对目标肿瘤实体识别，并从语料数据中提取出实体与实体之间的多个关系类型，所述关系类型至少包括流行病学特征，筛查，临床表现和诊断，病理诊断，分子分型，分期，治疗；S13.通过知识抽取得到所述实体和关系的信息，定义知识图谱实体和属性，包括实体和实体之间的关系，实体的属性值。其中的实体信息和属性信息，包括文本信息，图片，音频或者视频的一种或者多种；S14.根据所述实体和实体之间的关系，构建医疗知识图谱树，其中根节点代表的是目标肿瘤实体的值，实体与实体之间的关系代表树干，实体的下位概念是中间节点，每个实体的属性作为子节点；S15.根据上述S14构建的图谱树，将目标肿瘤实体和实体之间的关联关系，以csv格式导入到neo4j数据库中。在步骤S2中，对于AR肿瘤知识图谱，主要通过以下方法进行AR知识图谱的多模态展示和2D、3D的切换：S21.在unity系统中设置知识图谱演示的场景，通过3DsMax三维建模软件制作人体目标肿瘤对应器官的三维模型中的标准图，包括各个器官的位置，器官名称，各种肿瘤可能存在的位置等，并将其导入到unity中；S22.点击三维模型上的对应肿瘤所在器官，通过服务器，从neo4j数据库获取数据，解析从服务端获取的数据，将数据分为实体、关系和属性三类，实体、关系和属性都包含各自的id，名称以及类别；S23.通过unity中的树形插件，根据获取的实体和关系的id和类别，动态创建知识图谱树，形成3D树的根，树干以及节点，并且将实体的名称显示在树形结构对应位置上；S24.根据UI页面渲染帧循环的改变，实体和属性信息的改变进行UI页面的调整，主页面主要是实体名称及其他实体的关联情况，可以通过点击不同的实体进入下一层级；S25.在页面右侧存在自动旋转、模式切换以及后退的按钮，根据用户需求，在unity中进行设置，使得用户可以进行3D和2D模式的切换，2D主要是通过对应的id，对获取的数据以思维导图的形式呈现，并可以通过在3D中不同实体的id，进入到目标实体id的2D思维导图平面中，在3D和2D的信息展示过程中，都是多模态信息，可通过点击对应节点显示视频、图片等多模态的信息；S26.利用Vuforia插件，在unity中设置要展示的AR树结构和点击事件，并对AR树展示场景设置旋转和缩放按钮。点击上述S25中3D模式下的树节点，会自动下载默认图片，并根据neo4j数据库获取的信息，AR树的内容包括多模态的信息。发布到android手机上，打开应用，摄像头会被打开，用摄像头扫描目标图片，可以看到AR树展现在屏幕上方空间中，通过设置的按钮进行旋转和缩放，点击AR树节点，可以在客户端显示对应的多模态内容。在步骤S3中，根据步骤S2中建立的AR展示肿瘤知识图谱的多模态展示系统以及能根据不同id在2D、3D呈现不同形式的知识图谱，增加智能搜索的功能，主要是通过以下方法实现：S31.利用问句解析技术和文本关键词提取技术获取用户输入的问题的关键字，至少包括目标肿瘤名称和疾病实体名称的信息或者属性信息；S32.连接图数据库，通过获取的关键字，在neo4j数据库进行本文档来自技高网...

【技术保护点】
1.一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，包括以下步骤：/nS1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；/nS2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；/nS3.获取用户输入的问题的关键词，智能搜索关键词，结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示。/n

【技术特征摘要】
1.一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，包括以下步骤：
S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；
S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；
S3.获取用户输入的问题的关键词，智能搜索关键词，结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示。


2.根据权利要求1所述的基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，首先构建目标肿瘤的多模态知识图谱，将构建好的知识图谱的多模态信息导入到neo4j数据库中，然后，在unity系统中设置人体三维模型，通过点击对应肿瘤所在器官位置，发送http请求，从neo4j数据库获取数据并返回，客户端演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；此外，结合智能搜索实现对关键字信息的有效检索功能。


3.根据权利要求2所述的基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，在步骤S1中，对目标肿瘤的原始数据，通过以下方法进行多模态医疗知识图谱的构建以及数据库的连接：
S11.根据不同的目标肿瘤实体以及相关肿瘤属性，从多个数据源获取多个原始数据，原始数据包括图片、音频或者视频资源；
S12.利用开源的词法工具和医疗领域的词典库，对目标肿瘤实体识别，并从语料数据中提取出实体与实体之间的多个关系类型，所述关系类型至少包括流行病学特征，筛查，临床表现和诊断，病理诊断，分子分型，分期，治疗；
S13.通过知识抽取得到所述实体和关系的信息，定义知识图谱实体和属性，包括实体和实体之间的关系，实体的属性值；其中的实体信息和属性信息，包括文本信息，图片，音频或者视频的一种或者多种；
S14.根据所述实体和实体之间的关系，构建医疗知识图谱树，其中根节点代表的是目标肿瘤实体的值，实体与实体之间的关系代表树干，实体的下位概念是中间节点，每个实体的属性作为子节点；
S15.根据上述S14中构建的图谱树，将目标肿瘤实体和实体之间的关联关系，以csv格式导入到neo4j数据库中。


4.根据权利要求2所述的基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，在步骤S2中，对于AR肿瘤知识图谱，通过以下方法进行AR知识图谱的多模态展示和2D、3D的切换...

【专利技术属性】
技术研发人员：钱立庭，王菲，陈欢欢，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34