基于系统元数据的检索方法及系统技术方案

本发明专利技术公开了基于系统元数据的检索方法及系统，属于数据检索技术领域，要解决的技术问题为如何可配置、高效的对业务系统中数据进行检索。包括如下步骤：获取并配置元数据：配置数据源信息，将基于数据源信息获取的元数据存储于元数据数据库中，并对元数据进行配置，所述元数据包括数据源下所有表的表信息以及每个表下的字段信息；配置数据源同步信息：选择数据源和目标源，配置数据源和目标源之间同步方式，通过数据源同步工具实现数据源和目标源之间的数据同步；数据检索：基于关键词以及数据时间范围，对目标源进行数据检索，通过索引对检索结果数据进行分组展示，并通过元数据对检索结果数据进行二次过滤。检索结果数据进行二次过滤。检索结果数据进行二次过滤。

【技术实现步骤摘要】
基于系统元数据的检索方法及系统


[0001]本专利技术涉及数据检索
，具体地说是基于系统元数据的检索方法及系统。

技术介绍

[0002]目前，大多软件系统将业务数据存储在关系型数据库中，每一种业务数据单独存储在一张表中，对于数据的检索，分布在各个业务模块中，没有一个统一的入口，也无法对所有的业务数据进行全局检索。如果要在系统中查询含有“请假”的所有业务数据，需要到各个业务模块分别查询，并且不支持查询条件的配置化，如果要增加或减少查询条件的话，需要修改业务代码才能完成；当系统中某一种业务的数据量达到百万以上后，查询效率会降低很多，在查询时会出现明显的卡顿现象。
[0003]如何可配置、高效的对业务系统中数据进行检索，是需要解决的技术问题。

技术实现思路

[0004]本专利技术的技术任务是针对以上不足，提供基于系统元数据的检索方法及系统，来解决如何可配置、高效的对业务系统中数据进行检索的技术问题。
[0005]第一方面，本专利技术一种基于系统元数据的检索方法，包括如下步骤：
[0006]获取并配置元数据：配置数据源信息，将基于数据源信息获取的元数据存储于元数据数据库中，并对元数据进行配置，所述元数据包括数据源下所有表的表信息以及每个表下的字段信息；
[0007]配置数据源同步信息：选择数据源和目标源，配置数据源和目标源之间同步方式，通过数据源同步工具实现数据源和目标源之间的数据同步；
[0008]数据检索：基于关键词以及数据时间范围，对目标源进行数据检索，通过索引对检索结果数据进行分组展示，并通过元数据对检索结果数据进行二次过滤。
[0009]作为优选，所述数据源信息包括数据源名称、数据库的类型、数据库的地址、数据库的名称、用户名、密码和驱动类；
[0010]所述表信息包括表名和表注释，所述表信息存储于元数据库的分类表中；
[0011]所述字段信息包括字段名、字段类型、字段长度以及字段注释，所述字段信息存储于元数据库的字段表中。
[0012]作为优选，获取并配置元数据，包括如下步骤：
[0013]配置数据源信息：基于业务系统自定义数据源名称，通过下拉框的形式选择数据库的类型，所述数据库的类型包括关系型数据库，根据数据库的类型自定生成驱动类，并配置数据库的地址，数据库的地址包括业务系统数据库的IP地址、端口号和数据库名称，数据库名称、用户名和密码根据业务系统数据的实际连接信息进行配置；
[0014]获取元数据：根据配置的数据源信息获取数据源下所有表的表信息以及每个表下的字段信息，将表信息存储中元数据库的分类表中，将字段信息存储至元数据库的字段表中；并通过定时器监控数据源下表的结构变化，如果表或字段发生变更操作，对元数据库中
对应的分类表或字段表进行同步更新，其中，表的变更操作包括创建和删除表，字段的变更操作包括添加、修改和删除字段
[0015]配置元数据：配置分类表和字段表，配置分类表包括配置分类表的显示以及详情链接地址，详情链接地址为检索结果中数据的链接地址，配置字段表包括配置字段的显示、是否枚举以及是否为检索字段。
[0016]作为优选，配置数据源同步信息，包括如下步骤：
[0017]选择数据源和目标源，所述数据源关系型数据库，所述目标源为elasticsearch；
[0018]选择数据源和目标源之间的同步方式，所述同步方式包括全量同步和增量同步；
[0019]配置数据源中表和目标源中索引的对应关系，其中，数据源下表中列有所选数据源下所有表，目标源下索引中列有所选目标源下所有索引；
[0020]配置过滤条件，通过过滤条件实现数据源和目标源之间的数据同步；
[0021]配置字段转换规则，数据源中字段和目标索引中字段不一致时，基于字段转换规则实现目标源中字段和目标索引中字段的一致；
[0022]配置数据创建时间字段，在数据源表中选择一个字段作为创建时间字段，在目标源索引中引用统一的一个字段进行存储，以实现在数据检索时根据时间范围进行数据过滤；
[0023]开启数据源同步，通过数据源同步工具，实现全量同步或实时的增量同步。
[0024]作为优选，所述数据检索，包括如下步骤：
[0025]通过检索页面输入关键词并选择数据时间范围，输入的关键词支持and和or组合，基于输入关键词和数据时间范围、从elasticsearch中进行检索，并根据索引对数据进行分组；
[0026]通过检索结果页面展示检索结果，并对检索结果数据进行二次检索；
[0027]其中所述检索结果页面包括三个部分，包括：
[0028]数据分类列表，所述数据分类列表位于所述检索结果页面的左侧，为具有检索结果数据对应索引的列表，数据分类列表中每条数据展示为索引对应的元数据中数据表的注释信息以及检索结果数据的数量，所述数据分类表按照检索结果数据的数量递减排列，默认选中的为第一条；
[0029]检索条件区域，所述检索条件区域位于所述检索结果页面右侧的上部，用于选择二次检索的搜索条件；
[0030]检索结果列表，所述检索结果列表位于所述检索结果页面右侧的下部，检索结果列表以分页的形式进行展示，每条检索结果数据以key:value的形式展示，对于显示的每个检索结果数据，点击所述检索结果数据右侧的详情按钮，可跳转到所述检索结果数据的详情页面，详情页面的链接地址是在元数据库中分类表的详情链接地址。
[0031]第二方面，本专利技术一种基于系统元数据的检索系统，用于通过如第一方面任一项所述的基于系统元数据的检索方法对保存在业务系统数据库中的数据进行检索，所述系统包括：
[0032]元数据配置模块，所述元数据配置模块用于获取并配置元数据，包括执行如下：配置数据源信息，将基于数据源信息获取的元数据存储于元数据数据库中，并对元数据进行配置，所述元数据包括数据源下所有表的表信息以及每个表下的字段信息；
[0033]同步配置模块，所述同步配置模块用于配置数据源同步信息，包括执行如下：选择数据源和目标源，配置数据源和目标源之间同步方式，通过数据源同步工具实现数据源和目标源之间的数据同步；
[0034]数据检索模块，所述数据检索模块用于进行检索数据，包括执行如下：基于关键词以及数据时间范围，对目标源进行数据检索，通过索引对检索结果数据进行分组展示，并通过元数据对检索结果数据进行二次过滤。
[0035]作为优选，所述数据源信息包括数据源名称、数据库的类型、数据库的地址、数据库的名称、用户名、密码和驱动类；
[0036]所述表信息包括表名和表注释，所述表信息存储于元数据库的分类表中；
[0037]所述字段信息包括字段名、字段类型、字段长度以及字段注释，所述字段信息存储于元数据库的字段表中。
[0038]作为优选，所述元数据配置模块用于执行如下：
[0039]配置数据源信息：基于业务系统自定义数据源名称，通过下拉框的形式选择数据库的类本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于系统元数据的检索方法，其特征在于，包括如下步骤：获取并配置元数据：配置数据源信息，将基于数据源信息获取的元数据存储于元数据数据库中，并对元数据进行配置，所述元数据包括数据源下所有表的表信息以及每个表下的字段信息；配置数据源同步：选择数据源和目标源，配置数据源和目标源之间同步方式，通过数据源同步工具实现数据源和目标源之间的数据同步；数据检索：基于关键词以及数据时间范围，对目标源进行数据检索，通过索引对检索结果数据进行分组展示，并通过元数据对检索结果数据进行二次过滤。2.根据权利要求1所述的基于系统元数据的检索方法，其特征在于，所述数据源信息包括数据源名称、数据库的类型、数据库的地址、数据库的名称、用户名、密码和驱动类；所述表信息包括表名和表注释，所述表信息存储于元数据库的分类表中；所述字段信息包括字段名、字段类型、字段长度以及字段注释，所述字段信息存储于元数据库的字段表中。3.根据权利要求1所述的基于系统元数据的检索方法，其特征在于，获取并配置元数据，包括如下步骤：配置数据源信息：基于业务系统自定义数据源名称，通过下拉框的形式选择数据库的类型，所述数据库的类型包括关系型数据库，根据数据库的类型自定生成驱动类，并配置数据库的地址，数据库的地址包括业务系统数据库的IP地址、端口号和数据库名称，数据库名称、用户名和密码根据业务系统数据的实际连接信息进行配置；获取元数据：根据配置的数据源信息获取数据源下所有表的表信息以及每个表下的字段信息，将表信息存储中元数据库的分类表中，将字段信息存储至元数据库的字段表中；并通过定时器监控数据源下表的结构变化，如果表或字段发生变更操作，对元数据库中对应的分类表或字段表进行同步更新，其中，表的变更操作包括创建和删除表，字段的变更操作包括添加、修改和删除字段配置元数据：配置分类表和字段表，配置分类表包括配置分类表的显示以及详情链接地址，详情链接地址为检索结果中数据的链接地址，配置字段表包括配置字段的显示、是否枚举以及是否为检索字段。4.根据权利要求1所述的基于系统元数据的检索方法，其特征在于，配置数据源同步，包括如下步骤：选择数据源和目标源，所述数据源关系型数据库，所述目标源为elasticsearch；选择数据源和目标源之间的同步方式，所述同步方式包括全量同步和增量同步；配置数据源中表和目标源中索引的对应关系，其中，数据源下表中列有所选数据源下所有表，目标源下索引中列有所选目标源下所有索引；配置过滤条件，通过过滤条件实现数据源和目标源之间的数据同步；配置字段转换规则，数据源中字段和目标索引中字段不一致时，基于字段转换规则实现目标源中字段和目标索引中字段的一致；配置数据创建时间字段，在数据源表中选择一个字段作为创建时间字段，在目标源索引中引用统一的一个字段进行存储，以实现在数据检索时根据时间范围进行数据过滤；开启数据源同步，通过数据源同步工具，实现全量同步或实时的增量同步。
5.根据权利要求1所述的基于系统元数据的检索方法，其特征在于，所述数据检索，包括如下步骤：通过检索页面输入关键词并选择数据时间范围，输入的关键词支持and和or组合，基于输入关键词和数据时间范围、从elasticsearch中进行检索，并根据索引对数据进行分组；通过检索结果页面展示检索结果，并对检索结果数据进行二次检索；其中所述检索结果页面包括三个部分，包括：数据分类列表，所述数据分类列表位于所述检索结果页面的左侧，为具有检索结果数据对应索引的列表，数据分类列表中每条数据展示为索引对应的元数据中数据表的注释信息以及检索结果数据的数量，所述数据分类表按照检索结果数据的数量递减排列，默认选中的为第一条；检索条件区域，所述检索条件区域位于所述检索结果页面右侧的上部，用于选择二次检索的搜索条件；检索结果列表，所述检索结果列表位于所述检索结果页面右侧的下部，检索结果列表以分页的形式进行展示，每条检索结果数据以key:value的形式展示，对于显示的每个检索结果数据，点击所述检索结果数据右侧的详情按钮，可跳转到所述检索结果数据的详情页面，详情页面的链接地址是在元数据库中分类表的详情链接地址。6.一种基于系统元数据的检索系统，其特征在于，用于通过如权利要求1
‑
5任一项所述的基于系统元数据的检索方法对保存在业务系...

【专利技术属性】
技术研发人员：孙绪波，高传集，赵山，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：