数据检索系统、装置、电子设备和可读存储介质制造方法及图纸

本申请实施例提供了一种数据检索系统、装置、电子设备和可读存储介质，涉及数据分析技术领域。该数据检索系统采用文档型数据库作为主数据库，存储预设时间段内的问卷调查结果，采用分布式索引数据库根据索引关键字创建至少一个索引文档，利用检索服务单元根据获取到的检索条件从分布式索引数据库中检索得到目标索引文档，如此，利用文档型数据库进行数据的存储，在进行查询时，无需通过跨表联结查询的方式调用主数据库，同时可通过分布式索引数据库查询得到目标索引文档，提高了存储和处理复杂关系型的能力，使得数据检索效率更高，提高了即时查询的响应速度。高了即时查询的响应速度。高了即时查询的响应速度。

【技术实现步骤摘要】
数据检索系统、装置、电子设备和可读存储介质


[0001]本申请涉及数据分析
，具体地，涉及一种数据检索系统、装置、电子设备和可读存储介质。

技术介绍

[0002]目前主流的问卷调查结果即时查询和分析方案，主要是基于关系数据库(或数据立方体模型)及SQL语句(Structured Query Language，结构化查询语言)来实现的。随着大数据时代的到来，越来越多的系统需要支撑海量数据存储，高并发、高可用、高可扩展性等特性要求。
[0003]但是传统的关系数据库并不善于处理数据点之间的关系。它们的二维表格数据模型和严格的模式范式使它们很难添加及分析、处理新的或不同种类的关联信息。而这些都是问卷调查结果数据的存储和即时分析业务场景的固有特点。
[0004]同时，虽然SQL技术本身功能非常强大，且有各种各样的性能优化方案可选，但是利用SQL技术很难从根本上解决复杂的跨表联结查询(笛卡尔积)所带来的性能下降问题。
[0005]也就是说，针对海量问卷调查结果进行数据存储和查询的场景，现有技术中还存在存储和处理复杂关系型数据的能力较弱，对于即时查询的响应速度较低的问题。

技术实现思路

[0006]本申请实施例中提供了一种数据检索系统、装置、电子设备和可读存储介质，以改善上述问题。
[0007]根据本申请实施例的第一个方面，提供了一种数据检索系统，所述数据检索系统包括主数据库、分布式索引数据库及检索服务单元；
[0008]所述主数据库，用于存储预设时间段内的问卷调查结果，其中，所述主数据库为文档型数据库；
[0009]所述分布式索引数据库，用于将所述主数据库存储的问卷调查结果中的不同数据属性作为索引关键字，根据全部所述索引关键字创建至少一个索引文档；
[0010]所述检索服务单元，用于获取检索条件，根据所述检索条件从所述分布式索引数据库中检索得到目标索引文档，输出并显示所述目标索引文档。
[0011]在可选的实施方式中，所述检索服务单元包括检索信息构造器、检索任务线程池及检索结果聚合主线程；
[0012]所述检索信息构造器，用于获取检索条件，根据所述检索条件进行检索预处理，构造得到多个检索任务；
[0013]所述检索任务线程池，用于根据多个所述检索任务激活多个任务线程，利用各所述任务线程对各所述检索任务并行从所述分布式索引数据库中检索得到多个目标子索引文档；
[0014]所述检索结果聚合主线程，用于对全部所述目标子索引文档进行聚合处理，得到
所述目标索引文档，输出并显示所述目标索引文档。
[0015]在可选的实施方式中，所述检索信息构造器包括检索条件构造器及检索任务构造器；
[0016]所述检索条件构造器，用于获取检索条件，对所述检索条件进行转换处理，得到预设格式的检索数据；
[0017]根据所述预设格式的检索数据，从所述主数据库中检索得到原始问卷调查结果，并对初始问卷调查结果进行过滤，得到初始问卷调查结果；
[0018]所述检索任务构造器，用于根据所述初始问卷调查结果构造得到多个检索任务。
[0019]在可选的实施方式中，所述主数据库，还用于获取所述预设时间段内的全部问卷调查内容；
[0020]从每个所述问卷调查内容中提取问卷调查结果，其中，所述问卷调查结果包括受访者属性值、问卷码号、是否规范信息、题目回答结果；
[0021]按照预设结构化方式，将全部所述问卷调查结果存储至同一个数据表中。
[0022]在可选的实施方式中，所述分布式索引数据库包括基于倒排索引技术的Elasticsearch数据库，所述主数据库包括MongoDB数据库。
[0023]在可选的实施方式中，所述分布式索引数据库及所述主数据库的存储方式均为JSON格式。
[0024]在可选的实施方式中，所述检索服务单元还用于对所述目标索引文档进行可视化处理，将所述目标索引文档以可视化图表的形式进行展示。
[0025]根据本申请实施例的第二个方面，提供了一种数据检索方法，所述方法应用于电子设备，所述电子设备配置有上述的数据检索系统，所述数据检索系统包括主数据库、分布式索引数据库及检索服务单元，所述方法包括：
[0026]获取预设时间段内的问卷调查结果，将所述问卷调查结果存储在所述主数据库中；
[0027]获取所述主数据库中存储的所述问卷调查结果中的不同数据数据，将不同所述数据属性作为索引关键字，根据全部所述索引关键字创建至少一个索引文档；
[0028]获取检索条件，根据所述检索条件从所述数据检索系统包括的分布式索引数据库中检索得到目标索引文档，输出并显示所述目标索引文档。
[0029]根据本申请实施例的第三个方面，提供了一种电子设备，所述电子设备包括处理器、存储器及总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器及所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述的数据检索方法的步骤。
[0030]根据本申请实施例的第四个方面，提高了一种可读存储介质，所述可读存储介质存储有计算机程序，计算机程序被执行时实现权利要求8所述的数据检索方法的步骤。
[0031]本申请实施例提供了一种数据检索系统、方法、电子设备和可读存储介质。该数据检索系统采用文档型数据库作为主数据库，存储预设时间段内的问卷调查结果，采用分布式索引数据库根据索引关键字创建至少一个索引文档，利用检索服务单元根据检索条件从分布式索引数据库中检索得到目标索引文档，如此，利用文档型数据库进行数据的存储，在进行查询时，无需通过跨表联结查询的方式调用主数据库，同时可通过分布式索引数据库
查询得到目标索引文档，提高了存储和处理复杂关系型的能力，使得数据检索效率更高，提高了即时查询的响应速度。
[0032]为使本申请的上述目的、特征和优点能更明显易懂，下文特举一些举例，并配合所附附图，作详细说明。
附图说明
[0033]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0034]图1为本申请实施例提供的一种电子设备的结构框图。
[0035]图2为本申请实施例提供的数据检索系统的功能示意图之一。
[0036]图3为本申请实施例提供的一种关系型数据库存储数据的示意图。
[0037]图4为本申请实施例提供的一种文档型数据库存储数据的示意图。
[0038]图5为本申请实施例提供的一种倒排索引的示意图。
[0039]图6为本申请实施例提供的一种数据检索系统的功能示意图之二。
[0040]图7为本申请实施例提供的一种数据检索系统的功能示意图之三。
[0041]图8为本申请实施例提供的一种数据结构化存储示意图。
[0042]图9为本申请实施例提供的一种数据检索方法的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据检索系统，其特征在于，所述数据检索系统包括主数据库、分布式索引数据库及检索服务单元；所述主数据库，用于存储预设时间段内的问卷调查结果，其中，所述主数据库为文档型数据库；所述分布式索引数据库，用于将所述主数据库存储的问卷调查结果中的不同数据属性作为索引关键字，根据全部所述索引关键字创建至少一个索引文档；所述检索服务单元，用于获取检索条件，根据所述检索条件从所述分布式索引数据库中检索得到目标索引文档，输出并显示所述目标索引文档。2.根据权利要求1所述的数据检索系统，其特征在于，所述检索服务单元包括检索信息构造器、检索任务线程池及检索结果聚合主线程；所述检索信息构造器，用于获取检索条件，根据所述检索条件进行检索预处理，构造得到多个检索任务；所述检索任务线程池，用于根据多个所述检索任务激活多个任务线程，利用各所述任务线程对各所述检索任务并行从所述分布式索引数据库中检索得到多个目标子索引文档；所述检索结果聚合主线程，用于对全部所述目标子索引文档进行聚合处理，得到所述目标索引文档，输出并显示所述目标索引文档。3.根据权利要求2所述的数据检索系统，其特征在于，所述检索信息构造器包括检索条件构造器及检索任务构造器；所述检索条件构造器，用于获取检索条件，对所述检索条件进行转换处理，得到预设格式的检索数据；根据所述预设格式的检索数据，从所述主数据库中检索得到原始问卷调查结果，并对初始问卷调查结果进行过滤，得到初始问卷调查结果；所述检索任务构造器，用于根据所述初始问卷调查结果构造得到多个检索任务。4.根据权利要求1所述的数据检索系统，其特征在于，所述主数据库，还用于获取所述预设时间段内的全部问卷调查内容；从每个所述问卷调查内容中提取问卷调查结果，其中，所述问卷调查结果包括受访者属性...

【专利技术属性】
技术研发人员：王鑫，贾祯，莫海珍，张菁，李伟男，周琰，苏超，马哲，薛强，佘燕飞，
申请(专利权)人：中央广播电视总台，
类型：发明
国别省市：