数据查询模型构建方法和计算机可读存储介质技术

本申请提供一种数据查询模型构建方法和计算机可读存储介质，方法包括：根据选中的数据源模块生成对应的数据源节点；根据选中的若干个处理模块生成对应的若干个数据处理节点，将数据源节点的输出端与各个数据处理节点的输入端依序连接；数据处理节点加载数据处理规则；将依序连接的最后一个数据处理节点与数据输出节点连接；响应于模型执行指令，将处理后的节点数据输出到预设的数据表，根据目标数据源模块配置的源数据、各个目标处理模块加载的数据处理规则、各个模块的连接关系、目标处理模块与预设的数据表的连接关系，以及输出到预设的数据表的节点数据，生成数据查询模型。本发明专利技术可以简化数据查询操作。发明专利技术可以简化数据查询操作。发明专利技术可以简化数据查询操作。

【技术实现步骤摘要】
数据查询模型构建方法和计算机可读存储介质


[0001]本申请涉及数据查询的
，具体涉及一种数据查询模型构建方法和计算机可读存储介质。

技术介绍

[0002]随着社会的发展，大数据越显重要，许多商业决定都会建立于大数据的数据分析基础。因此，如何从大数据中查询得到用户需要的数据，是非常关键的。而现有的数据查询方法，需要实时响应数据查询操作，但由于数据查询操作常常会涉及到不同数据处理规则的代码模块，因此数据查询操作的操作也十分繁琐复杂。

技术实现思路

[0003]本申请的目的在于克服现有技术中的缺点与不足，提供一种数据查询模型构建方法和计算机可读存储介质，可以简化数据查询操作。
[0004]本申请的一个实施例提供一种数据查询模型构建方法，包括：获取数据查询模型构建指令，进入数据查询模块构建界面；所述数据查询模型构建界面包括模型构建区；所述模型构建区包括数据输出节点；将选中的数据源模块确定为目标数据源模块，在所述模型构建区生成对应的数据源节点；获取对所述数据源节点配置的源数据；将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接；所述数据处理节点加载有所述目标处理模块的数据处理规则；将依序连接的最后一个所述数据处理节点的输出端与所述数据输出节点的输入端连接，所述数据输出节点用于将接收到的节点数据输出到预设的数据表；响应于模型执行指令，将所述数据源节点的节点数据输出给所述数据处理节点，以通过所述目标处理模块的数据处理规则对所述节点数据进行数据处理，得到处理后的节点数据；通过所述数据输出节点将处理后的节点数据输出到预设的数据表；根据目标数据源模块配置的源数据、各个目标处理模块加载的数据处理规则、目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的连接关系、目标处理模块与预设的数据表的连接关系，以及输出到预设的数据表的节点数据，生成数据查询模型。
[0005]本申请的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如上所述的数据查询模型构建方法的步骤。
[0006]相对于现有技术，本申请可以根据目标数据源模块生成数据源节点，根据目标处理模块生成若干个数据处理节点，基于数据源节点、各个数据处理节点以及数据输出节点的连接关系，得到目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的
连接关系以及目标处理模块与预设的数据表的连接关系，从而获得可以根据各个目标处理模块的处理规则，对目标数据源模块的源数据进行数据处理，并将处理结果输出到预设的数据表的数据查询模型。无需用户自行编辑查询代码，简化了数据查询操作，并且用户还可以随时直接调用数据查询模型，以得到数据查询模型的数据查询结果，提高了用户得到数据查询结果的效率。
[0007]为了能更清晰的理解本申请，以下将结合附图说明阐述本申请的具体实施方式。
附图说明
[0008]图1为本申请一个实施例的数据查询模型构建方法的流程图。
[0009]图2为本申请一个实施例的数据查询模型构建方法的步骤S201
‑
S203的流程图。
[0010]图3为本申请一个实施例的数据查询模型构建方法的步骤S301
‑
S303的流程图。
具体实施方式
[0011]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
[0012]应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
[0013]下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。在此所使用的词语“如果”/“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0014]此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A 和/或 B，可以表示：单独存在 A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0015]请参阅图1，其是本申请一个实施例的数据查询模型构建方法的流程图，包括：S1：获取数据查询模型构建指令，进入数据查询模块构建界面；所述数据查询模型构建界面包括模型构建区；所述模型构建区包括数据输出节点。
[0016]数据查询模型构建界面是指用于构建数据查询模型的界面，其构建的数据查询模型的内部模块，是以节点的形式显示于模型构建区，用户还可以对模型构建区的各个节点进行查看节点、编辑节点和执行节点等操作。数据查询模型构建界面还包括节点资源区，节点资源区相邻于模型构建区，节点资源区至少包括若干个数据源模块和若干个处理规则，方便用户直接从节点资源区中选择对象。
[0017]S2：将选中的数据源模块确定为目标数据源模块，在所述模型构建区生成对应的数据源节点；获取对所述数据源节点配置的源数据。
[0018]数据源模块是指支持从各种数据存储对象中读取存储源数据的模块，包括但不限于文本数据源模块、FTP（文件传输协议）数据源模块、Kafka（分布式发布订阅消息系统）数据源模块、关系数据源模块、示例数据源模块等。其中，文本数据源模块支持从hdfs（分布式文件系统）中读取Json、csv、parquet等类型的文件；FTP数据源模块支持通过FTP方式读取Excel、csv等文件；Kafka数据源支持从Kafka中读取数据json格式的数据和csv格式的数据；关系数据源支持从数据源中读取数据；示例数据源支持读取内置的示例数据源。
[0019]可选地，还可以将excel文件中的excel sheet确定为目标数据源模块。
[0020]选中数据源模块的方式可以是多样的，例如，通过将节点资源区内的数据源模型拖拽到模型构建区内、通过节点资源区的操作选项将选中的数据源模型添加到模型构建区等，以实现快速选中数据源模块并生成对应的数据源节点。
[0021]数据源节点配置的源数据来源于目标数据源模块。
[0022]S3：将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据查询模型构建方法，其特征在于，包括：获取数据查询模型构建指令，进入数据查询模块构建界面；所述数据查询模型构建界面包括模型构建区；所述模型构建区包括数据输出节点；将选中的数据源模块确定为目标数据源模块，在所述模型构建区生成对应的数据源节点；获取对所述数据源节点配置的源数据；将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接；所述数据处理节点加载有所述目标处理模块的数据处理规则；将依序连接的最后一个所述数据处理节点的输出端与所述数据输出节点的输入端连接，所述数据输出节点用于将接收到的节点数据输出到预设的数据表；响应于模型执行指令，将所述数据源节点的节点数据输出给所述数据处理节点，以通过所述目标处理模块的数据处理规则对所述节点数据进行数据处理，得到处理后的节点数据；通过所述数据输出节点将处理后的节点数据输出到预设的数据表；根据目标数据源模块配置的源数据、各个目标处理模块加载的数据处理规则、目标数据源模块与各个目标处理模块的连接关系、目标处理模块之间的连接关系、目标处理模块与预设的数据表的连接关系，以及输出到预设的数据表的节点数据，生成数据查询模型。2.根据权利要求1所述的数据查询模型构建方法，其特征在于，所述数据源模块包括有若干个数据源对象；所述将选中的数据源模块确定为目标数据源模块，在所述模型构建区生成对应的数据源节点；获取对所述数据源节点配置的源数据的步骤，包括：将拖拽到所述模型构建区的数据源模块确定为目标数据源模块；从所述目标数据源模块的若干个数据源对象中，获取选中的数据源对象；响应于数据源节点执行指令，将选中的数据源对象的数据加载到所述数据源节点，以作为所述数据源节点配置的源数据。3.根据权利要求2所述的数据查询模型构建方法，其特征在于，所述处理模块设有处理规则模板；所述将选中的若干个处理模块确定为目标处理模块，在所述模型构建区生成对应的若干个数据处理节点，且将所述数据源节点的输出端与各个所述数据处理节点的输入端依序连接的步骤，包括：将拖拽到所述模型构建区的处理模块确定为目标处理模块；根据所述数据源节点的节点数据和所述目标处理模块对应的处理规则模板，生成处理规则选项；将选中的所述处理规则选项确定为目标处理规则，加载到所述数据处理节点。4.根据权利要求3所述的数据查询模型构建方法，其特征在于，所述数据查询模型构建界面设有缓存选项；若勾选了所述缓存选项，执行目标节点时，将所述目标节点的节点数据存储到缓存空间，得到缓存数据；所述目标节点包括数据源节点、数据处理节点和数据输出节点；下一次执行所述目标节点时，从所述缓存空间获取缓存数据作为执行得到的节点数据。
5.根据权利要求2所述的数据查询模型构建方法，其特征在于，所述数据查询模型构建界面设有小批量执行选项；所述响应于数据源节点执行指令，将选中的数据源对象的数据加...

【专利技术属性】
技术研发人员：陈大伟，黄潮勇，吴华夫，熊海霞，曾豪，黄鹏，徐晓兰，李平，黄浩，肖熙，莫会治，禤文君，
申请(专利权)人：广州思迈特软件有限公司，
类型：发明
国别省市：