一种大数据处理方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种大数据处理方法、装置、设备及介质。该方法包括：基于用户在可视化界面的模型配置操作，确定数据处理模型，并从本地数据库中获取所述数据处理模型对应的待处理空间数据；通过所述数据处理模型对所述待处理空间数据进行处理，得到处理结果；基于开放地理空间信息联盟OGC标准服务和/或矢量切片地图服务，以及用户在所述可视化界面配置的展示参数，确定所述处理结果对应的空间图表数据，并在所述可视化界面输出所述空间图表数据。通过本发明专利技术实施例提供的技术方案，能够对空间大数据进行自动化处理，进一步实现对数据分析处理过程和可视化展示内容的灵活定制。分析处理过程和可视化展示内容的灵活定制。分析处理过程和可视化展示内容的灵活定制。

【技术实现步骤摘要】
一种大数据处理方法、装置、设备及介质


[0001]本专利技术实施例涉及大数据处理技术，尤其涉及一种大数据处理方法、装置、设备及介质。

技术介绍

[0002]随着互联网、物联网、云计算等技术的快速发展，各个领域产生了海量数据，这些数据具有来源丰富、类型多样、更新频率快速以及数据量庞大等特点，现有技术中往往是依赖于专业技术人员对海量数据进行管理和分析，成本高，效率低，且非专业人员难以掌握，因此如何实现对海量数据的自动化处理并展示，是目前亟待解决的问题。

技术实现思路

[0003]本专利技术提供一种大数据处理方法、装置、设备及介质，能够对空间大数据进行自动化处理，进一步实现对数据分析处理过程和可视化展示内容的灵活定制。
[0004]第一方面，本专利技术实施例提供了一种大数据处理方法，包括：
[0005]基于用户在可视化界面的模型配置操作，确定数据处理模型，并从本地数据库中获取所述数据处理模型对应的待处理空间数据；
[0006]通过所述数据处理模型对所述待处理空间数据进行处理，得到处理结果；
[0007]基于开放地理空间信息联盟OGC标准服务和/或矢量切片地图服务，以及用户在所述可视化界面配置的展示参数，确定所述处理结果对应的空间图表数据，并在所述可视化界面输出所述空间图表数据。
[0008]第二方面，本专利技术实施例还提供了一种大数据处理装置，包括：
[0009]获取模块，用于基于用户在可视化界面的模型配置操作，确定数据处理模型，并从本地数据库中获取所述数据处理模型对应的待处理空间数据；
[0010]得到模块，用于通过所述数据处理模型对所述待处理空间数据进行处理，得到处理结果；
[0011]输出模块，用于基于开放地理空间信息联盟OGC标准服务和/或矢量切片地图服务，以及用户在所述可视化界面配置的展示参数，确定所述处理结果对应的空间图表数据，并在所述可视化界面输出所述空间图表数据。
[0012]第三方面，本专利技术实施例还提供了一种电子设备，该电子设备包括：
[0013]一个或多个处理器；
[0014]存储器，用于存储一个或多个程序；
[0015]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术任意实施例中所提供的大数据处理方法。
[0016]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序。其中，该程序被处理器执行时实现如本专利技术任意实施例所提供的大数据处理方法。
[0017]本专利技术实施例提供的方案，基于用户在可视化界面的模型配置操作，确定数据处
理模型，并从本地数据库中获取数据处理模型对应的待处理空间数据，通过数据处理模型对待处理空间数据进行处理，得到处理结果，基于开放地理空间信息联盟OGC标准服务和/或矢量切片地图服务，以及用户在可视化界面配置的展示参数，确定处理结果对应的空间图表数据，并在可视化界面输出空间图表数据。通过这样的方式，能够对空间大数据进行自动化处理，进一步实现对数据分析处理过程和可视化展示内容的灵活定制。
附图说明
[0018]图1A为本专利技术实施例一提供的一种大数据处理方法的流程图；
[0019]图1B为本专利技术实施例一提供的确定数据处理模型的示意图；
[0020]图1C为本专利技术实施例一提供的可视化界面的示意图；
[0021]图2为本专利技术实施例二提供的一种大数据处理方法的流程图；
[0022]图3为本专利技术实施例三提供的一种大数据处理系统的结构示意图；
[0023]图4为本专利技术实施例四提供的一种大数据处理装置的结构框图；
[0024]图5为本专利技术实施例五提供的一种电子设备的结构示意图。
具体实施方式
[0025]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0026]实施例一
[0027]图1A为本专利技术实施例一提供的一种大数据处理方法的流程图，图1B为本专利技术实施例一提供的确定数据处理模型的示意图，图1C为本专利技术实施例一提供的可视化界面的示意图，本实施例可适用于如何基于用户的配置操作，自动进行数据处理并进行可视化展示的情况，该方法可以由大数据处理装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于具有大数据处理功能的电子设备。如图1A所示，本实施例提供的大数据处理方法具体包括：
[0028]S101、基于用户在可视化界面的模型配置操作，确定数据处理模型，并从本地数据库中获取数据处理模型对应的待处理空间数据。
[0029]其中，模型配置操作是指配置数据处理模型的操作，具体的，可以包括配置已有数据处理模型定时自动启动的操作，还可以包括通过拖拽数据处理模型组件，配置构建一个新的数据处理模型的操作。数据处理模型是指可以对数据进行处理操作的模型组件。本地数据库是配置于大数据处理系统本地的数据库。空间数据是指包含空间信息的数据，具体的，可以是指能够添加到地图上进行标注的包含数据的位置坐标信息的数据。非空间数据是指不包含空间信息的数据，如只包含某个地址的地名信息的数据。
[0030]可选的，数据处理模型可以包括基本的数据处理模型组件，例如，常用函数、数据过滤、表合并、表关联、地址匹配、区划统计、大小写转换、时间排序、类型转换、获取中心点、求面积、求距离以及包含分析等数据处理模型组件中的一种或多种。数据处理模型还可以包括用于数据分析的已经构建好的数据处理模型组件，例如，密度分析、格网分析、聚类分析、缓冲区分析、传统密度分析、传统缓冲区分析、叠加分析、轨迹重建分析、属性汇总统计
分析、矢量裁切分析、单对象空间查询、拓扑检查以及OD(动态调试)分析。
[0031]可选的，可以根据用户在可视化界面输入的代码，生成数据处理模型，具体的，用户可以直接打开数据处理系统中相关的脚本程序文件，自主编写输入脚本源代码，并对该源代码进行整合，生成数据处理模型，即确定数据处理模型。
[0032]可选的，基于用户在可视化界面的模型配置操作，确定数据处理模型，包括：基于用户在可视化界面对已有模型的定时启动配置操作，获取当前时刻满足定时启动需求的数据处理模型；和/或，基于用户在可视化界面对可选组件的拖拽配置操作，确定拖拽组件和所述拖拽组件之间的连接关系，并根据拖拽组件和拖拽组件之间的连接关系，生成数据处理模型。
[0033]其中，定时启动配置操作是指用户根据定时启动需求，自主配置已有数据处理模型如何定时启动的操作。配置操作可以包括配置连接关系和配置参数。可选组件是指具有数据处理功能的最小单位模型组件，将至少一个可选组件进行连接组合可以确定出一个数据处理模型。
[0034]可选的，确定数据处理模型的方式可以有很多，一种可实施方式为：基于用户在可视化界面对已有模型的定时启动配置操作，定时启本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据处理方法，其特征在于，包括：基于用户在可视化界面的模型配置操作，确定数据处理模型，并从本地数据库中获取所述数据处理模型对应的待处理空间数据；通过所述数据处理模型对所述待处理空间数据进行处理，得到处理结果；基于开放地理空间信息联盟OGC标准服务和/或矢量切片地图服务，以及用户在所述可视化界面配置的展示参数，确定所述处理结果对应的空间图表数据，并在所述可视化界面输出所述空间图表数据。2.根据权利要求1所述的方法，其特征在于，所述基于OGC标准服务和/或矢量切片地图服务，以及用户在所述可视化界面配置的展示参数，确定所述处理结果对应的空间图表数据，包括：基于OGC标准服务和/或矢量切片地图服务，对所述处理结果进行解析；根据解析结果和用户在所述可视化界面配置的展示参数，生成所述处理结果对应的空间图表数据。3.根据权利要求1所述的方法，其特征在于，所述基于用户在可视化界面的模型配置操作，确定数据处理模型，包括：基于用户在可视化界面对已有模型的定时启动配置操作，获取当前时刻满足定时启动需求的数据处理模型；和/或，基于用户在可视化界面对可选组件的拖拽配置操作，确定拖拽组件和所述拖拽组件之间的连接关系，并根据所述拖拽组件和所述拖拽组件之间的连接关系，生成数据处理模型。4.根据权利要求3所述的方法，其特征在于，生成数据处理模型之后，还包括：保存所述数据处理模型，并为所述数据处理模型配置定时启动参数。5.根据权利要求1所述的方法，其特征在于，所述通过所述数据处理模型对所述待处理空间数据进行处理，包括：通过所述数据处理模型对所述待处理空间数据进行栅格转矢量处理、融合处理、聚类处理、区域分析处理、地址匹配处理...

【专利技术属性】
技术研发人员：孙伟利，陈桂红，李娜，殷世康，刘丽正，郑传生，
申请(专利权)人：城信迪赛北京科技有限公司，
类型：发明
国别省市：