一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收用户配置的数据源信息，根据所述数据源信息获取数据源，并将所述数据源存储到数据分析池中；其中，所述数据源信息包括数据源类型和数据源地址；接收用户配置的数据过滤方式，根据所述数据过滤方式对所述数据分析池中的所述数据源进行过滤处理；将过滤处理后的数据发送至前端可视化组件。该实施方式能够解决定制开发需要投入大量的时间和精力的技术问题。

【技术实现步骤摘要】
一种数据处理方法和装置
本专利技术涉及计算机
，尤其涉及一种数据处理方法和装置。
技术介绍
数据可视化工具主要的技术实现分为两部分，一部分是可视化前端展现，均通过Web界面的配置和拖拽等操作实现前端可视化，主流产品的技术实现均趋同；另一部分是可视化后端数据的处理机制，目前主流的产品主要分为两种类型，一类是基于excel表格即格式化的数据进行数据对接处理，另一类是建立自有的数据分析平台，通过定制开发的方式实现数据对接、数据分析和数据格式化，然后与前端可视化组件进行交付。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：通过对已有数据可视化工具的调研分析和数据可视化相关项目的落地实践，发现已有数据可视化产品后端数据治理的实现方式需要通过大量的定制开发去实现数据采集、数据分析和数据对接，核心的产品逻辑是通过数据分析算法提炼不同数据应用场景的数据逻辑，完成数据可视化展现。因此，已有的数据可视化产品的实现逻辑是通过数据分析模块(算法)去实现复杂场景的数据对接，往往大量的时间花在数据可视化需求的分析，实现方式大多也是定制开发，交付方式也由产品方式变成了项目方式(定制开发)，这往往需要投入大量的时间和精力，导致开发效率较低。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据处理方法和装置，以解决定制开发需要投入大量的时间和精力的技术问题。为实现上述目的，根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：接收用户配置的数据源信息，根据所述数据源信息获取数据，并将所述数据存储到数据分析池中；其中，所述数据源信息包括数据源类型和数据源地址；接收用户配置的数据过滤方式，根据所述数据过滤方式对所述数据分析池中的所述数据进行过滤处理；将过滤处理后的数据发送至前端可视化组件。可选地，所述数据源类型为静态数据类型、接口型类型、数据库型类型或者同源组件类型。可选地，所述数据源地址为静态数据的存储路径、接口路径、数据库路径或者同源组件的标识。可选地，将过滤处理后的数据发送至前端可视化组件，包括：将过滤处理后的数据封装成JSON或者XML格式的数据，将封装后的数据发送至前端可视化组件。可选地，所述数据源信息还包括授权令牌；接收用户配置的数据源信息之前，还包括：向数据提供方发送授权请求；接收所述数据提供方返回的授权令牌；可选地，所述数据源信息还包括字段信息和更新频率。可选地，接收用户配置的数据源信息之前，还包括：将不同的数据过滤方式分别封装成不同的数据过滤器；接收用户配置的数据过滤方式，根据所述数据过滤方式对所述数据分析池中的所述数据进行过滤处理，包括：接收用户配置的数据过滤器的标识，根据所述数据过滤器对所述数据分析池中的所述数据进行过滤处理。另外，根据本专利技术实施例的另一个方面，提供了一种数据处理装置，包括：获取模块，用于接收用户配置的数据源信息，根据所述数据源信息获取数据，并将所述数据存储到数据分析池中；其中，所述数据源信息包括数据源类型和数据源地址；过滤模块，用于接收用户配置的数据过滤方式，根据所述数据过滤方式对所述数据分析池中的所述数据进行过滤处理；发送模块，用于将过滤处理后的数据发送至前端可视化组件。可选地，所述数据源类型为静态数据类型、接口型类型、数据库型类型或者同源组件类型。可选地，所述数据源地址为静态数据的存储路径、接口路径、数据库路径或者同源组件的标识。可选地，所述发送模块还用于：将过滤处理后的数据封装成JSON或者XML格式的数据，将封装后的数据发送至前端可视化组件。可选地，所述数据源信息还包括授权令牌；还包括授权模块，用于：接收用户配置的数据源信息之前，向数据提供方发送授权请求；接收所述数据提供方返回的授权令牌；可选地，所述数据源信息还包括字段信息和更新频率。可选地，所述过滤模块还用于：接收用户配置的数据源信息之前，将不同的数据过滤方式分别封装成不同的数据过滤器；接收用户配置的数据过滤器的标识，根据所述数据过滤器对所述数据分析池中的所述数据进行过滤处理。根据本专利技术实施例的另一个方面，还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现上述任一实施例所述的方法。根据本专利技术实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。上述专利技术中的一个实施例具有如下优点或有益效果：因为采用接收用户配置的数据源信息，根据数据源信息获取数据，并将数据存储到数据分析池中，接收用户配置的数据过滤方式，根据数据过滤方式对数据分析池中的数据进行过滤处理；将过滤处理后的数据发送至前端可视化组件的技术手段，所以克服了现有技术中定制开发需要投入大量的时间和精力的技术问题。本专利技术实施例根据用户配置的数据源信息和数据过滤方式，对数据进行采集、过滤和封装，实现让非IT人员也可以基于Web界面的配置操作实现数据可视化，从而实现“配置化、0编码”的数据渲染功能，减少了开发投入。上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。附图说明附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：图1是根据本专利技术实施例的数据处理方法的主要流程的示意图；图2是根据本专利技术一个可参考实施例的数据处理方法的主要流程的示意图；图3是根据本专利技术另一个可参考实施例的数据处理方法的主要流程的示意图；图4是根据本专利技术实施例的数据处理装置的主要模块的示意图；图5是本专利技术实施例可以应用于其中的示例性系统架构图；图6是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。具体实施方式以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本专利技术实施例的数据处理方法的主要流程的示意图。作为本专利技术的一个实施例，如图1所示，所述数据处理方法可以包括：步骤101，接收用户配置的数据源信息，根据所述数据源信息获取数据，并将所述数据存储到数据分析池中。用户可以在前端界面配置数据源信息，前端将用户配置的数据源信息发送至后端，后端接收用户配置的数据源信息之后，根据所述数据源信息获取数据，并将所述数据存储到数据分析池中。其中，所述数据源信息包括数据源类型和数据源地址，因此后端根据用户配置的数据源类型和数据源地址，获取对本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n接收用户配置的数据源信息，根据所述数据源信息获取数据，并将所述数据存储到数据分析池中；其中，所述数据源信息包括数据源类型和数据源地址；/n接收用户配置的数据过滤方式，根据所述数据过滤方式对所述数据分析池中的所述数据进行过滤处理；/n将过滤处理后的数据发送至前端可视化组件。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
接收用户配置的数据源信息，根据所述数据源信息获取数据，并将所述数据存储到数据分析池中；其中，所述数据源信息包括数据源类型和数据源地址；
接收用户配置的数据过滤方式，根据所述数据过滤方式对所述数据分析池中的所述数据进行过滤处理；
将过滤处理后的数据发送至前端可视化组件。


2.根据权利要求1所述的方法，其特征在于，所述数据源类型为静态数据类型、接口型类型、数据库型类型或者同源组件类型。


3.根据权利要求2所述的方法，其特征在于，所述数据源地址为静态数据的存储路径、接口路径、数据库路径或者同源组件的标识。


4.根据权利要求1所述的方法，其特征在于，将过滤处理后的数据发送至前端可视化组件，包括：
将过滤处理后的数据封装成JSON或者XML格式的数据，将封装后的数据发送至前端可视化组件。


5.根据权利要求1所述的方法，其特征在于，所述数据源信息还包括授权令牌；
接收用户配置的数据源信息之前，还包括：
向数据提供方发送授权请求；
接收所述数据提供方返回的授权令牌。


6.根据权利要求5所述的方法，其特征在于，所述数据源信息还包括字段信息和更新频率。<...

【专利技术属性】
技术研发人员：郝春苗，
申请(专利权)人：奇点浩翰数据技术北京有限公司，
类型：发明
国别省市：北京;11