【技术实现步骤摘要】
本申请涉及数据库技术和数据可视化领域，更具体地，涉及一种基于大数据的数据可视化处理方法和系统。
技术介绍
1、在大数据可视化处理领域，现有技术在存储数据采用字段建表的方式对大数据进行处理和存储，在数据展示时，再按照这种方式根据字段从存储空间中读取这些数据进行展示，但随着用户对数据可视化展示的实时性要求的持续提升，以及数据量的快速增长，现有技术需要消耗大量的人力去业务中产生的数据进行分析归类，并使用越来越多的字段存储这些数据，这就导致数据处理的复杂度和效率大幅降低，同时仍不能数据代表的真实意义被展示出来。
2、基于此，有必要引入一种新的方法和系统，针对大规模数据进行数据特征提取，并基于提取的数据特征对大规模分类存储，同时实时统计特征数据的展示频率，并根据展示频率和特征数据结构快速响应数据可视化展示请求，解决现有技术中大规模数据可视化处理复杂和展示效率低的技术问题，从而满足用户对数据可视化展示持续提升的实时性要求和数据量快速增长的大规模数据可视化处理的业务需求，提升大规模数据可视化处理的性能、准确性和效率。
技术实现思路
1、针对上面提到的技术问题，本专利技术提供一种基于大数据的数据可视化处理方法和系统，通过根据特征数据结构构建特征库，并基于特征数据结构和特征库对大规模数据进行可视化处理和展示，实现了针对大规模数据的数据特征提取，基于提取的数据特征对大规模分类存储，实时统计特征数据的展示频率，并根据展示频率和特征数据结构快速响应数据可视化展示请求，解决了现有技术中大规模数据
2、本专利技术提供一种基于大数据的数据可视化处理方法，所述方法应用于大数据可视化数据处理平台中，所述方法包括：
3、s101，根据特征数据结构构建特征库，对源数据进行特征提取获得特征数据，并添加特征数据分类标签，将所述特征数据存储在所述特征库中，实时统计所述特征数据的展示频率；s102，接收数据可视化处理请求，根据所述特征数据结构对数据可视化处理请求进行解析，并根据解析结果确定用户名称、数据分类和描述数据；s103，根据所述用户名称和所述数据分类确定数据存储位置，并根据所述数据存储位置、所述特征数据结构和所述描述数据从所述特征库获取可视化特征数据；s104，将所述可视化特征数据通过接口发送至可视化界面展示；其中，所述特征数据结构，包括：特征库名称、用户名称、数据源属性、展示频率、展示阈值、数据存储位置、数据属性、数据特征属性、特征数据分类标签和事件属性；所述数据源属性，包括：数据源名称、数据源类型、端口号、ip地址；所述数据属性，包括：数据存储类型、数据块大小；所述数据特征属性，包括：静态特征和动态特征；所述事件属性，包括：事件名称、事件窗口长度、事件开始时间和事件结束时间；所述特征数据分类标签，根据用户的使用习惯和浏览记录等数据分析确定。
4、如上所述，步骤s01中，在将所述特征数据存储在所述特征库中之前，还需要对用户数据进行分类处理，具体步骤为：根据所述数据源属性，获取数据源的所述数据源名称、所述数据源类型、所述端口号和所述ip地址，并根据所述数据源类型调用数据源连接器，通过所述端口号和所述ip地址连接数据源；根据所述用户名称和所述事件属性，从所述数据源中获取所述源数据；根据所述数据特征属性对所述源数据进行分类，并提取分类后的源数据，添加特征数据分类标签，获得所述特征数据；初始化所述特征数据的展示频率，将所述特征数据的展示频率初始值设置为零；其中，所述特征数据，包括：静态特征数据和动态特征数据。
5、如上所述，步骤s01中，在将所述特征数据存储在所述特征库中时，还需要对特征数据进行分类存储，具体步骤为：根据所述数据特征属性，对所述特征库进行分类，分别形成静态特征库和动态特征库，并初始分配高速存储空间和低速存储空间；根据所述特征数据分类标签，将所述特征数据分别存储至对应的特征库的低速存储空间中；其中，将静态特征数据存储至静态特征库的低速存储空间中，将动态特征数据存储至动态特征库的低速存储空间中；所述高速存储空间和所述低速存储空间按照预设比例进行分配，所述预设比例根据所述特征数据的数据量进行设置，所述低速存储空间的大小为所述特征数据的数据量的1.5倍。
6、如上所述，步骤s101，在将所述特征数据存储在所述特征库中后，还包括特征数据的展示频率的实时统计和动态存储的步骤，具体为：根据所述特征数据被所述数据可视化处理请求读取的次数，实时统计所述特征数据的展示频率，当所述特征数据被所述数据可视化处理请求读取一次，则所述特征数据的展示频率加“1”；实时比较所述特征数据的展示频率和所述展示阈值，并根据比较结果对所述特征数据进行动态存储，若所述展示频率大于或等于所述展示阈值，则将所述特征数据存储至高速存储空间中，从低速存储空间中删除，并更新所述特征数据的数据存储位置，若所述展示频率小于所述展示阈值，则将所述特征数据存储至所述低速存储空间中，并从所述高速存储空间中删除，并更新所述特征数据的数据存储位置；其中，所述展示阈值由系统管理员根据大数据可视化展示的需求进行设置。
7、如上所述，步骤s102具体为：所述大数据可视化数据处理平台接收并对所述数据可视化处理请求进行解析，获得解析结果，所述解析结果包括所述用户名称、所述特征库名称、所述数据分类和所述描述数据；其中，所述数据分类与所述数据特征属性一一对应，所述描述数据包括所述数据源属性和所述事件属性。
8、如上所述，步骤103具体为：根据所述用户名称和所述数据分类确定与所述数据可视化处理请求对应的数据特征属性；根据与所述数据可视化处理请求对应的数据特征属性确定所述特征数据的特征数据分类标签，并由所述特征数据分类标签确定所述特征数据的数据存储位置；根据所述描述数据确定所述数据可视化处理请求对应的事件名称、事件窗口长度、事件开始时间和事件结束时间；基于所述特征数据结构，根据所述特征数据的数据存储位置，以及所述数据可视化处理请求对应的事件名称、事件窗口长度、事件开始时间和事件结束时间，从所述特征库中获取可视化特征数据。
9、优选地，所述数据可视化处理请求对应一个或多个所述用户名称，一个所述用户名称对应一个或者多个事件，所述事件的事件窗口长度由所述事件开始时间和所述事件结束时间确定，
10、事件窗口长度＝事件结束时间-事件开始时间；
11、当所述事件的事件窗口长度等于“0”，所述事件为无效事件。
12、优选地，所述可视化特征数据由静态可视化特征数据和动态可视化特征数据构成，所述动态可视化特征数据与所述动态特征数据对应；
13、若处理所述数据可视化处理请求后，再次接收与所述数据可视化处理请求相同的数据可视化处理请求，则基于所述特征数据结构，根据所述特征数据的数据存储位置，以及所述数据可视化处理请本文档来自技高网...
【技术保护点】
1.一种基于大数据的数据可视化处理方法，其特征在于，所述方法应用于大数据可视化数据处理平台中，所述方法包括：
2.如权利要求1所述的方法，其特征在于，步骤S01中，在将所述特征数据存储在所述特征库中之前，还需要对用户数据进行分类处理，具体步骤为：
3.如权利要求1所述的方法，其特征在于，步骤S01中，在将所述特征数据存储在所述特征库中时，还需要对特征数据进行分类存储，具体步骤为：
4.如权利要求1所述的方法，其特征在于，步骤S101，在将所述特征数据存储在所述特征库中后，还包括特征数据的展示频率的实时统计和动态存储的步骤，具体为：
5.如权利要求1所述的方法，其特征在于，步骤S102具体为：
6.如权利要求1所述的方法，其特征在于，步骤103具体为：
7.如权利要求6所述的方法，其特征在于，所述数据可视化处理请求对应一个或多个所述用户名称，一个所述用户名称对应一个或者多个事件，所述事件的事件窗口长度由所述事件开始时间和所述事件结束时间确定，
8.如权利要求6所述的方法，其特征在于，所述可视化特征数
9.一种实施权利要求1所述基于大数据的数据可视化处理方法的系统，其特征在于，所述系统包括特征库构建模块、请求处理模块、可视化特征数据获取模块和可视化特征数据展示模块；
...【技术特征摘要】
1.一种基于大数据的数据可视化处理方法，其特征在于，所述方法应用于大数据可视化数据处理平台中，所述方法包括：
2.如权利要求1所述的方法，其特征在于，步骤s01中，在将所述特征数据存储在所述特征库中之前，还需要对用户数据进行分类处理，具体步骤为：
3.如权利要求1所述的方法，其特征在于，步骤s01中，在将所述特征数据存储在所述特征库中时，还需要对特征数据进行分类存储，具体步骤为：
4.如权利要求1所述的方法，其特征在于，步骤s101，在将所述特征数据存储在所述特征库中后，还包括特征数据的展示频率的实时统计和动态存储的步骤，具体为：
5.如权利要求1所述的方法，其特征在于，步骤s1...
【专利技术属性】
技术研发人员：李文峰，林学博，李旭升，
申请(专利权)人：北京柏睿数据技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。