基于SQL的APP流量数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及埋点追踪技术领域，揭露了一种基于SQL的APP流量数据处理方法、装置、设备及存储介质。所述方法包括：在接收到APP的流量数据处理指令后，根据第一目标函数从APP的关系映射表拼接出一行可执行SQL，并将该行可执行SQL写入至分布式文件系统中的预设远程存储路径；根据目标命令将预设远程存储路径中存储的一行可执行SQL转换成本地变量，并在读取本地变量后，获取并执行一行可执行SQL，将执行结果存储至数据仓库工具中；根据数据仓库工具的侧视图和第二目标函数将数据仓库工具中存储的一行可执行SQL对应的执行结果转换成多行APP流量统计结果。本发明专利技术的APP流量统计结果能准确反映出用户的行为轨迹和习惯，同时可快速开发、可扩展性强、可延展性高。可延展性高。可延展性高。

【技术实现步骤摘要】
基于SQL的APP流量数据处理方法、装置、设备及存储介质


[0001]本专利技术涉及数据采集的埋点追踪
，尤其揭露了一种基于SQL的APP流量数据处理方法、装置、设备及存储介质。

技术介绍

[0002]热力图是分析APP(Application，应用程序)访问者进行交互和用户行为的一个简单而有效的方式，通过热力图可体现出APP点击、浏览、触达率、注意力等各种指标，帮助使用者分析出用户的行为轨迹，以令使用者洞察出当前的市场趋势，并根据市场趋势及时制定出具有针对性的经营决策依据，同时可提高用户对APP的体验效果，进而提升APP用户注册量、日活量、留存率和获客转化率等。
[0003]目前，基于大数据的热力图数据分析的计算框架包括mapreduce、spark、flink等，而这些计算框架对java，scala等语言编码水平要求较高，且现有的数据分析技术大部分都是基于Hive搭建hadoop数据仓库，且主要通过SQL语言进行编写，因此对于大部分数据分析的开发人员来说，若要使用上述的计算框架，会与底层引擎编码存在不匹配的问题，由此也会出现数据分析技术门槛高和开发维护成本高等问题，进而可能会抛弃对HIVE的开发，丧失了HIVE的快速开发、可扩展性强、可延展性高等优势。因此本领域技术人员亟需寻找一种新的技术方案来解决如何匹配HIVE和计算框架的技术问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种基于SQL的APP流量数据处理方法、装置、设备及存储介质，本专利技术基于SQL开发的拼接完成的可执行SQL都可在各个计算框架运行，对于计算框架的适用性强，且其APP流量统计结果能准确反映出用户的行为轨迹和习惯，同时保留了数据仓库HIVE的可快速开发、可扩展性强、可延展性高等优点。
[0005]一种基于SQL的APP流量数据处理方法，包括：
[0006]在接收到APP的流量数据处理指令后，获取所述APP的关系映射表；所述关系映射表中表征了所述APP的APP埋点条件与热力图之间的映射关系；
[0007]根据第一目标函数从所述关系映射表拼接得到一行可执行SQL，并将该行可执行SQL写入至分布式文件系统中的预设远程存储路径；
[0008]根据目标命令将所述预设远程存储路径中存储的所述一行可执行SQL转换成本地变量，并在读取本地变量后，获取并执行所述一行可执行SQL，将执行该行可执行SQL完成后的执行结果存储至数据仓库工具中；
[0009]根据数据仓库工具的侧视图和第二目标函数将数据仓库工具中存储的所述一行可执行SQL对应的执行结果转换成多行APP流量统计结果，并将多行APP流量统计结果同步显示至前端页面中。
[0010]一种基于SQL的APP流量数据处理装置，包括：
[0011]获取模块，用于在接收到APP的流量数据处理指令后，获取所述APP的关系映射表；
所述关系映射表中表征了所述APP的APP埋点条件与热力图之间的映射关系；
[0012]写入模块，用于根据第一目标函数从所述关系映射表拼接得到一行可执行SQL，并将该行可执行SQL写入至分布式文件系统中的预设远程存储路径；
[0013]存储模块，用于根据目标命令将所述预设远程存储路径中存储的所述一行可执行SQL转换成本地变量，并在读取本地变量后，获取并执行所述一行可执行SQL，将执行该行可执行SQL完成后的执行结果存储至数据仓库工具中；
[0014]同步模块，用于根据数据仓库工具的侧视图和第二目标函数将数据仓库工具中存储的所述一行可执行SQL对应的执行结果转换成多行APP流量统计结果，并将多行APP流量统计结果同步显示至前端页面中。
[0015]一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于SQL的APP流量数据处理方法。
[0016]一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于SQL的APP流量数据处理方法。
[0017]上述一种基于SQL的APP流量数据处理方法、装置、设备及存储介质，在接收到APP的流量数据处理指令后，获取所述APP的关系映射表；所述关系映射表中表征了所述APP的APP埋点条件与热力图之间的映射关系；根据第一目标函数从所述关系映射表拼接得到一行可执行SQL，并将该行可执行SQL写入至分布式文件系统中的预设远程存储路径；根据目标命令将所述预设远程存储路径中存储的所述一行可执行SQL转换成本地变量，并在读取本地变量后，获取并执行所述一行可执行SQL，将执行该行可执行SQL完成后的执行结果存储至数据仓库工具中；根据数据仓库工具的侧视图和第二目标函数将数据仓库工具中存储的所述一行可执行SQL对应的执行结果转换成多行APP流量统计结果，并将多行APP流量统计结果同步显示至前端页面中；一方面APP流量统计结果能准确反映出用户的行为轨迹以及用户习惯，使用者可根据精确的统计结果作出针对的措施，以提高用户的体验效果；另一方面APP流量统计结果是基于SQL开发的，而目前市场流行的三大计算框架mapreduce、spark和flink都存在可用SQL进行开发的SQL模块，因此本专利技术基于SQL开发的拼接完成的可执行SQL都可在各个计算框架运行，并得到满足于统计需求的APP流量统计结果；同时由于本专利技术是基于SQL开发的，因此能通过SQL较好对接于数据仓库HIVE，适用于大多数的开发人员所使用的开发语言，降低了人工的开发条件，同时保留之前使用数据仓库HIVE的优点，如快速开发、可扩展性强和可延展性高。
附图说明
[0018]为了更清楚地说明本专利技术实施例的技术方案，下面将对本专利技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本专利技术一实施例中一种基于SQL的APP流量数据处理方法的一应用环境示意图；
[0020]图2是本专利技术一实施例中一种基于SQL的APP流量数据处理方法的一流程图；
[0021]图3是本专利技术一实施例中一种基于SQL的APP流量数据处理装置的结构示意图；
[0022]图4是本专利技术一实施例中计算机设备的一示意图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0024]本专利技术提供的一种基于SQL的APP流量数据处理方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务器进行通信。其中，客户端可以包括但不限于各种个人计算机、笔记本电脑、智能手机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SQL的APP流量数据处理方法，其特征在于，包括：在接收到APP的流量数据处理指令后，获取所述APP的关系映射表；所述关系映射表中表征了所述APP的APP埋点条件与热力图之间的映射关系；根据第一目标函数从所述关系映射表拼接得到一行可执行SQL，并将该行可执行SQL写入至分布式文件系统中的预设远程存储路径；根据目标命令将所述预设远程存储路径中存储的所述一行可执行SQL转换成本地变量，并在读取本地变量后，获取并执行所述一行可执行SQL，将执行该行可执行SQL完成后的执行结果存储至数据仓库工具中；根据数据仓库工具的侧视图和第二目标函数将数据仓库工具中存储的所述一行可执行SQL对应的执行结果转换成多行APP流量统计结果，并将多行APP流量统计结果同步显示至前端页面中。2.根据权利要求1所述的基于SQL的APP流量数据处理方法，其特征在于，所述获取所述APP的关系映射表之前，还包括：在前端页面中预设目标的页面位置设置所述APP埋点条件；为所述APP埋点条件设置热力图的数据分析条件，根据所述热力图的数据分析方法设置所述APP埋点条件和所述热力图的关系映射表。3.根据权利要求1所述的基于SQL的APP流量数据处理方法，其特征在于，所述根据目标命令将所述预设远程存储路径中存储的所述一行可执行SQL转换成本地变量，包括：根据所述目标命令将分布式文件系统组成集群中的预设远程存储路径存储的SQL移动到本地客户端，并将所述客户端中的所述一行可执行SQL作为所述本地变量。4.根据权利要求1所述的基于SQL的APP流量数据处理方法，其特征在于，所述根据数据仓库工具的侧视图和第二目标函数将数据仓库工具中存储的所述一行可执行SQL对应的执行结果转换成多行APP流量统计结果，并将多行APP流量统计结果同步显示至前端页面中之后，还包括：在获取到所述前端页面中的关系映射表的重新配置指令后，根据重新配置的关系映射表对该关系映射表对应的可执行SQL进行调整。5.根据权利要求1所述的基于SQL的APP流量数据处理方法，其特征在于，所述根据数据仓库工具的侧视图和第二目标函数将数据仓库工具中存储的所述一行可执行SQL对应的执行结果转换成多行APP流量统计结果，包括：根据所述第二目标函数调用预设初始化方法，并通过所述预设初始化方法获取与所述一行可执行SQL对应的执行结果所关联的返回行数据；根据所述第二目标函数调用预设进程方法，并通过所述预设进程方法和所述返回行数据对所述...

【专利技术属性】
技术研发人员：王先锋，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：