基于类结构化查询语句的数据处理方法和装置制造方法及图纸

本发明专利技术公开了基于类结构化查询语句的数据处理方法和装置，涉及计算机及技术领域。该方法的一具体实施方式包括：获取至少一个数据处理参数，并根据至少一个数据处理参数生成数据处理任务；将数据处理任务转化为类结构化查询语句；判断目标数据是否符合类结构化查询语句中的选择条件，若是，则将目标数据插入数据处理任务的关键字对应的有序集中。该实施方式提供一种基于类结构话查询语句的数据处理方法，不需要部署额外的运行环境，并且可以达到时间上无缝上线的效果，加强了数据处理的通用性，提高了数据处理的计算速度。

Data Processing Method and Device Based on Class Structured Query Statement

【技术实现步骤摘要】
基于类结构化查询语句的数据处理方法和装置
本专利技术涉及计算机
，尤其涉及一种基于类结构化查询语句的数据处理方法和装置。
技术介绍
随着软硬件的飞速发展，新经济体逐渐的崛起，同时也促成了大数据实时计算的架构落地和应用，依托实时计算框架落地的各种人工智能技术也得到了迅猛发展。实时计算需要精准计算出截至到目前这个时刻向前N分钟、N小时或N天的时间段内的计算结果，或者当分钟、当小时、当天或当月的计算结果，所以选用的实时计算引擎起到关键性作用。目前，比较常用的用于实时数据处理的开源的项目有storm(即，一种开源的分布式实时大数据处理框架)、sparkstreaming(即，一种实现高吞吐量的、具备容错机制的实时流数据处理框架)、flink(即，一种分布式大数据处理引擎)等。在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：(1)storm、sparkstreaming和flink需要部署相应的环境才能够运行；(2)storm、sparkstreaming和flink的应用都是以软件程序包的形式提交到服务器上运行，如果程序有修改的话，就需要重新打包上传服务器，停掉老的程序，再运行新的程序，很难做到时间上无缝的上线；(3)storm、sparkstreaming和flink很难做成一套通用的程序，每次都要重新去开发代码实现；(4)storm需要缓存整个窗口的所有数据，窗口结束时一起计算，造成了计算的瓶颈、整体的吞吐较低，会造成数据不准；sparkstreaming是对流式数据进行批处理，难做到秒级甚至亚秒级的延迟。
技术实现思路
有鉴于此，本专利技术实施例提供一种基于类结构化查询语句的数据处理方法和装置，不需要部署额外的运行环境，并且可以达到时间上无缝上线的效果，加强了数据处理的通用性，提高了数据处理的计算速度。为实现上述目的，根据本专利技术实施例的第一方面，提供了一种基于类结构化查询语句的数据处理方法。本专利技术实施例的一种基于类结构化查询语句的数据处理方法，包括：获取至少一个数据处理参数，并根据所述至少一个数据处理参数生成数据处理任务；将所述数据处理任务转化为类结构化查询语句；判断目标数据是否符合所述类结构化查询语句中的选择条件，若是，则将所述目标数据插入所述数据处理任务的关键字对应的有序集中。可选地，所述将所述目标数据插入所述数据处理任务的关键字对应的有序集中，包括：根据所述数据处理任务，从所述目标数据中选择第一存储数据和第二存储数据；确定所述数据处理任务的关键字，并将所述第一存储数据和所述第二存储数据插入所述关键字对应的有序集中。可选地，在确定所述数据处理任务的关键字之前，所述方法还包括：获取所述数据处理任务的唯一标识，并确定所述至少一个数据处理参数中的任务维度参数；根据所述数据处理任务的唯一标识和所述任务维度参数，生成所述数据处理任务的关键字。可选地，所述将所述第一存储数据和所述第二存储数据插入所述关键字对应的有序集中，包括：在所述至少一个数据处理参数中包括去重参数的情况下，判断所述关键字对应的有序集中是否包括所述第一存储数据，若是，则直接更新所述第二存储数据。可选地，在将所述目标数据插入所述数据处理任务的关键字对应的有序集中之前，所述方法还包括：确定所述目标数据的目标时间，并根据所述至少一个数据处理参数中的时间参数和所述目标时间，判断所述数据处理任务的关键字对应的有序集中是否存在超期数据，若是，则将所述超期数据删除。可选地，在判断目标数据是否满足所述类结构化查询语句中的选择条件之前，所述方法还包括：对原始数据集进行清洗，并对清洗后的原始数据集中的数据进行格式统一化处理，得到目标数据。可选地，所述方法还包括：根据数据查询请求，确定当前时间和所述至少一个数据处理参数中的时间参数，对所述第二存储数据进行过滤，并按照所述至少一个数据处理参数中的执行参数对经过过滤的第二存储数据进行处理，得到数据查询结果。为实现上述目的，根据本专利技术实施例的第二方面，提供了一种基于类结构化查询语句的数据处理装置。本专利技术实施例的一种基于类结构化查询语句的数据处理装置，包括：生成模块，用于获取至少一个数据处理参数，并根据所述至少一个数据处理参数生成数据处理任务；转化模块，用于将所述数据处理任务转化为类结构化查询语句；插入模块，用于判断目标数据是否符合所述类结构化查询语句中的选择条件，若是，则将所述目标数据插入所述数据处理任务的关键字对应的有序集中。可选地，所述插入模块还用于：根据所述数据处理任务，从所述目标数据中选择第一存储数据和第二存储数据；确定所述数据处理任务的关键字，并将所述第一存储数据和所述第二存储数据插入所述关键字对应的有序集中。可选地，所述插入模块还用于：获取所述数据处理任务的唯一标识，并确定所述至少一个数据处理参数中的任务维度参数；根据所述数据处理任务的唯一标识和所述任务维度参数，生成所述数据处理任务的关键字。可选地，所述插入模块还用于：在所述至少一个数据处理参数中包括去重参数的情况下，判断所述关键字对应的有序集中是否包括所述第一存储数据，若是，则直接更新所述第二存储数据。可选地，所述装置还包括判断模块，用于：确定所述目标数据的目标时间，并根据所述至少一个数据处理参数中的时间参数和所述目标时间，判断所述数据处理任务的关键字对应的有序集中是否存在超期数据，若是，则将所述超期数据删除。可选地，所述转化模块还用于：对原始数据集进行清洗，并对清洗后的原始数据集中的数据进行格式统一化处理，得到目标数据。可选地，所述装置还包括查询模块，用于：根据数据查询请求，确定当前时间和所述至少一个数据处理参数中的时间参数，对所述第二存储数据进行过滤，并按照所述至少一个数据处理参数中的执行参数对经过过滤的第二存储数据进行处理，得到数据查询结果。为实现上述目的，根据本专利技术实施例的第三方面，提供了一种电子设备。本专利技术实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本专利技术实施例的基于类结构化查询语句的数据处理方法。为实现上述目的，根据本专利技术实施例的第四方面，提供了一种计算机可读介质。本专利技术实施例的一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本专利技术实施例的基于类结构化查询语句的数据处理方法。上述专利技术中的一个实施例具有如下优点或有益效果：能够根据数据处理参数生成数据处理任务，然后将该数据处理任务转化为类结构化查询语句，从而可以直接利用转化的类结构化查询语句对目标数据进行验证判断，将符合选择条件的目标数据存储至数据处理任务的关键字对应的有序集中，克服了现有开源框架需要部署运行环境的技术问题，并且可以达到时间上无缝上线的效果，加强了数据处理的通用性，提高了数据处理的计算速度。此外，本专利技术实施例的基于类结构化查询语句的数据处理方法中，根据任务的关键字将符合选择条件的目标数据中的第一存储数据和第二存储数据插入关键字对应的有序集中，从而可以在有数据查询请求时，能够直接根据关键字进行查询，提高了数据查询的效率，进一步提高数据处理的计算速度。另外，本专利技术实施例的基于类结构化查询语句的数据处理方法中，还考虑了去重参数的情况，应用场景广泛，通用性强。上本文档来自技高网...

【技术保护点】
1.一种基于类结构化查询语句的数据处理方法，其特征在于，包括：获取至少一个数据处理参数，并根据所述至少一个数据处理参数生成数据处理任务；将所述数据处理任务转化为类结构化查询语句；判断目标数据是否符合所述类结构化查询语句中的选择条件，若是，则将所述目标数据插入所述数据处理任务的关键字对应的有序集中。

【技术特征摘要】
1.一种基于类结构化查询语句的数据处理方法，其特征在于，包括：获取至少一个数据处理参数，并根据所述至少一个数据处理参数生成数据处理任务；将所述数据处理任务转化为类结构化查询语句；判断目标数据是否符合所述类结构化查询语句中的选择条件，若是，则将所述目标数据插入所述数据处理任务的关键字对应的有序集中。2.根据权利要求1所述的方法，其特征在于，所述将所述目标数据插入所述数据处理任务的关键字对应的有序集中，包括：根据所述数据处理任务，从所述目标数据中选择第一存储数据和第二存储数据；确定所述数据处理任务的关键字，并将所述第一存储数据和所述第二存储数据插入所述关键字对应的有序集中。3.根据权利要求2所述的方法，其特征在于，在确定所述数据处理任务的关键字之前，所述方法还包括：获取所述数据处理任务的唯一标识，并确定所述至少一个数据处理参数中的任务维度参数；根据所述数据处理任务的唯一标识和所述任务维度参数，生成所述数据处理任务的关键字。4.根据权利要求2所述的方法，其特征在于，所述将所述第一存储数据和所述第二存储数据插入所述关键字对应的有序集中，包括：在所述至少一个数据处理参数中包括去重参数的情况下，判断所述关键字对应的有序集中是否包括所述第一存储数据，若是，则直接更新所述第二存储数据。5.根据权利要求1所述的方法，其特征在于，在将所述目标数据插入所述数据处理任务的关键字对应的有序集中之前，所述方法还包括：确定所述目标数据的目标时间，并根据所述至少一个数据处理参数中的时间参数和所述目标时间，判断所述数据处理任务的关键字对应的有序集中是否存在超期数据，若是，则将所述超期数据删除。6.根据权利要求1所述的方法，其特征在于，在判断目标数据是否满足所述类结构化查询语句中的选择条件之前，所述方法还包括：对原始数据集进行清洗，并对清洗后的原始数据集中的数据进行格式统一化处理，得到目标数据。7.根据权利要求2所述的方法，其特征在于，所述方法还包括：根据数据查询请求，确定当前时间和所述至少一个数据处理参数中的时间参数，对所述第二存储数据进行过滤，并按照所述至少一个数据处理参数中的执行参数对经过过滤的第二存储数据进行处理，得到数据查询结果。8.一种基于类结构化查询语句的数据处理装置，其特征在于，包括：生成模块，...

【专利技术属性】
技术研发人员：钱智钦，程建波，吕军，王美青，
申请(专利权)人：京东数字科技控股有限公司，
类型：发明
国别省市：北京,11