本发明专利技术实施例提供了一种Hive数据处理的方法及装置，涉及数据处理技术领域，用以通过实现用户对查询数据的排序功能，满足用户需要，提高用户体验。所述方法，包括：获取数据请求消息；所述数据请求消息中携带有目标数据的排序相关信息；根据所述数据请求消息通过Hive获取目标数据；根据所述数据请求消息从Hive中确定出目标排序函数，并根据所述目标排序函数对所述目标数据进行排序；所述排序函数中记录有对数据进行排序的排序规则；通过Hive输出排序后的目标数据。本发明专利技术适用于Hive中数据排序的场景。
【技术实现步骤摘要】
本专利技术涉及数据处理
，尤其涉及一种Hive数据处理的方法及装置。
技术介绍
随着数据海量剧增，单一的计算机已经不能存储海量数据，因此，分布式集群受到了广泛的关注。在分布式集群中，可以将数据分布到多台计算机中存储并且可以实现分布式计算。Hadoop是分布式系统的基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用廉价计算机集群的能力对数据进行高速运算和存储。Hive是Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据表，提供完整的结构化查询语言(SQL，Structured Query Language)查询功能，可以将SQL语句转换为MapReduce任务进行运行，也可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，Hive是非常适合数据仓库的统计分析。Hive的类SQL语言给数据挖掘工作者带来了很多便利，海量数据通过简单的SQL语句就可以完成分析，但现有的Hive提供的函数功能仅是海量数据的提取转换加载功能，若用户为了查询的便利性，需要对查询的数据进行排序，现有的Hive提供的函数功能满足不了用户的需求。
技术实现思路
本专利技术的实施例提供一种Hive数据处理的方法及装置，用以通过实现用户对查询数据的排序功能，满足用户需要，提高用户体验。为达到上述目的，本专利技术的实施例采用如下技术方案:本专利技术实施例提供了一种Hive数据处理的方法，包括:获取数据请求消息；所述数据请求消息中携带有目标数据的排序相关信息；根据所述数据请求消息通过Hive获取目标数据；根据所述数据请求消息从Hive中确定出目标排序函数，并根据所述目标排序函数对所述目标数据进行排序；所述排序函数中记录有对数据进行排序的排序规则；通过Hive输出排序后的目标数据。可选地，在所述根据所述数据请求消息在Hive中确定出目标排序函数之前，还包括:接收至少一个排序函数；利用add file命令加载所述至少一个排序函数至Hive中。可选地，所述根据所述数据请求消息通过Hive获取目标数据包括:根据所述数据请求消息通过Hive利用load data命令获取所述目标数据。可选地，所述排序规则为对目标数据中的每个关键字key值对应的不同数值value进行预设顺序的排序。进一步的，本专利技术实施例提供了一种Hive数据处理的装置，包括:获取单元，用于获取数据请求消息；所述数据请求消息中携带有目标数据的排序相关信息；所述获取单元，还用于根据所述数据请求消息通过Hive获取目标数据；处理单元，用于根据所述获取单元获取的所述数据请求消息从Hive中确定出目标排序函数，并根据所述目标排序函数对所述目标数据进行排序；所述排序函数中记录有对数据进行排序的排序规则；输出单元，用于通过Hi ve输出排序后的目标数据。可选地，还包括:接收单元，用于接收至少一个排序函数；所述处理单元，还用于利用add file命令加载所述至少一个排序函数至Hive中。可选地，获取单元，具体用于根据所述数据请求消息通过Hive利用load data命令获取所述目标数据。可选地，所述排序规则为对目标数据中的每个key值对应的不同value值进行预设顺序的排序。本专利技术实施例提供了一种Hive数据处理的方法及装置，包括:获取数据请求消息；根据数据请求通过Hive获取目标数据；根据数据请求消息从Hive中确定出目标排序函数，并根据目标排序函数对目标数据进行排序，通过Hive输出排序后的目标数据。这样，Hive数据处理的装置可以获取数据请求消息，并根据数据请求消息通过Hive获取目标数据；根据数据请求消息在Hive中确定出目标排序函数，进而可以根据此目标排序函数对目标数据进行排序，得到用户所需的排序后的目标数据，进而可以将排序后的目标数据输出。这样一来，通过Hive数据处理的装置输出的数据是排序后的数据，进而实现了对查询数据的排序功能，满足了用户需要，提高了用户体验。【附图说明】为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种Hive数据处理的方法流程示意图；图2为本专利技术实施例提供的另一种Hive数据处理的方法流程示意图；图3为本专利技术实施例提供的一种Hive数据处理的装置的结构示意图；图4为本专利技术实施例提供的另一种Hive数据处理的装置的结构示意图。【具体实施方式】下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供了一种Hive数据处理的方法，如图1所示，包括:步骤101、获取数据请求消息。其中，数据请求消息中携带有目标数据的排序相关信息。需要说明的是，数据请求消息中携带的数据的排序相关信息可以是指明对哪些数据进行怎样排序的信息。例如，可以对A类数据进行降序排序的信息。具体的，用户在需要对查询的数据进行一定的排序时，可以向Hive数据处理的装置发送能够指示出对哪些数据进行怎样排序的数据请求消息。即为，在数据请求消息中携带有数据的排序相关信息。步骤102、根据数据请求消息通过Hive获取目标数据。具体的，Hive数据处理的装置接收到数据请求消息后，可以对数据请求消息进行解析，获取到数据请求消息中携带的目标数据的排序相关信息。这样，Hive数据处理的装置可以根据目标数据的排序相关信息确定出需要获取的目标数据，进而可以通过Hive获取目标数据。需要说明的是，在本专利技术实施例中，如何通过Hive获取目标数据与现有技术相同，本专利技术在此不再赘述。步骤103、根据数据请求消息从Hive中确定出目标排序函数，并根据目标排序函数对目标数据进行排序。 其中，排序函数中记录有对数据进行排序的排序规则。需要说明的是，在本专利技术实施例中，用户需要对数据进行排序查询时，需要预先将排序函数加载至Hive中，这样，在Hive中存储了至少一个排序函数。其中，Hive中存储的至少一个排序函数的排序规则各不同相同。具体的，Hive数据处理的装置在获取了数据请求消息，并解析出数据请求消息中携带的目标数据的排序相关信息，此时Hive数据处理的装置可以根据目标数据的排序相关信息，在已加载的排序函数中找到对应的排序函数，即为目标排序函数。这样一来，Hive数据处理的装置在找到目标排序函数后，可以将获取的目标数据，根据目标排序函数中记录的排序规则，进行相应的排序，进而可以得到排序后的目标数据。例如，用户需要对数据A进行降序排序。此时，Hive数据处理的装置获取的数据请求消息中携带的目标数据的排序相关信息是将数据A进行降序排序。这样，Hive数据处理的装置在接收到数据请求消息后，可以解析数据请求消息获取到目标数据的排序相关信息，进而可以根据目标数据的排序相关信息，通过Hive获取到目标数据，即为数据A，并根据目本文档来自技高网...
【技术保护点】
一种Hive数据处理的方法，其特征在于，包括：获取数据请求消息；所述数据请求消息中携带有目标数据的排序相关信息；根据所述数据请求消息通过Hive获取目标数据；根据所述数据请求消息从Hive中确定出目标排序函数，并根据所述目标排序函数对所述目标数据进行排序；所述排序函数中记录有对数据进行排序的排序规则；通过Hive输出排序后的目标数据。
【技术特征摘要】
【专利技术属性】
技术研发人员：宗栋瑞，郭美思，
申请(专利权)人：浪潮集团有限公司，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。