一种跨平台数据查询方法和设备技术

本发明专利技术实施例涉及及数据挖掘领域，尤其涉及一种跨平台数据查询方法和设备，用于降低数据传输量，提高数据查询效率。本发明专利技术实施例中，接收查询请求，查询请求中包括针对N个数据平台的查询条件；从N个数据平台中确定目标数据平台；针对N个数据平台中除目标数据平台之外的每个数据平台，向该数据平台发送该数据平台对应的数据迁移命令，以使该数据平台将确定出的符合该数据平台的查询条件的待查询数据发送给目标数据平台；向目标数据平台发送查询请求，接收目标数据平台返回的查询请求对应的总待查询数据。由于目标数据平台无需再将符合目标数据平台的查询条件的待查询数据进行传输，因此降低了数据传输量，提高了数据查询效率。

【技术实现步骤摘要】
一种跨平台数据查询方法和设备
本专利技术实施例涉及数据挖掘领域，尤其涉及一种跨平台数据查询方法和设备。
技术介绍
目前，随着通信技术的飞速发展，用户数据也随之增多，通常不同类型的用户数据存放于不同的平台中。比如，在电信
，用户的个人信息，比如用户的手机号码，用户的消费情况，以及流量使用情况等信息存储于天睿资讯(Teradata)数据平台中；用户的终端的信息，比如终端制式、终端屏幕大小，以及用户更换终端的频率等信息存储于甲骨文(Oracle)数据平台的数据库中；而用户对应的应用类信息，比如用户最常使用的APP，以及最常访问的网站类型等信息则存储于企业级分布式计算(Hadoop)数据平台的数据库中。具体实施中，通常需要跨平台对数据进行查询操作，举个例子，比如查询出用户的个人信息符合条件A，用户更换终端的频率的信息符合条件B，且用户最常使用的应用程序(Application，简称APP)的信息符合条件C的用户。现有技术中的解决方式为，先将Teradata数据平台中、Oracle数据平台中，以及Hadoop大数据平台中储存的所有数据全部导入至目标数据平台中，在目标数据平台中将各个数据进行关联(Join)，之后从目标数据平台中做好关联的数据中查询出“用户的个人信息符合条件A，用户更换终端的频率的信息符合条件B，且用户最常使用的APP的信息符合条件C的用户”。上述方案中，所有数据平台，即Teradata数据平台、Oracle数据平台，以及Hadoop数据平台均需要将数据传输至目标数据平台中，迁移的数据量较大，导致数据迁移成本较高，因此导致数据查询效率较低，且该过程消耗了大量的系统资源。综上所述，亟需一种跨平台数据查询方法和设备，用于降低数据传输量，提高数据查询效率，进而节省系统资源。
技术实现思路
本专利技术实施例提供一种跨平台数据查询方法和设备，用于降低数据传输量，提高数据查询效率，进而节省系统资源。本专利技术实施例提供一种跨平台数据查询方法，包括：接收查询请求，其中，所述查询请求中包括针对N个数据平台的查询条件；其中，N为大于1的整数；从所述N个数据平台中确定目标数据平台；针对所述N个数据平台中除所述目标数据平台之外的每个数据平台，向该数据平台发送该数据平台对应的数据迁移命令，以使该数据平台将确定出的符合该数据平台的查询条件的待查询数据发送给所述目标数据平台；向所述目标数据平台发送所述查询请求，接收所述目标数据平台返回的所述查询请求对应的总待查询数据。可选地，所述从所述N个数据平台中确定目标数据平台，具体包括：针对所述N个数据平台中的每个数据平台，根据该数据平台的查询条件，获取该数据平台中满足该数据平台的查询条件的待查询数据的数量；将N个待查询数据的数量中值最大的待查询数据的数量对应的数据平台确定为目标数据平台。可选地，所述针对所述N个数据平台中的每个数据平台，根据该数据平台的查询条件，获取该数据平台中满足该数据平台的查询条件的待查询数据的数量，具体包括：针对所述N个数据平台中的每个数据平台，执行：根据所述查询请求，生成该数据平台对应的查询任务；向该数据平台发送所述查询任务；其中，所述查询任务中包括该数据平台的查询条件；所述查询任务用于使该数据平台根据所述查询任务确定该数据平台中满足该数据平台的查询条件的待查询数据的数量；接收该数据平台执行所述查询任务之后返回的该数据平台对应的待查询数据的数量。可选地，所述N个数据平台中每个数据平台对应的待查询数据的数量包括该数据平台对应的待查询数据的字段数量和待查询数据的条数；所述将N个待查询数据的数量中值最大的待查询数据的数量对应的数据平台确定为目标数据平台，具体包括：针对所述N个数据平台中的每个数据平台，确定出该数据平台对应的待查询数据的字段数量和待查询数据的条数的乘积，得到该数据平台对应的乘积值；将N个乘积值中值最大的乘积值对应的数据平台确定为目标数据平台。可选地，所述数据迁移命令中还包括所述目标数据平台的数据存储格式；所述针对所述N个数据平台中除所述目标数据平台之外的每个数据平台，向该数据平台发送数据迁移命令，以使该数据平台将确定出的符合该数据平台的查询条件的待查询数据发送给所述目标数据平台，具体包括：针对所述N个数据平台中除所述目标数据平台之外的每个数据平台执行：向该数据平台发送数据迁移命令；其中，所述数据迁移命令用于使该数据平台确定出符合该数据平台的查询条件的待查询数据，并在确定所述目标数据平台的数据存储格式与该数据平台的数据存储格式不一致时，将该数据平台的待查询数据的数据存储格式转换为所述目标数据平台的数据存储格式，并将进行格式转换之后的待查询数据发送给目标数据平台。可选地，所述查询请求对应的总待查询数据是所述目标数据平台针对接收到的各个待查询数据及所述目标数据平台中储存的数据进行关联之后，根据所述查询请求从进行关联之后的数据中确定出的。可选地，所述针对所述N个数据平台中除所述目标数据平台之外的每个数据平台，向该数据平台发送该数据平台对应的数据迁移命令，以使该数据平台将确定出的符合该数据平台的查询条件的待查询数据发送给所述目标数据平台，具体包括：针对所述N个数据平台中除所述目标数据平台之外的每个数据平台，执行：向该数据平台发送该数据平台对应的数据迁移命令；其中，所述数据迁移命令用于使该数据平台将确定出的符合该数据平台的查询条件的待查询数据进行复制，并将复制的待查询数据通过不落地数据加载方法加载至所述目标数据平台，以使所述目标数据平台在接收到所述查询请求并返回的所述查询请求对应的总待查询数据之后，将该数据平台通过不落地数据加载方法加载的待查询数据从所述目标数据平台中删除。本专利技术实施例提供一种跨平台数据查询设备，包括：接收单元，用于接收查询请求，其中，所述查询请求中包括针对N个数据平台的查询条件；接收所述目标数据平台返回的所述查询请求对应的总待查询数据；其中，N为大于1的整数；处理单元，用于从所述N个数据平台中确定目标数据平台；发送单元，用于针对所述N个数据平台中除所述目标数据平台之外的每个数据平台，向该数据平台发送该数据平台对应的数据迁移命令，以使该数据平台将确定出的符合该数据平台的查询条件的待查询数据发送给所述目标数据平台；向所述目标数据平台发送所述查询请求。可选地，所述处理单元，具体用于：针对所述N个数据平台中的每个数据平台，根据该数据平台的查询条件，获取该数据平台中满足该数据平台的查询条件的待查询数据的数量；将N个待查询数据的数量中值最大的待查询数据的数量对应的数据平台确定为目标数据平台。可选地，所述处理单元，在所述针对所述N个数据平台中的每个数据平台，根据该数据平台的查询条件，获取该数据平台中满足该数据平台的查询条件的待查询数据的数量时，具体用于：针对所述N个数据平台中的每个数据平台，执行：根据所述查询请求，生成该数据平台对应的查询任务；向该数据平台发送所述查询任务；其中，所述查询任务中包括该数据平台的查询条件；所述查询任务用于使该数据平台根据所述查询任务确定该数据平台中满足该数据平台的查询条件的待查询数据的数量；接收该数据平台执行所述查询任务之后返回的该数据平台对应的待查询数据的数量。可选地，所述N个数据平台中每个数据平台对本文档来自技高网...

【技术保护点】
一种跨平台数据查询方法，其特征在于，包括：接收查询请求，其中，所述查询请求中包括针对N个数据平台的查询条件；其中，N为大于1的整数；从所述N个数据平台中确定目标数据平台；针对所述N个数据平台中除所述目标数据平台之外的每个数据平台，向该数据平台发送该数据平台对应的数据迁移命令，以使该数据平台将确定出的符合该数据平台的查询条件的待查询数据发送给所述目标数据平台；向所述目标数据平台发送所述查询请求，接收所述目标数据平台返回的所述查询请求对应的总待查询数据。

【技术特征摘要】
1.一种跨平台数据查询方法，其特征在于，包括：接收查询请求，其中，所述查询请求中包括针对N个数据平台的查询条件；其中，N为大于1的整数；从所述N个数据平台中确定目标数据平台；针对所述N个数据平台中除所述目标数据平台之外的每个数据平台，向该数据平台发送该数据平台对应的数据迁移命令，以使该数据平台将确定出的符合该数据平台的查询条件的待查询数据发送给所述目标数据平台；向所述目标数据平台发送所述查询请求，接收所述目标数据平台返回的所述查询请求对应的总待查询数据。2.如权利要求1所述的方法，其特征在于，所述从所述N个数据平台中确定目标数据平台，具体包括：针对所述N个数据平台中的每个数据平台，根据该数据平台的查询条件，获取该数据平台中满足该数据平台的查询条件的待查询数据的数量；将N个待查询数据的数量中值最大的待查询数据的数量对应的数据平台确定为目标数据平台。3.如权利要求2所述的方法，其特征在于，所述针对所述N个数据平台中的每个数据平台，根据该数据平台的查询条件，获取该数据平台中满足该数据平台的查询条件的待查询数据的数量，具体包括：针对所述N个数据平台中的每个数据平台，执行：根据所述查询请求，生成该数据平台对应的查询任务；向该数据平台发送所述查询任务；其中，所述查询任务中包括该数据平台的查询条件；所述查询任务用于使该数据平台根据所述查询任务确定该数据平台中满足该数据平台的查询条件的待查询数据的数量；接收该数据平台执行所述查询任务之后返回的该数据平台对应的待查询数据的数量。4.如权利要求2所述的方法，其特征在于，所述N个数据平台中每个数据平台对应的待查询数据的数量包括该数据平台对应的待查询数据的字段数量和待查询数据的条数；所述将N个待查询数据的数量中值最大的待查询数据的数量对应的数据平台确定为目标数据平台，具体包括：针对所述N个数据平台中的每个数据平台，确定出该数据平台对应的待查询数据的字段数量和待查询数据的条数的乘积，得到该数据平台对应的乘积值；将N个乘积值中值最大的乘积值对应的数据平台确定为目标数据平台。5.如权利要求1所述的方法，其特征在于，所述数据迁移命令中还包括所述目标数据平台的数据存储格式；所述针对所述N个数据平台中除所述目标数据平台之外的每个数据平台，向该数据平台发送数据迁移命令，以使该数据平台将确定出的符合该数据平台的查询条件的待查询数据发送给所述目标数据平台，具体包括：针对所述N个数据平台中除所述目标数据平台之外的每个数据平台执行：向该数据平台发送数据迁移命令；其中，所述数据迁移命令用于使该数据平台确定出符合该数据平台的查询条件的待查询数据，并在确定所述目标数据平台的数据存储格式与该数据平台的数据存储格式不一致时，将该数据平台的待查询数据的数据存储格式转换为所述目标数据平台的数据存储格式，并将进行格式转换之后的待查询数据发送给目标数据平台。6.如权利要求1至5任一权利要求所述的方法，其特征在于，所述查询请求对应的总待查询数据是所述目标数据平台针对接收到的各个待查询数据及所述目标数据平台中储存的数据进行关联之后，根据所述查询请求从进行关联之后的数据中确定出的。7.如权利要求1所述的方法，其特征在于，所述针对所述N个数据平台中除所述目标数据平台之外的每个数据平台，向该数据平台发送该数据平台对应的数据迁移命令，以使该数据平台将确定出的符合该数据平台的查询条件的待查询数据发送给所述目标数据平台，具体包括：针对所述N个数据平台中除所述目标数据平台之外的每个数据平台，执行：向该数据平台发送该数据平台对应的数据迁移命令；其中，所述数据迁移命令用于使该数据平台将确定出的符合该数据平台的查询条件的待查询数据进行复制，并将复制的待查询数据通过不落地数据加载方法加...

【专利技术属性】
技术研发人员：喻弘，
申请(专利权)人：中国移动通信集团上海有限公司，
类型：发明
国别省市：上海,31