一种数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置，其中该数据处理方法包括：获取各个数据源输入的多个不同的信息段；获取数据需求方的数据查询请求，并根据所述数据查询请求获取目标信息段，将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中；其中，多个不同的所述信息段由各个所述数据源将其对应的全部数据进行拆分所得到，且每个所述信息段均为唯一确定且完整的信息。本发明专利技术解决了现有技术中，大数据存储困难和查询困难的问题，数据需求方在对数据查询时，只需要关注自己的数据结构和查询数据源即可，大大提升了数据查询的效率。

A data processing method and device

【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及大数据应用
，特别是涉及一种数据处理方法及装置。
技术介绍
在如今的互联网时代，数据对于一个公司来说越来越重要，因为数据越多对公司发展的指导意义就越大。数据的增多的原因，关键在于数据的来源增多，而数据来源的增多，势必会导致数据存储系统的接入工作量加大，不同的数据来源方，有不同的数据结构要接入，每种数据结构，都需要有对应的数据库数据表进行存储，从而加大了接入和存储的难度和时间长度。另外，数据的增多，同时带来了数据杂乱的问题，在查询数据时，每个业务方自己对数据的需求又不同，而杂乱的数据会影响业务方的使用，同时已经固定的数据结构的改动，会影响所有与该数据结构有关的查询，影响面也非常大。
技术实现思路
本专利技术实施例提供一种数据处理方法及装置，以解决现有技术中，大数据存储困难和查询困难的问题。为解决上述技术问题，本专利技术实施例采用的第一技术方案如下：一种数据处理方法，其包括：获取各个数据源输入的多个不同的信息段；获取数据需求方的数据查询请求，并根据所述数据查询请求获取目标信息段；将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中；其中，多个不同的所述信息段由各个所述数据源将其对应的全部数据进行拆分所得到，且每个所述信息段均为唯一确定且完整的信息。可选地，所述将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中之后，包括：获取所述目标数据表对应的目标数据库，并将所述目标数据表存储至与其对应的所述目标数据库，其中所述目标数据库为所述数据需求方自定义且与所述目标数据表对应的数据库。可选地，所述将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中，包括：获取所述数据需求方自定义配置的所述目标数据表，所述目标数据表的不同位置对应不同的数据；判断是否获取到与所述目标数据表对应的所述目标信息段；若是，则将所述目标信息段复制到供所述数据需求方进行查询的所述目标数据表中。可选地，当没有获取到与所述目标数据表对应的所述目标信息段时，包括：向所述数据需求方发送提示信息，所述提示信息包括暂时没有所述目标信息段的信息。可选地，所述向所述数据需求方发送提示信息，所述提示信息包括暂时没有所述目标信息段的信息之后，包括：获取包含有所述目标信息段的目标数据源，并从所述目标数据源中获取所述目标信息段。可选地，所述将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中，包括：接收所述数据需求方的数据查询请求；获取所述目标信息段，并判断是否存在多个相同的所述目标信息段；若是，则选择其中一个所述目标信息段并将其复制到供所述数据需求方进行查询的目标数据表中。可选地，所述将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中之后，包括：判断是否接收到所述数据需求方查询所述目标数据表的信号；若是，则将所述目标数据表加载到供所述数据需求方查询数据的指定地址。为解决上述技术问题，本专利技术实施例采用的第二技术方案如下：一种数据处理装置，其包括：第一获取模块，用于获取各个数据源输入的多个不同的信息段；第二获取模块，用于获取数据需求方的数据查询请求，并根据所述数据查询请求获取目标信息段；信息复制模块，用于将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中；其中，多个不同的所述信息段由各个所述数据源将其对应的全部数据进行拆分所得到，且每个所述信息段均为唯一确定且完整的信息。为解决上述技术问题，本专利技术实施例采用的第三技术方案如下：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现如上述的数据处理方法。为解决上述技术问题，本专利技术实施例采用的第四技术方案如下：一种计算机设备，其包括处理器、存储器及存储于所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的数据处理方法。本专利技术实施例的有益效果是：区别于现有技术的情况，本专利技术实施例通过获取各个数据源输入的多个不同的信息段；获取数据需求方的数据查询请求，并根据所述数据查询请求获取目标信息段；将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中；其中，多个不同的所述信息段由各个所述数据源将其对应的全部数据进行拆分所得到，且每个所述信息段均为唯一确定且完整的信息，解决了现有技术中，大数据存储困难和查询困难的问题。附图说明图1是本专利技术实施例一的数据处理方法一实施方式的实施流程图；图2是本专利技术实施例二的数据处理装置一实施方式的部分结构框架图；图3是本专利技术实施例三的计算机可读存储介质一实施方式的部分结构框架图；图4是本专利技术实施例四的计算机设备一实施方式的部分结构框架图。具体实施方式实施例一请参阅图1，图1是本专利技术实施例的数据处理方法的实施流程图，结合图1可以得到，本专利技术的一种数据处理方法，包括：步骤S101：获取各个数据源输入的多个不同的信息段，将多个不同的信息段存储至数据池中。信息段即将数据使用单个字段的形式，并按标准格式传递至数据池的数据。步骤S102：获取数据需求方的数据查询请求，并根据所述数据查询请求获取目标信息段。步骤S103：将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中。其中，多个不同的所述信息段由各个所述数据源将其对应的全部数据进行拆分所得到，且每个所述信息段均为唯一确定且完整的信息。在本实施例中，可选地，所述将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中之后，包括：获取所述目标数据表对应的目标数据库，并将所述目标数据表存储至与其对应的所述目标数据库，其中所述目标数据库为所述数据需求方自定义且与所述目标数据表对应的数据库。在本实施例中，数据需求方可以配置将其中某些信息段形成一张数据表，并定义是什么数据库的数据表，比如可以定义mysql(一种数据库，可以高效的插入数据和查询关联数据)、elasticsearch(一种数据库，插入效率低，但可以高效的从1000GB以上的数据中，在一秒内查询出你想要的数据)等，数据池在收到数据后，会将数据按照配置，存入不同的数据库和数据表中。在本实施例中，可选地，所述将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中，包括：第一，获取所述数据需求方自定义配置的所述目标数据表，所述目标数据表的不同位置对应不同的数据。第二，判断是否获取到与所述目标数据表对应的所述目标信息段。第三，若获取到与所述目标数据表对应的所述目标信息段，则将所述目标信息段复制到供所述数据需求方进行查询的所述目标数据表中。在本实施例中，可选地，当没有获取到与所述目标数据表对应的所述目标信息段时，包括：向所述数据需求方发送提示信息，所述提示信息包括暂时没有所述目标信息段的信息。在本实施例中，可选地，所述向所述数据需求方发送提示信息，所述提示信息包括暂时没有所述目标信息段本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取各个数据源输入的多个不同的信息段；/n获取数据需求方的数据查询请求，并根据所述数据查询请求获取目标信息段；/n将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中；/n其中，多个不同的所述信息段由各个所述数据源将其对应的全部数据进行拆分所得到，且每个所述信息段均为唯一确定且完整的信息。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取各个数据源输入的多个不同的信息段；
获取数据需求方的数据查询请求，并根据所述数据查询请求获取目标信息段；
将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中；
其中，多个不同的所述信息段由各个所述数据源将其对应的全部数据进行拆分所得到，且每个所述信息段均为唯一确定且完整的信息。


2.根据权利要求1所述的数据处理方法，其特征在于，所述将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中之后，包括：
获取所述目标数据表对应的目标数据库，并将所述目标数据表存储至与其对应的所述目标数据库，其中所述目标数据库为所述数据需求方自定义且与所述目标数据表对应的数据库。


3.根据权利要求1所述的数据处理方法，其特征在于，所述将所述目标信息段复制到供所述数据需求方进行查询的目标数据表中，包括：
获取所述数据需求方自定义配置的所述目标数据表，所述目标数据表的不同位置对应不同的数据；
判断是否获取到与所述目标数据表对应的所述目标信息段；
若是，则将所述目标信息段复制到供所述数据需求方进行查询的所述目标数据表中。


4.根据权利要求3所述的数据处理方法，其特征在于，当没有获取到与所述目标数据表对应的所述目标信息段时，包括：
向所述数据需求方发送提示信息，所述提示信息包括暂时没有所述目标信息段的信息。


5.根据权利要求4所述的数据处理方法，其特征在于，所述向所述数据需求方发送提示信息，所述提示信息包括暂时没有所述目标信息段的信息之后，包括：
获取包含有所述目标信息段的目标数...

【专利技术属性】
技术研发人员：郭谨超，杨浩，
申请(专利权)人：北京合信力科技有限公司，
类型：发明
国别省市：北京;11