一种数据处理方法和装置制造方法及图纸

本发明专利技术实施例提供一种数据处理方法和装置，周期性地将数据仓库中的每个客户信息表，转换成携带该表的结构信息的元数据文件和携带该表中的客户信息的客户数据文件，通过将元数据文件和客户数据文件加载到分布式缓存系统，实现将全量客户属性数据周期性主动加载到分布式缓存系统。由于采用分布式缓存系统来缓存海量的客户属性数据，可以有效保证提供客户属性数据的响应速度、吞吐量和稳定性。

【技术实现步骤摘要】
一种数据处理方法和装置
本专利技术涉及移动通信
，尤其涉及一种数据处理方法和装置。
技术介绍
在经营分析系统中，通过客户属性服务将分散在各个系统中的各种客户级数据重新组织、合理分类，构成客户属性数据集，业务运营支撑系统（BOSS）、客户服务系统、外呼管理系统、营销管理系统、掌上经营分析系统等应用系统需要通过客户属性服务实现对不同客户属性数据的高效、可靠访问。现有的客户属性服务为了满足应用系统的访问需求，针对每一应用系统的需求，开发相应的客户属性汇总程序，周期性地对相应的客户信息表进行汇总，将汇总完成的客户属性数据存储到相应的关系型数据库表中，并可以通过索引、分区等技术进行查询优化，将客户属性数据提供给相应的应用程序。现有的客户属性服务提供客户属性数据的方法示意图可以如图1所示。现有的客户属性服务提供客户属性数据的方法至少存在以下问题：1．由于移动通信行业客户规模庞大，基于关系型数据库存储的海量客户属性数据虽然经过查询优化，但是性能仍然不够理想，并且易受到关系数据库负荷的影响，客户属性服务的响应速度、吞吐量和稳定性需要进一步提升。2．针对每种应用程序需要开发一套客户属性汇总程序、生成一套客户属性数据表，扩展性和灵活性较差，且存在数据冗余。
技术实现思路
本专利技术实施例提供一种数据处理方法和装置，用于提高提供客户属性数据的响应速度、吞吐量和稳定性。一种数据处理方法，所述方法包括：针对数据仓库中的每个客户信息表，周期性地将该客户信息表转换成待缓存文件，所述待缓存文件中包括元数据文件和客户数据文件，所述元数据文件包括该客户信息表的表结构信息，所述客户数据文件包括该客户信息表中的每条客户信息，一条客户信息中包括至少一个客户属性对应的客户属性数据；将所述元数据文件和所述客户数据文件加载到分布式缓存系统。一种数据处理装置，所述装置包括：转换模块，用于针对数据仓库中的每个客户信息表，周期性地将该客户信息表转换成待缓存文件，所述待缓存文件中包括元数据文件和客户数据文件，所述元数据文件包括该客户信息表的表结构信息，所述客户数据文件包括该客户信息表中的每条客户信息，一条客户信息中包括至少一个客户属性对应的客户属性数据；加载模块，用于将转换模块转换出的所述元数据文件和所述客户数据文件加载到分布式缓存系统。根据本专利技术实施例提供的方案，周期性地将数据仓库中的每个客户信息表，转换成携带该表的结构信息的元数据文件和携带该表中的客户信息的客户数据文件，通过将元数据文件和客户数据文件加载到分布式缓存系统，实现将全量客户属性数据周期性主动加载到分布式缓存系统。由于采用分布式缓存系统来缓存海量的客户属性数据，可以有效保证提供客户属性数据的响应速度、吞吐量和稳定性。附图说明图1为现有技术提供的客户属性服务提供客户属性数据的方法示意图；图2为本专利技术实施例一提供的数据处理方法的步骤流程图；图3为本专利技术实施例一提供的键值对的示意图；图4为本专利技术实施例二提供的数据处理装置的结构示意图；图5为本专利技术实施例三提供的客户属性数据加载方法的流程示意图；图6为本专利技术实施例三提供的客户属性数据加载方法的步骤流程图；图7为本专利技术实施例四提供的客户属性数据加载方法的步骤流程图；图8为本专利技术实施例五提供的客户属性数据提供方法的流程示意图；图9为本专利技术实施例五提供的客户属性数据提供方法的步骤流程图；图10为本专利技术实施例六提供的客户属性数据提供方法的步骤流程图。具体实施方式在本专利技术实施例中，通过采用分布式缓存系统来缓存海量的客户属性数据，从而有效保证提供客户属性数据的实时性和可靠性，解决基于关系型数据库存储的海量客户属性数据虽然经过查询优化，但是性能仍然不够理想，并且易受到关系数据库负荷的影响的问题。而为了避免为了满足各应用程序的要求，需要针对每一应用程序开发一套客户属性汇总程序、生成一套客户属性数据表，导致扩展性和灵活性较差，且存在数据冗余的问题，本专利技术实施例提出，可以将全量客户属性数据周期性地主动加载到分布式缓存系统，根据配置的应用程序和客户属性的对应关系，针对各应用程序，分别从全量客户属性数据提取对应的客户属性数据。下面结合说明书附图和各实施例对本专利技术方案进行说明。实施例一、本专利技术实施例一提供一种数据处理方法，该方法的步骤流程可以如图2所示，包括：步骤101、进行数据转换。为了将全量客户属性数据写入内存，在本步骤中，可以针对数据仓库中的每个客户信息表，周期性地将该客户信息表转换成待缓存文件。所述待缓存文件中包括元数据文件和客户数据文件，所述元数据文件包括该客户信息表的表结构信息，所述客户数据文件包括该客户信息表中的每条客户信息，一条客户信息中包括至少一个客户属性对应的客户属性数据。步骤102、进行数据加载。在本步骤中，可以将所述元数据文件和所述客户数据文件加载到分布式缓存系统，如内存缓存集群（memcached）、完全分布式集群（Hbase）等。从而可以将数据仓库中的每个客户信息表周期性地加载到分布式缓存系统，实现全量客户属性数据周期性主动加载到分布式缓存系统。分布式缓存系统，可以将多个节点（可以理解为内存缓存装置）的空闲内存利用起来组成统一的数据缓存系统，数据按照一定的算法分散存储在多个节点上。在数据查询时，再按照一定的算法到数据存储节点上读取数据。由于分布式缓存系统具有数据查询的处理时间稳定在数十毫秒级，响应速度可以达到数万每秒处理事务数（TPS），能够达到高实时、高并发向外系统提供数据的优异特性，可以保证后续提供客户属性数据的响应速度、吞吐量和稳定性。具体的，在本步骤中，可以以键值对（Key-Value-Pair）形式，将所述元数据文件加载到分布式缓存系统；以键值对形式，将所述客户数据文件加载到分布式缓存系统。较优的，键值对的示意图可以如图3所示。将为所述元数据文件生成的通用唯一标识码（UUID，UniversallyUniqueIdentifier）作为所述元数据文件的键（Key），将所述元数据文件中包括的客户信息表的表结构信息作为所述元数据文件的值（Value）；将转换出所述客户数据文件的客户信息表的表标识，以及一条客户信息对应的客户标识作为所述客户数据文件中该条客户信息的键，将该条客户信息以及为所述元数据文件生成的UUID作为所述客户数据文件中该条客户信息的值。步骤103、进行数据提供。将所述元数据文件和所述客户数据文件加载到分布式缓存系统之后，可以通过以下方式向应用程序提供客户属性数据：接收客户属性数据查询请求，该客户属性数据查询请求携带发送该客户属性数据查询请求的应用程序标识。根据预先配置的应用程序与客户属性的对应关系，确定所述应用程序标识表示的应用程序对应的客户属性。根据确定出的客户属性所对应的元数据文件和客户数据文件，确定该客户属性对应的客户属性数据。当然，确定该客户属性对应的客户属性数据后，可以将确定出的客户属性数据提供给应用程序，使得无需针对每种应用程序开发一套客户属性汇总程序、生成一套客户属性数据表，也能满足各应用程序的需要。同时，可以接收任一应用程序的客户属性数据查询请求，通过预先配置该应用程序与客户属性的对应关系，向该应用程序提供相应的客户属性数据，提高客户属性数据提供的扩展性和灵活性。而由于针对每一应用程序均从全量客户属性数本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，所述方法包括：针对数据仓库中的每个客户信息表，周期性地将该客户信息表转换成待缓存文件，所述待缓存文件中包括元数据文件和客户数据文件，所述元数据文件包括该客户信息表的表结构信息，所述客户数据文件包括该客户信息表中的每条客户信息，一条客户信息中包括至少一个客户属性对应的客户属性数据；将所述元数据文件和所述客户数据文件加载到分布式缓存系统。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：针对数据仓库中的每个客户信息表，周期性地将该客户信息表转换成待缓存文件，所述待缓存文件中包括元数据文件和客户数据文件，所述元数据文件包括该客户信息表的表结构信息，所述客户数据文件包括该客户信息表中的每条客户信息，一条客户信息中包括至少一个客户属性对应的客户属性数据；将所述元数据文件和所述客户数据文件加载到分布式缓存系统；接收客户属性数据查询请求，该客户属性数据查询请求携带发送该客户属性数据查询请求的应用程序标识；根据预先配置的应用程序与客户属性的对应关系，确定所述应用程序标识表示的应用程序对应的客户属性；根据确定出的客户属性所对应的元数据文件和客户数据文件，确定该客户属性对应的客户属性数据。2.如权利要求1所述的方法，其特征在于，将所述元数据文件和所述客户数据文件加载到分布式缓存系统，具体包括：以键值对形式，将所述元数据文件加载到分布式缓存系统；以键值对形式，将所述客户数据文件加载到分布式缓存系统。3.如权利要求2所述的方法，其特征在于，将为所述元数据文件生成的通用唯一标识码UUID作为所述元数据文件的键，将所述元数据文件中包括的客户信息表的表结构信息作为所述元数据文件的值；将转换出所述客户数据文件的客户信息表的表标识，以及一条客户信息对应的客户标识作为所述客户数据文件中该条客户信息的键，将该条客户信息以及为所述元数据文件生成的UUID作为所述客户数据文件中该条客户信息的值。4.如权利要求3所述的方法，其特征在于，客户属性数据查询请求中还携带客户标识；根据确定出的客户属性所对应的元数据文件和客户数据文件，确定客户属性数据，具体包括：针对所述应用程序对应的每个客户属性，确定该客户属性所分布在的客户信息表；将确定出的客户信息表的表标识，以及客户属性数据查询请求携带的客户标识作为第一键，确定对应的第一值；根据确定出的第一值中的UUID作为第二键，确定对应的第二值；根据第二值，从第一值中的客户信息中，提取该客户属性对应的客户属性数据。5.一种数据处理装置，其...

【专利技术属性】
技术研发人员：杜怀忠，李明，崔刚，高啸颖，杨晓博，李远，
申请(专利权)人：中国移动通信集团河南有限公司，
类型：发明
国别省市：河南;41