数据处理方法及其系统技术方案

本发明专利技术公开了一种数据处理方法，同时公开了一种数据处理系统。本发明专利技术采用分级存储方式，在第一级实时存储之后生成表示存储完成的消息，并且利用至少两个数据处理节点进行第二级结构化存储，有利于提高业务流程的响应速度，提高整体的数据处理效率。

【技术实现步骤摘要】
数据处理方法及其系统
本专利技术涉及一种数据处理方法，同时涉及一种数据处理系统。
技术介绍
大数据存储存在的一个困境在于如何快速、实时的进行存储，从而给用户带来更好的产品体验效果。以云呼叫中心系统的实际应用为例，存在几种典型场景：机器人导入客户数据、外拨任务批量导入名单等。其中，机器人导入客户数据是指，机器人系统与客户沟通后，需要将客户的数据信息采汇总并保存至数据表中。当客户转入坐席后，能够自动将客户信息展示给坐席。外拨任务系统在一些场景下，需要对某个任务的客户信息进行批量外呼以进行业务咨询和沟通。此时，需要将客户数据按照任务批量导入，在外呼的时候可以将客户基本信息呈现给坐席。这两种示例性场景都是为了让坐席更好的与客户进行服务和沟通。但是，在上述大批量导入客户数据的场景下，现有方法在对客户数据进行数据分析之后，就将数据存储至数据表中。这种方法在客户数据量较大的情况下，在数据保存的过程中，容易出现业务延迟、数据高并发等问题，进而导致客户体验下降。在申请号为201610887969.4的中国专利申请中，公开了一种数据库大批量数据导入本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于包括如下步骤：/n对待处理数据进行字段识别得到业务字段及其字段内容；/n根据业务字段与系统字段的对应关系，确定所述业务字段对应的系统字段；/n将所述业务字段对应的系统字段及其字段内容进行第一级实时存储；/n由至少两个数据处理单元从所述第一级实时存储的存储结果中读取数据并进行第二级结构化存储；/n其中，在完成所述待处理数据的所有系统字段及字段内容的存储之后，生成表示所述待处理数据完成存储的消息。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于包括如下步骤：
对待处理数据进行字段识别得到业务字段及其字段内容；
根据业务字段与系统字段的对应关系，确定所述业务字段对应的系统字段；
将所述业务字段对应的系统字段及其字段内容进行第一级实时存储；
由至少两个数据处理单元从所述第一级实时存储的存储结果中读取数据并进行第二级结构化存储；
其中，在完成所述待处理数据的所有系统字段及字段内容的存储之后，生成表示所述待处理数据完成存储的消息。


2.如权利要求1所述的数据处理方法，其特征在于所述对待处理数据进行字段识别得到业务字段及其字段内容，包括如下步骤：
基于业务字段库对所述待处理数据进行文本匹配得到所述业务字段；
识别相邻两个业务字段之间的内容作为所述相邻两个业务字段中在先业务字段的字段内容。


3.如权利要求1所述的数据处理方法，其特征在于：
所述第一级实时存储的数据存储速率高于所述第二级结构化存储的数据存储速率；和/或
所述第一级实时存储为内存存储，所述第二级结构化存储为硬盘存储。


4.如权利要求1所述的数据处理方法，其特征在于：
所述至少两个数据处理单元为采用分布式数据处理的数据处理节点。


5.如权利要求1～4中任意一项所述的数据处理方法，其特征在于所述将所述业务字段对应的系统字段及其字段内容进行第一级实时存储，包括：
按照ID、系统字段、字段内容的对应关系，存储所述业务字段对应的系统字段及其字段内容，其中，所述ID用于标识所述系统字段所属的待处理数据；
所述进行第二级结构化存储包括：将相同ID的系统字段及其字段内容存储至同一结构化数据表中。


6.一种数据处理系统，其特征在于包...

【专利技术属性】
技术研发人员：涂海，闫迪，
申请(专利权)人：北京讯鸟软件有限公司，
类型：发明
国别省市：北京;11