【技术实现步骤摘要】
一种数据处理系统及方法
本专利技术涉及计算机
，尤其涉及一种数据处理系统及方法。
技术介绍
目前，健康数据的日活量很大，比如咪咕善跑的云端数据是日活120万。睡眠数据包括文件头和信号体两个部分，每一个文件大小在1K左右，而且每一秒需进行一次数据上传，如果是1000个患者要上传数据并实时显示信号质量，会对采集服务器带来挑战，采集服务器一方面要接收数据，另一方面要解析和存储数据，并转发给对应的监测服务器，这要求中间是秒级处理的速度。因此，睡眠数据的采集存储服务要满足高可用和高并发等需求，至少是1000TPS(TransactionPerSecond，每秒数据处理量)的不丢包处理，这给单体应用服务带来极大的压力和挑战。现有针对医疗数据的高并发分布式采集服务处理系统包括数据采集模块、数据解析模块、数据存储模块和数据转发模块，其中，若任何一个模块改动都需要重新部署和修改，这对于现网中比如睡眠采集业务的高可用和可扩展性等需求带来极大的挑战。
技术实现思路
本专利技术实施例提供一种数据处理系统及方法，以解...
【技术保护点】
1.一种数据处理系统，其特征在于，包括：/n分布式采集模块，用于获取业务数据；/n分布式解析模块，包括策略调度器和多个数据处理组件，用于通过所述策略调度器，确定所述业务数据的数据类型，并按照所述业务数据的数据类型，将所述业务数据分发匹配到所述多个数据处理组件中对应的数据处理组件进行解析；/n分布式存储模块，用于对符合预设要求的解析后的业务数据进行存储。/n
【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：
分布式采集模块，用于获取业务数据；
分布式解析模块，包括策略调度器和多个数据处理组件，用于通过所述策略调度器，确定所述业务数据的数据类型，并按照所述业务数据的数据类型，将所述业务数据分发匹配到所述多个数据处理组件中对应的数据处理组件进行解析；
分布式存储模块，用于对符合预设要求的解析后的业务数据进行存储。
2.根据权利要求1所述的系统，其特征在于，所述多个数据处理组件中的每个数据处理组件对应于一种预设解析子策略，所述每个数据处理组件包括数据过滤器、数据校验器和数据处理器；
其中，所述数据过滤器用于根据其对应的预设解析子策略，对所述业务数据进行格式转换，得到解析数据；
所述数据校验器用于验证所述解析数据是否符合预设要求，并当所述解析数据不符合预设要求时，向所述数据处理器发送通知消息，其中，所述通知消息用于通知所述解析数据不符合预设要求；
所述数据处理器包括容错单元，所述容错单元用于根据所述通知消息，向所述策略调度器上报所述数据过滤器的解析出现错误，以使所述策略调度器重新为后续对应的业务数据分发匹配数据处理组件。
3.根据权利要求2所述的系统，其特征在于，所述数据处理器还包括服务自恢复单元，所述服务自恢复单元用于当所述数据处理系统中模块提供的服务中止预设时间时，对所述模块进行服务重启。
4.根据权利要求1所述的系统，其特征在于，所述分布式采集模块包括多个数据接收单元，所述系统还包括：
负载均衡器，用于根据所述多个数据接收单元的负载情况，控制所述多个数据接收单元负载均衡的接收所述业务数据。
5.根据权利要求1所述的系统，其特征在于，所述系统还包括：
设备认证器，用于接收数据生成设备发送的请求消息，根据所述请求消息，验证所述数据生成设备是否是授权设备，并当所述数据生成设备是授权设备时，向所述分布式采集模块发送认证成功的信息，以使所述分布式采集模块获取相应的业务数据。
6.根据权利要求1所述的系统，其特征在于，所述系统还包括：
服务注册模块，用于分别对所述分布式采集模块、所述分布式解析模块和所述分布式存储模块进行注册。
7.根据权利要求1所述的系统，其特征在于，所述分布式存储模块中的存储数据包括主键索引，所述主键索引中包括设备号、数据标识和随机时间值。
8.根据权利要求1至7中任一项所述的系统，其特征...
【专利技术属性】
技术研发人员：常耀斌，王威，吴娜，
申请(专利权)人：中国移动通信有限公司研究院，中国移动通信集团有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。