System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开实施例涉及数据处理,尤其涉及一种分布式数据处理系统、分布式数据处理方法。
技术介绍
1、睡眠监测数据通常是大量的、高密度的时间序列数据,需要大量的存储和处理能力来存储和分析。如果存储和处理能力不足,可能会导致数据丢失或系统崩溃。
技术实现思路
1、本公开实施例提供了一种分布式数据处理系统、分布式数据处理方法,提高了数据处理的性能。
2、第一方面,提供了一种分布式数据处理系统,包括:发布者、内存中间件和至少一个订阅者,每个订阅者包括至少一个子分布式数据处理系统,每个子分布式数据处理系统包括子发布者、子内存中间件和至少一个子订阅者;其中,
3、所述发布者用于采集初始睡眠数据,并将所述初始睡眠数据传输给所述内存中间件;
4、所述内存中间件用于存储所述初始睡眠数据;
5、每个所述订阅者用于通过相应的子分布式数据处理系统,获取相应的初始睡眠数据并对所述相应的初始睡眠数据进行处理,得到相应的处理结果。
6、第二方面,提供了一种分布式数据处理方法,应用于上述第一方面提供的分布式数据处理系统,所述分布式数据处理系统包括发布者、内存中间件和至少一个订阅者,每个订阅者包括至少一个子分布式数据处理系统,每个子分布式数据处理系统包括子发布者、子内存中间件和至少一个子订阅者;
7、所述方法包括:
8、所述发布者采集初始睡眠数据,并将所述初始睡眠数据传输给所述内存中间件;
9、所述内存中间件存储所述初始睡眠数
10、每个所述订阅者通过相应的子分布式数据处理系统,根据所述数据类型获取相应的初始睡眠数据并对所述相应的初始睡眠数据进行处理,得到相应的处理结果。
11、本公开实施例公开了一种分布式数据处理系统、分布式数据处理方法,该系统包括:发布者、内存中间件和至少一个订阅者,每个订阅者包括至少一个子分布式数据处理系统,每个子分布式数据处理系统包括子发布者、子内存中间件和至少一个子订阅者;其中,所述发布者用于采集初始睡眠数据,并将所述初始睡眠数据传输给所述内存中间件;所述内存中间件用于存储所述初始睡眠数据;每个所述订阅者用于通过相应的子分布式数据处理系统,获取相应的初始睡眠数据并对所述相应的初始睡眠数据进行处理,得到相应的处理结果。本技术方案提供的分布式数据处理系统包括:发布者、内存中间件和至少一个订阅者,每个订阅者包括至少一个子分布式数据处理系统,实现高效、可靠的多进程多线程的系统,解决传统单机处理能力有限、数据处理效率低下、实时性差等问题,为睡眠医学领域提供一种高效的数据处理解决方案。
12、应当理解,本部分所描述的内容并非旨在标识本公开实施例的关键或重要特征,也不用于限制本公开实施例的范围。本公开实施例的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种分布式数据处理系统,其特征在于,包括:发布者、内存中间件和至少一个订阅者,每个订阅者包括至少一个子分布式数据处理系统,每个子分布式数据处理系统包括子发布者、子内存中间件和至少一个子订阅者;其中,
2.根据权利要求1所述的系统,其特征在于,每个所述订阅者用于:
3.根据权利要求1所述的系统,其特征在于,所述初始睡眠数据的数据类型至少包括脑电图数据、心电图数据、肌电图数据和/或眼动电图数据。
4.根据权利要求2所述的系统,其特征在于,所述内存中间件和所述子内存中间件基于数据管理及处理架构实现,所述数据管理及处理架构包括物联网消息服务器EMQ、分布式流媒体平台Kafka和/或关系型数据库管理系统MySQL。
5.根据权利要求2所述的系统,其特征在于,所述内存中间件用于在所述初始睡眠数据的数据量超过第一预设阈值的情况下,以队列的形式存储所述初始睡眠数据,以对所述初始睡眠数据进行削峰;
6.一种分布式数据处理方法,其特征在于,应用于分布式数据处理系统,所述分布式数据处理系统包括发布者、内存中间件和至少一个订阅者,每个订阅者
7.根据权利要求6所述的方法,其特征在于,所述初始睡眠数据的数据类型至少包括脑电图数据、心电图数据、肌电图数据和/或眼动电图数据。
8.根据权利要求6所述的方法,其特征在于,每个所述订阅者通过相应的子分布式数据处理系统,获取相应的初始睡眠数据并对所述相应的初始睡眠数据进行处理,得到相应的处理结果,包括:
9.根据权利要求6所述的方法,其特征在于,所述内存中间件和所述子内存中间件基于数据管理及处理架构实现,所述数据管理及处理架构包括物联网消息服务器EMQ、分布式流媒体平台Kafka和/或关系型数据库管理系统MySQL。
10.根据权利要求7所述的方法,其特征在于,所述内存中间件用于在所述初始睡眠数据的数据量超过第一预设阈值的情况下,以队列的形式存储所述初始睡眠数据,以对所述初始睡眠数据进行削峰;
...【技术特征摘要】
1.一种分布式数据处理系统,其特征在于,包括:发布者、内存中间件和至少一个订阅者,每个订阅者包括至少一个子分布式数据处理系统,每个子分布式数据处理系统包括子发布者、子内存中间件和至少一个子订阅者;其中,
2.根据权利要求1所述的系统,其特征在于,每个所述订阅者用于:
3.根据权利要求1所述的系统,其特征在于,所述初始睡眠数据的数据类型至少包括脑电图数据、心电图数据、肌电图数据和/或眼动电图数据。
4.根据权利要求2所述的系统,其特征在于,所述内存中间件和所述子内存中间件基于数据管理及处理架构实现,所述数据管理及处理架构包括物联网消息服务器emq、分布式流媒体平台kafka和/或关系型数据库管理系统mysql。
5.根据权利要求2所述的系统,其特征在于,所述内存中间件用于在所述初始睡眠数据的数据量超过第一预设阈值的情况下,以队列的形式存储所述初始睡眠数据,以对所述初始睡眠数据进行削峰;
6.一种分布式数据处理方法,其特征在于,应用于分布式数据处理系统,所述...
【专利技术属性】
技术研发人员:王炳坤,刁姝尹,
申请(专利权)人:慕思健康睡眠股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。