基于云计算和医疗大数据的任务处理优化系统技术方案

本发明专利技术提出一种基于云计算和医疗大数据的任务处理优化系统，所述任务处理优化系统包括多个任务接收终端、任务属性分析引擎、任务分发组件。多个任务接收终端接收多个包含医疗数据流的并发数据处理任务，并将所述并发数据处理任务以数据流为单位存储到任务接收队列中；所述任务分发组件基于所述任务属性分析引擎分析得到的所述数据处理任务的属性，将所述并发数据处理任务分发给所述多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备。本发明专利技术充分利用医疗大数据的数据流时间属性，对包含医疗数据流的并发数据处理任务进行雾计算、边缘计算和云计算的分发处理，保证了数据处理的实时性。

【技术实现步骤摘要】
基于云计算和医疗大数据的任务处理优化系统
本专利技术属于大数据处理
，尤其涉及一种基于云计算和医疗大数据的任务处理优化系统。
技术介绍
云计算是一种资源交付和使用模式，指通过网络获得应用所需的资源(硬件、平台、软件)。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取。这种特性经常被比喻为像水电一样使用硬件资源，按需购买和使用。“大数据”是指以多元形式，许多来源搜集而来的庞大数据组，往往具有实时性。在企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还有许多其他来源。在医学领域中，大数据除了被用于提高利润和减少开销，还被用于预测流行病、治疗疾病、提高生活质量和避免可预防的死亡。医疗数据主要来源于4个方面：患者就医、临床研究和科研、生命制药、可穿戴设备等。据一份来自Oracle的新信息图表显示，预计到2020年，医疗保健领域的数据将达到2.5万pb，预计将增长到2.5万pb。从这个惊人的数据报告中，我们可以看到医疗保健行业正在产生大量的数据，这些数据是由临床记录、医疗保健和法规遵循和监管需求驱动的。申请号为CN201710240415.X的中国专利技术专利申请提出种新型网络数据仓库技术的医院精细化管理平台，本系统以Java为开发语言，以Oracle10g数据库为后台数据管理系统，通过网络技术进行信息的传输和信息展示，系统主要拥有综合信息统计与查询、手术分析、病源分析、病种分析等功能，通过精细化的医疗分析，可以深入的了解病人病情产生的原因、发展情况，为治疗提供更为精确的情报，提高了医生治愈病人的概率，同时也提高了医院的管理能力和管理效率。申请号为CN201810760157.2的中国专利技术专利申请提出一种基于云计算的大数据健康管理系统及方法，所述系统包括数据采集模块、大数据分析平台和智能终端，数据采集模块用于采集用户健康数据，并将用户健康数据传送给大数据分析平台，大数据分析平台用于接收和保存用户健康数据，并基于医疗知识搭建诊断和预测模型，根据用户健康数据，对常见的疾病进行风险评估和预测，智能终端用于向用户显示健康数据、风险评估和预测的结果以及提供个性化医疗服务，为用户提供全面的个性化的健康管理和保障服务，提高了医疗资源的分配效率。但是，专利技术人发现，虽然医疗数据属于大数据的一种，本身具备大数据的一般属性(规模大、结构多样、增长快速、价值巨大)，但是其作为医疗领域产生的数据也同样具备医疗性：多态性、不完整性、冗余性、时间性、隐私性。现有技术将大数据处理技术具体应用与医疗数据时，并未考虑到其医疗性，尤其是时间性。此外，现有技术将云计算用于医疗服务时，并未考虑到云计算本身是付费服务，而医疗服务所要处理的数据量巨大，将所有医疗大数据均提交到云端处理，将带来巨大的经济成本。
技术实现思路
为解决上述技术问题，本专利技术提出一种基于云计算和医疗大数据的任务处理优化系统，所述任务处理优化系统包括多个任务接收终端、任务属性分析引擎、任务分发组件以及多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备。所述任务属性分析引擎从所述任务接收队列中以数据流为单位获取单位数据流处理任务，并分析得到所述数单位数据流处理任务的属性；所述多个任务接收终端接收多个包含医疗数据流的并发数据处理任务，并将所述并发数据处理任务以数据流为单位存储到任务接收队列中；所述任务分发组件基于所述任务属性分析引擎分析得到的所述数据处理任务的属性，从所述任务接收队列中读取单位数据流处理任务将所述并发数据处理任务分发给所述多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备。本专利技术的技术方案在处理医疗大数据时，充分考虑了医疗大数据本身的时间数据流属性；以数据流为单位对其进行分组处理，从而更好的适应医疗大数据的时间属性要求；此外，本专利技术的技术方案并不完全依赖云计算服务，而是首先通过雾计算设备处理医疗大数据，其次通过雾计算设备的性能反馈值启动边缘计算设备；如果任务队列依然存在阻塞，才会启动云计算服务，在保证数据处理实时性的同时，极大的降低了数据处理成本。具体来说，本专利技术的技术方案具体实现如下：一种基于云计算和医疗大数据的任务处理优化系统，所述任务处理优化系统包括多个任务接收终端、任务属性分析引擎、任务分发组件；作为本专利技术的第一个创新点，所述多个任务接收终端接收多个包含医疗数据流的并发数据处理任务，并将所述并发数据处理任务以数据流为单位存储到任务接收队列中，每个单位的数据流包含时间上连续的数据处理任务；作为体现上述创新点的关键技术手段，所述多个任务接收终端接收多个包含医疗数据流的并发数据处理任务，并将所述并发数据处理任务以数据流为单位存储到任务接收队列中，具体包括：对于在时间段[ta,tz]内接收的第i个并发数据处理任务Ai，将所述时间段[ta,tz]划分为n个相邻的子时间段Tn；其中，对于n>1的子时间段每一个子时间段，Tn的时间结束点与Tn+1的时间开始点之差大于预定时间长度值；将所述发数据处理任务Ai按照所述每个子时间段Tn为单位进行切分，得到n个单位数据流处理任务Ai1，Ai2，…，Ain；将所述n个单位数据流处理任务Ai1，Ai2，…，Ain存储到所述任务接收队列中。所述任务属性分析引擎，从所述任务接收队列中以数据流为单位获取单位数据流处理任务，并分析得到所述数单位数据流处理任务的属性，所述属性包括所述单位数据流处理任务的数据量大小、处理时限以及失效时限；作为本专利技术的第二个创新点，所述任务处理优化系统还包括多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备；具体的，所述雾计算处理设备为将数据、数据处理和应用程序集中在网络边缘的设备。所述边缘计算设备为将数据、数据处理和应用程序集中在多个任务接收终端边缘的设备。作为本专利技术的再一个创新点，所述任务分发组件基于所述任务属性分析引擎分析得到的所述数据处理任务的属性，将所述并发数据处理任务分发给所述多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备；更具体的，作为上述实现上述创新点的关键技术手段，所述任务分发组件基于所述任务属性分析引擎分析得到的所述数据处理任务的属性，将所述并发数据处理任务分发给所述多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备，具体包括如下步骤：S1：获取当前处于空闲状态的雾计算处理设备的数量Nfog；S2：从所述任务接收队列中读取H个单位数据流处理任务，分发给所述Nfog个处于空闲状态的雾计算处理设备；其中，上式中，CTin为第n个单位数据流处理任务Ain的处理时限；LTin为第n个单位数据流处理任务Ain的失效时限；DAin为第n个单位数据流处理任务Ain的数据量大小；表示向下取整；S3：计算接收所述单位数据流处理任务的每一个当前雾计算处理设备本文档来自技高网...

【技术保护点】
1.一种基于云计算和医疗大数据的任务处理优化系统，所述任务处理优化系统包括多个任务接收终端、任务属性分析引擎、任务分发组件；/n其特征在于：/n所述多个任务接收终端接收多个包含医疗数据流的并发数据处理任务，并将所述并发数据处理任务以数据流为单位存储到任务接收队列中，每个单位的数据流包含时间上连续的数据处理任务；/n所述任务属性分析引擎，从所述任务接收队列中以数据流为单位获取单位数据流处理任务，并分析得到所述数单位数据流处理任务的属性，所述属性包括所述单位数据流处理任务的数据量大小、处理时限以及失效时限；/n所述任务处理优化系统还包括多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备；/n所述任务分发组件基于所述任务属性分析引擎分析得到的所述数据处理任务的属性，将所述并发数据处理任务分发给所述多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备；/n其中，所述任务接收队列设置任务队列接受上限值；/n当所述并发数据处理任务的数据流单位超过所述上限值时，所述任务接收终端接收所述并发数据处理任务之后，直接将其转发给远端云数据处理系统。/n

【技术特征摘要】
1.一种基于云计算和医疗大数据的任务处理优化系统，所述任务处理优化系统包括多个任务接收终端、任务属性分析引擎、任务分发组件；
其特征在于：
所述多个任务接收终端接收多个包含医疗数据流的并发数据处理任务，并将所述并发数据处理任务以数据流为单位存储到任务接收队列中，每个单位的数据流包含时间上连续的数据处理任务；
所述任务属性分析引擎，从所述任务接收队列中以数据流为单位获取单位数据流处理任务，并分析得到所述数单位数据流处理任务的属性，所述属性包括所述单位数据流处理任务的数据量大小、处理时限以及失效时限；
所述任务处理优化系统还包括多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备；
所述任务分发组件基于所述任务属性分析引擎分析得到的所述数据处理任务的属性，将所述并发数据处理任务分发给所述多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备；
其中，所述任务接收队列设置任务队列接受上限值；
当所述并发数据处理任务的数据流单位超过所述上限值时，所述任务接收终端接收所述并发数据处理任务之后，直接将其转发给远端云数据处理系统。


2.如权利要求1所述的一种基于云计算和医疗大数据的任务处理优化系统，其特征在于：
所述多个任务接收终端接收多个包含医疗数据流的并发数据处理任务，并将所述并发数据处理任务以数据流为单位存储到任务接收队列中，具体包括：
对于在时间段[ta,tz]内接收的第i个并发数据处理任务Ai，将所述时间段[ta,tz]划分为n个相邻的子时间段Tn；其中，对于n>1的子时间段每一个子时间段，Tn的时间结束点与Tn+1的时间开始点之差大于预定时间长度值；
将所述发数据处理任务Ai按照所述每个子时间段Tn为单位进行切分，得到n个单位数据流处理任务Ai1，Ai2，…，Ain；
将所述n个单位数据流处理任务Ai1，Ai2，…，Ain存储到所述任务接收队列中。


3.如权利要求2所述的一种基于云计算和医疗大数据的任务处理优化系统，其特征在于：
所述任务分发组件基于所述任务属性分析引擎分析得到的所述数据处理任务的属性，将所述并发数据处理任务分发给所述多个边缘计算终端以及通过局域网连接至所述多个边缘计算终端的多个雾计算处理设备，具体包括如下步骤：
S1：获取当前处于空闲状态的雾计算处理设备的数量Nfog；
S2：从所述任务接收队列中读取H个单位数据流处理任务，分发给所述Nfog个处于空闲状态的雾计算处理设备；
其中，
上式中，CTin为第n个单位数据流处理任务Ain的处理时限；LTin为第n个单位数据流处理任务Ain的失效时限；DAin为第n个单位数据流处理任务Ain的数据量大小；表示向下取整；
S3：计算接收所述单位数据流处理任务的每一个当前雾计算处理设备的回报值；
S4：判断所述回报值是否满足预定条件，如果是，则继续从所述任务接收队列中读取一个单位数据流处理任务分发给所述当前雾计算设备；返回步骤S3；

【专利技术属性】
技术研发人员：孔德贵，
申请(专利权)人：孔德贵，
类型：发明
国别省市：云南;53