一种基于核心算法云计算的医药平台大数据管理系统技术方案

一种基于核心算法云计算的医药平台大数据管理系统，包括医药平台数据采集端

【技术实现步骤摘要】
一种基于核心算法云计算的医药平台大数据管理系统


[0001]本专利技术创造涉及云计算
、
医药大数据领域，具体涉及一种基于核心算法云计算的医药平台大数据管理系统
。

技术介绍

[0002]随着当今互联网
、
云计算的成熟和发展，以及医药知识的广泛普及，使得医药相关数据正在以惊人的速度增长，促使医药平台使用情况快速进入“大数据”时代，大数据以其蕴含的大量信息，可以提取出大量有效信息，支撑的科研经济等发展领域，基于云计算平台对医药大数据进行管理利用并构建大数据服务，是将医药平台大数据发挥更大价值的关键途径，同样的，对医药平台数据进行管理和分析，可以实现对个体或群体的健康危险因素进行全面分析和评估，从而实施有针对性的预测干预，不仅可以保护个人身体健康，也可以为医药研究等提供新的研究发展方向
。
[0003]近年来，由于医药数据量激增
、
数据类型繁多
、
数据更新速度快等特点，使得传统方式下的任务处理受到限制，且由于医药资源类型
、
位置
、
供应等各种因素的影响，使得大规模任务处理受到一定程度上的阻碍，因此，利用多数据分块整合的方法来实现大规模任务处理，通过多域协同工作，可以并行处理海量任务，大规模数据云计算管理系统可以减轻在以往利用单域进行任务处理时的过载问题，有助于实现域间负载均衡，从而使得任务处理更加快速高效，并且基于云计算的数据处理方法可以利用具有较强任务处理能力的节点来分担能力较差节点的工作压力，可以较大程度地避免某些处理节点过载或资源竞争的情况发生，有利于实现负载均衡以及数据中心吞吐量的增加，此外，在一定程度上避免了由于资源位置及类型方面限制而导致的数据迁移，节省了计算和传输资源，有利于节能降耗，并且医药大数据处理系统不同于以往的单目标粒子群算法，很难满足本章所研究的多目标优化问题的需求，针对此多目标优化问题，采取快速非支配选择方法且可快速获得最优虚拟网络映射方案集的方法，可用于实现最优解集的存档，并保证了医药数据种群多样性，通过云计算可以对多个子模型的输出进行平均，避免了模型训练出现偏差，达到防止模型过拟合，又可以针对数据集中部分没有标签的数据，引入梯度策略机制对深度学习效用进行评价，使得虚拟节点映射方案能够不断向着系统收益更高的方向自我进化，从而能够在满足庞大的数据计算量的前提下提高实际应用过程中的任务识别处理能力，并提高数据提升模型效率
。

技术实现思路

[0004]针对上述问题，本专利技术旨在提供一种基于核心算法云计算的医药平台大数据管理系统
。
[0005]本专利技术创造的目的通过以下技术方案实现：
[0006]一种基于核心算法云计算的医药平台大数据管理系统，包括医药平台数据采集端
、
医药平台数据处理端和医药数据显示管理端，医药平台数据采集端用于获取医药平台
数据，并将获取的医药数据输入医药平台数据处理端，医药平台数据处理端包括医药数据整合模块
、
医药数据分类模块和医药数据处理模块，医药数据整合模块和医药数据分类模块用于对医药平台数据采集端输入的医药数据进行分类整合，将庞大的数据量进行分块，以便于后续进行数据处理，并将整合
、
分类后的医药数据输入医药数据处理模块，医药数据处理模块针对分分块后的医药大数据，云计算数据中心需要将这些大数据处理任务进行筛选
、
划分
、
分配以及合理调度，以实现大数据环境下所带来的大规模任务的高效的并行执行，包括大规模任务筛选，任务划分，任务部署，任务调度等，医药数据处理模块根据输入的多种多样的任务请求，然后根据任务请求类型
、
资源请求量以及数据中心物理主机资源剩余情况等，对任务进行并行处理，以实现资源的合理分配，根据具体的优化目标，可以将大规模的任务部署到合适的物理主机中实现任务的高效执行，而高效快捷的任务调度将会在很大程度上缩短完成任务所需要的时间，同时有效提高资源利用率，针对大数据的分析管理问题，基于云计算的大规模任务处理是解决问题的有效方法之，一个合理高效的医药大数据处理管理系统能够给大数据处理带来更多的性能收益
。
[0007]进一步的，医药数据处理端包括医药数据整合模块
、
医药数据分类模块以及医药数据处理模块，分别用于完成医药数据的整合
、
分类和处理，以便于后续进行云计算，提升大规模数据计算效率
。
[0008]进一步的，医药数据整合模块用于对医药平台采集的大量数据进行数据清洗处理，剔除重复
、
错误
、
可信度低的数据，以保证医药平台采集的大量数据是准确可靠的
。
[0009]进一步的，医药数据分类模块对医药数据进行分类处理，并采用大规模数据处理算法来对分块后的庞大数据进行云计算处理
。
[0010]进一步的，在采用大规模数据处理算法确定最佳处理路径，实现资源代价最小化时，采用下列方式确定大规模云计算方式：
[0011](1)
对接收到的数据进行分块处理，并请求部署到多域共享的底层云计算网络中；
[0012](2)
对大数据云计算中的算法进行种群初始化，解决具有多个目标函数的多目标组合优化问题
。
[0013]进一步的，采用下列方式对接收到的数据进行分块处理，并请求部署到多域共享的底层云计算网络中：
[0014]设共有
n
个节点，并设一个五维组
V
＝
PN,TS,C
cpu
,C
mem
,C
link
来描述此问题场景，时间间隔为
Δ
t
，
PN
表示一组可用的处理节点，
PN(n,t)
＝
pn1,pn2,
…
,pn
n
，
t
表示任务部署的起始时间，
TS
表示在
Δ
t
时间内来自用户的任务请求集合，
TS(m,
Δ
t,t)
＝
ts1,ts2,
…
,ts
m
，
C
cpu
是
PN
中
n
个节点当前剩余的
CPU
资源集合，
C
cpu
(n,t)
＝
C
cpu1
,C
cpu2
,
…
,C
cpun
，
C
mem
是
PN
中
n
个节点当前剩余的内存资源集合，
C
mem
(n,t)
＝
C
mem1
,C
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于核心算法云计算的医药平台大数据管理系统，其特征在于，包括医药平台数据采集端
、
医药平台数据处理端和医药数据显示管理端，医药平台数据采集端用于获取医药平台数据，并将获取的医药数据输入医药平台数据处理端，医药平台数据处理端包括医药数据整合模块
、
医药数据分类模块和医药数据处理模块，医药数据整合模块和医药数据分类模块用于对医药平台数据采集端输入的医药数据进行分类整合，将庞大的数据量进行分块，以便于后续进行数据处理，并将整合
、
分类后的医药数据输入医药数据处理模块，医药数据处理模块针对分分块后的医药大数据，云计算数据中心需要将这些大数据处理任务进行筛选
、
划分
、
分配以及合理调度，以实现大数据环境下所带来的大规模任务的高效的并行执行，包括大规模任务筛选，任务划分，任务部署，任务调度等，医药数据处理模块根据输入的多种多样的任务请求，然后根据任务请求类型
、
资源请求量以及数据中心物理主机资源剩余情况等，对任务进行并行处理，以实现资源的合理分配，根据具体的优化目标，可以将大规模的任务部署到合适的物理主机中实现任务的高效执行，而高效快捷的任务调度将会在很大程度上缩短完成任务所需要的时间，同时有效提高资源利用率，针对大数据的分析管理问题，基于云计算的医药大数据管理方法可以通过对多个子模型的输出进行平均，避免了模型训练出现偏差，达到防止模型过拟合，又针对数据集中部分没有标签的数据，基于深度学习思想，引入梯度策略机制对深度学习效用进行评价，使得虚拟节点映射方案能够不断向着系统收益更高的方向自我进化，从而能够在满足庞大的数据计算量的前提下提高实际应用过程中的任务识别处理能力，并提高数据提升模型效率
。2.
根据权利要求1所述的一种基于核心算法云计算的医药平台大数据管理系统，其特征在于，医药数据处理端包括医药数据整合模块
、
医药数据分类模块以及医药数据处理模块，分别用于完成医药数据的整合
、
分类和处理，以便于后续进行云计算，提升大规模数据计算效率
。3.
根据权利要求2所述的一种基于核心算法云计算的医药平台大数据管理系统，其特征在于，医药数据整合模块用于对医药平台采集的大量数据进行数据清洗处理，剔除重复
、
错误
、
可信度低的数据，以保证医药平台采集的大量数据是准确可靠的
。4.
根据权利要求2所述的一种基于核心算法云计算的医药平台大数据管理系统，其特征在于，医药数据分类模块对医药数据进行分类处理，并采用大规模数据处理算法来对分块后的庞大数据进行云计算处理
。5.
根据权利要求4所述的一种基于核心算法云计算的医药平台大数据管理系统，其特征在于，在采用大规模数据处理算法确定最佳处理路径，实现资源代价最小化时，采用下列方式确定大规模云计算方式：
(1)
对接收到的数据进行分块处理，并请求部署到多域共享的底层云计算网络中；
(2)
对大数据云计算中的算法进行种群初始化，解决具有多个目标函数的多目标组合优化问题
。6.
根据权利要求5所述的一种基于核心算法云计算的医药平台大数据管理系统，其特征在于，采用下列方式对接收到的数据进行分块处理，并请求部署到多域共享的底层云计算网络中：设共有
n
个节点，并设一个五维组
V
＝
PN
，
TS
，
C
cpu
，
C
mem
，
C
link
来描述此问题场景，时间间隔为
Δ
t
，
PN
表示一组可用的处理节点，
PN(n
，
t)
＝
pn1，
pn2，
...
，
pn
n
，
t
表示任务部署的起始时
间，
TS
表示在
Δ
t
时间内来自用户的任务请求集合，
TS(m
，
Δ
t
，
t)
＝
ts1，
ts2，
...
，
ts
m
，
C
cpu
是
PN
中
n
个节点当前剩余的
CPU
资源集合，
C
cpu
(n
，
t)
＝
C
cpu1
，
C
cpu2
，
...
，
C
cpun
，
C
mem
是
PN
中
n
个节点当前剩余的内存资源集合，
C
mem
(n
，
t)
＝
C
mem1
，
C
mem2
，
...
，
C
memn
，在网络拓扑已知前提下，
w
表示多域
w(i
，
i
′
)
中节点
i
与其相邻节点
i
′
之间的计算带宽资源代价集合，于是采取负载均衡度来衡量多任务云计算条件下的计算宽带资源代价均衡效果，那么所有节点中，第
i
个处理节点的负载可以表示如为：其中和分别表示根据解向量
p
完成任务部署后的第
i
个处理节点的
CPU
资源和内存资源的利用率，
α
和
β
分别表示
CPU
资源和内存资源的利用率的权值，并且有
α
+
β
＝1，由此，第
i
个节点的资源利用率可表示为：
U
ip
＝
LD
ip
/w
i
，
i∈{1
，2，
...

【专利技术属性】
技术研发人员：请求不公布姓名，张春贵，
申请(专利权)人：云南升玥信息技术有限公司，
类型：发明
国别省市：