一种基于大数据平台更新医疗数据的方法、服务器和系统技术方案

技术编号:29584149 阅读:20 留言:0更新日期:2021-08-06 19:42
本发明专利技术公开了一种基于大数据平台更新医疗数据的方法、服务器和系统,所述方法包括以下步骤:定期获取待更新的目标,载入Spider;读取配置文件,载入执行模组;获取数据源,并储存到储存器的程序栈帧中,对数据源数据进行解析;提取数据源中的目标数据,将目标数据以表格的形式存储至程序栈帧中,再进行更新;判断是否存在CSV文件,若否,则建立用于储存最新的目标数据的新CSV文件和用于储存目标数据的历史变动的历史CSV文件,若是,则将最新的目标数据覆盖到新CSV文件,并更新历史CSV文件;将新CSV文件和历史CSV文件推送至云端的可编辑电子表格。在本发明专利技术中,通过执行模组根据待更新的目标自动获取万维网中的数据,进行数据更新,以保存数据的变动。

【技术实现步骤摘要】
一种基于大数据平台更新医疗数据的方法、服务器和系统
本专利技术涉及大数据领域,尤其涉及一种基于大数据平台更新医疗数据的方法、服务器和系统。
技术介绍
一般情况下,医疗合规性信息分布在各个认证机构、政府部门和行业协会的网站中,用户需要通过万维网单独去各个数据源(网站)查询相关信息。但是网站上的数据是临时性的,一旦发生更新,网站上的数据就会被覆盖,导致大部分的数据源头(网站)只有最新的数据,用户无法得知数据的变动历史,导致大量珍贵的历史数据变动信息缺失。
技术实现思路
为了克服现有技术的不足,本专利技术的目的之一在于提供一种基于大数据平台更新医疗数据的方法,其能解决大部分的数据源头(网站)只有最新的数据,用户无法得知数据的变动历史,导致大量珍贵的历史数据变动信息缺失的问题。本专利技术的目的之二在于提供一种基于大数据平台更新医疗数据的服务器,其能解决大部分的数据源头(网站)只有最新的数据,用户无法得知数据的变动历史,导致大量珍贵的历史数据变动信息缺失的问题。本专利技术的目的之三在于提供一种基于大数据平台更新医疗数据的系统,其能解决大部分的数据源头(网站)只有最新的数据,用户无法得知数据的变动历史,导致大量珍贵的历史数据变动信息缺失的问题。为了达到上述目的之一,本专利技术所采用的技术方案如下:一种基于大数据平台更新医疗数据的方法,包括以下步骤:S1:定期获取待更新的目标,载入目标对应的Spider;S2:读取配置文件,载入与Spider相对应的执行模组,以执行待更新的目标的医疗数据更新,其中,所述执行模组包括请求器、解析器、更新器和推送器;S3:获取数据源,并储存到储存器的程序栈帧中,再对数据源数据进行解析;S4:提取数据源中的目标数据,并将目标数据以表格的形式存储至程序栈帧中,再进行更新;S5:判断储存器中是否存在CSV文件,若否,则建立用于储存最新的目标数据的新CSV文件和用于储存目标数据的历史变动的历史CSV文件,若是,则将最新的目标数据覆盖到新CSV文件,并更新历史CSV文件;S6:将新CSV文件和历史CSV文件推送至大数据平台的云端。优选的,所述S1具体由以下步骤实现:S11:预设更新周期,并定期获取待更新的目标;S12:判断待更新的目标的数量是否大于1,若是,则执行S13,若否,则执行S14;S13:将待更新的目标按预设的顺序排序,并按照预设的顺序依次载入每个目标对应的Spider以及执行S2;S14:载入目标对应的Spider,及执行S2。优选的,所述S2具体由以下步骤实现:先通过Spider读取配置文件中的设定,再依次载入与Spider相对应的请求器、解析器、更新器和推送器,以执行待更新的目标的医疗数据更新。优选的,所述S3具体由以下步骤实现:S31:通过请求器加载配置文件中的链接或者应用程序编程接口,与万维网中的数据源建立数据交互;S32:下载数据源的元数据,并储存到储存器的程序栈帧中;S33:通过请求器将元数据输送至解析器的输入接口。优选的,所述S4具体由以下步骤实现:S41:通过解析器获取请求器发送的元数据,并提取元数据中的目标数据;S42:将目标数据以表格的形式存储至程序栈帧中;S43:通过解析器导出包含目标数据的CSV文件,并输送至更新器。优选的,所述S5具体由以下步骤实现:S51:获取解析器发送的包含目标数据的CSV文件,并判断储存器中是否已存在CSV文件,若否,则执行S52,若是,则执行执行S53;S52:通过更新器将包含目标数据的CSV文件建立用于储存最新的目标数据的新CSV文件和用于储存目标数据的历史变动的历史CSV文件,并向推送器发一个更新响应;S53:通过更新器判断CSV文件是否存在更新,若是,则覆盖新CSV文件,并更新历史CSV文件,再向推送器发一个更新响应,若否,结束程序。优选的,所述S6具体由以下步骤实现:S61:获取更新器发送的更新响应,通过推送器将新CSV文件和历史CSV文件推送至大数据平台的云端的可编辑电子表格;S62:判断是否存在待更新的目标,若是,则执行S1,若否,则结束程序。为了达到上述目的之二,本专利技术所采用的技术方案如下:一种基于大数据平台更新医疗数据的服务器,包括储存器和处理器;储存器,用于储存程序指令;处理器,用于运行所述程序指令,以执行上述的基于大数据平台更新医疗数据的方法。为了达到上述目的之三,本专利技术所采用的技术方案如下:一种基于大数据平台更新医疗数据的系统,包括上述的基于大数据平台更新医疗数据的服务器和执行模组,所述基于大数据平台更新医疗数据的服务器与执行模组连接。优选的,所述执行模组包括请求器、解析器、更新器和推送器,所述请求器、解析器、更新器和推送器均与基于大数据平台更新医疗数据的服务器连接。相比现有技术,本专利技术的有益效果在于:通过定期获取待更新目标,以使得大数据平台上的数据能够实现自动更新,避免出现数据缺失的问题,再通过Spider以及相应的执行模组自动从万维网中的各个数据源获取目标数据进行解析,以及更新储存器中的CSV文件,进而新建用于储存最新的目标数据的新CSV文件和用于储存目标数据的历史变动的历史CSV文件,并且在历史CSV文件中记录下足够的信息来还原某个时间点的数据,再将新CSV文件和历史CSV文件推送至云端的可编辑电子表格,以使得服务器对应的大数据平台能够对最新的数据和历史数据进行查询,并且可以通过历史CSV文件中储存的数据,对某个时间点的信息进行还原。附图说明图1为本专利技术中所述的基于大数据平台更新医疗数据的方法的流程图。图2为本专利技术中所述的基于大数据平台更新医疗数据的服务器的结构示意图。具体实施方式以下结合附图对本专利技术的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本专利技术,并不用于限定本专利技术。在本专利技术的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本专利技术和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本专利技术的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。在本专利技术的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本专利技术中的具体含义。下面,结合附图以及具体实施方式,对本专利技术做进一步本文档来自技高网...

【技术保护点】
1.一种基于大数据平台更新医疗数据的方法,其特征在于:包括以下步骤:/nS1:定期获取待更新的目标,载入目标对应的Spider;/nS2:读取配置文件,载入与Spider相对应的执行模组,以执行待更新的目标的医疗数据更新,其中,所述执行模组包括请求器、解析器、更新器和推送器;/nS3:获取数据源,并储存到储存器的程序栈帧中,再对数据源数据进行解析;/nS4:提取数据源中的目标数据,并将目标数据以表格的形式存储至程序栈帧中,再进行更新;/nS5:判断储存器中是否存在CSV文件,若否,则建立用于储存最新的目标数据的新CSV文件和用于储存目标数据的历史变动的历史CSV文件,若是,则将最新的目标数据覆盖到新CSV文件,并更新历史CSV文件;/nS6:将新CSV文件和历史CSV文件推送至大数据平台的云端。/n

【技术特征摘要】
1.一种基于大数据平台更新医疗数据的方法,其特征在于:包括以下步骤:
S1:定期获取待更新的目标,载入目标对应的Spider;
S2:读取配置文件,载入与Spider相对应的执行模组,以执行待更新的目标的医疗数据更新,其中,所述执行模组包括请求器、解析器、更新器和推送器;
S3:获取数据源,并储存到储存器的程序栈帧中,再对数据源数据进行解析;
S4:提取数据源中的目标数据,并将目标数据以表格的形式存储至程序栈帧中,再进行更新;
S5:判断储存器中是否存在CSV文件,若否,则建立用于储存最新的目标数据的新CSV文件和用于储存目标数据的历史变动的历史CSV文件,若是,则将最新的目标数据覆盖到新CSV文件,并更新历史CSV文件;
S6:将新CSV文件和历史CSV文件推送至大数据平台的云端。


2.如权利要求1所述的基于大数据平台更新医疗数据的方法,其特征在于,所述S1具体由以下步骤实现:
S11:预设更新周期,并定期获取待更新的目标;
S12:判断待更新的目标的数量是否大于1,若是,则执行S13,若否,则执行S14;
S13:将待更新的目标按预设的顺序排序,并按照预设的顺序依次载入每个目标对应的Spider以及执行S2;
S14:载入目标对应的Spider,执行S2。


3.如权利要求1所述的基于大数据平台更新医疗数据的方法,其特征在于,所述S2具体由以下步骤实现:
先通过Spider读取配置文件中的设定,再依次载入与Spider相对应的请求器、解析器、更新器和推送器,以执行待更新的目标的医疗数据更新。


4.如权利要求1所述的基于大数据平台更新医疗数据的方法,其特征在于,所述S3具体由以下步骤实现:
S31:通过请求器加载配置文件中的链接或者应用程序编程接口,与万维网中的数据源建立数据交互;
S32:下载数据源的元数据,并储存到储存器的程序栈帧中;
S33:通过请求器将元数据输送至解析器的输入接口。


5.如权利要求1所述的基于大...

【专利技术属性】
技术研发人员:孟竹邓祺康
申请(专利权)人:普瑞纯证医疗科技广州有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1