本发明专利技术公开了一种数据处理方法、装置、服务器和介质,涉及数据处理技术领域。该方法包括:将实时监测到的待接收的数据均存储至设定存储器;根据所述数据的获取顺序,从所述存储器中获取待处理数据,进行数据处理。本发明专利技术实施例提供的一种数据处理方法、装置、服务器和介质,实现了即便正在处理中的任务数据的处理耗时较长的情况下,任务数据仍然可以正常上传的效果。
Data processing method, device, server and medium
The invention discloses a data processing method, a device, a server and a medium, and relates to the field of data processing technology. The method includes: storing the data to be received in real time to the set memory, obtaining the pending data from the memory according to the acquisition order of the data, and processing the data. A data processing method, device, server and medium provided by the embodiment of the present invention realizes the effect that the task data can still be uploaded normally even if the processing of the task data is being processed for a long time.
【技术实现步骤摘要】
一种数据处理方法、装置、服务器和介质
本专利技术实施例涉及数据处理
,尤其涉及一种数据处理方法、装置、服务器和介质。
技术介绍
随着近几年互联网和移动互联网的高速发展,人们产生的数据总量呈现急剧增长的趋势。在这个大数据时代里,我们需要对海量数据进行处理,以获取和利用其中蕴含的信息。现有数据处理系统通常的架构是,数据处理装置在处理完第一数据后,按数据上传顺序接收第二数据,然后开始处理第二数据,以此类推。专利技术人在实现本专利技术的过程中发现,现有技术存在如下缺陷:当正在处理中的第一数据的处理耗时较长时,等待接收处理的第二数据由于等待超时,而导致第二数据出现超时传输失败的问题。
技术实现思路
本专利技术提供一种数据处理方法、装置、服务器和介质,以实现即便正在处理中的任务数据的处理耗时较长的情况下,任务数据仍然可以正常上传。第一方面,本专利技术实施例提供了一种数据处理方法,该方法包括:将实时监测到的待接收的数据均存储至设定存储器;根据所述数据的获取顺序,从所述存储器中获取待处理数据,进行数据处理。进一步的,将实时监测到的待接收的数据均存储至设定存储器,包括:对实时监测到的待接收的数据进行校验;将校验成功的所述数据均存储至设定存储器。进一步的,对实时监测到的待接收的数据进行校验之后,还包括:记录校验结果;若数据校验失败,则进行报错提示。进一步的,对实时监测到的待接收的数据进行校验,包括:判断数据所在报文的报文头中是否携带有预设授权码,其中所述数据为实时监测到的待接收的数据;若有,则继续判断所述报文格式是否满足预设协议格式;若满足,则加载预设校验规则,对所述数据进行内容校验。进一步的,加载预设校验规则,包括:采用缓存机制加载预设校验规则;对所述数据进行内容校验之后,还包括:判断是否对所述数据校验完成;若是,则将内容校验结果统一返回给用户。进一步的,根据所述数据的获取顺序,从所述存储器中获取待处理数据,进行数据处理,包括:若所述存储器中存在至少一条数据,则将最先获取的数据确定为待处理数据;提取所述待处理数据的特征信息,与预设特征信息进行匹配;根据匹配结果,将所述待处理数据分发给对应处理器进行设定算法的数据处理;存储数据处理结果,并将所述待处理数据从所述存储器中删除。进一步的,将实时监测到的待接收的数据均存储至设定存储器,包括:实时监测是否有待接收的数据;若监测到所述数据,则将所述数据采用消息队列机制进行异步存储至设定存储器。第二方面,本专利技术实施例还提供了一种数据处理装置,该装置包括:存储模块,用于将实时监测到的待接收的数据均存储至设定存储器;数据处理模块,用于根据所述数据的获取顺序,从所述存储器中获取待处理数据,进行数据处理。第三方面,本专利技术实施例还提供了一种服务器,所述服务器包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本专利技术实施例中任一所述的数据处理方法。第四方面,本专利技术实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本专利技术实施例中任一所述的数据处理方法。本专利技术实施例,通过将实时监测到的待接收的数据先存储至设定存储器,然后从存储器中获取待处理数据,从而实现对待接收数据的预先存储。解决因正在处理中的数据的处理耗时较长导致的,待接收数据因等待超时,而造成的超时传输失败的问题。附图说明图1为本专利技术实施例一提供的一种数据处理方法的流程图;图2是本专利技术实施例二提供的一种数据处理方法的流程图;图3是本专利技术实施例二提供的一种对待接收的数据进行存储的流程图;图4是本专利技术实施例二提供的一种对已存储的数据进行数据处理的流程图;图5是本专利技术实施例二提供的一种对待接收数据进行校验的流程图;图6是本专利技术实施例三提供的一种数据处理装置的结构示意图;图7为本专利技术实施例四提供的一种服务器的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本专利技术,而非对本专利技术的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种数据处理方法的流程图。本实施例可适用于对多条数据进行处理的情况,该方法可以由一种数据处理装置来执行。参见图1,本实施例提供的数据处理方法包括:S110、将实时监测到的待接收的数据均存储至设定存储器。其中,待接收的数据为等待接收以进行处理的数据,该数据可以是任意数据。设定存储器可以是指定的任意存储器,可选的,设定存储器可以是缓存存储器、也可以是内存存储器。众所周知,缓存是指可以进行高速数据交换的存储器,它先于内存与CPU交换数据,因此速率很快。为提高数据处理效率,将实时监测到的待接收的数据均存储至设定存储器包括:获取数据处理的平均耗时;若所述平均耗时小于等于设定处理时长,则将监测到的待接收的数据存储至缓存存储器;若所述平均耗时大于设定处理时长,则将监测到的待接收的数据存储至内存存储器,以避免对缓存较长时间的占用。具体的,将实时监测到的待接收的数据均存储至设定存储器,包括:实时监测是否有待接收的数据;若监测到所述数据,则将所述数据采用消息队列机制进行异步存储至设定存储器。其中,通过对待接收的数据采用消息队列机制进行异步存储,从而提高数据集成接口的并发处理能力。S120、根据所述数据的获取顺序,从所述存储器中获取待处理数据,进行数据处理。其中,所述数据的获取顺序可以通过所述数据的存储时间确定,也可以由其他方式确定。上述数据处理可以是对数据进行任意算法的处理,本实施例对此并不进行任何限制。当需要对获取的数据分别进行不同算法的处理时,根据所述数据的获取顺序,从所述存储器中获取待处理数据,进行数据处理,可以包括:若所述存储器中存在至少一条数据,则将最先获取的数据确定为待处理数据;提取所述待处理数据的特征信息,与预设特征信息进行匹配;根据匹配结果,将所述待处理数据分发给对应处理器进行设定算法的数据处理;存储数据处理结果,并将所述待处理数据从所述存储器中删除。典型的,特征信息可以是所述待处理数据中的预设位置的预设字段,通过对所述待处理数据中预设位置的预设字段的提取,实现所述待处理数据的特征信息的提取,并与预设特征信息进行匹配。若待处理数据与第一预设特征信息匹配一致,则将待处理数据发送给与第一预设特征信息关联的第一处理器进行设定算法的数据处理。具体的,待处理数据是社区人员的体检数据,由于体检数据量较大。为避免体检数据因等待超时,而造成的超时传输失败的问题,首先接收该数据,并进行存储;然后,处理器在处理完成当前数据后,按存储顺序获取数据作为待处理数据;读取待处理数据的预设字段,以提取特征信息,并与预设特征信息进行匹配,其中特征信息可以是心脏信息、肾脏信息、血管信息等;根据与匹配的预设特征信息关联的处理器,对待处理数据进行处理,比如若匹配的预设特征信息为心脏信息,则将待处理数据发送给关联有心脏类疾病风险算法的处理器进行处理。本专利技术实施例的技术方案,通过将实时监测到的待接收的数据先存储至设定存储器,然后从存储器中获取待处理数据,从而实现对待接收数据的预先存储。解决因正在处理中的数据的处理耗时较长导致的本文档来自技高网...
【技术保护点】
一种数据处理方法,其特征在于,包括:将实时监测到的待接收的数据均存储至设定存储器;根据所述数据的获取顺序,从所述存储器中获取待处理数据,进行数据处理。
【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:将实时监测到的待接收的数据均存储至设定存储器;根据所述数据的获取顺序,从所述存储器中获取待处理数据,进行数据处理。2.根据权利要求1所述的数据处理方法,其特征在于,将实时监测到的待接收的数据均存储至设定存储器,包括:对实时监测到的待接收的数据进行校验;将校验成功的所述数据均存储至设定存储器。3.根据权利要求2所述的数据处理方法,其特征在于,对实时监测到的待接收的数据进行校验之后,还包括:记录校验结果;若数据校验失败,则进行报错提示。4.根据权利要求2所述的数据处理方法,其特征在于,对实时监测到的待接收的数据进行校验,包括:判断数据所在报文的报文头中是否携带有预设授权码,其中所述数据为实时监测到的待接收的数据;若有,则继续判断所述报文格式是否满足预设协议格式;若满足,则加载预设校验规则,对所述数据进行内容校验。5.根据权利要求4所述的数据处理方法,其特征在于,加载预设校验规则,包括:采用缓存机制加载预设校验规则;对所述数据进行内容校验之后,还包括:判断是否对所述数据校验完成;若是,则将内容校验结果统一返回给用户。6.根据权利要求1所述的数据处理方法,其特征在于,根据所述数据的获取顺...
【专利技术属性】
技术研发人员:王剑斌,邓小鹏,
申请(专利权)人:苏州麦迪斯顿医疗科技股份有限公司,
类型:发明
国别省市:江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。