一种数据处理服务器系统技术方案

本发明专利技术公开了一种数据处理服务器系统，包括数据源服务器、第一数据处理服务器、第二数据处理服务器、备用数据处理服务器以及任务分配服务器，其特征在于，所述任务分配服务器接收所述数据源服务器的数据输入，所述任务分配服务器用于向所述第一数据处理服务器、第二数据处理服务器、备用数据处理服务器提供待处理的源数据；所述数据源服务器通过特定的数据接口根据数据类型、关键词信息获取源数据；并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据。

【技术实现步骤摘要】
一种数据处理服务器系统
本专利技术属于数据处理
，尤其涉及一种数据处理服务器系统。
技术介绍
在服务器数据处理领域，目前都是通过单个或者多个服务器进行同时处理，通过单个服务器处理时单个服务器的处理能力有限，多个服务器时容易造成服务器资源的浪费，这一问题一直没有得到合理解决。目前都是通过人工监控来进行数据处理。
技术实现思路
为了克服上述现有技术的技术问题，本专利技术是这样实现的一种数据处理服务器系统，包括数据源服务器、第一数据处理服务器、第二数据处理服务器、备用数据处理服务器以及任务分配服务器，所述任务分配服务器接收所述数据源服务器的数据输入，所述任务分配服务器用于向所述第一数据处理服务器、第二数据处理服务器、备用数据处理服务器提供待处理的源数据；所述数据源服务器通过特定的数据接口根据数据类型、关键词信息获取源数据；并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；所述任务分配服务器接收外界发送的数据，所述任务分配服务器筛选出特定的两种类型的数据并按照数据类别分别发送至第一数据处理服务器、第二数据处理服务器，所述第一数据处理服务器、第二数据处理服务器分别处理一种类型的数据；所述备用数据处理服务器可以处理所述两种类型的数据中的任意一种；所述第一数据处理服务器、第二数据处理服务器将实时的数据处理进度发送至所述任务分配服务器，第二数据处理服务器的数据处理进度，所述任务分配服务器记录至少两个周期内第一数据处理服务器、第二数据处理服务器的数据处理进度，并对比两个周期内第一数据处理服务器、第二数据处理服务器在相同的记录时间点的处理进度，若两个周期内在同一个记录时间点第一数据处理服务器都高于第二数据处理服务器的处理进度，在下一个周期内在该数据记录点所述第二数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器，若两个周期内在同一个记录时间点第二数据处理服务器都高于第一数据处理服务器的处理进度，在下一个周期内该时间记录点所述第一数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器。作为本专利技术中的一种改进，所述两种类型的数据根据需要进行设定。作为本专利技术中的一种改进，所述数据接口包括网络数据库、数据搜索引擎。作为本专利技术中的一种改进，在所述第一数据处理服务器、第二数据处理服务器连续工作时间未满48小时内，当所述第一数据处理服务器、第二数据处理服务器中的一个的数据处理进度低于30％时，该数据处理进度低于30％的服务器将接受到的数据的一半发送至所述备用数据处理服务器。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术数据处理服务器系统框图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。以下结合具体实施例对本专利技术的具体实现进行详细描述。结合附图1，本专利技术实施例提供了一种数据处理服务器系统，其包括数据源服务器、第一数据处理服务器、第二数据处理服务器、备用数据处理服务器以及任务分配服务器，所述任务分配服务器接收所述数据源服务器的数据输入，所述任务分配服务器用于向所述第一数据处理服务器、第二数据处理服务器、备用数据处理服务器提供待处理的源数据；所述数据源服务器通过特定的数据接口根据数据类型、关键词信息获取源数据；并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；所述缺损数据为与数据类型库中数据后缀名称近似度超过设定阈值的数据，修复缺损数据的方式为根据数据类型库中的具体数据后缀作为所述缺损数据的后缀替换掉原有的数据后缀；所述无用数据为与数据类型库中数据后缀名称近似度低于设定阈值的数据；其中数据类型的近似度根据数据的后缀名称的字符的数量进行量化；所述任务分配服务器接收外界发送的数据，所述任务分配服务器筛选出特定的两种类型的数据并按照数据类别分别发送至第一数据处理服务器、第二数据处理服务器，所述第一数据处理服务器、第二数据处理服务器分别处理一种类型的数据；所述备用数据处理服务器可以处理所述两种类型的数据中的任意一种；所述第一数据处理服务器、第二数据处理服务器将实时的数据处理进度发送至所述任务分配服务器，所述第一数据处理服务器、第二数据处理服务器至少连续工作48小时，所述任务分配服务器以24小时为一个周期以1小时为记录频率记录第一数据处理服务器、第二数据处理服务器的数据处理进度，所述任务分配服务器记录至少两个周期内第一数据处理服务器、第二数据处理服务器的数据处理进度，并对比两个周期内第一数据处理服务器、第二数据处理服务器在相同的记录时间点的处理进度，若两个周期内在同一个记录时间点第一数据处理服务器都高于第二数据处理服务器的处理进度，在下一个周期内在该数据记录点所述第二数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器，若两个周期内在同一个记录时间点第二数据处理服务器都高于第一数据处理服务器的处理进度，在下一个周期内该时间记录点所述第一数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器。本实施例所述特定的两种类型的数据根据需要进行设定。两种数据类型可以设置为特定格式的文档数据、特定格式的图片数据，特定格式的视频数据，音频文件，或者其他类型的数据，如doc后缀的文件，jpg后缀的文件，mp4后缀的文件，mp3后缀的文件等，本专利技术不做具体限定。所述特定的数据接口包括网络数据库、数据搜索引擎。在所述第一数据处理服务器、第二数据处理服务器连续工作时间未满48小时内，当所述第一数据处理服务器、第二数据处理服务器中的一个的数据处理进度低于30％时，该数据处理进度低于30％的服务器将接受到的数据的一半发送至所述备用数据处理服务器。本专利技术提供的高效数据处理服务器系统根据两个数据处理服务器的历史数据处理状态通过备用服务器进行辅助处理，保证了数据处理的高效性；同时本专利技术可以在获取历史数据处理状态的时间内通过备用数据处理器保证数据处理不收影响。以上所述仅为本专利技术的较佳实施例而已，并不用以限制本专利技术，凡在本专利技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本专利技术的保护范围。本文档来自技高网...

【技术保护点】
一种数据处理服务器系统，包括数据源服务器、第一数据处理服务器、第二数据处理服务器、备用数据处理服务器以及任务分配服务器，其特征在于，所述任务分配服务器接收所述数据源服务器的数据输入，所述任务分配服务器用于向所述第一数据处理服务器、第二数据处理服务器、备用数据处理服务器提供待处理的源数据；所述数据源服务器通过特定的数据接口根据数据类型、关键词信息获取源数据；并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；所述任务分配服务器接收外界发送的数据，所述任务分配服务器筛选出特定的两种类型的数据并按照数据类别分别发送至第一数据处理服务器、第二数据处理服务器，所述第一数据处理服务器、第二数据处理服务器分别处理一种类型的数据；所述备用数据处理服务器可以处理所述两种类型的数据中的任意一种；所述第一数据处理服务器、第二数据处理服务器将实时的数据处理进度发送至所述任务分配服务器，第二数据处理服务器的数据处理进度，所述任务分配服务器记录至少两个周期内第一数据处理服务器、第二数据处理服务器的数据处理进度，并对比两个周期内第一数据处理服务器、第二数据处理服务器在相同的记录时间点的处理进度，若两个周期内在同一个记录时间点第一数据处理服务器都高于第二数据处理服务器的处理进度，在下一个周期内在该数据记录点所述第二数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器，若两个周期内在同一个记录时间点第二数据处理服务器都高于第一数据处理服务器的处理进度，在下一个周期内该时间记录点所述第一数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器。...

【技术特征摘要】
1.一种数据处理服务器系统，包括数据源服务器、第一数据处理服务器、第二数据处理服务器、备用数据处理服务器以及任务分配服务器，其特征在于，所述任务分配服务器接收所述数据源服务器的数据输入，所述任务分配服务器用于向所述第一数据处理服务器、第二数据处理服务器、备用数据处理服务器提供待处理的源数据；所述数据源服务器通过特定的数据接口根据数据类型、关键词信息获取源数据；并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；所述任务分配服务器接收外界发送的数据，所述任务分配服务器筛选出特定的两种类型的数据并按照数据类别分别发送至第一数据处理服务器、第二数据处理服务器，所述第一数据处理服务器、第二数据处理服务器分别处理一种类型的数据；所述备用数据处理服务器可以处理所述两种类型的数据中的任意一种；所述第一数据处理服务器、第二数据处理服务器将实时的数据处理进度发送至所述任务分配服务器，第二数据处理服务器的数据处理进度，所述任务分配服务器记录至少两个周期内第一数据处理服务器、第二数据处理服务器的数据...

【专利技术属性】
技术研发人员：杨剑波，
申请(专利权)人：安华智能股份公司，
类型：发明
国别省市：湖北,42