一种处理数据的方法及服务器技术

本发明专利技术实施例公开了一种处理数据的方法及服务器，其中方法包括：获取待去重的第一目标数据；根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识；根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复；将所述有效数据对应的唯一身份标识存储在所述预设数据库中。本发明专利技术实施例能够快速对数据进行去重处理，节省数据去重处理的时间，提高数据去重处理的效率。

【技术实现步骤摘要】
一种处理数据的方法及服务器
本专利技术涉及电子
，尤其涉及一种处理数据的方法及服务器。
技术介绍
随着信息时代的发展，企业研发的各种虚拟产品(如应用程序、网站等)在使用过程中都会产生大量数据，这些数据通常都需要发送至相应的服务器，以便服务器对这些数据进行分析或存储。而服务器在对其接收到的数据进行分析或存储时，首先需要对其接收到的数据进行去重处理。现有技术中，服务器对数据进行去重处理的方式通常为：收集当天接收到的所有数据，并通过数据仓库工具(例如Hive)对当天接收到的所有数据进行去重处理。然而，由于服务器每天接收到的数据量较为庞大，且不同数据的数据结构不同，因此对数据进行去重处理需要花费大量时间，从而会对后续的数据分析造成较大的延时。
技术实现思路
本专利技术实施例提供一种处理数据的方法及服务器，能够快速对数据进行去重处理，节省数据去重处理的时间，提高数据去重处理的效率。第一方面，本专利技术实施例提供了一种处理数据的方法，该方法包括：获取待去重的第一目标数据；根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识；根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复；将所述有效数据对应的唯一身份标识存储在所述预设数据库中。第二方面，本专利技术实施例提供了一种服务器，该服务器包括：获取单元，用于获取待去重的第一目标数据；计算单元，用于根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识；去重单元，用于根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复；第一存储单元，用于将所述有效数据对应的唯一身份标识存储在所述预设数据库中。第三方面，本专利技术实施例提供了另一种服务器，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持服务器执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。本专利技术实施例通过计算待去重的第一目标数据对应的唯一身份标识，并根据第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对第一目标数据进行去重处理，得到有效数据，且将有效数据对应的唯一身份标识存储在预设数据库中。由于根据预设的身份标识计算策略计算得到的数据的唯一身份标识为统一格式，因此，通过唯一身份标识来检测第一目标数据是否为重复数据，并对第一目标数据中的重复数据进行去重处理，能够节省数据去重处理的时间，提高数据去重处理的效率。附图说明为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种处理数据的方法的示意流程图；图2是本专利技术另一实施例提供的一种处理数据的方法的示意流程图；图3是本专利技术实施例提供的一种服务器的示意性框图；图4是本专利技术另一实施例提供的一种服务器的示意性框图；图5是本专利技术再一实施例提供的一种服务器的示意性框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合及所有可能组合，并且包括这些组合。如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。具体实现中，本专利技术实施例中描述的服务器包括但不限于诸如具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的移动电话、膝上型计算机或平板计算机之类的其它便携式设备。还应当理解的是，在某些实施例中，所述设备并非便携式通信设备，而是具有触摸敏感表面(例如，触摸屏显示器和/或触摸板)的台式计算机。在接下来的讨论中，描述了包括显示器和触摸敏感表面的服务器。然而，应当理解的是，服务器可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其它物理用户接口设备。服务器支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、网站创建应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数码相机应用程序、数字摄影机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。可以在服务器上执行的各种应用程序可以使用诸如触摸敏感表面的至少一个公共物理用户接口设备。可以在应用程序之间和/或相应应用程序内调整和/或改变触摸敏感表面的一个或多个功能及服务器上显示的相应信息。这样，服务器的公共物理架构(例如，触摸敏感表面)可以支持具有对用户而言直观且透明的用户界面的各种应用程序。参见图1，图1是本专利技术实施例提供的一种处理数据的方法的示意流程图。本实施例中处理数据的方法的执行主体为服务器。如图1所示的处理数据的方法可以包括以下步骤：S101：获取待去重的第一目标数据。在本实施例中，服务器正常工作时，接收其他终端发送的各种数据。其中，其他终端可以为客户端，也可以为除了本服务器之外的其他服务器。客户端可以为手机、平板电脑等移动终端，也可以为其他终端。服务器可以为客户端上安装的任一应用程序(application，APP)对应的应用服务器，也可以为任一网站对应的网站服务器，或者可以为用于管理应用服务器、网站服务器或其他业务类型服务器等多个服务器的总服务器等，此处不做限制。服务器接收到的数据包括但不限于客户端上安装的任一APP产生的应用数据、任一网站产生的数据或其他业务类型的服务器产本文档来自技高网...

【技术保护点】
一种处理数据的方法，其特征在于，包括：获取待去重的第一目标数据；根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识；根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复；将所述有效数据对应的唯一身份标识存储在所述预设数据库中。

【技术特征摘要】
1.一种处理数据的方法，其特征在于，包括：获取待去重的第一目标数据；根据预设的身份标识计算策略计算所述第一目标数据对应的唯一身份标识；根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据；其中，所述预设数据库中存储的唯一身份标识互不重复；将所述有效数据对应的唯一身份标识存储在所述预设数据库中。2.根据权利要求1所述的方法，其特征在于，所述第一目标数据包括至少两条数据，所述根据所述第一目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第一目标数据进行去重处理，得到有效数据，包括：根据所述第一目标数据各自对应的唯一身份标识对所述第一目标数据进行去重处理，得到第二目标数据；根据所述第二目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第二目标数据进行去重处理，得到所述有效数据。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一目标数据各自对应的唯一身份标识对所述第一目标数据进行去重处理，包括：根据所述第一目标数据各自对应的唯一身份标识，检测所述第一目标数据中是否存在相同的数据；若所述第一目标数据中的第一数据和第二数据为相同的数据，则保留所述第一数据或所述第二数据。4.根据权利要求2所述的方法，其特征在于，所述预设数据库为分布式存储系统，所述根据所述第二目标数据对应的唯一身份标识以及预设数据库中存储的唯一身份标识对所述第二目标数据进行去重处理，包括：将所述第二目标数据对应的唯一身份标识发送至所述分布式存储系统；其中，所述第二目标数据对应的唯一身份标识用于所述分布式存储系统检测所述第二目标数据是否为重复数据；接收所述分布式存储系统返回的检测结果；其中，所述检测结果用于标识所述第二目标数据是否为重复数据；根据所述检测结果对所述第二目标数据进行去重处理；其中，若所述第二目标数据中的第三数据对应的检测结果为是，则丢弃所述第三数据；若所述第二目标数据...

【专利技术属性】
技术研发人员：陈智伟，
申请(专利权)人：深圳市诚壹科技有限公司，
类型：发明
国别省市：广东,44