本申请公开一种数据处理方法、装置、计算机设备及存储介质，包括：获取待处理的源数据；将存储所述源数据的服务器设置为预设的分布式系统的主服务器，将所述分布式系统的其余服务器设置为所述主服务器的从属服务器，所述主服务器通过复制的方式将所述源数据同步至所述属服务器中；所述主服务器和/或从属服务器根据预设的哈希函数，对所述用户数据逐一进行哈希计算，并将对应的用户数据存储至所述哈希计算结果指向的存储位置；配置所述源数据的查询接口。在进行源数据存储时，将采集该源数据的服务器设置成为分布式系统中的主服务器，通过主服务器向其余各从属服务器复制同步源数据，分布式系统能够提升整个源数据调用的数据处理效率。处理效率。处理效率。
【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质
[0001]本专利技术实施例涉及数据处理领域，尤其是一种数据处理方法、装置、计算机设备及存储介质。
技术介绍
[0002]数据存储是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储媒介上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。
[0003]本专利技术创造的专利技术人在研究中发现，现有技术中，进行数据存储时，往往将需要存储的数据存储在一台服务中，存储时首先将信息存储在指定的位置后，建立存储列表记录各信息的存储位置。这种单一存储的方式会导致存储数据的服务器，有较大的访问压力，而且在进行数据调用时，需要向通过遍历储存位置，再进行数据调用，在存储数据较多时，调用效率较差。
技术实现思路
[0004]本专利技术实施例提供一种能够提高数据存储效率和调用效率的数据处理方法、装置、计算机设备及存储介质。
[0005]为解决上述技术问题，本专利技术创造的实施例采用的一个技术方案是：提供一种数据处理方法，包括：
[0006]获取待处理的源数据，其中，所述源数据由多条用户数据组成；
[0007]将存储所述源数据的服务器设置为预设的分布式系统的主服务器，将所述分布式系统的其余服务器设置为所述主服务器的从属服务器，所述主服务器通过复制的方式将所述源数据同步至所述属服务器中；
[0008]所述主服务器和/或从属服务器根据预设的哈希函数，对所述用户数据逐一进行哈希计算，并将对应的用户数据存储至所述哈希计算结果指向的存储位置；
[0009]配置所述源数据的查询接口，以使外部终端对所述源数据进行调用。
[0010]可选地，所述主服务器通过复制的方式将所述源数据同步至所述属服务器中包括：
[0011]所述主服务器将所述源数据提取到内存中；
[0012]通过预设的数据清洗规则对所述源数据进行数据清洗，所述主服务器将清洗后的源数据同步至所述分布式系统的各从属服务器中。
[0013]可选地，所述主服务器和/或从属服务器根据预设的哈希函数，对所述用户数据逐一进行哈希计算，并将对应的用户数据存储至所述哈希计算结果指向的存储位置包括：
[0014]所述主服务器和/或从属服务器调用预设的哈希函数；
[0015]将所述用户数据逐一进行哈希计算生成哈希值，并根据所述哈希值对所述用户数
据进行查重处理；
[0016]将所述哈希值相同的用户数据进行删除，使所述源数据中各用户数据具有唯一性。
[0017]可选地，所述将所述哈希值相同的用户数据进行删除包括：
[0018]将所述哈希值相同的用户数据进行数据比对，确定哈希值相同但用户数据不同的目标用户数据；
[0019]根据所述目标用户数据构建用于存储所述目标用户数据的存储链表；
[0020]将所述存储链表通过键值的方式与所述哈希值指向的存储位置进行关联存储；
[0021]将所述哈希值相同且所述用户数据也相同的用户数据进行删除。
[0022]可选地，所述分布式系统包括多个哨兵节点，所述多个哨兵节点与所述主服务器和多个从属服务器连接，所述配置所述源数据的查询接口之后，包括：
[0023]所述多个哨兵节点分别向所述主服务器和多个从属服务器发送网包探索命令；
[0024]根据所述主服务器对所述网包探索命令的回复信息，确认所述主服务器是否主观下线；
[0025]当所述主服务器处于主观下线状态，通过所述多个哨兵节点进行共举验证，确定所述主服务器是否客观下线，当所述主服务器处于客观下线状态，从所述多个从属服务器选取新的主服务器。
[0026]可选地，所述配置所述源数据的查询接口之后，包括：
[0027]所述主服务器和/或从属服务器根据预设的配置比例，将所述源数据划分为内存数据和硬盘数据；
[0028]所述主服务器和/或从属服务器将所述内存数据预提至各自的内存空间内。
[0029]可选地，所述配置所述源数据的查询接口之后，包括：
[0030]获取待执行的用户请求，其中，所述用户请求中携带有用户信息，所述用户信息用于检索与之对应的至少一条用户数据；
[0031]根据所述哈希函数对所述用户信息进行哈希计算生成查询地址；
[0032]根据所述查询地址调用与所述用户信息对应的至少一条用户数据；
[0033]将所述至少一条用户数据回传至发送所述用户请求的用户终端中。
[0034]为解决上述技术问题，本专利技术实施例还提供一种数据处理装置，包括：
[0035]获取模块，用于获取待处理的源数据，其中，所述源数据由多条用户数据组成；
[0036]处理模块，用于将存储所述源数据的服务器设置为预设的分布式系统的主服务器，将所述分布式系统的其余服务器设置为所述主服务器的从属服务器，所述主服务器通过复制的方式将所述源数据同步至所述属服务器中；
[0037]存储模块，用于所述主服务器和/或从属服务器根据预设的哈希函数，对所述用户数据逐一进行哈希计算，并将对应的用户数据存储至所述哈希计算结果指向的存储位置；
[0038]配置模块，用于配置所述源数据的查询接口，以使外部终端对所述源数据进行调用。
[0039]可选地，所述数据处理装置还包括：
[0040]第一提取子模块，用于所述主服务器将所述源数据提取到内存中；
[0041]第一清洗子模块，用于通过预设的数据清洗规则对所述源数据进行数据清洗，所
述主服务器将清洗后的源数据同步至所述分布式系统的各从属服务器中。
[0042]可选地，所述数据处理装置还包括：
[0043]第一调用子模块，用于所述主服务器和/或从属服务器调用预设的哈希函数；
[0044]第一计算子模块，用于将所述用户数据逐一进行哈希计算生成哈希值，并根据所述哈希值对所述用户数据进行查重处理；
[0045]第一删除子模块，用于将所述哈希值相同的用户数据进行删除，使所述源数据中各用户数据具有唯一性。
[0046]可选地，所述数据处理装置还包括：
[0047]第一比对子模块，用于将所述哈希值相同的用户数据进行数据比对，确定哈希值相同但用户数据不同的目标用户数据；
[0048]第一存储子模块，用于根据所述目标用户数据构建用于存储所述目标用户数据的存储链表；
[0049]第一关联子模块，用于将所述存储链表通过键值的方式与所述哈希值指向的存储位置进行关联存储；
[0050]第二删除子模块，用于将所述哈希值相同且所述用户数据也相同的用户数据进行删除。
[0051]可选地，所述分布式系统包括多个哨兵节点，所述多个哨兵节点与所述主服务器和多个从属服务器连接，所述数据处理装置还包括：
[0052]第一发送子模块，用于本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理的源数据，其中，所述源数据由多条用户数据组成；将存储所述源数据的服务器设置为预设的分布式系统的主服务器，将所述分布式系统的其余服务器设置为所述主服务器的从属服务器，所述主服务器通过复制的方式将所述源数据同步至所述属服务器中；所述主服务器和/或从属服务器根据预设的哈希函数，对所述用户数据逐一进行哈希计算，并将对应的用户数据存储至所述哈希计算结果指向的存储位置；配置所述源数据的查询接口，以使外部终端对所述源数据进行调用。2.根据权利要求1所述的数据处理方法，其特征在于，所述主服务器通过复制的方式将所述源数据同步至所述属服务器中包括：所述主服务器将所述源数据提取到内存中；通过预设的数据清洗规则对所述源数据进行数据清洗，所述主服务器将清洗后的源数据同步至所述分布式系统的各从属服务器中。3.根据权利要求1所述的数据处理方法，其特征在于，所述主服务器和/或从属服务器根据预设的哈希函数，对所述用户数据逐一进行哈希计算，并将对应的用户数据存储至所述哈希计算结果指向的存储位置包括：所述主服务器和/或从属服务器调用预设的哈希函数；将所述用户数据逐一进行哈希计算生成哈希值，并根据所述哈希值对所述用户数据进行查重处理；将所述哈希值相同的用户数据进行删除，使所述源数据中各用户数据具有唯一性。4.根据权利要求3所述的数据处理方法，其特征在于，所述将所述哈希值相同的用户数据进行删除包括：将所述哈希值相同的用户数据进行数据比对，确定哈希值相同但用户数据不同的目标用户数据；根据所述目标用户数据构建用于存储所述目标用户数据的存储链表；将所述存储链表通过键值的方式与所述哈希值指向的存储位置进行关联存储；将所述哈希值相同且所述用户数据也相同的用户数据进行删除。5.根据权利要求1所述的数据处理方法，其特征在于，所述分布式系统包括多个哨兵节点，所述多个哨兵节点与所述主服务器和多个从属服务器连接，所述配置所述源数据的查询接口之后，包括：所述多个哨兵节点分别向所述主服务器和多个从属服务器发送网包探索命令；根据所述主服务器对所述...
【专利技术属性】
技术研发人员：尹金权，张巍，丁欢，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。