数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开一种数据处理方法、装置、计算机设备及存储介质，包括：获取待处理的源数据；将存储所述源数据的服务器设置为预设的分布式系统的主服务器，将所述分布式系统的其余服务器设置为所述主服务器的从属服务器，所述主服务器通过复制的方式将所述源数据同步至所述属服务器中；所述主服务器和/或从属服务器根据预设的哈希函数，对所述用户数据逐一进行哈希计算，并将对应的用户数据存储至所述哈希计算结果指向的存储位置；配置所述源数据的查询接口。在进行源数据存储时，将采集该源数据的服务器设置成为分布式系统中的主服务器，通过主服务器向其余各从属服务器复制同步源数据，分布式系统能够提升整个源数据调用的数据处理效率。处理效率。处理效率。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质


[0001]本专利技术实施例涉及数据处理领域，尤其是一种数据处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]数据存储是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储媒介上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。
[0003]本专利技术创造的专利技术人在研究中发现，现有技术中，进行数据存储时，往往将需要存储的数据存储在一台服务中，存储时首先将信息存储在指定的位置后，建立存储列表记录各信息的存储位置。这种单一存储的方式会导致存储数据的服务器，有较大的访问压力，而且在进行数据调用时，需要向通过遍历储存位置，再进行数据调用，在存储数据较多时，调用效率较差。

技术实现思路

[0004]本专利技术实施例提供一种能够提高数据存储效率和调用效率的数据处理方法、装置、计算机设备及存储介质。
>[0005]为解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取待处理的源数据，其中，所述源数据由多条用户数据组成；将存储所述源数据的服务器设置为预设的分布式系统的主服务器，将所述分布式系统的其余服务器设置为所述主服务器的从属服务器，所述主服务器通过复制的方式将所述源数据同步至所述属服务器中；所述主服务器和/或从属服务器根据预设的哈希函数，对所述用户数据逐一进行哈希计算，并将对应的用户数据存储至所述哈希计算结果指向的存储位置；配置所述源数据的查询接口，以使外部终端对所述源数据进行调用。2.根据权利要求1所述的数据处理方法，其特征在于，所述主服务器通过复制的方式将所述源数据同步至所述属服务器中包括：所述主服务器将所述源数据提取到内存中；通过预设的数据清洗规则对所述源数据进行数据清洗，所述主服务器将清洗后的源数据同步至所述分布式系统的各从属服务器中。3.根据权利要求1所述的数据处理方法，其特征在于，所述主服务器和/或从属服务器根据预设的哈希函数，对所述用户数据逐一进行哈希计算，并将对应的用户数据存储至所述哈希计算结果指向的存储位置包括：所述主服务器和/或从属服务器调用预设的哈希函数；将所述用户数据逐一进行哈希计算生成哈希值，并根据所述哈希值对所述用户数据进行查重处理；将所述哈希值相同的用户数据进行删除，使所述源数据中各用户数据具有唯一性。4.根据权利要求3所述的数据处理方法，其特征在于，所述将所述哈希值相同的用户数据进行删除包括：将所述哈希值相同的用户数据进行数据比对，确定哈希值相同但用户数据不同的目标用户数据；根据所述目标用户数据构建用于存储所述目标用户数据的存储链表；将所述存储链表通过键值的方式与所述哈希值指向的存储位置进行关联存储；将所述哈希值相同且所述用户数据也相同的用户数据进行删除。5.根据权利要求1所述的数据处理方法，其特征在于，所述分布式系统包括多个哨兵节点，所述多个哨兵节点与所述主服务器和多个从属服务器连接，所述配置所述源数据的查询接口之后，包括：所述多个哨兵节点分别向所述主服务器和多个从属服务器发送网包探索命令；根据所述主服务器对所述...

【专利技术属性】
技术研发人员：尹金权，张巍，丁欢，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：