数据存储方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及存储技术领域，提供了一种数据存储方法、装置、电子设备及存储介质，该方法包括：每隔预设周期，扫描多个数据源，并获取多个数据源中的用户数据；接收客户端发送的数据存储需求，并从用户数据对应的内容文件中提取筛选字段，利用筛选字段构建筛选条件；筛选条件用于筛选符合数据存储需求的用户数据；数据存储需求包括数据存储标识；基于筛选条件对用户数据进行筛选，并对筛选后的用户数据进行数据加工，得到目标用户数据；根据数据存储标识获取目标用户数据的分布策略，并按照分布策略将目标用户数据发送到相应的数据库进行存储。这样，可以提高数据写入的效率，不仅实现海量用户数据的高存储量需求，还实现了高并发、毫秒级查询。级查询。级查询。

【技术实现步骤摘要】
数据存储方法、装置、电子设备及存储介质


[0001]本申请涉及存储
，尤其涉及一种数据存储方法、装置、电子 设备及存储介质。

技术介绍

[0002]随着数据量日益激增，在生产营销的过程中，客户群中的用户数据可 能有多个数据源，并且用户数据呈指数级别的爆发增长，因此数据存储系 统如何实现对客户群数据进行查询、写入等处理显得尤为重要。
[0003]现有技术中，可以通过设置大型数据库来存储用户数据，具体的，直 接将收集到的用户数据进行文件解析，并将解析后用户数据插入到大型数 据库中。
[0004]上述数据存储方式，虽然可满足海量用户数据的高存储量要求，但是 从大型数据库中查询、写入某一数据的效率较低。

技术实现思路

[0005]本申请提供一种数据存储方法、装置、电子设备及存储介质，可以提 高数据写入数据库的效率，不仅实现海量用户数据的高存储量需求，还实现 了高并发、毫秒级查询。
[0006]第一方面，本申请提供一种数据存储方法，所述方法包括：
[0007]每隔预设周期，扫描多个数据源，并获取所述多个数据源中的用户数据；
[0008]接收客户端发送的数据存储需求，并从所述用户数据对应的内容文件中 提取筛选字段，利用所述筛选字段构建筛选条件；所述筛选条件用于筛选符 合数据存储需求的用户数据；所述数据存储需求包括数据存储标识；
[0009]基于所述筛选条件对用户数据进行筛选，并对筛选后的用户数据进行数 据加工，得到目标用户数据；
[0010]根据所述数据存储标识获取所述目标用户数据的分布策略，并按照所述 分布策略将所述目标用户数据发送到相应的数据库进行存储。
[0011]可选的，扫描多个数据源，并获取所述多个数据源中的用户数据，包括：
[0012]启动定时程序扫描多个不同业务类型的数据源；所述业务类型用于区分 来自不同业务场景的用户数据；
[0013]基于预定义协议将多个不同业务类型的数据源中的用户数据进行下载， 得到多个数据源中的用户数据。
[0014]可选的，所述内容文件包括基于业务场景确定的多个自定义字段；从所 述用户数据对应的内容文件中提取筛选字段，利用所述筛选字段构建筛选条 件，包括：
[0015]利用预定义规则从所述用户数据对应的内容文件包括的多个自定义字段 中提取出筛选字段；
[0016]基于所述数据存储需求获取本次存储所需的筛选字段，并利用本次存储 所需的筛选字段构建符合所述数据存储需求的筛选条件。
[0017]可选的，基于所述筛选条件对用户数据进行筛选，并对筛选后的用户数 据进行数据加工，得到目标用户数据，包括：
[0018]针对每一个用户数据，判断所述用户数据是否满足所述筛选条件；
[0019]若是，则基于预设方法对所述用户数据中的字段信息进行数值替换，得 到目标用户数据；
[0020]若否，则将所述用户数据丢弃，并将丢弃的用户数据发送至开发人员的 终端设备上进行显示，以使开发人员再次确定该用户数据是否需要丢弃。
[0021]可选的，根据所述数据存储标识获取所述目标用户数据的分布策略，并 按照所述分布策略将所述目标用户数据发送到相应的数据库进行存储，包括：
[0022]获取所述目标用户数据对应的内存大小，基于所述内存大小和分布式算 法生成与所述数据存储标识对应的分布策略；
[0023]利用所述分布策略对所述目标用户数据进行排序归类，并将排序归类后 的目标用户数据发送到相应的数据库进行存储。
[0024]可选的，将排序归类后的目标用户数据发送到相应的数据库进行存储， 包括：
[0025]基于所述数据存储标识在预设存储表中获取相应的密钥算法；
[0026]利用所述密钥算法对排序归类后的目标用户数据进行加密，得到加密数 据，并将所述加密数据发送到相应的数据库进行存储。
[0027]可选的，所述方法还包括：
[0028]接收客户端发送的查询数据请求，所述查询数据请求用于指示查询的用 户数据对应的数据存储标识；
[0029]基于所述数据存储标识从相应的数据库中调用目标用户数据，并将所述 目标用户数据进行数据转换，得到所需的用户数据。
[0030]第二方面，本申请还提供一种数据存储装置，所述装置包括：
[0031]扫描模块，用于每隔预设周期，扫描多个数据源，并获取所述多个数据 源中的用户数据；
[0032]构建模块，用于接收客户端发送的数据存储需求，并从所述用户数据对 应的内容文件中提取筛选字段，利用所述筛选字段构建筛选条件；所述筛选 条件用于筛选符合数据存储需求的用户数据；所述数据存储需求包括数据存 储标识；
[0033]筛选模块，用于基于所述筛选条件对用户数据进行筛选，并对筛选后的 用户数据进行数据加工，得到目标用户数据；
[0034]获取模块，用于根据所述数据存储标识获取所述目标用户数据的分布策 略，并按照所述分布策略将所述目标用户数据发送到相应的数据库进行存储。
[0035]第三方面，本申请还提供一种电子设备，包括：处理器，存储器以及计 算机程序；其中，所述计算机程序被存储在所述存储器中，并且被配置为由 所述处理器执行，所述计算机程序包括用于执行如第一方面中任一项所述的 数据存储方法的指令。
[0036]第四方面，本申请还提供一种计算机可读存储介质，所述计算机可读存 储介质存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实 现如第一方面中任一项所述的方法。
[0037]综上所述，本申请提供一种数据存储方法、装置、电子设备及存储介质， 可以通过
每隔预设周期，扫描多个数据源，并获取多个数据源中的用户数 据；进一步的，接收客户端发送的数据存储需求，并从用户数据对应的内 容文件中提取筛选字段，利用筛选字段构建筛选条件；其中，筛选条件用 于筛选符合数据存储需求的用户数据；数据存储需求包括数据存储标识； 进一步的，可以基于筛选条件对用户数据进行筛选，并对筛选后的用户数 据进行数据加工，得到目标用户数据；进而根据数据存储标识获取目标用 户数据的分布策略，并按照分布策略将目标用户数据发送到相应的数据库 进行存储。这样，可以使得用户数据可以批量快速的分布式导入到数据库中， 提高数据写入的效率，不仅实现海量用户数据的高存储量需求，还实现了高 并发、毫秒级查询。
附图说明
[0038]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本 申请的实施例，并与说明书一起用于解释本申请的原理。
[0039]图1为本申请实施例提供的一种应用场景示意图；
[0040]图2为本申请实施例提供的一种数据存储方法的流程示意图；
[0041]图3为本申请实施例提供的一种利用筛选字段构建筛选条件的界面示意 图；
[0042]图4为本申请实施例提供的一种服务器部署框架的结构示意图；
[0043]图5为本申请实施例提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，所述方法包括：每隔预设周期，扫描多个数据源，并获取所述多个数据源中的用户数据；接收客户端发送的数据存储需求，并从所述用户数据对应的内容文件中提取筛选字段，利用所述筛选字段构建筛选条件；所述筛选条件用于筛选符合数据存储需求的用户数据；所述数据存储需求包括数据存储标识；基于所述筛选条件对用户数据进行筛选，并对筛选后的用户数据进行数据加工，得到目标用户数据；根据所述数据存储标识获取所述目标用户数据的分布策略，并按照所述分布策略将所述目标用户数据发送到相应的数据库进行存储。2.根据权利要求1所述的方法，其特征在于，扫描多个数据源，并获取所述多个数据源中的用户数据，包括：启动定时程序扫描多个不同业务类型的数据源；所述业务类型用于区分来自不同业务场景的用户数据；基于预定义协议将多个不同业务类型的数据源中的用户数据进行下载，得到多个数据源中的用户数据。3.根据权利要求1所述的方法，其特征在于，所述内容文件包括基于业务场景确定的多个自定义字段；从所述用户数据对应的内容文件中提取筛选字段，利用所述筛选字段构建筛选条件，包括：利用预定义规则从所述用户数据对应的内容文件包括的多个自定义字段中提取出筛选字段；基于所述数据存储需求获取本次存储所需的筛选字段，并利用本次存储所需的筛选字段构建符合所述数据存储需求的筛选条件。4.根据权利要求1所述的方法，其特征在于，基于所述筛选条件对用户数据进行筛选，并对筛选后的用户数据进行数据加工，得到目标用户数据，包括：针对每一个用户数据，判断所述用户数据是否满足所述筛选条件；若是，则基于预设方法对所述用户数据中的字段信息进行数值替换，得到目标用户数据；若否，则将所述用户数据丢弃，并将丢弃的用户数据发送至开发人员的终端设备上进行显示，以使开发人员再次确定该用户数据是否需要丢弃。5.根据权利要求1所述的方法，其特征在于，根据所述数据存储标识获取所述目标用户数据的分布策略，并按照所述分布策略将所述目标用户数据发送到相应的数据库进行存储，包括：获取所述目标用户数据对应的内存大小，...

【专利技术属性】
技术研发人员：周博宇，张雨，吴楠，张孟鑫，王文峰，
申请(专利权)人：中国联合网络通信集团有限公司，
类型：发明
国别省市：