一种数据处理方法、设备、服务器及计算机可读存储介质技术

本发明专利技术实施例公开了一种数据处理方法、设备、服务器及计算机可读存储介质，其中，该方法包括：接收终端发送的数据处理请求，数据处理请求中携带了第一数据表标识，确定与第一数据表标识对应的第一数据表，所述第一数据表中包括多个第一字段数据；根据预设的数据表标识映射关系，确定与第一数据表标识对应的第二数据表标识，并确定与第二数据表标识对应的第二数据表，第二数据表包括多个第二字段数据；如果确定出第一字段数据的格式与第二字段数据的格式不一致，则根据预设的转换规则对第一字段数据的格式进行转换；根据预设的字段匹配映射关系，将第一字段数据与第二字段数据进行替换处理，实现了快速数据替换处理，提高了数据处理效率。理效率。理效率。

【技术实现步骤摘要】
一种数据处理方法、设备、服务器及计算机可读存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法、设备、服务器及计算机可读存储介质。

技术介绍

[0002]在数据仓库的建设中，往往需要在异构的数据库/文件系统之间高速交换数据，目前成熟的数据导入导出工具比较多，但是一般都只能用于数据导入或者导出，并且只能支持一个或者几个特定类型的数据库。
[0003]然而，通过很多不同类型的数据库/文件系统进行导入或导出数据，需要开发/维护/学习使用一批数据导入导出工具。而且以后每增加一种库类型，需要的工具数目将线性增长。这些数据导入导出工具有些使用文件中转数据，有些使用管道，不同程度的为数据中转带来额外开销。很多工具也无法满足数据仓库技术(Extract Transform Load，ETL)任务中常见的需求，比如日期格式转化，特性字符的转化，编码转换。另外也无法实现在一个很短的时间窗口内，将一份数据从一个数据库同时导出到多个不同类型的数据库。

技术实现思路

[0004]本专利技术实施例提供了一种数据处理方法、设备、服务器及计算机可读存储介质，可实现数据可视化处理，提高数据处理的效率。
[0005]第一方面，本专利技术实施例提供了一种数据处理方法，包括：
[0006]接收终端发送的数据处理请求，所述数据处理请求中携带了第一数据表标识，根据所述第一数据表标识确定与所述第一数据表标识对应的第一数据表，所述第一数据表中包括多个第一字段数据；
[0007]根据预设的数据表标识映射关系，确定与所述第一数据表标识对应的第二数据表标识，并确定与所述第二数据表标识对应的第二数据表，所述第二数据表包括多个第二字段数据；
[0008]将所述第一字段数据的格式与所述第二字段数据的格式进行匹配，如果确定出所述第一字段数据的格式与所述第二字段数据的格式不一致，则根据预设的转换规则对所述第一字段数据的格式进行转换，以使每个第一字段数据的格式与每个第二字段数据的格式一致；
[0009]根据预设的字段匹配映射关系，将所述第一数据表中的第一字段数据与所述第二数据表中的第二字段数据进行替换处理。
[0010]进一步地，所述将所述第一字段数据的格式与所述第二字段数据的格式进行匹配，包括：
[0011]根据所述预设的字段匹配映射关系，将所述第一数据表中的每个第一字段数据的格式与所述第二数据表中对应匹配的每个第二字段数据的格式进行比较；
[0012]所述如果确定出所述第一字段数据的格式与所述第二字段数据的格式不一致，则
根据预设的转换规则对所述第一字段数据的格式进行转换，包括：
[0013]如果确定出所述第一数据表中存在与所述第二数据表中对应的第二字段数据的格式不一致的待转换字段数据，则根据预设的转换规则对所述第一数据表中的待转换字段数据的格式进行转换，以使转换后所述第一数据表中每个第一字段数据的格式与所述第二数据表中对应的每个第二字段数据的格式一致。
[0014]进一步地，所述根据所述每个第一字段数据与所述每个第二字段数据的匹配关系，将所述每个第一字段数据与所述每个第二字段数据进行替换处理之前，还包括：
[0015]将所述第一数据表中的每个第一字段数据与预设的加密字段数据进行匹配，确定所述第一数据表中与所述预设的加密字段数据相匹配的待加密的第一字段数据；
[0016]根据所述预设的加密字段数据中携带的加密算法对所述待加密的第一字段数据进行加密，得到加密的第一字段数据。
[0017]进一步地，所述根据所述预设的加密字段数据中携带的加密算法对所述待加密的第一字段数据进行加密，包括：
[0018]确定所述第一数据表中与所述预设的加密字段数据相匹配的待加密的第一字段数据的数量；
[0019]如果所述待加密的第一字段数据的数量小于预设阈值，则根据所述预设的加密字段数据中携带的加密算法，分别对每个待加密的第一字段数据进行加密；
[0020]如果所述待加密的第一字段数据的数量大于或等于所述预设阈值，则对所有待加密的第一字段数据进行打包得到数据包，并根据所述预设的加密字段数据中携带的加密算法对所述数据包进行加密。
[0021]进一步地，所述接收终端发送的数据处理请求之前，还包括：
[0022]输出第一用户配置界面，所述第一用户配置界面包括第一参数输入区域，所述第一参数输入区域用于供用户输入字段数据和加密算法的标识；
[0023]获取用户在所述第一用户配置界面输入的字段数据和加密算法的标识，并根据所述字段数据和加密算法的标识生成所述预设的加密字段数据。
[0024]进一步地，所述根据预设的字段匹配映射关系，将所述第一数据表中的第一字段数据与所述第二数据表中的第二字段数据进行替换处理，包括：
[0025]根据预设的字段匹配映射关系，确定所述第一数据表中的第一字段标识与所述第二数据表中的第二字段标识的映射关系；
[0026]根据所述第一数据表中的第一字段标识与所述第二数据表中的第二字段标识的映射关系，将所述第一数据表中的第一字段数据与所述第二数据表中的第二字段数据进行替换处理。
[0027]进一步地，所述接收终端发送的数据处理请求之前，还包括：
[0028]输出第二用户配置界面，所述第二用户配置界面包括第二参数输入区域和第三参数输入区域，所述第二参数输入区域用于供用户输入第一数据表标识和第二数据表标识，所述第三参数输入区域用于供用户输入第一字段标识和第二字段标识，所述第一字段标识与所述第一字段数据对应，所述第二字段标识与所述第二字段数据对应；
[0029]获取用户在所述第二参数输入区域输入的第一数据表标识和第二数据表标识，并根据所述第一数据表标识和第二数据表标识生成所述预设的数据表标识映射关系；
[0030]获取用户在所述第三参数输入区域输入的第一字段标识和第二字段标识，并根据所述第一字段标识和第二字段标识生成所述预设的字段匹配映射关系。
[0031]第二方面，本专利技术实施例提供了一种数据处理设备，该数据处理设备包括用于执行上述第一方面的数据处理方法的单元。
[0032]第三方面，本专利技术实施例提供了一种服务器，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储支持数据处理设备执行上述方法的计算机程序，所述计算机程序包括程序，所述处理器被配置用于调用所述程序，执行上述第一方面的方法。
[0033]第四方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行以实现上述第一方面的方法。
[0034]本专利技术实施例，数据处理设备可以根据预设的数据表标识映射关系，确定与接收到的数据处理请求中携带的第一数据表标识对应的第二数据表标识，并确定与所述第二数据表标识对应的第二数据表，所述第二数据表包括多个第二字段数据；如果确定出所述数据处理请求中携带的第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：接收终端发送的数据处理请求，所述数据处理请求中携带了第一数据表标识，根据所述第一数据表标识确定与所述第一数据表标识对应的第一数据表，所述第一数据表中包括多个第一字段数据；根据预设的数据表标识映射关系，确定与所述第一数据表标识对应的第二数据表标识，并确定与所述第二数据表标识对应的第二数据表，所述第二数据表包括多个第二字段数据；将所述第一字段数据的格式与所述第二字段数据的格式进行匹配，如果确定出所述第一字段数据的格式与所述第二字段数据的格式不一致，则根据预设的转换规则对所述第一字段数据的格式进行转换，以使每个第一字段数据的格式与每个第二字段数据的格式一致；根据预设的字段匹配映射关系，将所述第一数据表中的第一字段数据与所述第二数据表中的第二字段数据进行替换处理。2.根据权利要求1所述的方法，其特征在于，所述将所述第一字段数据的格式与所述第二字段数据的格式进行匹配，包括：根据所述预设的字段匹配映射关系，将所述第一数据表中的每个第一字段数据的格式与所述第二数据表中对应匹配的每个第二字段数据的格式进行比较；所述如果确定出所述第一字段数据的格式与所述第二字段数据的格式不一致，则根据预设的转换规则对所述第一字段数据的格式进行转换，包括：如果确定出所述第一数据表中存在与所述第二数据表中对应的第二字段数据的格式不一致的待转换字段数据，则根据预设的转换规则对所述第一数据表中的待转换字段数据的格式进行转换，以使转换后所述第一数据表中每个第一字段数据的格式与所述第二数据表中对应的每个第二字段数据的格式一致。3.根据权利要求1所述的方法，其特征在于，所述根据所述每个第一字段数据与所述每个第二字段数据的匹配关系，将所述每个第一字段数据与所述每个第二字段数据进行替换处理之前，还包括：将所述第一数据表中的每个第一字段数据与预设的加密字段数据进行匹配，确定所述第一数据表中与所述预设的加密字段数据相匹配的待加密的第一字段数据；根据所述预设的加密字段数据中携带的加密算法对所述待加密的第一字段数据进行加密，得到加密的第一字段数据。4.根据权利要求3所述的方法，其特征在于，所述根据所述预设的加密字段数据中携带的加密算法对所述待加密的第一字段数据进行加密，包括：确定所述第一数据表中与所述预设的加密字段数据相匹配的待加密的第一字段数据的数量；如果所述待加密的第一字段数据的数量小于预设阈值，则根据所述预设的加密字段数据中携带的加密算法，分别对每个待加密的第一字段数据进行加密；如果所述待加密的第一字段数据的数量大于或等于所...

【专利技术属性】
技术研发人员：赵帅，唐川，钟科，官旭，
申请(专利权)人：未鲲上海科技服务有限公司，
类型：发明
国别省市：