本发明专利技术公开了一种数据处理方法、装置、存储介质和处理器。其中，该方法包括：获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；按照添加路径将目标字段添加至目标表中；将目标数据的历史数据补充至目标表的目标字段中。本发明专利技术解决了由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂的技术问题。杂的技术问题。杂的技术问题。
【技术实现步骤摘要】
数据处理方法、装置、存储介质及处理器
[0001]本专利技术涉及数据处理领域，具体而言，涉及一种数据处理方法、装置、存储介质及处理器。
技术介绍
[0002]目前系统使用到线上的日志数据为json格式的，由于前端的字段变更频繁且字段数量较大，因此之前在导入这些数据到数仓的时候，只会选择部分字段落地，导致后续数仓会频繁增加字段并回刷历史数据。
[0003]现在的方法需要手工在表上增加字段和手工配置文件，导致非技术人员无法操作(没有访问HDFS的权限)，技术人员操作麻烦等问题。
[0004]针对上述由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂的问题，目前尚未提出有效的解决方案。
技术实现思路
[0005]本专利技术实施例提供了一种数据处理方法、装置、存储介质及处理器，以至少解决由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂的技术问题。
[0006]根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：通过可视化页面获取目标数据的字段添加请求，其中，所述字段添加请求至少包括：所述目标数据在目标数据库中的目标字段，所述目标字段的添加路径和所述目标数据在目标数仓中的回刷时段，所述目标数据库用于存储所述目标数据和所述目标数据对应的全部字段，所述目标数仓用于存储所述目标数据，所述目标数仓通过目标表用于记录所述目标数据的至少一个字段，所述添加路径指示将所述目标字段添加至所述目标表中，所述回刷时段用于确定所述目标数据在所述目标数仓中的历史数据；按照所述添加路径将所述目标字段添加至所述目标表中；将所述目标数据的历史数据补充至所述目标表的目标字段中。
[0007]可选地，通过可视化页面获取目标数据的字段添加请求包括：通过所述可视化页面中的文件路径组件，确定所述目标数据在所述目标数据库的存储路径；通过所述可视化页面中的数仓路径组件，确定所述目标数据在所述目标数仓对应的目标数仓，和所述目标数据的字段对应的所述目标表；通过所述可视化页面中的新增字段组件，在所述目标数据库中确定所述目标数据的目标字段，并将所述目标字段添加至所述目标表中；通过所述可视化页面中的第一回刷组件，确定所述目标数据在所述目标数仓中的历史数据，并将所述目标数据的历史数据补充至所述目标表的目标字段中。
[0008]可选地，通过所述可视化页面中的新增字段组件，在所述目标数据库中确定所述目标数据的目标字段，还包括：通过所述可视化页面中的新增字段组件，获取所述目标数据的事件号，其中，所述目标数据库还用于存储所述目标数据对应的事件号；基于所述事件号验证所述目标数据库中是否包括所述目标数据的目标字段。
[0009]可选地，在将所述目标数据的历史数据补充至所述目标表的目标字段中之后，所
述方法还包括：通过所述可视化页面中的搜索组件，获取所述目标表的查询请求；基于所述查询请求显示所述目标表的表信息，其中，所述表信息至少包括：所述目标数据的平台任务编号、所述目标数据对应的所述目标数仓名、所述目标数据对应的目标表名、添加所述目标字段的申请时间、所述回刷时段。
[0010]可选地，在将所述目标数据的历史数据补充至所述目标表的目标字段中之后，所述方法还包括：通过所述可视化页面中的变量所在库组件，确定所述目标数据对应的目标数仓；通过所述可视化页面中的变量所在表组件，确定所述目标数据对应的目标表；通过所述可视化页面中的第二回刷组件，确定所述目标数据在所述目标数仓中的历史数据，并将所述目标数据的历史数据补充至所述目标表的目标字段中。
[0011]根据本专利技术实施例的另一方面，还提供了一种数据处理装置，包括：获取单元，用于通过可视化页面获取目标数据的字段添加请求，其中，所述字段添加请求至少包括：所述目标数据在目标数据库中的目标字段，所述目标字段的添加路径和所述目标数据在目标数仓中的回刷时段，所述目标数据库用于存储所述目标数据和所述目标数据对应的全部字段，所述目标数仓用于存储所述目标数据，所述目标数仓通过目标表用于记录所述目标数据的至少一个字段，所述添加路径指示将所述目标字段添加至所述目标表中，所述回刷时段用于确定所述目标数据在所述目标数仓中的历史数据；添加单元，用于按照所述添加路径将所述目标字段添加至所述目标表中；补充单元，用于将所述目标数据的历史数据补充至所述目标表的目标字段中。
[0012]可选地，所述获取单元包括：第一确定模块，用于通过所述可视化页面中的文件路径组件，确定所述目标数据在所述目标数据库的存储路径；第二确定模块，用于通过所述可视化页面中的数仓路径组件，确定所述目标数据在所述目标数仓对应的目标数仓，和所述目标数据的字段对应的所述目标表；第三确定模块，用于通过所述可视化页面中的新增字段组件，在所述目标数据库中确定所述目标数据的目标字段，并将所述目标字段添加至所述目标表中；第四确定模块，用于通过所述可视化页面中的第一回刷组件，确定所述目标数据在所述目标数仓中的历史数据，并将所述目标数据的历史数据补充至所述目标表的目标字段中。
[0013]可选地，所述第三确定模块，还包括：第一获取模块，用于通过所述可视化页面中的新增字段组件，获取所述目标数据的事件号，其中，所述目标数据库还用于存储所述目标数据对应的事件号；验证模块，用于基于所述事件号验证所述目标数据库中是否包括所述目标数据的目标字段。
[0014]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述所述数据处理方法。
[0015]根据本专利技术实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述数据处理方法。
[0016]在本专利技术实施例中，通过可视化页面获取目标数据的字段添加请求，其中，字段添加请求至少包括：目标数据在目标数据库中的目标字段，目标字段的添加路径和目标数据在目标数仓中的回刷时段，目标数据库用于存储目标数据和目标数据对应的全部字段，目标数仓用于存储目标数据，目标数仓通过目标表用于记录目标数据的至少一个字段，添加
路径指示将目标字段添加至目标表中，回刷时段用于确定目标数据在目标数仓中的历史数据；按照添加路径将目标字段添加至目标表中；将目标数据的历史数据补充至目标表的目标字段中，从而采用可视化页面获取目标数据的字段添加请求，并根据字段添加请求将目标数据的目标字段和目标数据的历史数据添加在目标数仓的目标表中，实现了便捷地在目标数仓的目标表中为目标数据添加目标字段并补全历史数据的技术效果，进而解决了由于现有技术需要人工在表上添加字段和配置文件，而造成操作复杂技术问题，使用户不再需要手工的对线上的配置文件进行修改，也可以使非开发人员新增字段，提高了工作效率和对大数据平台的监管可操性。
附图说明
[0017]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：通过可视化页面获取目标数据的字段添加请求，其中，所述字段添加请求至少包括：所述目标数据在目标数据库中的目标字段，所述目标字段的添加路径和所述目标数据在目标数仓中的回刷时段，所述目标数据库用于存储所述目标数据和所述目标数据对应的全部字段，所述目标数仓用于存储所述目标数据，所述目标数仓通过目标表用于记录所述目标数据的至少一个字段，所述添加路径指示将所述目标字段添加至所述目标表中，所述回刷时段用于确定所述目标数据在所述目标数仓中的历史数据；按照所述添加路径将所述目标字段添加至所述目标表中；将所述目标数据的历史数据补充至所述目标表的目标字段中。2.根据权利要求1所述的方法，其特征在于，通过可视化页面获取目标数据的字段添加请求包括：通过上述可视化页面中的文件路径组件，确定所述目标数据在所述目标数据库的存储路径；通过所述可视化页面中的数仓路径组件，确定所述目标数据在所述目标数仓对应的目标数仓，和所述目标数据的字段对应的所述目标表；通过所述可视化页面中的新增字段组件，在所述目标数据库中确定所述目标数据的目标字段，并将所述目标字段添加至所述目标表中；通过所述可视化页面中的第一回刷组件，确定所述目标数据在所述目标数仓中的历史数据，并将所述目标数据的历史数据补充至所述目标表的目标字段中。3.根据权利要求2所述的方法，其特征在于，通过所述可视化页面中的新增字段组件，在所述目标数据库中确定所述目标数据的目标字段，还包括：通过所述可视化页面中的新增字段组件，获取所述目标数据的事件号，其中，所述目标数据库还用于存储所述目标数据对应的事件号；基于所述事件号验证所述目标数据库中是否包括所述目标数据的目标字段。4.根据权利要求1所述的方法，其特征在于，在将所述目标数据的历史数据补充至所述目标表的目标字段中之后，所述方法还包括：通过所述可视化页面中的搜索组件，获取所述目标表的查询请求；基于所述查询请求显示所述目标表的表信息，其中，所述表信息至少包括：所述目标数据的平台任务编号、所述目标数据对应的所述目标数仓名、所述目标数据对应的目标表名、添加所述目标字段的申请时间、所述回刷时段。5.根据权利要求1所述的方法，其特征在于，在将所述目标数据的历史数据补充至所述目标表的目标字段中之后，所述方法还包括：通过所述可视化页面中的变量所在库组件，确定所述目标数据对应的目标数仓；通过所述可视...
【专利技术属性】
技术研发人员：郭剑，邢钦华，郑佰云，肖延超，
申请(专利权)人：北京互金新融科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。