【技术实现步骤摘要】
基于流处理框架文件管理方法以及系统
[0001]本说明书实施例涉及计算机
，特别涉及一种基于流处理框架文件管理系统，一种基于流处理框架文件管理方法。
技术介绍
[0002]Flink是大数据领域一个新兴的使用流式处理来模拟批量处理的框架，使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据，并且还可扩展到实时监控、实时报表和实时仓库等应用场景。在Flink架构下的文件读写场景，文件系统所产生的待存储文件等数据均需要进行中心化存储，而目前在Flink架构下实现中心化存储的方式，是需要额外部署和运维一些重量级的程序，这不仅会造成整个流处理框架的计算资源使用负担较重，还增加了额外的部署成本和运维成本。
技术实现思路
[0003]有鉴于此，本说明书实施例提供了一种基于流处理框架文件管理系统，一种基于流处理框架文件管理方法。本说明书一个或者多个实施例同时涉及一种基于流处理框架文件管理装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0004]根据...
【技术保护点】
【技术特征摘要】
1.一种基于流处理框架文件管理系统，其特征在于，包括：数据库和基于流处理框架的文件管理模块，所述文件管理模块，被配置为确定基于流处理框架的待存储文件，其中，所述待存储文件中携带有初始文件存储目录；基于所述初始文件存储目录，在所述数据库中创建所述待存储文件的目标文件存储目录，并经由JDBC接口，将所述待存储文件存储至所述目标文件存储目录对应的存储位置，其中，所述数据库经由JDBC与所述文件管理模块通信连接。2.根据权利要求1所述的基于流处理框架文件管理系统，其特征在于，所述文件管理模块，进一步被配置为：经由所述JDBC接口，在所述数据库中创建所述待存储文件的文件存储表，其中，所述文件存储表包括文件名称字段、文件内容字段。3.根据权利要求2所述的基于流处理框架文件管理系统，其特征在于，所述文件管理模块，进一步被配置为：基于所述初始文件存储目录，在所述文件存储表的文件名称字段下创建所述待存储文件的目标文件存储目录。4.根据权利要求2所述的基于流处理框架文件管理系统，其特征在于，所述文件管理模块，进一步被配置为：对所述待存储文件进行二进制转化处理，获得所述待存储文件的目标文件内容；经由所述JDBC接口，将所述目标文件内容写入所述目标文件存储目录对应的存储位置。5.根据权利要求4所述的基于流处理框架文件管理系统，其特征在于，所述文件管理模块，进一步被配置为：基于目标文件存储目录，在所述文件内容字段下确定目标存储位置，并经由所述JDBC接口，将所述目标文件内容存储至目标存储位置。6.根据权利要求2所述的基于流处理框架文件管理系统，其特征在于，所述文件管理模块，进一步被配置为：接收文件读取请求，其中，所述文件读取请求中携带有待读取文件的文件名称，所述待读取文件为基于流处理框架产生，并存储于数据库中；基于所述待读取文件的文件名称，在所述数据库的文件存储表中确定目标读取位置；经由所述JDBC接口，从所述目标读取位置中读取所述待读取文件。7.根据权利要求6所述的基于流处理框架文件管理系统，其特征在于，所述文件管理模块，进一步被配置为：基于所述待读取文件的文件名称，在所述文件存储表的文件名称字段下确定目标文件读取目录；基于所述目标文件存储目录在所述文件内容字段下确定目标读取位置。8.根据权利要求7所述的基于流处理框架文件管理系统，其特征在于，所述文件管理模块，进一步被配置为：基于所述目标读取位置确定所述待读取文件的目标文件读取内容，其中，所述目标文件读取内容为对所述待读取文件进行二进制转化处理后获得；经由所述JDBC接口，从所述目标读取位置中读取所述目标文件读取内容。
9.根据权利要求2所述的基于流处理框架文件管理系统，其特征在于，所述文件管理模块，进一步被配置为：接收文件删除请求，基于所述文件删除请求中携带的待删除文件的文件名称...
【专利技术属性】
技术研发人员：李森，秦元，张绍震，钱山，叶约翰，
申请(专利权)人：恒生电子股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。