【技术实现步骤摘要】
本专利技术涉及大数据处理，尤其涉及大文件解析转换方法、装置、设备及介质。
技术介绍
1、在大数据处理过程中，大文件的解析转换是其中的重要环节。但由于这类的大文件过大，采用传统的处理方式往往会导致处理速度较慢，同时单台节点的内存负担也较大，容易造成内存不足的问题。
2、因此，针对现有技术导致的处理速度慢、内存不足的问题，尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种大文件解析转换方法、装置、设备及介质，旨在解决现有技术方法导致的处理速度慢、内存不足的问题。
2、第一方面，本专利技术实施例提供了一种大文件解析转换方法，所述方法包括：
3、获取原始文件和所述原始文件的文件名；
4、基于分片策略，将所述原始文件分片写入到文件流中，得到若干个写有原始文件数据的分片文件，并将所述若干个写有原始文件数据的分片文件上传到对象存储服务中，以及将所述若干个写有原始文件数据的分片文件对应的文件名存储到redis缓存列表中；
5、...
【技术保护点】
1.一种大文件解析转换方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述将所述若干个写有原始文件数据的分片文件对应的文件名存储到Redis缓存列表的步骤之前，所述方法包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述分片文件的文件名从所述对象存储服务中获取对应的分片文件进行解析时，所述方法包括：
4.根据权利要求1或2所述的方法，其特征在于，在所述将所述原始文件的文件名通过广播消息通知到服务器的各节点的步骤之后，所述方法包括：
5.根据权利要求3所述的方法，其特征在于，所述基于...
【技术特征摘要】
1.一种大文件解析转换方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述将所述若干个写有原始文件数据的分片文件对应的文件名存储到redis缓存列表的步骤之前，所述方法包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述分片文件的文件名从所述对象存储服务中获取对应的分片文件进行解析时，所述方法包括：
4.根据权利要求1或2所述的方法，其特征在于，在所述将所述原始文件的文件名通过广播消息通知到服务器的各节点的步骤之后，所述方法包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述分片文件的文件名从所述对象存储服务中获取对应的分片文件进行解析，得到解...
【专利技术属性】
技术研发人员：孙仕军，许旭康，
申请(专利权)人：杭州认养一头牛智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。