【技术实现步骤摘要】
本专利技术涉及大数据处理，尤其涉及大文件解析转换方法、装置、设备及介质。
技术介绍
1、在大数据处理过程中，大文件的解析转换是其中的重要环节。但由于这类的大文件过大，采用传统的处理方式往往会导致处理速度较慢，同时单台节点的内存负担也较大，容易造成内存不足的问题。
2、因此，针对现有技术导致的处理速度慢、内存不足的问题，尚未提出有效的解决方案。
技术实现思路
1、本专利技术实施例提供了一种大文件解析转换方法、装置、设备及介质，旨在解决现有技术方法导致的处理速度慢、内存不足的问题。
2、第一方面，本专利技术实施例提供了一种大文件解析转换方法，所述方法包括：
3、获取原始文件和所述原始文件的文件名；
4、基于分片策略，将所述原始文件分片写入到文件流中，得到若干个写有原始文件数据的分片文件，并将所述若干个写有原始文件数据的分片文件上传到对象存储服务中，以及将所述若干个写有原始文件数据的分片文件对应的文件名存储到redis缓存列表中；
5、将所述原始文件的文件名通过广播消息通知到服务器的各节点，所述各节点基于所述原始文件的文件名从所述redis缓存列表中获取对应的分片文件的文件名，并基于所述分片文件的文件名从所述对象存储服务中获取对应的分片文件进行解析，得到解析结果。
6、第二方面，本专利技术实施例提供了一种大文件解析转换装置，其包括：
7、获取模块，用于获取原始文件和所述原始文件的文件名；
8、
9、解析模块，用于将所述原始文件的文件名通过广播消息通知到服务器的各节点，所述各节点基于所述原始文件的文件名从所述redis缓存列表中获取对应的分片文件的文件名，并基于所述分片文件的文件名从所述对象存储服务中获取对应的分片文件进行解析，得到解析结果。
10、第三方面，本专利技术实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
11、第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的方法。
12、本专利技术实施例提供了一种大文件解析转换方法及装置。获取原始文件和原始文件的文件名；基于分片策略，将原始文件分片写入到文件流中，得到若干个写有原始文件数据的分片文件，并将该若干个写有原始文件数据的分片文件上传到对象存储服务中，以及将该若干个写有原始文件数据的分片文件对应的文件名存储到redis缓存列表中；将原始文件的文件名通过广播消息通知到服务器的各节点，各节点基于原始文件的文件名从redis缓存列表中获取对应的分片文件的文件名，并基于分片文件的文件名从对象存储服务中获取对应的分片文件进行解析，得到解析结果。
13、上述方法中，将大文件分成多个分片文件，并将这些分片文件分配给不同的计算节点进行分批处理，提高了整体的处理速度并降低了单台节点的内存负担。此外，本专利技术中还引入了异常处理机制来确保数据处理过程的稳定性和可靠性。
本文档来自技高网...【技术保护点】
1.一种大文件解析转换方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述将所述若干个写有原始文件数据的分片文件对应的文件名存储到Redis缓存列表的步骤之前，所述方法包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述分片文件的文件名从所述对象存储服务中获取对应的分片文件进行解析时，所述方法包括：
4.根据权利要求1或2所述的方法，其特征在于，在所述将所述原始文件的文件名通过广播消息通知到服务器的各节点的步骤之后，所述方法包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述分片文件的文件名从所述对象存储服务中获取对应的分片文件进行解析，得到解析结果，包括：
6.根据权利要求1所述的方法，其特征在于，所述基于所述分片文件的文件名从所述对象存储服务中获取对应的分片文件进行解析，得到解析结果，还包括：
7.一种大文件解析转换装置，其特征在于，所述装置包括：
8.根据权利要求7所述的装置，其特征在于，
9.一种计算机设备，包括存储器、处理器及
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
...【技术特征摘要】
1.一种大文件解析转换方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，在所述将所述若干个写有原始文件数据的分片文件对应的文件名存储到redis缓存列表的步骤之前，所述方法包括：
3.根据权利要求1所述的方法，其特征在于，所述基于所述分片文件的文件名从所述对象存储服务中获取对应的分片文件进行解析时，所述方法包括：
4.根据权利要求1或2所述的方法，其特征在于，在所述将所述原始文件的文件名通过广播消息通知到服务器的各节点的步骤之后，所述方法包括：
5.根据权利要求3所述的方法，其特征在于，所述基于所述分片文件的文件名从所述对象存储服务中获取对应的分片文件进行解析，得到解...
【专利技术属性】
技术研发人员：孙仕军，许旭康，
申请(专利权)人：杭州认养一头牛智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。