【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质
[0001]本申请涉及数据处理技术，尤其涉及一种数据处理方法、装置、设备及存储介质。
技术介绍
[0002]相关技术中，在分析内存泄漏、内存溢出等内存管理相关问题时，需要相关工作人员布置内存分析的相关环境，并去后台下载日志压缩文件，对日志压缩文件进行解压处理，得到内存快照文件，进一步操作相关内存分析工具对内存快照文件及其对应的映射文件进行处理，得到分析结果。
[0003]对于内存快照文件的分析，相关技术中通常基于本地分析工具在本地内存中完成，或者基于远程分析工具将内存快照文件传输至分布式集群上完成，在本地进行分析时，内存开销巨大，很容易产生内存资源不足的问题；而在远程分析时，由于内存快照文件较大，在远程传输时会产生高额的传输成本。
技术实现思路
[0004]本申请实施例提供一种数据处理方法、装置、设备及存储介质，能够在占用较少内存资源的条件下在本地分析内存快照文件。
[0005]本申请实施例的技术方案是这样实现的：
[0006]本申请实施例提供一种数...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取待分析的内存快照文件及所述内存快照文件的分析对象；将所述内存快照文件分段映射到页缓存中的多个块；基于所述分析对象，获取所述页缓存的每个块中的内存快照文件片段的临时分析结果，并将所述临时分析结果分别保存至缓冲区中的多个块；响应于所述缓冲区中的块的数量达到数量阈值，将所述缓冲区中首个块中的临时分析结果转移到存储器中的中间文件；将所述缓冲区的每个块中的临时分析结果与所述存储器中的中间文件进行归并处理，得到所述缓冲区的每个块对应的最终分析结果。2.根据权利要求1所述的方法，其特征在于，在所述基于所述分析对象，获取所述页缓存的每个块中的内存快照文件片段的临时分析结果之前，所述方法还包括：将所述内存快照文件分段映射到页缓存的块中；基于文件缓存分段存储所述页缓存的块中的内存快照文件片段，并记录每个所述内存快照文件片段的元信息，其中，所述元信息包括所述内存快照文件片段的偏移量对应的内容。3.根据权利要求2所述的方法，其特征在于，所述基于文件缓存分段存储所述页缓存的块中的内存快照文件片段，包括：将所述页缓存的块中的内存快照文件片段分别存储至所述文件缓存的多个块中；响应于所述文件缓存的任意一个块中的内存快照文件被访问，将被访问的块移动至所述文件缓存的队首；响应于所述文件缓存的所有块均存储有所述内存快照文件的一个内存快照文件片段，清除所述文件缓存的队尾的块中存储的内存快照文件片段。4.根据权利要求1所述的方法，其特征在于，所述基于所述分析对象，获取所述页缓存的每个块中的内存快照文件片段的临时分析结果，包括：针对所述页缓存的每个块中的内存快照文件片段，从所述文件缓存中获取所述内存快照文件片段的偏移量对应的内容；基于所述分析对象和所述偏移量对应的内容，获取所述页缓存的每个块中的内存快照文件片段的临时分析结果。5.根据权利要求4所述的方法，其特征在于，所述针对所述页缓存的每个块中的内存快照文件片段，从所述文件缓存中获取所述内存快照文件片段的偏移量对应的内容，包括：响应于文件缓存中的块中存储有所述内存快照文件片段的元信息，从所述元信息中读取所述内存快照文件片段的偏移量对应的内容；响应于所述文件缓存中的块中未存储所述内存快照文件片段的元信息，且所述文件缓存中的块的数量小于数量阈值，将所述页缓存中任意一个块中存储的内存快照文件片段复制到所述文件缓存中新创建的块中，以读取所述内存快照文件片段的偏移量对应的内容；响应于所述文件缓存中的块中未存储所述内存快照文件片段的元信息，且所述文件缓存中的块的数量等于数量阈值，将所述页缓存中任意一个块中存储的内存快照文件片段复制到所述文件缓存的队尾的块中，以读取所述内存快照文件片段的偏移量对应的内容。6.根据权利要求1所述的方法，其特征在于，
当所述分析对象为保留大小时，所述临时分析结果包括所述分析对象引用的对象的大小、以及引用所述分析对象的对象的大小。7.根据权利要求6所述的方法，其特征在于，所述将所述缓冲区的每个块中的临时分析...
【专利技术属性】
技术研发人员：寇鹏，张同宝，
申请(专利权)人：腾讯科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。